虎博科技发布开源自研大模型TigerBot,可快速生成营销文案、进行插图创作等

新知榜官方账号

2023-07-04 03:12:26

36氪获悉,6月7日,虎博科技正式发布并开源其自研大模型TigerBot。同时,虎博科技还发布了大模型应用开发所需的全套API,以及多领域专业数据。虎博科技成立于2017年,是一家专注于深度学习及NLP(自然语言处理)技术的AI公司,36氪曾多次报道。

本次虎博科技所发布的自研大模型TigerBot,是一个多语言多任务大规模语言模型,经历3个月的封闭式开发和超过3000次实验迭代,当前已经迭代出第一个MVP版本。从功能上,Tigerbot已经包含大部分生成和理解类的能力,具体包括几大部分:内容生成、开放问答、提取信息和长文本解读等。

针对中文语境,虎博科技从分词器(Tokenizer)到训练算法等方面做了针对性算法优化,使得模型更懂中文指令,提高了问答结果的中国文化属性。而在并⾏训练上,虎博的大模型团队也突破了比如deep-speed等主流框架中若⼲内存和通信问题,使得在千卡环境下,可实现训练数⽉⽆间断。

虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理180B模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。未来,虎博还将开放大量的金融、法律、百科等领域专业数据,供应用开发者使用。

虎博科技自成立之初就专注在中文NLP的技术和产品研发上,积累了大量高质量的中文预训练数据,本次发布的100G预训练数据,就是其中的一部分。未来,虎博还将开放大量的金融、法律、百科等领域专业数据,供应用开发者使用。

本页网址:https://www.xinzhibang.net/article_detail-5165.html

寻求报道,请 点击这里 微信扫码咨询

关键词

虎博科技 大模型 TigerBot

分享至微信: 微信扫码阅读

相关工具

相关文章