新知榜官方账号
2023-09-11 16:20:35
虎博科技于6月7日发布并开源了自研的多语言多任务大规模语言模型Tigerbot,上线仅一日,已在开源社区GitHub上获超1000Stars,深受广大开发者喜爱。
Tigerbot涉及模型、代码、数据三部分内容,包含TigerBot-7B-sft、TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理180B模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。
TigerBot-7B-base的综合表现优于同等可比的OpenAI和BLOOM,TigerBot-180B-research的参数量达1800亿,或是目前业内最大的大规模语言模型,而高达100G的预训练数据,更被视为目前业内最大且质量最优的开源预训练数据之一。
虎博科技与广大开发者共享了大模型应用开发所需的全套API,包括对话(Chat)、插件(Plug-ins)、微调(Fine-Tunes)等,并提供金融、法律、百科等专业领域数据,旨在构建大模型生态蓝图。
Tigerbot基于GPT和BLOOM两个开源模型基础上进行研发,在模型架构、算法以及计算经济性等方面做了一系列优化,主要体现在四方面:(1)、指令完成监督微调的创新算法,以提升可学习型(learnability);(2)、运用ensemble和probabilisticmodeling的方法,实现更可控的事实性(factuality)和创造性(generativeness),进一步避免模型可能产生的“胡说八道”;(3)、在并⾏训练上,突破了deep-speed等主流框架中若⼲内存和通信问题,使得在千卡环境下数⽉⽆间断,不仅大大缩短了模型训练的时间,每月还能节省数十万训练费用;(4)、对中⽂语⾔的更不规则的分布,从tokenizer到训练算法等方面做了针对性算法优化,使得模型的问答更具中国文化属性。
TigerBot-7B已达到OpenAI同样大小模型的综合表现的96%,且只是MVP(最小最小可行性模型)。陈烨希望共享阶段性成果,“大模型技术就像是一门新兴学科,将是颠覆式且长周期的,其未来的可能性将超过每个人的想象。”
陈烨认为,现阶段不宜过早和过于理性地探讨产品、应用、场景和商业化,更重要的是推广这一人工智能基础设施的原创突破,促进技术的发展和更新,“开源就是最好的方式”。
微信扫码咨询
相关工具
相关文章
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49