MoonshotAI推出首个支持20万汉字智能助手KimiChat

新知榜官方账号

2023-10-24 08:18:22

MoonshotAI推出首个支持20万汉字智能助手KimiChat

北京月之暗面科技有限公司(MoonshotAI)宣布在“长文本”领域实现了突破,推出了首个支持输入20万汉字的智能助手产品KimiChat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度,标志着MoonshotAI在这一重要技术上取得了世界领先水平。

相比当前市面上以英文为基础训练的大模型服务,KimiChat具备较强的多语言能力,例如,KimiChat在中文上具备显著优势,实际使用效果能够支持约20万汉字的上下文,2.5倍于Anthropic公司的Claude-100k(实测约8万字),8倍于OpenAI公司的GPT-4-32k(实测约2.5万字)。同时,KimiChat能够通过创新的网络结构和工程优化,在千亿参数下实现了无损的长程注意力机制,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。

MoonshotAI相信,更长的上下文长度可以为大模型应用带来全新的篇章,促使大模型从LLM时代进入LongLLM(LLLM)时代,与千行百业精准适配。大模型应用在寻找有效处理长文本场景的方法时,需要持续探索解决降低模型幻觉和提高生成内容可控性的新手段,寻求大模型能力个性化的新路线。

MoonshotAI携手火山引擎进行AI技术创新,在火山引擎机器学习平台veMLP上进行AGI实践。MoonshotAI充分利用GPU资源池,基于大规模预训练模型,实现每天数千卡规模的常态稳定训练,六个月内训练出千亿参数规模语言大模型KimiChat,解锁专业场景写作、超长文本理解分析、超长记忆的个性化对话、基于大量文档的知识问答等复杂场景,并成功在多家知名企业中应用。

MoonshotAI联合创始人周昕宇表示:“MoonshotAI聚焦于探索通用人工智能的边界,致力于寻求将算力转化为智能的最优解。火山引擎拥有国内领先的基础设施能力和算力储备,未来双方将进一步在AI算力基础设施和应用场景拓展等方面展开合作,共同推动人工智能技术的发展,为用户带来稳定、高效、智能的服务体验。”

火山引擎为大模型提供高稳定性和高性价比的AI训练和推理加速解决方案

火山引擎与MoonshotAI深度合作,为其独家提供高稳定性和高性价比的AI训练和推理加速解决方案,双方联合进行技术研发,共同推进大型语言模型在垂直领域和通用场景的应用落地。火山引擎智能算法负责人吴迪表示:“火山引擎一直秉持着聚焦技术、赋能伙伴、价值共生的合作态度,MoonshotAI拥有国内先进的大模型研发团队,对AI技术有着深入的理解和应用经验,双方的合作将进一步在多模型生态服务领域为企业和消费者提供更丰富的AI应用。”

火山方舟上已入驻智谱AI、Minimax、字节跳动云雀等多家AI科技公司及科研院所的大模型,MoonshotAI的大模型服务KimiChat也将登陆火山方舟。火山引擎将持续联合国内优秀的大模型服务商,提供模型训练、推理、评测、精调等全方位功能与服务,助力千行百业加速AI进程。

本页网址:https://www.xinzhibang.net/article_detail-17843.html

寻求报道,请 点击这里 微信扫码咨询

关键词

MoonshotAI KimiChat 大模型服务

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯