新知榜官方账号
2023-11-02 02:01:10
最近,微软发布的论文引起了全球关注,因为论文中泄露了“天机”:ChatGPT仅有200亿大模型参数。这一消息在大模型圈引起了轩然大波,许多人开始猜测这是不是OpenAI开源的“前菜”,因为早在今年5月,路透社就曾爆料OpenAI准备开源新大语言模型。
除了泄露机密,这篇论文本身也值得一看。论文首次提出了一种用扩散模型做代码生成的编码-解码架构:CODEFUSION。CODEFUSION主要包括编码器、解码器、去噪器以及ClassificationHead。为了生成语法正确的代码,CODEFUSION采用了扩散模型,将自然语言输入编码为连续表示,然后将其附加条件输入Diffusion模型中进行迭代去噪,最终生成语法正确的代码。
论文还对CODEFUSION进行了Python、Bash和Excel条件格式化(CF)规则三个语言任务的评估。结果显示,CODEFUSION性能与同200亿参数的GPT-3.5-turbo相近,而且还生成更加多样化的代码。相比于自动回归模型,CODEFUSION生成更加多样化的候选代码,同时也能生成更多语法正确的代码。
总之,微软最近发布的这篇论文泄露了“天机”,并介绍了一种用扩散模型做代码生成的编码-解码架构:CODEFUSION。这一消息引起了全球关注,许多人开始猜测这是不是OpenAI开源的“前菜”。论文的内容本身也值得一看,因为它首次提出了一种用扩散模型做代码生成的编码-解码架构。
微信扫码咨询
相关工具
相关文章
相关快讯
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49