编程能力模型详解：StarCoder、CodeT5、LTM、DIDACT、WizardCoder、FalCoder-7B、MPT30B

编程能力模型详解

在LLM的细分领域中，编程能力模型主要关注在使用自然语言处理技术来解决编程任务和问题。这些模型旨在理解和生成与编程相关的文本，例如代码片段、文档、注释和问题。

CoderLLM竞争激烈，且优秀的模型层出不穷，各有特色。今天为您详细介绍几个编程能力模型：StarCoder、StarCoder+、CodeT5、LTM、DIDACT、WizardCoder、FalCoder-7B、MPT30B。

1. StarCoder

• 源自GPT2模型的AI编程神器，通过训练各种GitHub代码集。
• 具有15B的参数+8K的上下文能力。
• 在80多种编程语言中磨炼，StarCoder拥有强大的代码补全和错误修复能力。在HumanEval评估中，竟可达到40%的pass@1得分，将成为你的编码好助手！

2. StarCoder+

• StarCoder+，在StarCoder的基础上，通过在Falcon模型的英文网络数据集上进行训练，并进行指令调优，变身为强大的英文语言模型。
• 站在30B以下模型的领导者榜首，HumanEval的得分更是达到了惊人的45.1MMLU，超过所有的LLaMa模型和PaLM-540B。

3. CodeT5+

• 擅长代码理解和生成，且在HumanEval上取得了创新的代码生成性能，超越了原有模型。
• 这个模型是一个灵活的编码解码结构，通过混合各种预训练任务，可以灵活地在不同模式（如，仅编码，仅解码，和编码解码）中操作，适应各种代码理解和生成任务。

4. LTM

• LTM，一款具有长期记忆网络（Long-termMemoryNetwork）技术的LLM，可以支持最大500万Tokens，让你的代码库得以完整呈现，如同编写长篇小说一般轻松自如。
• 此模型能够支持巨大的上下文窗口，以至于可以完全覆盖大部分代码库。

5. DIDACT

• 由Google研发，是第一个被训练用来模拟真实软件开发者编写代码、修复构建、并进行代码审查的LLM。能够逐步构建软件基于开发者的工作历史。
• 可以帮助开发者修复构建错误，预测代码审查意见，甚至像GitHubCopilot一样，根据你的开发历史来完成代码补全。

6. WizardCoder

• WizardCoder，这是一款全新的开源代码LLM。通过应用Evol-Instruct方法（类似orca），它在复杂的指令微调中展现出强大的力量，得分甚至超越了所有的开源CodeLLM，及Claude、Bard等闭源LLM，达到了惊人的57.3的HumanEvalpass@1得分！

7. FalCoder-7B

• FalCoder-7B，源于Falcon模型，经过CodeAlpaca20k数据集的细微调整，，专为代码指令补全而生。因为Falcon的质量不错，且可商用，基于这个的codermodel可以供参考。

8. MPT30B

• 开源商用且比Falcon40B更好的模型。
• 拥有30B参数、1Ttoken和8k上下文窗口的模型，MPT30B优雅地在编程能力和商业可用性之间取得了平衡，其在HumanEval评估中的表现优于GPT-3，而模型大小仅为GPT-3的17%，训练计算量仅为GPT-3的60%。
• MPT30B拥有一些独特的特性，例如能够通过ALiBi扩展上下文长度，通过FlashAttention进行高效推理和训练，还可以方便地部署在单个GPU上。

这些模型的出现为提高开发效率、改善代码质量、降低学习门槛和支持编程教育提供了新的可能性。通过智能的代码自动补全、代码纠错、代码推理和代码搜索等功能，编程能力模型可以成为开发人员的强大助手，提供准确、实时的代码支持和解决方案。此外，这些模型还有助于促进编程社区的合作和知识共享，为开发者提供更广泛的资源和交流机会。

CanAiCode榜单

1. Python
2. JavaScript