大模型时代的挑战与机遇

大模型时代的挑战与机遇

人工智能正迈入百模千态的大模型时代，这给AI的生态发展带来了新的挑战。一方面，大模型快速发展，融合了更多的算子加速库，需要更加开放的技术体系，让开发者更灵活地实现大模型创新。另一方面，随着参数和数据的快速增长，大模型的开发、调试和优化变得更加复杂，因此业界需要更易用的全流程使能平台来加速大模型的开发和部署。此外，大模型的训练需要投入大量资金和人力，对软硬件工程能力也有较高的要求。因此，行业需要更合理的分工和高效的协同，才能实现商业共赢。

升腾一直以来都在围绕着软硬件协同AI框架和工具链，持续加强基础技术的研发和商业生态的建设。在过去的四年里，升腾支持了全国20多个城市人工智能计算中心的建设，并深入行业应用场景，服务于金融、运营商和互联网等行业的智能化升级。这一切都离不开每一位伙伴和开发者的共同努力。再次感谢大家对升腾的信任和支持。升腾将持续关注伙伴和开发者的需求，全面升级升腾基础软硬件，以开放易用的平台使能百模千态；以高效协同的生态赋能千行万业。

升腾面向算子框架加速库和大模型全面开放，广泛支持兼容业界生态，为大模型创新提供更多灵活选择。升腾提供丰富的融合算子，如主流的FlashAttentionFFN等，可在升腾上实现性能倍级提升。同时，升腾已全面支持PyTorch、飞桨升思等业界框架，同时PyTorch社区也在持续增强对异腾的支持。今年10月，社区将发布2.1版本，原生支持升腾，欢迎大家下载使用。在加速库与开发套件上，除了兼容业界主流的DeepSpeedMegatron外，升腾自主构建了大模型加速库AscendSpeed，提供丰富的大模型训练并行能力，同时HuggingFace社区最新的windows、Accelerate等代码仓也已原生支持升腾，开发者直接下载安装即用。目前已有50+主流的基础大模型基于升腾训练迭代，昨天也有9家伙伴发布了大模型训推一体机，为行业提供更加丰富的选择。

为了更好地发展大模型生态，升腾社区全新升级了原有的ModelZod，在已提供数百个预训练模型的基础上，年底前将持续上线40多个升腾亲和的预训练大模型，同时支持各类太模型在线的功能体验与性能对比。升腾社区还推出了开放的大模型开发工具与套件，支撑开发者快速实现大模型的二次开发。九月，ModelZoo2.0正式上线升腾社区。

大模型的创新涉及多个阶段，是一个复杂的系统工程。除了利用大算力来加速训练，我们还提供了大模型超级流水线，以及友好的大模型开发环境和统一的全流程工具链，以加速大模型的开发、迁移和部署。在脚本开发阶段，我们将经验沉淀为大模型开发模块，涵盖了业界主流的20多个开源大模型，并支持在PyTorch和异思框架上使用。对于已经支持的大模型，通过调用高阶API，仅需十几行代码即可构建完整的大模型脚本。我们还提供了丰富的低参微调模板，支持一键启动微调并生成模型评估报告。为了帮助大家将已有的大模型快速迁移到升腾上，我们提供了一站式工具链——MindStudio。通过千亿大模型全量脚本的迁移，多数情况下仅需两行代码，对于定制算子也仅需轻量的代码修改。如果迁移出现精度偏差，MindStudio还支持精度数据自动导出和溢出分析，周级实现精度优化。性能调优一直是大模型落地的难点。随着BatchSize的增加，算力、内存和并行数据量都会增加，如何提高系统资源利用率尤为重要。MindStudio提供集群性能数据分析和调优能力，如算子瓶颈分析、内存占用统计、慢卡通信定位和分布式策略优化等功能，大幅降低训练集群的调优难度。

推理部署是大模型落地的“最后一公里”，快速部署和高效执行是核心。升腾CANN的能力可开放给客户自有的推理引擎，帮助客户完成推理部署。同时，我们还提供升腾推理引擎。通过统一API接口，提供模型压缩推理加速和推理执行等能力，方便伙伴开发推理应用。升腾推理引擎支持多种推理执行方式，例如PyTorch升思的带框架推理、g(5ring)mS、ONN线推理以及Ton的推理服务化。此外，我们还提供ResaregiventoreasonONNX离线推理和Triton的推理服务化。

人工智能的快速发展对操作系统产生了深刻影响。大模型让欧拉更智能，面向终端用户。Windows12结合AI，为大家带来了无限期待。欧拉作为首个广泛支持AI的开源操作系统，正在颠覆传统的命令行交互方式，面向数字基础设施。我们借助ChatGLM基础模型，基于大量欧拉操作系统的代码和数据训练出了EulerCopilot，实现了初步代码辅助生成、智能分析和系统辅助运维等功能。未来，只要有欧拉操作系统的问题，都可以交给EulerCopilot，而不需要多领域专家协同解决。此外，欧拉操作系统还能使AI训练和推理效率更高。欧拉操作系统通过异构资源统一管理与调度，实现CPU和XPU的深度融合，以更全局、更均衡和更精细化的视角统筹内存和算力，充分挖掘空闲资源提升有效利用率，进而提升AI训练和推理性能。这些功能将持续为社区做出贡献，并在23.09和24.03LTS版本中发布。未来，欧拉将携手伙伴社区开发者，面向快速发展的行业需求，集成更多AI能力，高效、统筹异构算力，致力于将欧拉打造成为全球领先的开源操作系统。

为了更好地赋能伙伴，服务客户，华为持续升级鲲鹏软硬件平台。九月份，华为发布了天池架构，支持伙伴面向千行万业快速推出差异化机型。在基础软件方面，openEuler全场景协同能力持续增强，进一步提供负载动态感知等关键能力，做到开箱即优。同时，华为还升级了鲲鹏、BoostKit和DevKit两大套件，八大主流场景性能持续提升。通过四大场景化SDK助力鲲鹏高效原生开发，华为将带领我国超越世界级大模型，做到世界第一无所不能。