中国移动研究院“芯合”算力原生基础软件栈实现DeepSeek多类模型跨架构灵活部署

责任编辑:王鹤迦 2025.02.20 08:00 来源:中国移动研究院

通信世界网消息(CWW)近日,中国移动研究院“芯合”算力原生基础软件栈完成了对DeepSeek-R1 671B满血版及1.5B至70B蒸馏版的适配工作,可为DeepSeek-R1 671B满血版及1.5B至70B蒸馏版提供灵活的跨架构部署迁移能力,并支持动态匹配算力资源完成DeepSeek的自动化部署。

“芯合”算力原生基础软件栈由中国移动研究院自主研发,可解决AI应用与底层硬件深度绑定、难以跨架构部署迁移等问题,具备统一编程套件、源源转换工具、跨架构编译器、自适应运行时、高性能计算库五大功能组件,可实现泛AI应用在英伟达、intel、华为、瀚博、天数智芯、海光6家智算芯片间的一键式跨芯流转迁移,同时可降低智算应用向国产化芯片迁移的复杂度,提升智算应用跨架构开发部署效率。

本次中国移动研究院“芯合”使用了源源转换工具对DeepSeek源码进行转译,将MLA、MTP等关键算法自动从CUDA转换为开放统一的跨平台并行编程语言,并依托跨架构编译器实现相关算法在异构硬件上的自动化高性能编译,编译输出的跨架构流转文件可依托自适应运行时在任意异构硬件上执行。本次适配过程中,中国移动研究院“芯合”帮助快速完成DeepSeek模型及算法在不同厂商硬件上的复制共享,面向业界提供了模型算法多平台代码级高性能移植解决方案。

除使能跨架构部署迁移外,中国移动研究院“芯合”还提供低代码工具预设丰富的部署模板和组件,针对权重转换与量化、系统环境参数配置、部署进程启动管理等定义统一模型部署操作,屏蔽DeepSeek不同规格模型在各厂商异构硬件部署时的差异化部署方法,支持用户通过图形化方式实现多规格模型跨架构一键部署及灵活配置,避免手动模型下载、软件安装、环境配置等繁琐步骤。此外,中国移动研究院“芯合”已联合华为、海光、瀚博等业界伙伴形成搭载DeepSeek R1 671B、70B至1.5B蒸馏版本的算力中心、一体机、高性能端设备解决方案,可支持灵活部署场景。

下一步,中国移动研究院“芯合”算力原生基础软件栈将加快构建跨架构推理引擎,进一步针对DeepSeek的定制化算法和算子进行研发优化,更好支撑DeepSeek等大模型跨架构迁移和高效运行。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容