传神语联何征宇:数推分离为智造注入新活力

责任编辑:包建羽 2024.11.22 18:20 来源:通信世界全媒体

通信世界网消息(CWW)“在工业互联网领域,构建AI基础底座,已成为当前企业增强自身竞争力并实现差异化发展的关键策略之一。工业场景碎片化特点较为突出,人工智能企业需紧密结合行业特性和单一厂商的具体需求,构建定制化的企业专属大模型平台,以攻克落地企业的‘最后一公里’难题。”传神语联副总裁何征宇在中国5G+工业互联网大会“人工智能产业发展专题会议”上表示。

image.png

工业互联网的智慧核心:融入工业灵魂的大模型技术基座

目前,大模型落地工业互联网企业还存在一些瓶颈。一是不够“聪明”,部分大模型不能真正解决企业实际需求。大模型在工业领域应用潜力巨大,但目前不少大模型仍难以匹配适应企业生产的实际需要。许多大模型是基于互联网上的公开数据训练而成的,往往难以满足实际需求。部分工业大模型声称具有工业相关内容,但在实际应用中缺乏行业深度和专业化内容。

二是无法确保“安全”,不希望企业的知识文档外流。几乎所有客户都不接受所谓公有云方案,出于数据安全与隐私考虑,企业不希望企业的知识文档外流。这也意味着,如何拿出低成本及高效的本地化部署方案,也是大模型加速落地工业场景的关键。

大模型在实际工业场景中运用,并不是大语言模型的简单迁移运用,即把消费领域、to C方向的生成模式搬到工业领域to B方向。而是要解决实时学习专业知识、提高准确性、降低成本、保障数据安全等问题,才能真正发挥价值并成为企业的“中枢大脑”。

任度大模型采用了创新的双网络数推分离架构,其核心在于将推理网络与客户数据学习网络分离。客户数据学习网络如同做人类左脑,专注于数据的动态管理与迭代训练,持续为模型注入知识养分;推理网络则如同人类右脑,作为经大量数据预训练的基础网络,具备不错的推理和泛化能力。双网络协同工作的独特设计,显著降低了训练算力成本,有效避免了微调训练造成的基座模型能力退化和泛化能力减弱等问题。数据学习网络可以在客户现场学习历史数据和不断学习业务运营中产生的新数据,客户数据无需离场,两个网络还能联合协同工作,输出客户所需成果。

这一架构区别于多数厂商在面对模型需要掌握新数据时,所采取的再训练或精调的传统模式。具体来说,双网络数推分离架构能够有效降低几个关键风险:一是减少了因新数据引入而必须进行的模型再训练次数;二是避免了模型在频繁训练过程中可能出现的性能退化问题;三是解决了数据离场(即数据不在本地处理)所带来的安全与合规性挑战。

何征宇表示:“在工业领域,工业企业可将任度大模型作为技术基座,凭借数推分离双网络架构的独特技术架构,让大模型真正具备持续学习的能力:它可以在客户现场不断吸收新知识,随着数据的优化而持续进化,无需反复进行全量训练,也可以高效处理复杂推理任务,成为融入工业灵魂的企业AI专家”。

“缺芯少魂”,限制行业长远发展

在高端技术层面,“缺芯少魂”的问题依然影响发展。我国高性能芯片对外依赖严重,高端智能算力供给不足,国内大模型的发展在一定程度上存在对国外开源项目的过度依赖问题。

何征宇提出“在当前国际形势下,技术自主性显得尤为重要,而开源安全问题同样不容忽视。任度大模型--凝聚了传神多年AI技术积累的结晶,是真正意义上从底层算法框架到上层应用的全技术栈自主研发成果,并且通过了中国信通院‘0开源依赖’的评测,未使用任何开源代码和框架。作为中国的人工智能企业,我们是有责任打造有中国技术路线的‘根原创’大模型,保证我们的技术、安全自主可控以及创新不受限。”

同时,在芯片受限的情况下,大参数、大算力会给企业带来过高的成本和算力消耗。

“Scaling Law虽曾在过去为人工智能发展立下汗马功劳,但单纯依赖它进行集中式暴力训练已显露诸多弊端。”何征宇表示。大模型追求的是“聪明”而非仅仅是参数规模;客户期望的是大模型在实际场景中发挥作用,而非参数越来越大。因此,集中式预训练模式值得重新审视,实时学习和训练模式更具探索价值。

任度目前拥有2.1B和9B两个版本,在多项国内外评测中,以小参数实现了与百亿、千亿级别模型相媲美的性能。此外,任度大模型在训练与推理过程中的算力成本显著降低,仅为同等大型模型的1/5到1/10以及1/2到1/4,这标志着其拥有卓越的性参比特性。这一特性解决了企业应用大模型时面临的高昂算力投入与能耗难题。

“有用的AI”在工业领域中创造价值

尽管当前大模型已逐步融入工业领域的多个关键环节,如知识问答、工程建模、文档自动生成及代码理解等场景,但在探索大模型在工业应用落地的过程中,仍面临诸多值得深入探讨与思考的问题。如何更加紧密地贴合工业制造企业的实际需求,深入数据产生的源头,实现对数据的高效学习、以更加细腻和智能的方式理解数据背后的工业逻辑,从而真正使大模型在工业领域成为“有用”的工具,释放出巨大的价值。

未来,传神语联期待与更多工业企业携手合作,在“工业AI”征程中,以人工智能核心技术推动新型工业化发展,因地制宜发展新质生产力,共同书写制造强国的新篇章,为工业领域的转型升级注入源源不断的动力。

通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容