通信世界网消息(CWW)ICT行业的新技术新应用层出不穷,热点概念被频频引爆。曾几何时,边缘计算成为科技领域的热门词汇,频繁出现在各类报道中,引起了行业内外的广泛关注;如今,伴随着ChatGPT的横空出世,一场以大模型、AIGC为代表的AI浪潮在全球迅速席卷开来,深刻改变着人们的工作和生活。
那么,当前后两代热点技术相遇,又将激发出怎样的增长曲线?近日,网宿科技发布了首份《边缘计算市场实践与洞察报告》(简称《报告》),网宿科技边缘平台资深架构师陈云辉在解读《报告》时表示,边缘计算已经成为数字化、智能化进程中的重要支撑技术,伴随着AI时代到来,边缘计算的需求将越发涌现,市场前景更为可观。
AI开辟边缘计算新机遇
在2018年左右爆火的边缘计算并非一个全新技术。梳理来龙去脉,陈云辉表示,边缘计算的前身是上世纪九十年代出现的内容分发网络(CDN),随着云计算的兴起,CDN厂商将空闲资源对外出租,由此CDN演进到了边缘计算,如今边缘计算已在多个领域得到广泛部署和成熟应用。
《报告》显示,在边缘云方面,边缘计算已经在实时音视频交互、CDN、云游戏、AR/VR等方面成熟应用;在边缘云安全方面,将边缘与安全结合成为产业共识,诸如SASE架构已被广泛部署;在物联网领域,边缘智能解决方案也在工业制造、交通运输、畜牧养殖、智慧城市等场景中实现了应用创新。
展望未来,边缘计算将依旧保持高速增长态势。根据MarketsandMarkets的报告,全球边缘计算市场规模将从2023年的600亿美元增长至2029年的1106亿美元,CAGR达到13%。在国内,IDC报告显示,2023下半年,中国边缘云市场规模总计62.6亿元,同比增速36.1%,增速超出预期。
边缘计算何以保持持续高速增长?《报告》认为,其背后有四大驱动因素:一是IoT产业落地成熟引领边缘计算增长,二是云原生技术应用带来边缘云刚需,三是AI大模型为边缘计算开辟新的商业机遇,四是生成式AI威胁推动云边端一体化安全能力的建设。
特别值得一提的是AI的驱动力量。IDC数据显示,2022—2027年中国生成式AI投资的复合年增长率有望达到86.2%;Gartner预测,2026年将有80%的全球企业使用生成式AI,50%的全球边缘部署将包含AI。生成式AI对边缘计算的巨大促进作用由此可见一斑。
推动算力和推理需求增长
眼下,越来越多的企业都想登上AI的“高速列车”,然而AI的技术研发与应用往往需要长期的积累和投入,对处于初创阶段的企业而言,技术难题和高昂成本无疑成为两座大山。
首先,大模型训练周期通常长达数月,需要大量的高性能GPU资源和专业深厚的技术人才作为支撑,技术门槛和成本居高不下。其次,AIGC应用包括文本、音频、图像、视频、代码、多模态等内容生成形式,这些内容会产生大带宽需求,相应的带宽成本不容小觑。最后,在AIGC应用过程中,大模型的训练成本相对固定,推理成本会随着推理次数的增加而增长,其成本占比也会越来越大。
边缘计算因其部署在更靠近用户的位置,将AI大模型推理从中心云计算下沉到边缘计算,有助于解决日益增长的带宽需求,降低带宽成本,并获得更快的响应速度。同时,AI大模型推理与边缘计算结合,也将促进诸多领域的应用创新,开辟出新的商业机遇。
展望未来,陈云辉表示AI发展呈现两大趋势:一是在中心部署的大模型向更加智能、参数更大的方向发展;二是在端侧部署的小模型,参数要足够小同时满足一定的性能需求。
网宿科技强调,AI大模型不只做端和中心,边缘也有机会。比如GPT-4o的发布增加了多模态、人机自然交互的体验,提升了模型能力,增强了实时性,边缘计算凭借低时延的优势可在其中发挥作用。此外,手机GPU算力有限,对于部分场景,算力需要外溢,相较于外溢到中心,时延可能要1-2秒,而外溢到边缘侧,位置距离用户更近,时延可能在几百毫秒,才能满足用户对生成式AI实时性互动的需求,体验更自然。
“所以整体来看,AI对边缘计算有两块需求,一是算力,二是推理。推理模型需要部署在边缘侧,未来推理与迭代将呈现云-边-端梯次布局,所以云边端一体化架构也是AI大模型发展的一个趋势。”陈云辉表示。
网宿科技三大边缘AI产品
据悉,目前网宿科技已经在边缘AI领域进行了深入布局,推出了包括Serverless GPU、边缘AI网关、边缘模型微调与推理服务在内的边缘AI产品,以降低AIGC应用落地的门槛,以低成本、高效率的方式实现AIGC创新。
Serverless GPU为用户提供高度可扩展、按需使用的GPU算力资源服务,主要适用于计算密集型任务。基于网宿的GPU算力资源,结合Serverless K8S和GPU加速的优势,用户无需管理GPU服务器和K8S,只需上传容器镜像即可方便快捷运行AI应用。除了免运维的特性外,该GPU还具有低时延优势,并且通过按需分配和虚拟化技术,大大提高GPU资源利用率,有效降低用户的GPU使用成本。
边缘AI网关是基于边缘无服务器计算平台,预先集成市面主流模型,支持企业通过统一的通道入口和管理平台实现多模型接入、管理、运营一体化的AI服务。边缘AI网关提供缓存管理、边缘特殊配置和数据分析等丰富的功能,帮助企业自定义模型应用规则。同时,为用户构筑一道安全防线,有效抵御AI安全漏洞、数据泄露、数据违规等潜在风险。边缘AI网关还提供AI治理手段,帮助企业优化AI应用性能,提升业务的可用性和安全性。
边缘模型微调与推理提供了一个全球性的边缘推理运行环境,配备了模型微调环境以及所需的GPU资源和完整的工具链,支持企业将微调好的模型一键部署到网宿全球边缘节点上,并基于不断优化的推理性能,提供最经济可靠的模型推理服务。
陈云辉表示,未来网宿科技将面向AI继续投入:一是持续加强建设算力网络和平台能力,降低AI技术的使用门槛,服务AI规模化普及;二是关注智能硬件的发展,投入边缘计算资源建设以及云边端整体能力的建设,协同行业伙伴探索XR应用的落地;三是以AI驱动安全,全方位提升边缘安全能力。