月之暗面Kimi开放平台宣布:上下文缓存Cache存储费用降价50%

责任编辑:王鹤迦 2024.08.09 08:46 来源:通信世界全媒体

通信世界网消息(CWW)近日,月之暗面旗下Kimi开放平台宣布了一项重大价格调整政策,针对其上下文缓存(Context Caching)功能,将Cache存储费用直接降价50%。

据官方介绍,上下文缓存作为一种高效的数据管理技术,自公测以来便以其显著降低使用成本和提升模型响应速度的优势,赢得了众多开发者的青睐。该技术允许系统预先存储可能会被频繁请求的大量数据或信息,从而在用户再次请求相同信息时,能够直接从缓存中快速提供,避免了重复计算和数据检索的过程,极大地节省了时间和资源。

官方表示,在保持API价格不变的前提下,通过降低Cache存储费用,开发者在使用长文本旗舰大模型时将能够享受到更加实惠的价格,进一步激发市场活力。

据悉,降价后的上下文缓存收费模式依然清晰透明,主要包括Cache创建费用、存储费用以及调用费用三个部分。其中,Cache创建费用按照实际存储的Tokens量计费;存储费用在Cache存活时间内按分钟收取,降价后费用将直接减半;而调用费用则根据用户通过chat接口请求已创建成功的Cache次数进行收取,若请求内容与存活中的Cache匹配成功,将按调用次数计费。

业内认为,此次降价政策的实施,预计将为众多开发者带来实质性的成本节约,同时也将推动上下文缓存技术在更多业务场景中的应用。无论是提供大量预设内容的QA Bot、针对固定文档集合的频繁查询工具,还是对静态代码库或知识库的周期性分析应用,都将从这一降价政策中受益,实现更高效、更经济的模型运行。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容