6 月 19 日,月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。▲ 图源 Kimi 开放平台官方公众号,下同据介绍,Context Caching(上下文缓存)是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本,原理如下:官方表示,Context Caching 可提升 API 的接口响应速度(或首字返回速度)。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。Context Caching 适合于用频繁请求,重复引用大量初始上下文的情况,通过重用已缓存的内容,可提高效率降低费用,适用业务场景如下:提供大量预设内容的 QA Bot,例如 Kimi API 小助手。针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具。对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles。交互规则复杂的 Agent 类应用,例如什么值得买 Kimi+ 等。官方后续将发布 Context Caching 功能的场景最佳实践 / 计费方案 / 技术文档,IT之家将保持关注,并在第一时间带来相关报道。
来源:IT之家
评论 ( 0 )