推理与 KV Cache 02：分页、共享与回收如何协作

用一个 10 Token 请求解释逻辑块、Block Table、Token Slot 与整块分配，再梳理前缀索引、引用计数和缓存驱逐的关系。
作者：CherryYang
标签： #AI infra , #KV , #LLM

推理与 KV Cache 01：从一次生成到显存容量

从隐藏状态与 Q/K/V 出发，串起 Prefill、Decode 和历史 KV 复用，再用 GQA 算例推导每 Token 与整个请求的缓存容量。
作者：CherryYang
标签： #AI infra , #KV , #LLM

从“AI平权”到“可信执行”：LLM与Agent的下一阶段

从“AI平权”到“可信执行”：LLM与Agent的下一阶段 摘要 如果把过去十余年的 AI 发展放在一起看，LLM 带来的变化远不止参数规模的增长和模型能力的提升。更值得关注的是，人类调用计算智能的接口也随之发生了变化。 传统机器学习要求人先把问题转换成特征、标签、模型和程序；LLM 则允许人直接用
作者：CherryYang
共 3 篇文章
页