北极熊不吃企鹅宝宝

推理与 KV Cache 05：从 Top-K 到数据就绪

以 Top-K 选中三个 Block 为例，串起驻留目录、在途加载、读放大与异步预取，并区分介质选择和互联路径。

作者：CherryYang 发布时间：2026-11-12

分类：推理与 KV Cache

标签： #AI infra , #KV , #性能建模

推理与 KV Cache 04：如何判断 KV 卸载是否划算

从容量和带宽预算占比出发，区分恢复路径与 Attention 访存，结合时延窗口和重算门槛判断 KV 卸载是否有收益。

作者：CherryYang 发布时间：2026-11-12

分类：推理与 KV Cache

标签： #AI infra , #KV , #性能建模

推理与 KV Cache 03：从 Block ID 到字节地址

用可手算的地址例子比较 Layer-major 与 Block-major，解释 Shape、Stride、六种 KVCacheLayout 和跨层连续分配的适用条件。

作者：CherryYang 发布时间：2026-11-12

分类：推理与 KV Cache

标签： #AI infra , #KV , #内存布局

推理与 KV Cache 02：分页、共享与回收如何协作

用一个 10 Token 请求解释逻辑块、Block Table、Token Slot 与整块分配，再梳理前缀索引、引用计数和缓存驱逐的关系。

作者：CherryYang 发布时间：2026-11-12

分类：推理与 KV Cache

标签： #AI infra , #KV , #LLM

推理与 KV Cache 01：从一次生成到显存容量

从隐藏状态与 Q/K/V 出发，串起 Prefill、Decode 和历史 KV 复用，再用 GQA 算例推导每 Token 与整个请求的缓存容量。

作者：CherryYang 发布时间：2026-11-12

分类：推理与 KV Cache

标签： #AI infra , #KV , #LLM

共 5 篇文章

页