首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

测试开发/测试方向，至今0offer

2025年的职场关键词："摸鱼"，一直摸鱼一直爽，公司雇我上班真是有福气了！ 这一年 你说过47524次不想上班 61846次不想活了 最终死亡率高达0% 出勤率100% 这一年 你曾824次暗下决心“明天到公司就提离职”，但依然坚持到12月等明年再说 这一年 你一共被拉进407个工作群 回复“收到 好滴 okk 111”次数高达8164次 其中4387次后面都带了波浪号这一年 你一共发送94658435次哈哈哈哈哈哈，超越全国96%的牛马，你以为自己情绪变得稳定性格逐渐开朗，其实已经疯了这一年 你坚持最久的事情 骂人 以前骂人可能是因为你素质低劣 但今年你骂的每一个人都是...