背景与闯祸实习期间承接需求时，我发现很多系统的业务逻辑盘根错节，上下文关联极深。有时需求本身涉及的代码改动明明很简单，可要是不把背后的业务脉络和代码逻辑摸透，就根本没法理解修改的初衷。最开始我接手需求，往往只盯着技术需求文档（TRD）里的修改要求，照着文档改完代码、做完自测，就觉得万事大吉了。到了代码评审环节，大家都要逐一讲解自己负责的需求和对应的代码改动。我负责的部分改动点很简单，无非是删几行冗余代码、调整一点参数配置，所以准备得很仓促，没多琢磨背后的逻辑。评审时，同事们针对这些修改提出了不少问题，比如 “为什么要删掉这段代码？会不会影响下游接口的调用？”“这里的参数调整有没有考虑到历史数据...

突然就收到了库洛的oc，很快的谈薪，很快的逼签，好像自己的去向突然就决定了，确实是自己很喜欢的方向，但当突然做决定的时候还是患得患失的。无法评判，选择无关绝对的好坏，只是在不同赛道里，偏向了更贴合自己的那一个。滴滴美团固然是不错的选择，但二次元领域的适配感，是自己更看重的。毕竟谁也没法预判未来，与其顾虑三五年后可能在互联网面对枯燥业务、深夜加班时的遗憾，不如遵从当下的心意——至少这份对领域的喜欢，是此刻最确定的东西。这种患得患失大概就是成长里的选择题后遗症吧。毕竟没有哪条路能提前看到终点，本就没有标准答案。但反过来想，能在年轻的时候选择一份“提起就会眼睛发亮”的工作，已经比很多在迷茫中打转的人幸运多了。就算以后真的会有遗憾，至少此刻的热情是真的，为热爱拼一次的勇气，也绝不会是白费的。最后祝大家都能签到理想的工作，爽拿offer！

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...