首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

实习生分两种：一种忙得脚不沾地，一种闲得怀疑人生。后者每天到工位第一件事是思考：今天该怎么装忙？这种“无事可做”的实习状态，有人觉得是福报，有人觉得是灾难。到底该偷着乐还是赶紧跑？  一、摸鱼党 我是属于摸鱼党，在合理的情况下摸鱼是非常合适的！如果实习生每天都要加班的话，那就太苦了，一般情况下，实习生和正式工的薪资相差好几倍，还要加班，在某种对比下还是太亏了！ 带薪自习，美滋滋 有位实习生骄傲宣布：“实习生就是爹，更是爷！不转正就大胆摸鱼！”这种心态就像考试提前交卷——反正不计分，随便写写就行。月薪三千五，每天发呆八小时，时薪算下来还挺高？ mentor都懒得管 一位mentor透露：“只要表...