很多人实习时最真实的状态，不是忙到飞起，而是“没人管、没任务、坐一天”。一开始觉得轻松，时间久了就开始慌：这样躺着，真的没问题吗？从短期看，实习没事做像是“福”。不用加班、不背锅、没人盯进度，甚至还能提前下班。对刚进入职场的人来说，这种低压环境很舒服，也容易让人产生“实习也不过如此”的错觉。但从长期看，这更像是“慢性祸”。实习的本质不是体验上班，而是用最低成本换一次真实职场训练。当你没有参与项目、没有接触核心工作、没有产出，你在简历和能力上都是“空白实习”。时间一过，这段经历几乎不可复用。实习躺平是不是好事，取决于你在“躺”的时候做了什么。如果只是刷手机、等下班，那是纯消耗；如果主动补基础、看...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...