我发现实习话题上的网友分为两种：一种是正常交流经验的，一种是学历警察+大厂卫道士。第二种特征非常明显，看到有人分享小厂/创业公司实习就来嘴一句：这也算实习？没有大厂经历简历直接筛掉建议gap一年再投。可能名为职场焦虑有传染性，已经从应届生感染到在职人员了。几乎我看到的每一个非大厂实习经验贴下面都有这种学历警察。但小破二本学姐来现身说法：优秀的实习经历≠大厂logo，任何人都可以通过普通实习获得超优秀的成长！叠甲：大厂里的优秀实习肯定还是会更亮眼的嗯什么是真正优秀的实习？✅ 有清晰的产出✅ 掌握了某某技能✅ 理解并能复现完整的工作流✅ 能独立解决问题✅ 有可展示的作品这些能力，跟公司大小无关，跟...

我可能就是那个无志的飞舞吧哎

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...