分享下面经，市场 3月15日投递 3月17日收到测评邮件 3月27日再次收到测评邮件（前面收到忘记做了…后面再次收到才想起来做） 4月3日收到面试邀约 4月6日面试 初试过程： 我们组应该是安排了7个人，腾讯会议，不过有两个人没按时参加，所以一共是5人群面 一开始以为会自我介绍，但是测试了一下声音和画面后就直接进入读题思考环节了！具体是： 🚩小组讨论环节 3⃣min 读题+个人思考（我的题目是看图思考产品，包括产品定位、客户定位、产品特点优势、口号、代言人等等） 1⃣min 每个人分别发言（没有顺序，谁想说就说，但是1分钟时间到hr就会打断） 1⃣5⃣min 小组讨论 3⃣min 推选一名代...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...