年度身份认证：资深码农（官方认证版）📊 年度数据大盘点：🖥️ 写代码：128,576行（其中32,144行来自CV大法）🐛 造BUG：328个（成功修复327个，剩下1个是祖传的）☕ 喝咖啡：459杯（公司咖啡机VIP客户）🌙 加班时长：286小时（比去年少了1小时，进步了！）💬 高频台词排行榜：🥇 “这个需求...” 586次🥈 “在我电脑上正常” 328次🥉 “重启试试” 245次🎖️ “这个做不了” 12次（虽然说了，但最后还是做了）🏷️ 年度标签：#咖啡因重度依赖 #产品经理克星 #Git艺术家 #深夜debug王者 #CV工程师💡 年度感悟：✨ 白天不懂夜的黑，...

自己几个月的努力没有白费，真的很开心，也重新拾起能让自己自信的勇气感谢之前各位素不相识的牛友们的鼓励与支持这一刻，坚持仙蛊，练成！

👋个人背景：9本 Java后端👏offer1：顺丰 base深圳，大白菜年包27，已发offer邮件，要求下周三签三方。听说顺丰加班严重，福利一般，深圳南山租房等物价也贵，不过后续跳槽的title似乎还行？💯offer2：满帮海外业务，base南京，10月14收到意向，正式offer说是在10-12月发。了解到满帮薪资不错，往年能有(22-24)*13.5。不过海外业务似乎是满帮子公司，担心跳槽认可度低，而且公司是今年4月份成立，担心不稳定。uu们觉得签顺丰还是等满帮offer好呀？另外，虽然南京物价低，我担心后续社招跳槽要求线下面试的话，南京不方便？😥有没有懂的大佬介绍下

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...