时间线：12.11 于 ssob 投递，12.12 电话约面（hr 那边背景音非常吵，一听全是在打电话的），12.15 一面。面试时间 55 分钟，已挂。个人反思总结自己当时海投的时候没长眼睛，投了个大数据开发运维的。后来 hr 打电话过来约面的时候，犹豫了一下要不要接。想想还是接了，面试机会难得。也能正好借此机会学到不少东西，提升自己的表达能力和应场心态。这次遇到的面试官听口音是位广东靛仔，非常温和。面试过程中他也很好奇为什么弄后端的投到运维来了，针对我不会的问题也会进行详细的解答，面试下来的体验非常nice。最近心态有点焦躁，准确的说是非常着急。再过两个星期就到月底了，日常实习offer仍...

突然就收到了库洛的oc，很快的谈薪，很快的逼签，好像自己的去向突然就决定了，确实是自己很喜欢的方向，但当突然做决定的时候还是患得患失的。无法评判，选择无关绝对的好坏，只是在不同赛道里，偏向了更贴合自己的那一个。滴滴美团固然是不错的选择，但二次元领域的适配感，是自己更看重的。毕竟谁也没法预判未来，与其顾虑三五年后可能在互联网面对枯燥业务、深夜加班时的遗憾，不如遵从当下的心意——至少这份对领域的喜欢，是此刻最确定的东西。这种患得患失大概就是成长里的选择题后遗症吧。毕竟没有哪条路能提前看到终点，本就没有标准答案。但反过来想，能在年轻的时候选择一份“提起就会眼睛发亮”的工作，已经比很多在迷茫中打转的人幸运多了。就算以后真的会有遗憾，至少此刻的热情是真的，为热爱拼一次的勇气，也绝不会是白费的。最后祝大家都能签到理想的工作，爽拿offer！

他也是实习生，与前端同事对接，他给出对于这个问题的想法，前端就只回了一个“？”，或者跟她说修改哪里就只回一个“1”，跟我这个实习同事交流不超过4个字，那个前端也是一个二十三四岁的感觉，笑死了

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...