时间线：12.11 于 ssob 投递，12.12 电话约面（hr 那边背景音非常吵，一听全是在打电话的），12.15 一面。面试时间 55 分钟，已挂。个人反思总结自己当时海投的时候没长眼睛，投了个大数据开发运维的。后来 hr 打电话过来约面的时候，犹豫了一下要不要接。想想还是接了，面试机会难得。也能正好借此机会学到不少东西，提升自己的表达能力和应场心态。这次遇到的面试官听口音是位广东靛仔，非常温和。面试过程中他也很好奇为什么弄后端的投到运维来了，针对我不会的问题也会进行详细的解答，面试下来的体验非常nice。最近心态有点焦躁，准确的说是非常着急。再过两个星期就到月底了，日常实习offer仍...

为啥现在这些b**s上卡学历都这么明目张胆了，还不是一家两家，给个100块钱的b工资还想卡92，谁给他的胆子😅，92的去一天干两小时家教逗小孩也不止100了，就业环境如此差了嘛可爱猫猫镇楼

🥬  

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...