对于清澈的大学生来说，跨越大半个中国到一个完全陌生的地方工作，多少有点慌。幸好同部门小姐姐人都超级温暖。为了入职方便，我提前到公司，是星期天。本以为大家都休息，想着要“自力更生”时，同部门的姐姐主动联系我，在公司接我，陪我入住，拖行李，带我熟悉周边环境，吃了好吃的糖水。入职前，姐姐们就开始关心我，会问我“有没有去吃饭呀，食堂今天的排骨好吃。”感觉并不是完全上下属，前后辈的关系，更像朋友和家人一样。 园区环境更不用说了，免费单人宿舍，干净宽敞，独卫，空调，热水器还有小阳台一应俱全。食堂超好吃，作为一个没在南方生活过的东北人，口味完全可以适应。 工作方面，现在岗位是我的梦岗，但疫情实习机会少，没接...

自己几个月的努力没有白费，真的很开心，也重新拾起能让自己自信的勇气感谢之前各位素不相识的牛友们的鼓励与支持这一刻，坚持仙蛊，练成！

标题党了兄弟们，抱歉民办本科，秋招无果，转战实习，给面试的公司都小公司，并且上周是连挂3个公司，已经感觉到Java这个行业的卷了，不知道还要不要继续坚持Java，，还是转战测试呢？？

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...