首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

听说华为云又被叫缅北云，一去一个不吱声，8,9月份刚刚大量人员输出，后面业务造假，听着都吓人，还好没去，去了也是卖命，直接拒绝发送简历，拒绝加微信，面试官直接给我回了个“？”我：已读，不回，高冷。

最近找了个北京实习，和爸爸说要去北京实习，租房寻求一些资金支持，结果没想到他对我说：你去什么北京？小姑娘不要跑远地方，毕了业回家找个差不多的工作就得了..... 我真没想到这是我爸能对我说的话..... 好寒心非常的寒心😭主包决定找朋友先借钱了，这个家我真的是不想回😭

夜深了，我带着疲惫不堪的面庞和熠熠生辉的双眼，坐在电脑前，提笔却又放下，娇柔婉转，愁肠百结在这一刻体现的淋漓尽致，我该怎么写呢，是写我继续百折不挠的去争去抢，去干去卷？可我真的好累啊。还是写我已经被这人生击碎了梦想，不再百舸争流，也不再百尺竿头，可是我满心不甘。 我怎么呢允许我这一生就如此呢？哪怕最后没有什么所谓的成就，哪怕最后我的理想没有达成，可是我也要我有的态度啊，可是我也不能就此放弃啊，那样，我没法给自己一个交代。 我染上了哪些病？我的病多了，高强度的内卷，肯定让我的身体消耗严重，腰不舒服，经常头痛，要保持运动，不然喘不过气，身体也会不舒服，更重要的事心理上的病，想卷吧，遥遥无期，疲惫不...