华为4.27机试 2012中央硬件

末九本，gpa前25%，有个水赛国二，综合成绩可以本校保研，但之前个人不是很喜欢科研，所以在这学期小厂实习了三个月，方向是java后端。现在是十二月下旬，离职已经过了快半个多月，但是大厂实习一直找不到，官网ssob都石沉大海，唯一约面的还给我前一天临时取消说项目上线不面了。今日剖析审视了下自己，其实家里也没有很急着让我找工作，只是我想早点赚钱。但是经历一个学期的实习和面试之后，我觉得自己很矛盾，一方面想早点赚大钱有一份出人头地的工作，一方面又想求稳选择自己感兴趣的方向享受生活。 现在给我留的就是三条路： 1.继续找大厂实习，风险很大，就算找到了，三月底暑期开面，可能来不及准备 2.沉淀到三月底...

虽然还没开奖，但是有一些就算开多少也不准备考虑了，早早提前释放了，万一以后社招留点后路。

总感觉自己没有被尊重

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...