首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

这个公司真的来对了，今天第一天真的感觉到了公司的氛围很棒，上午就光忙着办手续和签合同，下午就配环境，配环境确实很烦人的，我一定要整一个配环境的文档，造福公司后续的实习生公司给每个新人都准备了礼包，瞅上去确实很喜欢我还发现上班的一个姐姐居然是我的同校学姐，真的很nice捏希望日后也可以一番风顺吧

😭😭😭😭捞一捞孩子吧，可以出省，接受外包，捞一捞吧捞一捞吧!

25届考研落幕，好多宝子私聊我：没实习、没项目经验，能冲华为OD吗？甚至还有24届考研耗到现在的同学，焦虑得不行。我的答案是：当然可以啦！那为什么0经验也能进OD呢？1、OD本质是补充性招聘：原本是华为为了解决研发人手不足，面向社招的另一条通道。门槛确实比正式编制要求低一些，更看重学习能力和执行力，而不是简历背景。 2、机考才是硬门槛：华为OD的筛选重点在机考成绩，比如常见的400分制，考到150分就有机会面试。3、面试看的是潜力：OD面试官知道有些人是转行/非科班，提问不会像正式校招那样各种高难度轰炸，他们更看重：①代码实现是否扎实②思路能不能清晰表达③学习态度是否积极必备技能：算法题：至少...