hr面主要问我项目里你负责哪些，怎么做的。需求给你你怎么分析，接口。然后问一些团队合作的情景，你怎么处理的。没问关于华为的文化加班之类的问题。聊了点经历还有些问题忘了整场面试的体感不是很好，感觉很多时候跟面试官都不在一个频道上……此外由于我的项目都是比较简单的课程项目，挺多时候都在尬聊。或许因此把我挂了吧。but还是挺不爽的，算是目前面试体验最差的一次了😡

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...