实习荣耀or华为

链接

hr面主要问我项目里你负责哪些，怎么做的。需求给你你怎么分析，接口。然后问一些团队合作的情景，你怎么处理的。没问关于华为的文化加班之类的问题。聊了点经历还有些问题忘了整场面试的体感不是很好，感觉很多时候跟面试官都不在一个频道上……此外由于我的项目都是比较简单的课程项目，挺多时候都在尬聊。或许因此把我挂了吧。but还是挺不爽的，算是目前面试体验最差的一次了😡

昨天面试一家，hr面自我感觉良好，今天中午直接感谢信，下午出学校走了6公里又在公交上坐了俩小时。大四了现在还没offer压力有点大，天快黑了，零零散散的雨下了又停，停了又下，有点冷。我现在看着亮晃晃的屏幕发呆，不想回那个冷清清的宿舍。明天是周日，准备还是去逸夫楼背一下八股文顺便写一写课程报告，一天过得好快，我不想这么快啊…

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...