首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

😁😁😁

深圳某不知名公司  

思摩尔结构工程师一面一面技术面，面试官比较年轻，共23min1、面试官上来要求先说说你对思摩尔的了解2、自我介绍3、针对第一个项目的提问：项目背景？你承担的工作？你在项目中遇到的问题？你最大的收获？这些项目中设计的产品有在企业中应用过吗？没有应用的原因你觉得是什么？4、针对第二个项目的提问：在项目中成员有分歧怎么办？有人不配合怎么办？5、除了学校学习和项目科研的内容，你最近有学习过什么新技术吗？6、反问环节（最长的一次）面试官详细介绍了工作内容后续流程，还有总部的一轮面试思摩尔国际2026全球校园招聘倒计时❗还没拿到offer的同学抓紧时间⏰【急招岗位】①技术研发类硕士（24-30W）：产品企...