✨入职感受 ①公司环境很好 我在讯飞小镇办公，园区外部环境、就餐环境、办公环境都不很不错，园区内还有卡旺卡、瑞幸、罗森、药房、轻食店等，购物方便 ②福利待遇也不错 工资2多，每个月有200餐补，可以申请免费宿舍，打车可以用内部ai拼（乘客免费，司机有补贴） ③饭不太好吃 中午吃的排骨麻辣香锅，味道有点一般，排骨有点腥，炸猪皮个人感觉有点腻，吃了一点实在吃不下了 ④工作氛围比较轻松 带我的两个姐姐都很好，说话很温柔，其中一个只比我大一点点，相处起来很轻松，主动带我吃饭、跟我介绍园区，还请我喝了东西 ⑤通勤有点麻烦 学校离讯飞小镇太远了，班车在学校南门，我宿舍在西门，坐班车不方便。而且班车7点多出...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...