秋招这场年度大戏，总算在冬天来临前杀青了！有人手握offer美滋滋，有人邮箱寂静心空空。打开朋友圈，一半人在晒“签约照”，配文“未来请多指教”；另一半人深夜发歌，《凉凉》单曲循环。而屏幕前的你，是那个已经领到职场入场券的幸运鹅，还是那个在简历海里扑腾到虚脱的“求职小鱼干”？  一、那些年，我们追过的大厂梦 有人说2025年的主题是“蛰伏”，要我说，是“实习狂魔の一年”。从线上远程到线下跑断腿，从美团到拼多多，双非学子硬是把实习日历填成了连连看。每天早十一晚十，单休比奢侈品还稀罕，脑子里就一个念头：“熬到转正，我就是人上人！” 结果呢？Leader一句“你和岗位不太匹配”，瞬间梦碎。但奇怪的是，...

哈哈哈 和你们开玩笑的

所以我要怎么学？给我整笑了

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...