难道只能去考研了吗…下面说一下我的情况，我算是消息比较灵通的，大一就库库跟黑马学习，着急着把技术栈都过一遍，大一那会儿的想法是大三给自己一份成绩（进大厂技术岗）拿不出来就去考研…一年后呢，2000+（大概面了十几家吧）找了份北京小公司（快离职了），没啥太大的成长。现在也是见识到了自己确实无力回天研发岗，也是向曾经那个热情的自己回应了妥协的想法，转测开，其实现在在快速学习python 想碰瓷碰瓷深度学习机器学习…，对于我的大厂梦我做出了下面的一份测开简历（图2），打算是熟悉一下，包装，准备来年…  各位朋友怎么看不太想考研因为自己上了民办四年要花不少钱，读研的话又花，条件是不行的，于是就萌生了早早毕业挣钱。要是读读不上92，互联网环境愈发下行，我真告别互联网了…

某中大厂，那我没日没夜这四天算什么，逗我玩，好气呀

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...