首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

嵌入式真是钱少事多升职慢

先说背景吧，鼠鼠bg双2，一顶刊，一顶刊返修(找了暑期实习以后才中了），硕士国奖，一段手机厂的工具开发(利用AI工作流做自动化任务分析），秋招找的Java开发岗整个秋招挺自我怀疑的，一开始都没有约面，到现在拿到荣耀，华为，百度，钉钉，网易，京东，快手，多多的offer也没有多开心，其实开的都一般。自己也想过要不要走算法岗，但是因为在暑期的时候论文都没中，所以毅然决然的走了开发岗，幸好实习允许我自由发挥，做了AI相关的，所以不知道春招还有没有机会。说一下论文吧，论文做的是PLM微调，大模型提示词，也有RAG这种，更加趋向于针对特定任务的方法论。所以一开始没走算法也是因为这个，不知道走什么方向。现...