只能实习三个月，主要是备战春招，。百度智能云——自进化Agent研究+落地，组内产出FMAgent，250r高德Agent业务向，智能助手，偏业务网易研究院大模型算法500r，组内方向不明确，近期产出子曰3

末9本中科院硕，至今0offer。看到大家都有offer了，好焦虑，毕业论文也没心情干了，在工位一发呆就是一上午。ε=(´ο｀*)))唉。

这几天有点焦虑  感觉一开始准备实习发现好多都不会 看小林八股发现自己数据结构没咋看 那一部分完全看不懂  见都没见过  算法也没刷过好像我大学学习  一直在看一堆中间件  和找一堆bug的路上  搞半天就会敲敲后端代码 用中间件都要捣鼓半天  ai找找使用方法面经也是有的面经还能看懂  有的面经见都没见过大一下刚开学就完弄苍穹外卖就怠惰了一年看着网上一堆27届都润了心里有点不是滋味  后悔当初不如再早一点逃课去找个小破厂实习  而不是在宿舍打游戏了附上:这几天回复我最多的一个  有点感动

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...