首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

这种靠谱吗？

想找个寒假实习

总的来说，我的秋招是 He 中带着一半的 Be 吧。现在回头看，刚踏入实习时的自己，对秋招的期待其实特别纯粹——那时候总觉得，本科毕业能在北京找到一份8k+的工作，就已经足够开心了。 可真正在北京实习后，身边优秀的小伙伴们像一束束光，推着我看到了更广阔的世界。不知不觉间，心里的期待也悄悄变重了：我开始渴望进大厂，想在更专业的平台上打磨自己。可惜这次秋招，大厂的门没能为我敞开。说不上多遗憾，却也算不上完美，大概就是“一半He一半Be”的滋味吧。但无论如何，现在的去处，终究是对我大学三年半里那些挑灯夜读、反复打磨代码、认真对待每一次实习任务的努力，最实在的肯定。 人好像真的会越努力越贪心，可这份贪...