首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

遇到个**主管，全程上压力，不给过

25届秋招Java只找到了一个中厂开发，今年春招却意外进了一个大厂测试开发，因为对大厂有滤镜因此还是不顾工作内容选择了这个offer，校招入职半年终究还是觉得不适合自己。其实很早就发现了不太喜欢这份工作，但碍于现实，还是得干下去。也想过再复习复习知识再去找工作吧，可是想着自己早已忘光的知识以及外面会因为我目前的岗位而不认可自己等种种想法，迟迟没能开始。这个周末的晚上心血来潮地想着写写算法题吧，10分钟后我看着提交没过的两数之和沉默了，我忘记了map要模板类型了，数组定义也写错了，仅仅七八个月没碰过这些内容，已经变成了这样。想了想，还是看看以前的东西吧，看看自己的校招投递记录看看以前在论坛的聊天...