2025年马上过去了，我已经工作五年了，最开始的时候，我还假定我未来怎么样怎么样，现在也不敢假定了。因为每一年，都是翻天覆地的变化，每经历一年，提升一次认知，思维方式也就随之变化，思考的方向和结果也就不一样。 人的选择也是基于现有情况出发的，每一年都往前走，形势在变，我也在变，最后只能在变化中调整，变化中进取，我没法假定我的未来，但我知道一定会越来越好。 今年的大事件太多了，从华为离职，几个月谷底艰难求生，上岸大厂正编，改了自己的性格，提升了认知，学会了投资理财，儿子出生，换了一辆摩托车，今年的状态，还真应了那句话，《偷得浮生半日闲》，很忙，但是很充实。 未来2-3年，我大概还是会回到南方，去...

？？？？？？如何评价

手机掉到地铁缝里很正常但是掉里面手机页面还显示牛客页面这就很好玩了

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...