不到十二点不放弃😂

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

2025年马上过去了，我已经工作五年了，最开始的时候，我还假定我未来怎么样怎么样，现在也不敢假定了。因为每一年，都是翻天覆地的变化，每经历一年，提升一次认知，思维方式也就随之变化，思考的方向和结果也就不一样。 人的选择也是基于现有情况出发的，每一年都往前走，形势在变，我也在变，最后只能在变化中调整，变化中进取，我没法假定我的未来，但我知道一定会越来越好。 今年的大事件太多了，从华为离职，几个月谷底艰难求生，上岸大厂正编，改了自己的性格，提升了认知，学会了投资理财，儿子出生，换了一辆摩托车，今年的状态，还真应了那句话，《偷得浮生半日闲》，很忙，但是很充实。 未来2-3年，我大概还是会回到南方，去...