快手疑问

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

我真没招了，像吃了一口💩，恶心坏了

夜深了，我带着疲惫不堪的面庞和熠熠生辉的双眼，坐在电脑前，提笔却又放下，娇柔婉转，愁肠百结在这一刻体现的淋漓尽致，我该怎么写呢，是写我继续百折不挠的去争去抢，去干去卷？可我真的好累啊。还是写我已经被这人生击碎了梦想，不再百舸争流，也不再百尺竿头，可是我满心不甘。 我怎么呢允许我这一生就如此呢？哪怕最后没有什么所谓的成就，哪怕最后我的理想没有达成，可是我也要我有的态度啊，可是我也不能就此放弃啊，那样，我没法给自己一个交代。 我染上了哪些病？我的病多了，高强度的内卷，肯定让我的身体消耗严重，腰不舒服，经常头痛，要保持运动，不然喘不过气，身体也会不舒服，更重要的事心理上的病，想卷吧，遥遥无期，疲惫不...