首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

标题党致歉。。为什么我找不到实习啊啊啊啊啊啊啊啊啊我知道我的简历很烂应该怎么改啊

不知道为什么会有这种雷霆惩罚

1.自我介绍2.项目拷打3.GMP模型，线程和协程的区别4.当程序有很多goroutine时，他怎么调度执行切换5.GC详细解释混合写屏障6.100个协程依次打印1-1007.defer执行顺序8.defer可以修改返回值吗9.哪些异常不会被recover10.子协程为什么推荐要加一个recover11.tcp四次挥手12.为什么要time wait，时间多长13.服务器上如果有很多time wait如何解决，以及出现这个问题的场景有哪些14.服务器cpu占用过高如何去定位，如何发现和判断死锁发生的位置15.http和https的区别，TLS过程16.cookie和session区别17.用j...