都说人要不忘初心，始终如一，但是真的做到太难了，所以互联网也越来越不正经，忘记自己的初心了。小 红书：百度（百度天天拿着广告赚钱，用百度搜索根本搜不到有用信息了，现在小红书已经成为很多人的搜索工具了）；百度：看病量刑（源于百度问医，然后百度为了盈利把一些骗人的医生和医院置于靠前为主，官媒《人民日报》都diss过，所以“度娘成名医”大家就都知道了 ）；微博：维权/吃瓜/发疯（微博热搜是舆情的风向标，很多大瓜都是在这上面爆料的，看看今天有啥瓜没有）；微信：工作、钱包（工作用微信群，支付用微信钱包）；哔哩哔哩：上大学（最早应该是宋浩《高等数学》同济版教学视频、名校公开课等免费课程在 B 站上，大量大...

让面试官破防，那我在行，经过了这么多次的破防，面试官已经是我最烦的人之一，总是不经意间就告诉你“很遗憾……”“你很优秀，但……”，这波直接倒反天罡，对不起面试官，我更喜欢腾讯……字越少事越大！说完直接下播走人，要坚决！要决然！要洒脱！做梦都想去鹅厂，有鹅选鹅前提是有选择，鹅厂真的是梦中情司，就让我做个梦吧~ps：图文无关，请勿认真

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...