😅😅😅

最近群里有很多同学找我看简历，问问题，主要就是集中在明年三月份的暑期，我暑期还能进大厂嘛？我接下来该怎么做？对于我来说，我对于双非找实习的一个暴论就是title永远大于业务，你在大厂随随便便做点慢SQL治理加个索引，可能就能影响几千人，在小厂你从零到一搭建的系统可能只有几十个人在使用，量级是不一样的。对双非来说，最难的就是约面，怎么才能被大厂约面试？首先这需要一点运气，另外你也需要好的实习带给你的背书。有很多双非的同学在一些外包小厂待了四五个月，这样的产出有什么用呢？工厂的可视化大屏业务很广泛？产出无疑是重要的，但是得当你的实习公司到了一定的档次之后，比如你想走后端，那么中厂后端和大厂测开的选择，你可以选择中厂后端（注意，这里的中厂也得是一些人都知道的，比如哈啰，得物，b站之类，不是说人数超过500就叫中厂），只有这个时候你再去好好关注你的产出，要不就无脑大厂就完了。很多双非同学的误区就在这里，找到一份实习之后，就认为自己达到了阶段性的任务，根本不再投递简历，也不再提升自己，玩了几个月之后，美其名曰沉淀产出，真正的好产出能有多少呢？而实际上双非同学的第一份实习大部分都是工厂外包和政府外包！根本无产出可写😡😡😡！到了最后才发现晚了，所以对双非同学来说，不要放过任何一个从小到中，从中到大的机会，你得先有好的平台与title之后再考虑你的产出！因为那样你才将将能过了HR初筛！我认识一个双非同学，从浪潮到海康，每一段都呆不久，因为他在不断的投递和提升自己，最后去了美团，这才是双非应该做的，而我相信大部分的双非同学，在找到浪潮的那一刻就再也不会看八股，写算法，也不会打开ssob了，这才是你跟别人的差距。

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...