途虎养车2023届秋季招聘开始啦，hc多多，速速投递

从5月7号入职到现在已经过了一周啦，记录一下最真实的感受…… 公司的伙食还是很不错的，每天餐补38元，早中晚各8-15-15，每天下午还有固定的下午茶，随机刷新糕点饮品甚至还有KFC。 午休时间也很完美，十二点到十四点（包括吃饭时间），应该算行业内中上水平了。虽然一周会有那么几天要上班到晚上八点半，但好像又没有觉得抗拒。 在这里每天都能学到很多很多在学校中接触不到的知识，能直接接触一线开发环境，在项目中将知识结合实践，对于我这个双非本实习生来说还算是很有价值的。组内同事跟导师也非常友好，虽然我没什么开发经验有时会问一些很低级的问题，写代码时也偶尔犯一些低级错误。今天15号是前公司发工资的日子，...

发的消息看都不看了，现在是不招了吗

看大家晒offer狠狠焦虑半年后，迎来了自己的大厂offer从腾讯终面排序挂，字节三面技术面挂后，第三个大厂抛来了橄榄枝，永远爱你米宝

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...