首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

暑假投过字节实习，当时无音讯。近期也没投过简历。今天有个字节HR直接加我微信，联系我约面😅本想说最近没时间拒绝的，她直接给我约到12月了，下周一给我发邮件有牛有知道这是啥情况嘛看她朋友圈，似乎就是字节HR不管了，12月试试吧

拼多多秋招面经这两天，我有一个朋友总结了一下自己参加拼多多的面试过程。PDD的面试整体流程不太重，两轮技术面+1轮HR面，技术一面主要侧重八股文+项目，技术二面主要侧重场景题+设计。还有就是一些算法。首先说八股文吧，面试中问到的这些八股文包括RocketMQ、分布式锁、ThreadLocal这些我之前都背过，基本上没啥好说的。JVM堆栈这个刚开始是有点出乎我意料的，没想到问的这么简单。但是后面问了一个对象一定都在堆上吗， 这个幸好我前一天刚刚看过。要不然真就gg了。二面问的场景题比较多，但是也不是完全无迹可寻，其实主要就是一个TOP K问题，一个秒杀场景的问题【拼多多集团-PDD校园招聘】内推...