美团点评事业部的产品同学

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

27届双非最近想要找实习，佬们能拷打一下吗😇

游卡服务端开发面经（已oc） 一面1.自我介绍2.虚函数和多态3.vector删除一个元素如何实现的，讲讲移动语义，如何回收一个vector的内存（创建一个空的，移动给现在的（挺巧妙））4.讲讲几种智能指针的应用场景、weak_ptr如何保证在使用期间资源不失效的5.socket编程的流程6.进程、线程、协程7.cpu计算密集型任务用多线程还是多协程,为什么8.死锁是什么，如何解决9.每次生成1个1到1亿的随机数、且不重复10.反问二面+hr面1.自我介绍2.实验室项目拷打，做的东西偏底层，为什么想来做游戏3.bustub，为什么用B+树4.了解innodb的页面组织形式吗5.了解mangod...