携程下周三的上海站点面试

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

都说人要不忘初心，始终如一，但是真的做到太难了，所以互联网也越来越不正经，忘记自己的初心了。小 红书：百度（百度天天拿着广告赚钱，用百度搜索根本搜不到有用信息了，现在小红书已经成为很多人的搜索工具了）；百度：看病量刑（源于百度问医，然后百度为了盈利把一些骗人的医生和医院置于靠前为主，官媒《人民日报》都diss过，所以“度娘成名医”大家就都知道了 ）；微博：维权/吃瓜/发疯（微博热搜是舆情的风向标，很多大瓜都是在这上面爆料的，看看今天有啥瓜没有）；微信：工作、钱包（工作用微信群，支付用微信钱包）；哔哩哔哩：上大学（最早应该是宋浩《高等数学》同济版教学视频、名校公开课等免费课程在 B 站上，大量大...