首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

我真没招了，像吃了一口💩，恶心坏了

最后再看下工位，就走吧

时间过得真快，作为2024届校招生加入腾讯云智，转眼间已接近一年多。回想起去年提前实习的日子，一切都还记忆犹新。今天我想从新人融入、技术成长、文化氛围等几个方面，分享我的真实体验，希望能为对腾讯云智感兴趣的学弟学妹们提供一些参考。新人融入：导师制与友好氛围刚入职腾讯云智时，我的第一印象是公司对新人的培养体系非常完善。每个新人都会分配一位导师，实行一对一指导。我的导师非常有耐心，从环境配置到业务理解，事无巨细地给予帮助。我们组的氛围也很友好，团队中的每个人都会在你询问时耐心解答，完全不用担心“问蠢问题”。公司文档系统相当规范，新人按照文档就能顺利走完新手期。我记得刚开始是熟悉组内业务，照着文档一...