背景：本人是刚毕业不久的应届生，目前在职，主要技术栈是 Go 后端开发。日常工作内容以业务 CRUD 和 LLM API 调优为主。我算是一名大模型的深度用户（从 GPT-3 时代开始接触），目前在工作中，我现在的开发模式基本是“我描述，AI 写”。客观地说，现在的顶级模型写的代码确实比我严谨，效率也高。虽然这极大地提高了工作效率，但我深刻感觉到，相较于毕业前，我的原生编程能力（Coding）和算法基础出现了显著的退化。但是想和大家聊聊最近的一个严重焦虑：我觉得我的代码能力废了。我现在非常矛盾：一方面，公司业务节奏快，为了交付，我必须用 AI，根本没有时间让我慢慢手敲代码来“复健”，而且在“好...

看不出来真假了

谢谢各位大佬

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...