1. 架构设计  2. 技术栈描述  前端框架: React@18 + Vite 状态管理: Zustand@4 UI组件库: Ant Design@5 + TailwindCSS@3 富文本编辑器: react-quill + quill-image-resize-module 初始化工具: vite-init 后端服务: Supabase（提供认证、数据库、存储） 实时通信: Supabase Realtime 图片处理: browser-image-compression  3. 路由定义    路由路径 页面用途     / 动态首页，展示好友动态和推荐内容   /publish 发布...

两年前 成功上岸美团两年后 女朋友也上岸了美团不确定 再看一眼

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...