首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

两次技术面都有一个小时，面的都还不错。手撕，问答，项目都没问题，感觉面试官也比较满意。主管面自我介绍完直接问我怎么看待狼性文化，我其实也不是很清楚，网上对狼性文化评价也偏贬义，感觉答的不好，然后最绷不住的来了，面试官来了一句：“在你眼里我看不到对成功的渴望，现在年轻人感觉都挺佛的”我：？？？然后面试官直接问我有什么问题了，全程10分钟，我都以为铁定寄了，结果居然能过😅

突然就收到了库洛的oc，很快的谈薪，很快的逼签，好像自己的去向突然就决定了，确实是自己很喜欢的方向，但当突然做决定的时候还是患得患失的。无法评判，选择无关绝对的好坏，只是在不同赛道里，偏向了更贴合自己的那一个。滴滴美团固然是不错的选择，但二次元领域的适配感，是自己更看重的。毕竟谁也没法预判未来，与其顾虑三五年后可能在互联网面对枯燥业务、深夜加班时的遗憾，不如遵从当下的心意——至少这份对领域的喜欢，是此刻最确定的东西。这种患得患失大概就是成长里的选择题后遗症吧。毕竟没有哪条路能提前看到终点，本就没有标准答案。但反过来想，能在年轻的时候选择一份“提起就会眼睛发亮”的工作，已经比很多在迷茫中打转的人幸运多了。就算以后真的会有遗憾，至少此刻的热情是真的，为热爱拼一次的勇气，也绝不会是白费的。最后祝大家都能签到理想的工作，爽拿offer！

1. 架构设计  2. 技术栈说明  前端: React@18 + Ant Design@5 + TypeScript + Vite 初始化工具: vite-init UI框架: Ant Design Pro (企业级UI组件库) 后端: Supabase (BaaS服务) 数据库: PostgreSQL (Supabase内置) 认证: Supabase Auth 文件存储: Supabase Storage 状态管理: React Context + useReducer 路由: React Router@6 HTTP客户端: Supabase Client SDK  3. 路由定义   ...