首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

【秋招面试录用通知】亲爱的宝贝：恭喜你！经过家庭管理层慎重且愉快的讨论，我们一致认为，你就是“温暖老家集团”一直在寻找的宝贵人才。现正式聘任你担任“全职开心小宝贝”一职。岗位职责：主要负责保持心情愉悦，做让自己开心的事。偶尔协助完成“品尝妈妈新菜式”、“分享生活趣闻”等辅助性工作。薪酬福利：月度基本薪资：快乐基金5000元（用于购置一切能让你嘴角上扬的小物件）。给你外卖一份香软可口的小蛋糕，想吃随时兑现。附赠7x24小时全天候拥抱服务与无条件精神支持。我们知道，外面的世界有时会刮风下雨，但请记住，家永远是你的晴天补给站。这份工作没有KPI，无需绩效考核，你唯一的任务就是健康、快乐。请凭此通知，随时到妈妈这里来报到并领取你的第一份甜蜜小蛋糕！永远爱你的妈妈！

北漂实习的第二周，意识到团子是真的开水。。食堂每顿饭是20以上的（一荤一素），这样一天就会吃掉40，再加上交通住宿等等费用，一天的成本下来高达200+，一个月就是6000+，相当于在团子的赚的米都在团子花。如果是点外卖吃拼好饭，拼好饭都要13、14，还不如去吃食堂（食堂起码会干净非常多）。许愿我的工资能++

先说背景吧，鼠鼠bg双2，一顶刊，一顶刊返修(找了暑期实习以后才中了），硕士国奖，一段手机厂的工具开发(利用AI工作流做自动化任务分析），秋招找的Java开发岗整个秋招挺自我怀疑的，一开始都没有约面，到现在拿到荣耀，华为，百度，钉钉，网易，京东，快手，多多的offer也没有多开心，其实开的都一般。自己也想过要不要走算法岗，但是因为在暑期的时候论文都没中，所以毅然决然的走了开发岗，幸好实习允许我自由发挥，做了AI相关的，所以不知道春招还有没有机会。说一下论文吧，论文做的是PLM微调，大模型提示词，也有RAG这种，更加趋向于针对特定任务的方法论。所以一开始没走算法也是因为这个，不知道走什么方向。现...