首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

Bos上面的很多hr真是傻得，她主动联系我要简历，我说钱太少了，然后就说我经验不行，你主动联系我的好不好，技术在北京这点钱还要硕士，你这个态度，招个毛线🧶

末9本中科院硕，至今0offer。看到大家都有offer了，好焦虑，毕业论文也没心情干了，在工位一发呆就是一上午。ε=(´ο｀*)))唉。

前言：随着考研刚刚结束，如果感觉考研成绩不符合自己的心理预期的话可以趁着这两三个月准备来年的春招，最好不要等成绩出来或者调剂结束，那个时候春招已经开始或者结束，想要找工作就得和社会上的所有人一起去竞争社招岗位了。调整心态与自身定位调整心态：如果感觉考研的这几个月过的非常压抑的话可以先给自己放几天假，休息一下，一定要调整好自己的心态和状态才能全身心的投入到找工作这条路。自身定位：一直考研的同学可能不知道找工作这个市场到底如何，工作难不难找，究竟能找到什么样子的工作，待遇如何等等。先简单说个结论，找个工作的难度并不高，但是想要找个好的工作确实很有难度。首先要明确自己的学校以及水平如何，自己能找什么...