科大讯飞 合肥

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

标题党致歉。。为什么我找不到实习啊啊啊啊啊啊啊啊啊我知道我的简历很烂应该怎么改啊

9本港大硕 手撕写出来了终端AI应用一面挂求捞，还能投其他部门AI岗吗

bg双非本无实习经验投了网易的客户端日常，面了60+min面试官人很好，考的c++八股基本是很基础的，在视野范围内，可惜我八股临时背的不够熟练，有些概念没吃透拷打了挺久的项目，主要是关于lua的，从中也认识到了自己实现上的不足最后来了一段手撕业务题，一下子懵了，感觉leetcode白刷了hhh总体来说对自己的表现还算满意，没卡在最担心的八股上面就是胜利x 不过却在没怎么准备的unity/c#八股上栽跟头了x 还是对自己太自信了，业务和八股还是有一条鸿沟的。晚点简单复盘一下吧许愿一个二面