许愿offer

一句话总结：后端简历项目的选择，其实从我个人经验来看就两个方向：要么你选择的项目足够新奇，面试官看了超极感兴趣。要么你选择的项目足够扎实，八股技术涉及的多，适合当八股触发器。而对于这两个方向的偏好，我个人建议：非92的往新奇方向走，要出奇制胜。92的往扎实方向走，稳扎稳打。或者可以均衡一点，两个项目中一个新奇的，一个扎实的。如何选择新奇方向？在这里我都只推荐一个地方：Github。在Github上找高Star的项目，拉下来代码之后用AI读懂，搞出来几条产出说是自己做的。不推荐你们去哔哩哔哩找，最大的原因是：不是你没听过的项目就叫新奇项目。但是如果一个项目在Github上获得了海量的Star，那...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...