入职一个多月了，来分享一些landing的感受～ 整体说下：可以打85分，毕竟当时辞职就是想要走出舒适圈，的确也会有些不舒适，但基本上是因为阿里和网易风格有差别，需要一些时间适应 我所在的产品线整体风格不卷，加班不严重，周末大家都安排自己的生活，可以安心放下手机，也让我彻底放下“不秒回羞耻症” 阿里云团队规模太大，分工很细，人也很多，想搞清楚一件事情要对接好多好多人，要熟悉的流程也贼多，这个过程的确有些累，但我估计只要在大厂都会这样 感觉这边做事情自由度更高，换句话说，老板只要结果，过程怎么做自己想办法去 凡事凡人都爱讲价值。初次对接的其他部门的同事，也会直接问我，“你对业务的价值是什么” 前...

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...