首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

标题党了兄弟们，抱歉民办本科，秋招无果，转战实习，给面试的公司都小公司，并且上周是连挂3个公司，已经感觉到Java这个行业的卷了，不知道还要不要继续坚持Java，，还是转战测试呢？？

hr面主要问我项目里你负责哪些，怎么做的。需求给你你怎么分析，接口。然后问一些团队合作的情景，你怎么处理的。没问关于华为的文化加班之类的问题。聊了点经历还有些问题忘了整场面试的体感不是很好，感觉很多时候跟面试官都不在一个频道上……此外由于我的项目都是比较简单的课程项目，挺多时候都在尬聊。或许因此把我挂了吧。but还是挺不爽的，算是目前面试体验最差的一次了😡

都说人要不忘初心，始终如一，但是真的做到太难了，所以互联网也越来越不正经，忘记自己的初心了。小 红书：百度（百度天天拿着广告赚钱，用百度搜索根本搜不到有用信息了，现在小红书已经成为很多人的搜索工具了）；百度：看病量刑（源于百度问医，然后百度为了盈利把一些骗人的医生和医院置于靠前为主，官媒《人民日报》都diss过，所以“度娘成名医”大家就都知道了 ）；微博：维权/吃瓜/发疯（微博热搜是舆情的风向标，很多大瓜都是在这上面爆料的，看看今天有啥瓜没有）；微信：工作、钱包（工作用微信群，支付用微信钱包）；哔哩哔哩：上大学（最早应该是宋浩《高等数学》同济版教学视频、名校公开课等免费课程在 B 站上，大量大...