字节内推

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

沟通了700+ 只投了50多份简历，两个面试，是简历问题吗😢😢ps：面试两次都不出意外的秒挂了，抄的星球项目很多地方都忘了，感觉需要更熟悉一点。两次面试基本都没问我java八股😇，感觉和面经内容好不相符！我还想在其中一个项目加点ai内容，合适吗？

对不起度，有鹅选鹅套公式了球球度不要拉黑

bg:9本大二/主go/一段实验室打工经历1. 个人基本情况面试官： 请简单做一下自我介绍（项目背景）。面试官： 为什么大二就开始把 Go 作为主要开发语言？2. 实验室经历（一个Agent & RAG 系统）面试官： 实习主要做了什么内容？面试官： RAG 用到了什么框架？数据切片怎么设计的？面试官： 数据处理上有做优化吗？面试官： 切片是否导致上下文割裂？3. Go 语言基础面试官： 有看过 Map 或 Channel 的源码吗？面试官： Map 的初始化和并发安全问题？面试官： 如果不加锁并发读写 Map 会怎样？面试官： Channel 已经关闭了，去读会怎样？面试官： 向已关...