这篇大模型推理性能优化写的还不错～

二面: 1.项目介绍2. CogVideoX的模型结构、3D VAE的压缩率、MM-DiT的优势、4f+1为什么要+13.FLUX的结构，生成模型的优势4.SD3的架构，生成原理Flow matching5.VQ-VAE使用的的损失函数，训练过程6.VQ-VAE中codebook中的code有的被使用的概率很低，这个是怎么解决的7. Lora的原理，LORA在推理的时候怎么与原参数融合不带来时间成本8. Flow matching与DDPM的区别及优势9.Wan2.1的详细架构和训练细节10.代码题:0841.钥匙和房间

#牛友提问，有问必答#

Bg本2硕top2非科班，秋招目前0offer全在泡池子百度 高性能计算 offer评估中清华的芯片初创 推理框架曦望 商汤分出来的芯片 推理优化和算子都有迈驰 模型部署优化小米 端侧算法优化华为 2012操作系统ai方向字节和阿里都终面挂。目前都告知面试通过，都在泡池子。薪资应该前4个差不多，博主目前比较倾向前三个。小米和华子会低不少应该。目前比较纠结去哪个，看到大家都不建议应届去初创，但面试下来感觉初创的面试体验挺好的，面试官很专业，公司貌似amd跳过来的不少。不过确实信息太少，不确定性有点大。以及也没大厂offer主要是。

1. 你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2. 构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多用户并发中怎么做隔离？你是如何保证线程安全的？3. 微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。4. DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？5. 你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？6. 假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？7. 多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？8. 你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？追问：有没有做过工具调用失败后的feedback策略设计？9. 训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？10. 有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？11. 你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？反问环节