4.19 淘天业务技术一面

一、算法与基础1. 手撕Transformer decoder层代码，要求实现mask机制2. 预训练时为什么要用Masked LM而不是直接预测下一个token？3. 大模型量化中，INT4和FP16的精度损失主要差在哪些场景？怎么弥补？4. 讲一下MoE结构的原理，为什么能在增加参数量的同时控制计算成本？二、项目深挖1. 你做的大模型压缩项目，为什么选择知识蒸馏而不是量化？2. 训练时遇到过loss震荡吗？怎么定位是数据问题还是模型问题？3. 你们的模型部署延迟要求是多少？用了哪些优化手段？4. 如何评估一个生成模型的创造性？有哪些量化指标？三、业务场景题如果让你设计一个垂直领域小模型，数据量有限但要求推理快，完整流程会怎么设计？

看了小红书还有牛客上的一些面经，发现好多标题某某大厂的大模型应用开发的面试题全是考的算法相关的，这是真的吗？我也有过一两段agent的实习经历，我觉得agent开发更多的是偏向工程，想问一下面试过的师兄师姐真实的情况到底是怎么样的

工作地点选上海还是杭州呢杭州公积金高一点点应届有三万补贴我的部门主要在上海，并且上海活动多一点，还能见到明星

1. 阿里淘天（AI Agent应用开发，杭州）n×16，工作强度10 9 5做物流技术相关的大模型算法应用开发，在算法团队，做Agent工作流搭建以及模型微调。2. 拼多多（算法工程师，上海）（n+6）×18，工作强度10 10 6做temu海外市场营销相关的大模型算法，例如产品定价、小语种翻译、内容生成等。校招offer选择：淘天or拼多多?