阿里夸克算法实习面经 攒人品

1.Lora 的相关八股:常见参数、缩放
2.有没有做记忆衰退,避免旧数据干扰新任务?
3.Deepspeed zero3为什么比zero2更省显存
4.训练大模型的框架都有哪些呢
5.讲解一下 Flash Attention
6.讲解一下 Qwen 的滑动窗口注意力机制,计算量是多少?
7.PPO 的损失函数构成。
8.讲解一下KL散度。PPO和GRPO的损失函数有哪些区别?
9.在高并发查询 Agent 系统中,你会如何优化召回和生成阶段的延迟?
10.32B 模型全量微调 和Lora 微调的显存估算
11.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的?
12. human feedback 是怎么被 agent 消化吸收的?
全部评论
实习都问的这么难嘛
点赞 回复 分享
发布于 01-19 18:08 江西
这问题密度,感觉有希望啊
点赞 回复 分享
发布于 01-10 21:39 北京
你这是日常实习?
点赞 回复 分享
发布于 01-10 17:30 陕西

相关推荐

01-29 19:29
已编辑
北京信息科技大学 Python
1.自我介绍;2.本科毕设项目介绍;3.Retinaface和Facenet的具体网络模型;4.Retinaface是如何检测人脸的,Facenet是如何识别人脸的;5.项目的创新点有什么,评判指标是什么;6.检测和识别用的时间,其中esp8266,mg996r分别是做什么用的;7.大模型量化比赛项目介绍;8.AWQ和GPTQ是什么;9.什么模型适合用AWQ,什么模型适合用GPTQ;10.其中最优的参数是怎么得到的;11.llm- benchmarker怎么用的,是什么评判指标;12.了解算子吗?(marlin kernel)详细说一下这个算子是什么;13.除了量化其他的方法了解吗?(压缩、减枝、LoRA)14.LoRA是什么;QLoRA是什么?为什么要用LoRA;15.具体的原理是怎么样的;16.如何将LoRA结合到TransFormer各个层?17.介绍一下TransFormer的架构;18.Encoder和Decoder是由什么组成的;19.MHA细节是怎么样的(QKV),softmax是干什么用的;20.单头注意力和多头注意力有什么区别;21.为什么MHA下面要除根号d;22.潜在多头注意力了解吗,多头注意力的作用;23.FFN详细说一下;24.残差链接有什么用;25.Layer Normalization有什么用;26.Layer Normalization和Batch  Normalization的区别;27.Qwen3的基础架构是怎么样的;28.Qwen3和Qwen2.5相比有什么区别;29.Qwen3和DeepSeek有多少个头;30.大模型要训练出思维链应该如何训练;31.如何平衡精度和推理速度,怎么做trade off的;32.了解Agent吗,做过什么agent项目33.Dense模型是什么;34.MoE、MLA是什么,详细讲一下;35.LoRA的偏置矩阵详细说一下,为什么LoRA初始化A要正态分布,B要初始化为0;36.秩是什么意思;怎么理解;37.Qwen3哪里做的好;38.快手实习项目介绍;39.经纬恒润实习项目介绍;40.了解量化交易吗;41.你平时做交易是趋势还是阶段?------二更已oc
你最近因为什么迷茫?
点赞 评论 收藏
分享
评论
1
5
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务