Rock AI多模态大模型算法实习二面

项目方面：
1、介绍使用的模型细节，用的是什么小模型和大模型？介绍一下蒸馏的实现？
2、SFT的loss函数如何设计？
3、介绍数据集内容、质量以及数量？
4、用了什么微调？介绍一下LoRA微调，以及LoRA的时候会改变哪些层？

八股方面：
这里用了白板画图。
1、画一下Transformer架构？
2、注意力头数增大一倍，模型参数总量如何变？
3、Attention计算的时候程序里的参数量有哪些？W_Q，W_K，W_V，W_O都是什么含义？
4、注意力头在程序中体现在哪？

反问：
1、个人职业规划与工作方向？
这里面试官介绍了算法工程师的工作内容，大致可分为三个方向。预训练、后训练以及大模型开发。
2、做项目的流程大致怎样？
3、岗位需要的能力以及我到时候可能会遇到的挑战？