大佬们问个问题
1.预训练的损失函数和微调的损失函数计算有什么不同?关注点有什么差异?
2.预训练后的模型获得了什么样的能力?微调后又获得了什么样能力?

昨天面试的时候被问到了😭
全部评论
预训练所有token位置都计算损失、SFT一般只有答案部分计算损失(提问部分label是-100) 预训练是为了吃知识、SFT为了指令遵循
7 回复 分享
发布于 2024-08-20 16:37 广东
这个预训练是指的视觉编码器的预训练,还是mllm的第一阶段预训练
点赞 回复 分享
发布于 2024-09-08 11:53 天津
预训练和微调的任务不同损失函数肯定会不同吧?预训练不都是自回归而微调可能会根据下游任务设计不同的损失函数
点赞 回复 分享
发布于 2024-08-20 11:18 北京

相关推荐

今天 00:59
已编辑
天津师范大学 Web前端
溱元:大四没有实习真的很难了 而且已经是大四下学期了,入行晚了 看样子是刚学完三大件+框架吧 简历真的需要再花时间好好打磨 但是马上又快毕业了 很多公司都要求实习6个月以上 感觉最大的问题就是你没有时间了 虽然可能有点扎心 但就像黑马pink老师说的那样 大四就不要再走it方向了 时间来不及了
听劝,我这个简历该怎么改...
点赞 评论 收藏
分享
评论
8
16
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务