问个nlp问题

bert的两个损失函数是啥，有了解的么。
全部评论
bert预训练两个任务： 1.Masked LM, 判断Masked token在是否属于上下文，softmax 输出，loss 计算 Mask token位置的交叉熵 2.Next Sentence Prediction，上下文判断，判断两句话上下文关系是否成立，sigmoid输出，类似于逻辑斯特回归二分类
点赞 回复 分享
发布于 2019-08-07 13:33

相关推荐

12-19 21:01
曼迪匹艾_人力资源部_HRBP(准入职员工)
MDPI内推，MDPI内推码
工作内容 • 作为助理编辑（AE)，负责全英论文发表全流程，包括找审稿人、收发邮件等，每天都会给我派一篇稿件，目前手里已经有十几篇了（以后会一直累积吗？）  加班 • 这个单位主打一个多劳多得，可以身兼数职，所以许多人加班都是为了拿更多更多的💰 • 加班晚上七点后可点一份免费工作餐，但我作为实习生不用加班（8:30-17:30），每天到点就撤，所以还没吃过 实习生转正KPI要求 • 入职3个月发文15篇，6个月发文60篇。 • 转正后每季度30篇，超过部分每篇奖励300元。  福利待遇 五险一金，生日福利、节假日福利（入职每增加一年年假多一天）、年终奖等。另外每天下午3点至3点20为下午茶时...
曼迪匹艾公司福利 124人发布
点赞 评论 收藏
分享
12-20 12:06
复旦大学 Java
28\29届同学后端方向应该选啥编程语言？
这是一个非常经典且重要的问题。作为校招生，选择哪门语言作为后端主攻方向，确实会对你最初的求职和职业发展产生不小的影响1. Java： 稳妥之选，就业面最广适合目标进入中大厂业务部门（阿里、美团、京东、字节的电商/广告/基础服务等）、银行、国企等技术栈相对保守稳定的公司2.Go：云原生首选增速非常快，尤其是在云计算、微服务、中间件、高并发后台领域。字节跳动、腾讯、七牛云、B站等公司大量使用 Go。docker, k8s, etcd 等云原生基石都是 Go 写的，生态位非常清晰。3.c++不建议在后端业务开发领域已不是主流，但退守基础设施层和性能关键型领域，地位无可替代。例如：搜索引擎、存储系统（...
投递七牛云等公司10个岗位
点赞 评论 收藏
分享
11-12 14:30
已编辑
广东科技学院 前端工程师
有大佬们能帮我看看我的简历嘛……
民办本，想找前端实习，有个小公司愿意收我就满足了……是不是项目太简单了还有技能特长不够多……求锐评，不玻璃心！！！
迷茫的小刺猬在迎接o...：前端岗位越来越少了，中小厂也更倾向全栈了，更不需要初级或者实习。可能就大厂才会有一些岗位，但是很看学历。
实习，投递多份简历没人回...
点赞 评论 收藏
分享
12-03 19:49
西南科技大学 嵌入式软件工程师
点赞 评论 收藏
分享
头像
12-22 19:03
门头沟学院 安卓
团建聚餐我是来干饭来了，不是看你俩说相声来了
记All in AI的起大早赶晚集公司某客户端部门的一次团建。去了河北的一个小城，去就去吧，还得让自己请假去，那还是哪门子的团建啊？而且如果不去还得给经理报备不去的原因，真的绝了。这不就是强制你们去团建，然后集中销毁你们的年假吗？以防你离职的时候年假不休好不给三倍工资（不过同事体验过了，年假没休也没给三倍，怕留下不好的评价，就没闹了。） 团建前半程好好地（其实也没好好的，也没人组织，混乱一团，各玩各的而已），到了下午大家要一起吃饭，这是团建中唯一一个集体活动项目了，我想吃饭就吃饭，大家吃饱了就行了呗，吃饱了就各回各家各找各妈就得了呗，而且吃饭又不是工作，还能搞出什么幺蛾子，还能搞出来几个bug...
牛友故事会
点赞 评论 收藏
分享
评论
点赞
9
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 2025年终总结 #
162255次浏览 2745人参与
# 长城汽车工作体验 #
12608次浏览 16人参与
# 牛客2025仙途报告 #
166次浏览 3人参与
# 你面试体验感最差/最好的公司 #
10904次浏览 185人参与
# 大家实习每天都在干啥 #
105742次浏览 569人参与
# 总结:哪家公司面试体验感最差 #
83059次浏览 387人参与
# 比亚迪工作体验 #
72588次浏览 275人参与
# 一人说一个提前实习的好处 #
6465次浏览 123人参与
# 秋招落幕，你是He or Be #
6555次浏览 146人参与
# 重来一次，你会对开始求职的自己说 #
4581次浏览 117人参与
# 实习没事做是福还是祸？ #
11063次浏览 180人参与
# 今年你最想重开的一场面试是？ #
2184次浏览 34人参与
# 团建是“福利”还是是 “渡劫” #
5480次浏览 131人参与
# 你小心翼翼的闯过多大的祸？ #
9127次浏览 130人参与
# 运营来爆料 #
71515次浏览 450人参与
# 长鑫存储求职进展汇总 #
52042次浏览 240人参与
# 招聘要求与实际实习内容不符怎么办 #
144020次浏览 869人参与
# 工作中听到最受打击的一句话 #
4021次浏览 81人参与
# 如何排解工作中的焦虑 #
246314次浏览 2268人参与
# 大厂VS公务员你怎么选 #
72927次浏览 666人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务