首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
牛客482869769号
2019-03-22 10:56
已编辑
关注
已关注
取消关注
请教一下各位牛油,为何激活函数需要具备单调性?
可微是为了保证单向传播梯度计算,单调性的目的是什么呢?看到有的论文说,是能够保证单层模型具有凸函数性能,不是很理解,求大佬们指点一下。
提示
全部评论
推荐
最新
楼层
GoKuSon
北京大学 算法工程师
从最简单的角度考虑,凸函数容易优化啊,不存在鞍点或者局部最优解这种问题,事实上在训练复杂模型的时候很容易跑到局部最优解,你考虑一个小坑挨着一个大坑,大坑的最低点是你想要的最优解,结果你一不小心掉到了小坑里,学习率和扰动不足以使你跳出小坑,那就很坑爹了😂激活函数的目的无非就是信息压缩和到概率空间的映射;单调性这块,我觉得应该就是出于凸优化的这个考虑,不在最简单的地方摔跟头
点赞
回复
分享
发布于 2019-03-21 23:35
找完工作和实习继续找工作
美团_算法工程师
你看的这个说法的来源可能是凸函数复合一个单增凸函数还是凸函数,但是激活函数本身不一定是凸的,所以我觉得存疑。
点赞
回复
分享
发布于 2019-03-21 23:09
找完工作和实习继续找工作
美团_算法工程师
因为激活函数基本都是对0-1跳变函数的近似,而0-1跳变函数本来就是单调的。我猜的。
点赞
回复
分享
发布于 2019-03-21 23:07
暂无评论,快来抢首评~
相关推荐
02-06 21:59
已编辑
门头沟学院 Java
程序员斩杀线
大家都说程序员35岁就失业了,但就我实习了两家公司来说(一家外包一家电商),感觉35岁不是公司裁而是很难跟上公司节奏了。第一家外包公司的领导将近40岁,已经是研发组的组长了,每次发布时都要搞到凌晨,并且平时每天也是电话不断,每天的休息估计都没有6个小时,完全是透支身体来工作加上前段时间程序员猝死的新闻给我整的心头一紧,他的情况就和我领导很像。第二家是一家电商公司,组长就在35岁附近,是整条业务线的负责人,他是对产品最熟悉的人,这也就造成了所有的人对产品有问题(包括但不限于产品、前端、后端、测试)都要问他,有时候问问题都要排队。需求发布的时候也要搞到很晚,并且基本上每天回去还要工作,回复客户问题...
点赞
评论
收藏
分享
昨天 18:21
沐瞳科技_游戏策划(准入职员工)
游卡内推,游卡内推码
游卡服务端开发面经(已oc) 一面1.自我介绍2.虚函数和多态3.vector删除一个元素如何实现的,讲讲移动语义,如何回收一个vector的内存(创建一个空的,移动给现在的(挺巧妙))4.讲讲几种智能指针的应用场景、weak_ptr如何保证在使用期间资源不失效的5.socket编程的流程6.进程、线程、协程7.cpu计算密集型任务用多线程还是多协程,为什么8.死锁是什么,如何解决9.每次生成1个1到1亿的随机数、且不重复10.反问二面+hr面1.自我介绍2.实验室项目拷打,做的东西偏底层,为什么想来做游戏3.bustub,为什么用B+树4.了解innodb的页面组织形式吗5.了解mangod...
点赞
评论
收藏
分享
01-03 19:22
宁夏大学 产品经理
27届本科,写完简历感觉可以直接投字节
牛至超人:
很好,很有精神
投了多少份简历才上岸
点赞
评论
收藏
分享
02-04 22:23
浙江大学 嵌入式工程师
如何做一个有含金量的嵌入式项目?(不烂大街思路分享)
最近我看了一些粉丝的简历,写着五六个项目,全是“温湿度采集”、“简单的家居控制”。说句扎心的实话:做一堆简单的 Demo,不如把一个项目做深。为什么你的项目被 HR 说是“烂大街”? 因为那些大多是验证硬件功能,跟嵌入式软件的核心能力关系不大。你调通了 外设读取温湿度,那是单片机基础。如果是找“嵌入式软件”岗位,请一定要在“软件”上下功夫!真正的深度不是你会用几个外设,也不是老生常谈的“通信来通信去”,而是你有没有能力对系统核心进行优化。怎么增加嵌入式项目的深度?以下是几个能真正体现“软件深度”的项目优化方向:一、 拒绝“裸机思维”,拥抱 RTOS 的内核级深度别再只是 跑到底了。引入 RTO...
你最近因为什么迷茫?
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
3
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
字节飞书测开日常oc,附上面经
2434
2
...
有了AI之后,程序员能不能干到65岁?
2364
3
...
腾讯AI产品一面:如何缓解幻觉?
1917
4
...
美团50亿收购叮咚买菜,校招HC会变多吗
1745
5
...
文科生能做产品经理吗?
1616
6
...
测开前景
1609
7
...
26届Java简历求拷打
1395
8
...
字节的offer流程需要多久
1365
9
...
莉莉丝前端一面
1209
10
...
小厂面试官神人多
1178
创作者周榜
更多
正在热议
更多
#
在大厂上班是一种什么样的体验
#
13418次浏览
177人参与
#
机械人避雷的岗位/公司
#
44557次浏览
314人参与
#
论秋招对个人心气的改变
#
14583次浏览
198人参与
#
我的省钱小妙招
#
37495次浏览
446人参与
#
程序员找工作至少要刷多少题?
#
22333次浏览
282人参与
#
工作前VS工作后,你的心态变化
#
38320次浏览
266人参与
#
为了减少AI幻觉,你注入过哪些设定?
#
6774次浏览
191人参与
#
牛客AI体验站
#
8588次浏览
218人参与
#
你现在会用到哪些AI技能?
#
24723次浏览
137人参与
#
你的mentor是什么样的人?
#
51371次浏览
725人参与
#
找实习多的是你不知道的事
#
1788767次浏览
20670人参与
#
我现在比当时_,你想录用我吗
#
9798次浏览
133人参与
#
哪一瞬间让你觉得工作好累
#
75672次浏览
431人参与
#
12306一秒售罄,你抢到回家的票了吗?
#
2457次浏览
52人参与
#
应届生进小公司有什么影响吗
#
118643次浏览
1161人参与
#
一张图晒一下你的AI员工
#
6081次浏览
132人参与
#
AI Coding的使用心得
#
5735次浏览
118人参与
#
父母对你找工作是助力还是阻力?
#
38379次浏览
387人参与
#
我和mentor的爱恨情仇
#
106484次浏览
952人参与
#
刚入职的你踩过哪些坑
#
7984次浏览
141人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务