首页 > 试题广场 >

请描述至少3种熟悉的机器学习算法的原理、过程、求解优化（如:

[问答题]
请描述至少3种熟悉的机器学习算法的原理、过程、求解优化（如: 贝叶斯、决策树、SVM、随机森林、GBDT、LR等）
添加回答
pein531头像 pein531
逻辑回归：
定义h(x) = 1/(1+e^(-x))为样本x属于正样本的概率，则可以定义二元交叉熵损失函数如下：

可以看到，这个函数对y=0时，h(x)越大，损失越大，y=1时，h(x)越大，损失越小，附和我们的期望。对于所有样本，再加上正则化项，就得到如下的损失函数形式：

因为是凸函数，使用梯度下降法即可求解：

SVM：
支持向量机是希望学习到一个超平面w，使得两类数据点到这个分类超平面的距离最大

也就是说，当一个数据点只要离这个超平面足够远，对损失函数就没有贡献了

加上正则化项，则有

进一步，我们可以得到SVM铰链损失函数的形式

根据对偶理论，我们可以求解原问题的对偶问题

使用SMO算法对其进行优化，类似如下图所示的坐标下降算法

决策树：
决策树算法主要是根据某些准则，自顶向下按重要程度选择特征作为树决策节点，从而得到叶子节点的分类结果，伪代码如下：

其中核心就是决策树在生长过程中选择特征的准则，如果使用信息增益，则为ID3算法；但由于信息增益会对取值较多的特征有所偏好，所以有了信息增益率这个指标，对这类特征的重要度进行压制，使用信息增益率的算法为C4.5；使用gini系数的为CART树，CART树既可以用于分类，也可以用于回归。
发表于 2020-10-31 12:00:35 回复(0)
提交观点

问题信息

算法工程师 唯品会 2019
来自：唯品会2019秋招算法类
上传者：小小
难度：
1条回答 2977浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号