01-20 10:34 已编辑常州大学 C++ 发布于四川

关注

机器学习基础——线性回归数学原理

概述

对于给定数据集 $D=\{(\mathbf x_i,y_i)\}_{i=1}^m$ ，其中 $\mathbf x_i=(x_{i1},x_{i2},...,x_{id}),y_i\in\mathbb R$ 。线性回归的目的是找到一个函数

f(\mathbf x)=\mathbf w^T\mathbf x+b

使得线性模型的预测值 $f(\mathbf x)$ 与真实值 $y$ 尽可能接近。通常选用均方误差来判断其接近程度，即

\begin{aligned} E(f;D)&=\frac1m\sum_{i=1}^m(f(\mathbf x_i)-y_i)^2\\ &=\frac1m\sum_{i=1}^m(\mathbf w^T\mathbf x_i+b-y_i)^2 \end{aligned}

当均方误差最小时，即可求得最优线性回归模型。此时

\begin{aligned} (\mathbf w^*,b^*)&=\arg\min_{\mathbf w,b}E(\mathbf w,b)\\ &=\arg\min_{\mathbf w,b}\sum_{i=1}^m(f(\mathbf x_i)-y_i)^2\\ &=\arg\min_{\mathbf w,b}\sum_{i=1}^m(\mathbf w^T\mathbf x_i+b-y_i)^2 \end{aligned}

$\mathbf w^*,b^*$ 表示 $\mathbf w,b$ 的解。我们只需要求得均方误差 $E$ 在最小值时的 $\mathbf w,b$ 值，因此均方误差的常数项 $\frac1m$ 可忽略。

一元线性回归

当数据集中 $\mathbf x_i$ 的维度为1时，即 $\mathbf x_i=(x_i)$ ，此时 $x$ 为标量，则对于给定数据集 $D=\{(x_i,y_i)\}_{i=1}^m$ ，线性回归给出的模型为

f(x)=wx+b

此时 $w$ 也是标量。易证 $E(w,b)=\sum_{i=1}^m(wx_i+b-y_i)^2$ 对 $w,b$ 均为开口向上且恒大于0的二次函数，因此我们可以使用二次函数对称轴公式或求导来确定该函数的最小值。这里选择求导的方法。将 $E(w,b)$ 分别对 $w,b$ 求导：

\begin{aligned} \frac{\partial E(w,b)}{\partial w}&=2\sum_{i=1}^m(wx_i+b-y_i)x_i\\ &=2\left[w\sum_{i=1}^m x_i^2-\sum_{i=1}^m(y_i-b)x_i\right]\\ \frac{\partial E(w,b)}{\partial b}&=2\sum_{i=1}^m(wx_i+b-y_i)\\ &=2\left[mb-\sum_{i=1}^m(y_i-wx_i)\right] \end{aligned}

令上式等于0，得到

\begin{aligned} b&=\frac1m\sum_{i=1}^m(y_i-wx_i)=\bar y-w\bar x\\ w&=\frac{\sum_{i=1}^m(x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^m(x_i-\bar x)^2}=\frac{\sum_{i=1}^m(x_iy_i)-m\bar x\bar y}{\sum_{i=1}^m x_i^2-m\bar x^2} \end{aligned}

alt

多元线性回归

最小二乘法

对概述中的式子，我们令

\mathbf X=\begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} & 1\\ x_{21} & x_{22} & \cdots & x_{2d} & 1\\ \vdots & \vdots & \ddots & \vdots & \vdots\\ x_{m1} & x_{m2} & \cdots & x_{md} & 1 \end{bmatrix}=\begin{bmatrix} \mathbf x_1^T & 1\\ \mathbf x_2^T & 1\\ \vdots & \vdots\\ \mathbf x_m^T & 1 \end{bmatrix},\mathbf y=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_m \end{bmatrix},\mathbf{\hat w}=\begin{bmatrix} \mathbf w\\ b \end{bmatrix}

则

\begin{aligned} f(\mathbf x)&=\mathbf w^T\mathbf x+b=\mathbf{X\hat w}\\ \mathbf{\hat w}^*&=\arg\min_{\mathbf{\hat w}}E(\mathbf{\hat w})\\ &=\arg\min_{\mathbf{\hat w}}(\mathbf y-\mathbf{X\hat w})^T(\mathbf y-\mathbf{X\hat w})\\ \end{aligned}

将 $E$ 对 $\mathbf{\hat w}$ 求导得

\frac{\partial E(\mathbf{\hat w})}{\partial \mathbf{\hat w}}=2\mathbf X^T(\mathbf{X\hat w}-\mathbf y)

当 $X^TX$ 是满秩矩阵时，令上式等于0可得

\mathbf{\hat w}=\left(\mathbf X^T\mathbf X\right)^{-1}\mathbf X^T\mathbf y

将其代入一元线性回归，仍有效。

alt

#ai算法工程师#

全部评论

推荐最新楼层

01-19 22:24

南昌大学算法工程师

世界冰球锦标赛(day2)(这只是一道题)

链接 这道题本质上还是找子序列问题,需要递归 但是由于数据很大,足足有40个达2^40,绝对会超时,所以我们需要用别的方法来简化 此题用到的是折半搜索,我们将40个分成前后两半,这样就是2*2^20, 少了很多 代码如下 #include<iostream> #include<vector> #include<algorithm> using namespace std; typedef long long ll; void f(int start, int end, ll current_sum, ll m, vector<ll>& s...

点赞评论收藏

分享

01-19 18:23

门头沟学院单片机

比亚迪怎么上传身份证呢

家人们，今天收到邮件补充材料，但我一直找不到哪里上传身份证。似乎有的人是个人中心-资料上传-附件上传就可以（界面下有保存并提交按钮），但我的界面不太一样，只能在简历里上传（但简历那里没有身份证这一项）

点赞评论收藏

分享

01-19 10:58

迅雷_后端开发工程师(准入职员工)

shein内推，shein内推码

整体的感受还是拆分四个板块吧 1.个人成长-目前业务也在快速扩张期，有很多空白板块可以继续进行搭建，所以在背靠跨境的业务的同时也是可以积累非常可视化的经验，数据分析，项目管理，团队管理，绩效达成落地方案，都是必须需要掌握的技能 2.工作氛围-没有PUA也没有精神内耗，团队偏年轻化领导接近一线业务，没有精神鸿沟的同时具有亲和力的，下班时间和同事相处十分融洽，所以从整体感受来讲会比较轻松 3.福利待遇-位置在四海城附近整体周围的基础设施还是比较齐全，附近大型商场，免费下午茶 4.思维转变-从怕犯错再到勇于去尝试，只要在shein能够有想法且方案足够落地，即使会有踩坑，环境上大家还是比较包容，且结果...

SHEIN希音公司福利 370人发布

点赞评论收藏

分享

01-15 13:48

已编辑

门头沟学院 C++

双非硕offer帮选

投票

深圳中小公司CAD开发，17.5k，年终1-2个月，公积金5%，一周平均加班三天到晚上九点，双休北京小公司C++开发，通信行业，17k，年终1个月，公积金12%，偶尔加班，双休，包住宿（得交800），一个月300餐补调薪比例和机会都差不多按照发展前景来看，怎么选offer呢

点赞评论收藏

分享

01-19 10:23

厦门大学驱动开发

重生之我是C语言

1. C语言的注释多行注释：一种是以/*开始、以*/结束的块注释； /* 这是 注释 */ 单行注释：一种是以//开始、以换行符结束的单行注释 //这是注释 2. C语言数据类型和关键字基本数据类型C语言的基本数据类型为：整型、字符型、实数型。这些类型按其在计算机中的存储方式可被分为两个系列，即整数(integer)类型和浮点数(floating-point)类型。这三种类型之下分别是：short、int、long、char、float、double这六个关键字再加上两个符号说明符signed和unsigned就基本表示了C语言的最常用的数据类型。下面列出了在32位操作系统下常见编译器下的数据...

点赞评论收藏

分享

评论

1

1

招聘动态

中宏保险

2026 IT LINK 校招项目

滴滴

2026届春季校招

EA China

2026校园新锐招聘计划

AI网申助手

网申字段一键填写

网易游戏

26届补招+27届实习

携程集团

全站热榜

更多

创作者周榜

更多

正在热议

更多

# 哪些公司开春招了？ #

41843次浏览 233人参与

# 关于提前批我想问 #

279036次浏览 2345人参与

# 小厂一定不能去吗？ #

3234次浏览 57人参与

# 如果没找到工作，考公是你的退路吗 #

64862次浏览 454人参与

# 哪些公司开暑期实习了？ #

1225次浏览 14人参与

# 实习心态崩了 #

105890次浏览 537人参与

# 为了秋招你都做了哪些准备？ #

33291次浏览 539人参与

# 通信/硬件求职避坑tips #

143761次浏览 1092人参与

# 计算机专业还有必要去大厂卷吗 #

57162次浏览 232人参与

# 牛友的志愿填报指南 #

54415次浏览 388人参与

# 秋招笔试记录 #

367134次浏览 2103人参与

# 应届生，你找到工作了吗 #

117023次浏览 715人参与

# 通信硬件薪资爆料 #

1241835次浏览 7220人参与

# 我的求职精神状态 #

436545次浏览 3110人参与

# 业务面应该做哪些准备 #

98791次浏览 1105人参与

# 如果再来一次，你还会学硬件吗 #

156248次浏览 1471人参与

# 23届的你们都什么时候入职？ #

238263次浏览 1124人参与

# 机械制造薪资爆料 #

1947302次浏览 11048人参与

# 你找工作的时候用AI吗？ #

183476次浏览 934人参与

# 一人推荐一个机械人值得去的公司 #

473824次浏览 4288人参与

牛客网
牛客网在线编程
牛客网题解
牛客企业服务