《机器学习高频面试题详解》1.4：概率模型参数估计方法

大家好，我是鬼仔。今天带来《机器学习高频面试题详解》专栏的第1.4节：概率模型参数估计方法。本节内容是机器学习中很基础但又很重要的知识点，常用的估计方法相信大家都有听过，但是否可以详细地阐述不同方法之间的区别呢？这可就不一定了。

目前这篇是专栏试读，后续的文章需要订阅才能查看哦（每周一更/两更），专栏预计更新30篇文章（只增不减），具体内容可以看专栏介绍，大家的支持是鬼仔更新的动力！

一、模型参数估计方法概述

概率模型参数常用的估计方法有以下三种：最大似然估计、最大后验概率估计和贝叶斯估计，下面鬼仔将进行详细的介绍和总结。

首先需要明确似然（likelihood）和概率（probability）之间的区别：概率是已知参数，对结果可能性的预测；似然是已知结果，对参数是某个值的可能性预测。

以抛硬币为例子，假设我们有一枚硬币，现在要估计其正面朝上的概率。为了对进行估计，我们进行了10次实验（假设实验独立同分布），这组实验记为，其中正面朝上的次数为6次，反面朝上的次数为4次，结果为(1,0,1,1,0,0,0,1,1,1)。下面分别阐述不同的估计方法：

二、最大似然估计

最大似然估计（Maximum Likelihood Estimation，MLE），也叫极大似然估计，是用来估计概率模型参数的一种方法。最大似然估计的思想是使得观测数据（样本）发生概率最大的参数就是最好的参数。

对一个独立同分布的样本集来说，总体的似然就是每个样本似然的乘积。针对抛硬币的问题，似然函数可写作：

根据最大似然估计，使取得最大值的即为估计结果，令，可得。

一般来说，最大似然估计的求解步骤分为以下三步：

（1）确定似然函数；

（2）将似然函数转换为对数似然函数；

（3）求对数似然函数的最大值（求导，解似然方程）。

三、最大后验概率估计

最大后验概率估计（Maximum A Posteriori Estimation，MAP