矩估计
样本矩代替总体矩
简单理解就是：使用样本计算出来的均值作为总体分布的数学期望
根据Khinchin大数定律：样本矩依概率收敛于总体矩，使用样本矩代替总体矩，进而得到总体分布模型中的参数估计量（替换原则）
简单情况：
使用样本的各阶原点矩或者各阶中心矩替换总体的矩：
& \overline{X}=\dfrac{1}{n} \sum\limits_{i=1}^{n} X_{i}=\hat{E}(X) \\ & \overline{X^{2}} -(\overline{X} )^{2}= \dfrac{1}{n} \sum\limits_{i=1}^{n} (X_{i}-\overline{X} )^{2}=\hat{D}(X) \end{align}$$ - **样本的一阶原点矩**代替**期望** - **样本的二阶中心矩**代替**方差** ~~样本平方的均值~~ - ~~样本均值的平方~~ 代入样本 $X_{1},X_{2},\cdots,X_{n}$ 的一组观测值 $x_{1},x_{2},\cdots,x_{n}$ 计算出总体期望和方差的矩估计值，列写方程组得到总体未知参数的估计值 ### 极大似然估计 **Maximum Likelihood** 极大似然/最大似然估计法 根据总体的一个样本推断出总体分布的参数，使得**试验结果的发生**具有**最大的概率** 1. 构造似然函数 $L(\theta)$ 它是样本数据在参数 $\theta$ 下出现的概率的函数 对于独立同分布的样本，似然函数可以表示为所有样本点概率的乘积 $$\begin{align} L(\theta) &=P\left\{X_{1}=x_{1},X_{2}=x_{2},\cdots,X_{n}=x_{n} ;\theta\right\} \\ &=\prod\limits_{i=1}^{n} P\left\{X_{i}=x_{i} \right\} \\ &=\prod\limits_{i=1}^{n} f(x_{i};\theta) \end{align}$$ 2. 取对数 $\ln L(\theta)$ $$\begin{align} \ln L(\theta)=\sum\limits_{i=1}^{n} \ln f(x_{i};\theta) \end{align}$$ 3. 求解最值，解似然方程 似然方程: $$\dfrac{\mathrm{d} }{\mathrm{d} \theta}\ln L(\theta)=0$$ 4. 得到最大似然估计值 似然方程的解即为极大似然估计值 $\hat{\theta}=\hat{\theta}(x_{1},x_{2},\cdots,x_{n})$ 用样本的试验值 $x_{i}$ 表示 最后换为 $\hat{\theta}=\hat{\theta}(X_{1},X_{2},\cdots,X_{n})$ 用样本 $X_{i}$ 表示 $$\begin{align} L(\theta)&=L(x_{1},x_{2},\cdots,x_{n};\theta)= \prod\limits_{i=1}^{n} f(x_{i};\theta) \\ L(\hat{\theta})&= \mathop{\max}\limits_{\theta \in\Theta} L(x_{1},x_{2},\cdots,x_{n};x_{n}) \\ \dfrac{\mathrm{d} }{\mathrm{d} \theta} & \ln L(\theta)=0 \Rightarrow \hat{\theta} \end{align}$$ 样本观测的结果对应的概率为包含 $\theta$ 未知参数的值 最大似然估计就是求使得样本观测值的结果概率最大时， 求出的参数的估计值 $\hat{\theta}$ $$f(x;\alpha)=\begin{cases} (\alpha+1)x^{\alpha} &0<x<1 \\ \\ 0 & 其他 \end{cases}$$ 求参数 $\alpha$ 的极大似然估计 $$\begin{align} L(\alpha)&= (\alpha+1)^{n}\prod\limits_{i=1}^{n} x_{i}^{\alpha} \\ \ln L(\alpha)&=n\ln(\alpha+1)+\alpha \sum\limits_{i=1}^{n} \ln x_{i} \end{align}$$ $$\begin{align} \dfrac{\mathrm{d} \ln L(\alpha)}{\mathrm{d} \alpha} =\dfrac{n}{\alpha+1} +\sum\limits_{i=1}^{n}\ln x_{i}=0 \end{align}$$ $$\begin{align} \hat{\alpha}=- \dfrac{1}{\sum\limits_{i=1}^{n}\ln X_{i}}-1 \end{align}$$ X 0 1 2 3 P $\theta^{2}$ $2\theta(1-\theta)$ $\theta^{2}$ $1-2\theta$ 样本值 3 1 3 0 3 1 2 3 参数 $\theta$ 的矩估计和极大似然估计 $\overline{X}=2$ $E(X)=1\times 2\theta(1-\theta)+2\times\theta^{2}+3\times (1-2\theta)=3-4\theta$ $\hat{\theta}=\dfrac{1}{4}$ $L(\theta)=\prod\limits_{i=1}^{8}f(x_{i};\theta)$