如果回归模型存在非线性，可能不方便使用OLS，这时采用最大似然估计法（MLE）或非线性最小二乘法（NLS）
6.1 最大似然估计法的定义
- 似然函数（likelihood function）的公式：
$$\mathtt{L}(\theta;\boldsymbol{y_1},…\boldsymbol{y_n})=\prod_{i=1}^nf(\boldsymbol{y_i}:\theta)$$
含义：抽样之前$\left{\boldsymbol{y_1},…\boldsymbol{y_n}\right}$是随机向量，抽样之后$\left{\boldsymbol{y_1},…\boldsymbol{y_n}\right}$有了特定的样本值，可以将样本的联合密度函数看做在$\left{\boldsymbol{y_1},…\boldsymbol{y_n}\right}$给定的情况下，未知参数$\theta$的函数，即似然函数解决的问题是：我们抽到的这个样本最有可能来自参数$\hat\theta_{ML}$为什么值的总体呢？或者说我们要找到一个参数$\theta$，使得我们观测到这个样本的概率最大。
备注：一般为了计算方便，对似然函数做取对数，将乘积形式转化为和的形式的处理 - 似然函数的得分函数
在数学上，常把最大似然估计量$\hat\theta_{ML}$写为：
$$\hat\theta_{ML}\equiv argmax ln\mathtt{L}(\theta;\boldsymbol{y})$$求一阶条件，有：
该一阶条件被称为“得分函数（score function）”或“得分向量（score vector）”如果似然函数正确，则得分函数在$\theta=\theta_0$处的期望为0,即：
$$\mathbb{E}\left[\boldsymbol{s}(\theta_o;\boldsymbol{y})\right]=0$$6.2 线性回归模型的最大似然估计