極大似然估計（Maximum likelihood estimation, 簡稱MLE）是很常用的參數(shù)估計方法，極大似然原理的直觀想法是，一個隨機試驗如有若干個可能的結(jié)果A，B，C，... ，若在一次試驗中，結(jié)果A出現(xiàn)了，那么可以認為實驗條件對A的出現(xiàn)有利，也即出現(xiàn)的概率P(A)較大。也就是說，如果已知某個隨機樣本滿足某種概率分布，但是其中具體的參數(shù)不清楚，參數(shù)估計就是通過若干次試驗，觀察其結(jié)果，利用結(jié)果推出參數(shù)的大概值。極大似然估計是建立在這樣的思想上：已知某個參數(shù)能使這個樣本出現(xiàn)的概率最大，我們當然不會再去選擇其他小概率的樣本，所以干脆就把這個參數(shù)作為估計的真實值（請參見“百度百科”）。

本文以一個簡單的離散型分布的例子，模擬投擲硬幣估計頭像(head)向上的概率。投擲硬幣落到地面后，不是head向上就是tail朝上，這是一個典型的伯努利實驗，形成一個伯努利分布，有著如下的離散概率分布函數(shù)：

其中，x等于1或者0，即結(jié)果，這里用1表示head、0表示tail。

對于n次獨立的投擲，很容易寫出其似然函數(shù)：

現(xiàn)在想用極大似然估計的方法把p估計出來。就是使得上面這個似然函數(shù)取極大值的情況下的p的取值，就是要估計的參數(shù)。

首先用Python把投擲硬幣模擬出來：

通過此模擬，使用sympy庫把似然函數(shù)寫出來：

從上面的結(jié)論可以看出，作100次伯努利實驗，出現(xiàn)positive、1及head的數(shù)目是53個，相應(yīng)的0也就是tail的數(shù)目是47個，比較接近我們設(shè)的初始值0.5即1.0/2（注意：現(xiàn)在我們假設(shè)p是未知的，要去估計它，看它經(jīng)過Python的極大似然估計是不是0.5?。?。

下面，我們使用Python求解這個似然函數(shù)取極大值時的p值：

結(jié)果沒有什么懸念，53/100的值很接近0.5！

取對數(shù)后，上面Python的算法最后實際上是求解下式為0的p值：

上式留給網(wǎng)友自行推導(dǎo)，很多資料都可找到該式。這個式子，是著名的Logistic回歸參數(shù)估計的極大似然估計算法的基礎(chǔ)。

進一步，為了更加直觀的理解投擲硬幣的伯努利實驗，我們給出以均值（均值為100*0.5=50）為中心對稱的加總離散概率（概率質(zhì)量函數(shù)（probability mass function），Python里面使用pmf函數(shù)計算）：

對于上面的Python代碼，可以通過下圖更好地去理解：

把這20個離散的概率全部顯示出來，也可以看到在0.08左右取到它們的最大值：

本文針對簡單的離散概率質(zhì)量函數(shù)的分布使用Python進行了極大似然估計，同時該方法可以應(yīng)用于連續(xù)分布的情形，只要通過其概率密度函數(shù)得出其似然函數(shù)即可。希望網(wǎng)友把本文的代碼實踐一遍，也可以和R語言、SAS等軟件得到的結(jié)論相比較，從而得到更好的極大似然估計的實現(xiàn)方法。