如何理解似然函數(shù)?似然函數(shù)在形式上 , 其實就是樣本的聯(lián)合密度 。把x1 , x2 , x3 , ..... , xn看作常數(shù) , 而把待定參數(shù)θ0 , θ2 , ..... , θn看作 L 的自變量 。對連續(xù)型總體X 和 離散型隨機變量X , 樣本的似然函數(shù)分別是概率密度 和 分布率的連城形式 。極大似然估計法的基本思想:在OLS估計中 , 我們假定一個單一總體的參數(shù)是確定的 。這個總體可以生成大量的隨機樣本 , 我們所用的樣本不過是其中的一個 。總之 , 在假設(shè)的重復(fù)抽樣過程中會產(chǎn)生大量的樣本 , 因而可以產(chǎn)生總體參數(shù)的大量樣本估計值 。極大似然估計法(Maximum Likelihood Estimation , MLE)需要對隨機擾動項的分布做出假定 , 通常選擇正態(tài)分布假定 。在極大似然估計中 , 假定樣本是固定的 , 竹個觀測值都是獨立觀測的 , 這個樣本可由各種不同的總體生成 , 而每個樣本總體都有自己的參數(shù) 。那么在可供選擇的總體中 , 哪個總體最可能生成所觀測到的n個樣本值? 為此需要估計每個可能總體取得這n個觀測值的聯(lián)合概率 , 選擇其參數(shù)能使觀測樣本的聯(lián)合概率最大的那個總體 。最大似然法 , 在二十世紀(jì)二十年代初 , 由費歇(R , A , Fisher l890—1962)發(fā)明的最大似然法(maximum likelihood method)是在所有估計問題中應(yīng)用范圍最廣 , 并且可以從理論上證明由此得到的估計量具有幾個理想的特性的方法( 見下面說明) 。它可以說是統(tǒng)計估計理論上劃時代的發(fā)現(xiàn)之一 。設(shè)總體的概率模型為F(x|θ) 。為了說明的方便 , 暫假定只有一個未知參數(shù) , X1 , X2 , …… , Xn是容量為 n 的隨機樣本(大寫X) , 實際觀測到的樣本觀測值(小寫x)為 Xl=x1 , X2=x2 , …… , Xn=xn。把同各Xi對應(yīng)的密度函數(shù)或概率函數(shù)(包括作為未知數(shù)的未知參數(shù))的連乘積看成是未知參數(shù)的函數(shù) , 稱其為似然函數(shù)(Likelihood function) 。也就是說 , 這樣定義的似然函數(shù) , 就是把手中得到的樣本觀測值實現(xiàn)的“概率密度或概率” , 即“似然程度”看成是未知參數(shù)θ的函數(shù) 。使這一似然程度為最大從而決定θ的值的“方式” , 可以說是極為“合理的”估計方式 。令作為樣本觀測值的函數(shù)被決定的θ* = g(x1 , x2 , …… , xn)對于一切可能的(先驗容許的)θ值 , 都能滿足下列條件L(θ*)≥L(θ) ①就是說θ*是使給定的樣本觀測值的似然程度為最大的θ 。這時θ*叫做θ的最大似然估計值 。用觀測以前的樣本(隨機變量)X1 , X2 , …… , Xn , 代換函數(shù)g 的 n 個變量后得到的θ估計值θ^ = g(Xl , X2 , …… , Xn)叫做根據(jù)容量為n的樣本計算的最大似然估計量 。如果所有可能的θ的集合是有限集合 , 要求解滿足條件①式的θ值是很容易確定的 , 然而在大部分的應(yīng)用問題中 , θ的集合是無限集合 。因此 , 在許多場合將似然函數(shù)對θ求偏導(dǎo)數(shù) , 然后需要另外求解的方法 。此外 , 由于似然函數(shù)是非負(fù)的 , 對其進(jìn)行對數(shù)變換是單調(diào)遞增的變換 , 所以①式等價于 ㏒ L(θ*)≥㏒ L(θ)并且 , 偏導(dǎo)數(shù)㏒/偏導(dǎo)數(shù)θ = (1/L) * 偏導(dǎo)數(shù)L/偏導(dǎo)數(shù)θ所以使logL(θ)的偏導(dǎo)數(shù)為0的θ值 和 使L(θ)的偏導(dǎo)函數(shù)為0的θ值相等 。因此 , 當(dāng)對L(θ)直接求導(dǎo)比較麻煩時 , 可以對LogL(θ)求導(dǎo) , 從而求得估計值θ^ 。似然函數(shù)(Likelihood Function):假定{xi}i=1→n 是從概率密度函數(shù)為f(x ; θ)的總體中抽取的獨立同分布樣本 。目標(biāo)是估計未知參數(shù)向量θ∈Rk 。似然函數(shù)定義為觀察值xi的聯(lián)合密度L(X;θ) , 它是θ的函數(shù):L(x;θ) = ∏f(xi ; θ)其中 , X為樣本數(shù)據(jù)矩陣 , 由觀察值x1 , x2 , …… , xn組成每一行 。θ的最大似然估計量(maximum likelihood estimator , MLE)定義為θ= arg maxL(X;θ)通常最大化對數(shù)似然函數(shù)更容易求ζ(X;0) = Log L(X;θ)對數(shù)似然函數(shù)與似然函數(shù)的解是等價的 , 因為對數(shù)轉(zhuǎn)換是單調(diào)的一對一映射 。即θ = arg max L(X;θ) = argmaxf(X;θ)最大化過程總是可以被分析表達(dá)的 , 即我們將得到θ估計值的顯式分析表達(dá)式 。然而不幸的是 , 在其他一些情形下 , 最大化過程可能是錯綜復(fù)雜的 , 牽涉到非線性最優(yōu)化技術(shù) 。給定樣本X和似然函數(shù) , 可將運用數(shù)值方法(numerical method)來確定最大化 L(X;θ)或者ζ(X;θ)的θ值 , 這些數(shù)值方法通常是基于牛頓一拉普生(Newton-Raphson)迭代技術(shù) 。
以上關(guān)于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關(guān)的問題,請您及時就醫(yī)或請專業(yè)人士給予相關(guān)指導(dǎo)!
「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對您有所幫助:- 牢固樹立宗旨意識
- 曖昧期如何讓男生表白 曖昧期怎么確定關(guān)系
- lebesgue
- 萬花叢中一點紅
- 西進(jìn)運動
- 屬虎的娃怎樣提升運氣2022年,屬虎人如何化解厄運
- 2022年1986年屬虎女婚姻運勢,屬虎女婚姻狀況如何
- 如何提高英語
- 如何添加迷人的充電提示音 個性化充電提示音
- 華為手機開啟這個開關(guān) 華為手機如何設(shè)置開關(guān)
