基於蒙特卡洛方法的高斯混合采樣粒子濾波算法研究

論文類別:理學論文 > 統計學論文
論文作者: 李軍科1 張串2
上傳時間:2008/5/1 14:47:00

摘 要 本文提出了一種標準粒子濾波器的改進算法——高斯混合采樣粒子濾波算法(GMSPPF)。仿真結果表明,新算法在大幅降低計算復雜度的前提下,具有比標準粒子濾波算法(SIR-PPF)更好估計性能.
  關键詞 卡尔曼濾波;粒子濾波;序列蒙特卡洛;貝葉斯濾波;高斯混合采樣

1 引言

  貝葉斯方法為動態系統的估計問題提供了一類嚴謹的解決框架。它利用已知的信息建立系統的概率密度函数可以得到對系統狀態估計的最優解。對於線性高斯的估計問題,期望的概率密度函數仍是高斯分布,它的分布特性可用均值和方差來描述。卡爾曼濾波器很好地解決了這類估計問題[1]。對於非線性系統的估計問題,最經典並得到廣泛應用的方法以擴展的卡爾曼濾波為代表,这類方法需要對模型進行線性化,同時要求期望的概率密度函數满足高斯分布,然而在對實際系統建模時,模型往往是非線性非高斯的。此时,最優估計很難實現。
  粒子(particle)濾波器——序列重要性采樣粒子濾波器,是一種適用于強非線性、無高斯約束的基於模擬的統計濾波器[2]。它利用一定數量的粒子來表示隨機變量的後驗概率分布,從而可以近似得到任意函數的數學期望,並且能應用於任意非線性隨機系统。本文介紹一種估計性能更好的粒子濾波算法——高斯混合采樣粒子濾波器(GMSPPF),相比通常意義上的粒子濾波算法(SIR-PF),GMSPPF粒子濾波器具有更小的系統狀態估計的均方誤差和均值。

2 貝葉斯濾波問題

  貝葉斯濾波用概率統計的方法從已觀察到的數据中獲得動態狀態空间(DSS)模型參數。在DSS模型中,包含狀態和觀测兩個方程[3][4]。其中狀態转移方程(State Equation)通常寫作
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究       (1)
這裏,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是已知,且基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是白噪聲獨立的隨機序列,而且分布是已知的。觀測方程表達式寫為
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究         (2)
這裏:基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是白噪聲序列,獨立且分布已知。並且基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究滿足基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
  圖1描述了DSS模型中狀態轉移和似然函數的關系。假設初始時刻系統的狀態分布基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究已知,k時刻的已知信息序列表示基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
圖1 動態狀態空間模型(DSSM)
  這样,貝葉斯估計的問題理解为:利用觀測到的信息Yk,求解系统狀態的概率分布基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。若系統狀態的變化是隱馬爾柯夫過程,即當前系統的狀態信息只與上一個時刻的狀態有關,可以通過预測和更新的途徑求解。
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (3)
這裏:
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (4)
  假設xk,wk是相互獨立的隨機變量,滿足
。于是,參考(1)式可以把(4)式寫為
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (5)
  其中,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是采样函數。當基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是已知時,xk可以通過確定性方程(1)得到。 依據貝葉斯準則,系統狀態估计量
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (6)
  其中,
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (7)
  另外,在給定 xk,vk,分布的條件下, yk的條件概率依據測量方程(2)可以表示為如下形式
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (8)
  由(6)式可以看出,後驗概率密度包含3個部分。先驗概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究似然函数基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究和證據基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。如何獲得這三項的近似是貝葉斯濾波的核心問題。更新方程(5)中觀測值 用來對 的先驗預測值修正,從而獲得狀態 的後驗概率。方程(3)和(6)的遞歸關系構成了求解貝葉斯估計問題的兩个步驟:預測與更新。如果(1),(2)中的hk,fk是线性的,且噪聲wk,vk滿足高斯白噪聲,可以把貝葉斯估计問題簡化為卡爾曼分析解。但這類問題僅僅是實際问題中很小的一個部分。對於更多的問題,很難得到分析解。只有通過对問題的近似線性處理(扩展卡爾曼濾波)或其它途徑(蒙特卡洛方法)實現非线性、非高斯問題的解。依據後面分析問題需要,這里重點對蒙特卡洛方法積分進行說明。

3 蒙特卡洛方法

  在過去的二十多年,蒙特卡洛方法得到了很大的发展。其優點就是用系列滿足條件的采樣點及其權重來表示後驗概率密度。蒙特卡洛方法采用統計抽樣和估計对數學問題進行求解。按照其用途,可以把蒙特卡洛方法分為三類[5]:蒙特卡洛抽樣、計算、優化。其中,蒙特卡洛抽样是尋找有效的、方差很小的、用於估計的抽樣方法。蒙特卡洛計算則是設計產生滿足特定要求随機數的隨機發生器的問題。而蒙特卡洛優化是采用蒙特卡洛思想對實際中的非凸非差分函數優化求解。對於基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,可以由概率空間p(x)中抽取N個樣本基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,用近似值基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究作為基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究的解。大數定理證明:基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究收斂於基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,並且滿足条件基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。這里,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究的方差。不同於確定性的數字计算,蒙特卡洛近似的一個重要特點就是估計的精度独立於狀態空間的維數。而且,積分估計的方差與采樣點的個數成反比。顯然,蒙特卡洛近似方法的關鍵點有兩個:首先如何由一個樣本空間中抽取N個采样點,用來表征後驗概率密度。其次就是計算基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
  重要性抽樣(Important Sampling)解決了如何借助於已知分布來對實現有效采樣的問題,由Marshall 1965年提出。當數據空間十分巨大時,重要性抽樣只對其中“重要”區域进行采樣,節省了計算量。對於高維采樣空間模型,如統計物理學、貝葉斯統計量,這一點尤为重要。重要性抽樣的中心思想是選擇一個覆蓋真實分布p(x)的建議分布q(x)[8]。這样,
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (9)
對q(x)作蒙特卡洛抽樣,假設粒子數目為N,有
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究   (10)
其中,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究稱為重要性权重,再作歸一處理,
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究  (11)
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是歸一化權重。為了減小估計的方差,選擇的建議性分布q(x)與p(x)盡可能匹配。通常,建議分布q(x)需要一個長的拖尾,這樣可以解決區间之外的幹擾。確切的說,匹配的q(x)必須與p(x)f(x)成正比[9]。当q(x)與p(x)不匹配時,w(x(i))是不均勻分布的,在整個遞歸叠代的過程中,存在大量的權值極小的樣本,而這些樣本對估計的贡獻很小。事實上,權值較大的少數樣本決定蒙特卡洛采樣的估计精度。大量時間損耗在這些“无關緊要”的粒子計算上,即所謂的粒子退化現象(Degeneracy Problem)。目前,標準的粒子濾波器選擇先驗概率(Prior)作為建议分布。
  對於粒子退化現象,采樣—重要性重采樣方法給出了很好的解决途徑。其基本思想就是通過在兩次重要性采樣之間增加重采样步驟,消除權值較小的樣本,並對權值較大的樣本復制,降低了計算的復雜度。在o(N)時間复雜度範圍內可以已排序的均勻分布序列作重采樣處理。
  對基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究重采樣(Resampling)處理,新的采樣結果放在數組基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,具體的算法用偽碼語言寫為如下的形式:
  步驟1:基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究這裏必須註意基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是隨機變量的累計概率密度序列。
  步驟2:初始假設基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,當基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究, 產生一組序列分布。對一個固定的j,分別用基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究逐一比較,一旦基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,就可以得到一組新的樣本集合基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。如此循環直到基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。需要說明的是,重采樣方法在消除粒子退化問題的
同時,也帶來了其它兩個问題:首先,降低了粒子運算並行執行的可能性;其次,由於權值較大的粒子多次被選擇,粒子的多样性減少。這種情況尤其在小過程噪聲條件下表現更為明顯[11]
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
圖2 SIR-PF重要性采樣與重采樣示意圖

4 GMSPPF濾波算法

  如前所述,利用序列重要性采樣和重采樣的方法,粒子濾波可以有效的遞歸更新后驗概率的分布。但是,由于對粒子未加假設,大量的粒子在處理非線性、非高斯问題時出現了計算的高复雜性問題。另外,由於少数權值較大的粒子反復被選擇,粒子坍塌明顯。文獻[4]提出了在重要性采樣步驟的建議分布的生成階段“搬運”粒子到似然较高區域,可以緩解坍塌,同時提高估計的性能。但是不可避免的是對每一個粒子的後驗概率處理,使得計算的復雜性進一步加劇。鑒于此種情況,這裏介紹一種新穎的高斯混合采樣粒子濾波器(Gaussian Mixture Sigma Point Particle Filter,GMSPPF)。GMSPPF算法利用有限高斯混合模型表征後驗概率分布情況,可以通過基於重要性采樣的加權的後驗粒子,借助于加權的期望最大化算法(Weighted Expection Maximization)替换標準重采樣步驟,降低粒子坍塌效應。

免費論文下載中心 http://www.hi138.com

4.1 基於高斯混合近似的采樣卡爾曼濾波器

  根據最優濾波理論,一個概率密度p(x)都可以寫作高斯混合模型(Gaussian Mixture Model)。即基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,這裏,G是高斯分量的個數,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是高斯分量的權重,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究是以向量基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究為均值,以p(g)為協方差矩阵的隨機向量x的高斯分布。
  考慮DSS狀態轉移方程和觀測方程,假設先验概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究及噪聲密度基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究服從高斯混合模型(GMM)。這樣,預測的先驗概率密度基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究滿足基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,更新後基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
這裏,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。在此基礎之上,預測的先驗概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究和後驗概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究對應的均值和方差可以通過采樣卡爾曼濾波器(Sigma Point KF)計算。

4.2 基於觀測更新的重要性采樣(Important Sampling)

  前已敘及重要性抽樣是一種蒙特卡洛方法,即用一組帶有權值的样本數據來表征隨機變量的概率密度。利用DSS模型的一階馬尔柯夫本質和給定狀态的觀測值依賴性,可以推導遞歸的權值更新方程基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,這裏僅對於给定的粒子基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究而言。在GMSPPF算法中,用GMM近似基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究来。作為建議分布基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。由於基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究包含了最新的樣本數據,使得粒子聚集在高似然区域,一定程度減少了粒子坍塌效應。另外,使用預測的先驗概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究平滑權值更新方程中的基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,這是因為GMSPPF算法用GMM表示後驗概率,本次後驗同時又是下一個時間步的先驗概率,GMM模型中高斯核對後验概率做了平滑處理。基於觀测更新步驟的重要性采樣方法中對粒子不作任何假设,對非線性、非高斯問題具有很強的魯棒性。

4.3 采用加權的EM算法做重采樣和GMM還原

  基於觀測更新步驟的重要性采樣輸出是一組加權的粒子,在標準的粒子滤波器中,這些粒子必須作重采样處理丟棄小權值粒子,同時對权值較大的粒子做放大處理。通過這種處理,可以有效的防止粒子集合的方差增加太快。不幸的是,重采樣步骤只對當觀測似然微弱、大量粒子聚集極少數粒子副本情況有效。在GMSPPF算法中,采用加權的期望最大(Weighted Expection Maximization)直接得到GMM模型,實現對加權粒子的最大似然擬合,這就相當於對粒子的後驗概率做了平滑,避免了粒子坍塌問題,同時,GMM模型中的高斯核的個數減少到G,防止其呈指數级增長,降低了算法復雜度。
  為了比較算法的性能,系統状態估計的條件均值基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,均方誤差(Error Convariane)基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究可以通過兩個方法計算,即在加權的EM算法平滑之前,用下面公式
求解,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究描述了系統的均值與均方誤差性能。

5 算法性能分析與結論

  這裏,給定系统狀態估計問題的算法評估模型
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究       (12)
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究噪聲,基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。另外,非平穩觀測模型
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究       (13)
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究,其中,观測噪聲基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究服從高斯分布基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究。如果給定含噪的系統狀態觀測值yk,采用兩种不同的算法:標準的粒子濾波算法SIR-PF以及GMSPPF算法對系統的狀態xk估計。每次實验共做150次,每次的觀察樣本重新產生,SIR-PF算法中粒子的個數是250個。GMSPPF算法中采用兩種方案:第一種方案用5個高斯核擬合状態後驗概率。狀態噪聲vk,觀測噪聲nk各用一个高斯核擬合。第二種方案則用3個高斯核擬合Gamma(3,2)分布的拖尾狀态噪聲,這裏擬合方法采用EM算法。圖3、圖4描述了系統的隱状態和觀測值及SIR-PF,GMSPPF算法系统狀態的估計值。
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
圖3 SIR-PF粒子濾波器狀態估計
基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究
圖4 GMSPPF粒子濾波器狀態估計
  采用4.3部分的均方誤差和均值計算公式对不同算法對系統狀態估計性能作了比對。圖3、圖4曲線表明,在系統的觀测噪聲nk均方誤差很小,而過程噪聲基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究服從具有長的拖尾 分布時,采用轉移概率基于蒙特卡洛方法的高斯混合采样粒子滤波算法研究作為建議分布的標準粒子濾波器性能很差。這是因为觀測方程中峰值似然函數和系統狀態急劇的跳躍变化產生的結果。盡管可以通過采樣卡爾曼(Sigma-Point)濾波器將粒子向似然峰值區域搬動解決這一問題,但是也使得計算量加大。GMSPPF算法兩種不同方案都具有比SIR-PF更好的系统狀態估計性能,均方誤差比後者數量級降低了1/103-1/104。與1個高斯核擬合過程噪聲的GMSPPF算法比較,3個高斯核擬合算法性能更好,但時間复雜度同樣有所提高。
  由於GMSPPF算法在大幅度降低了算法的計算復雜度同時,可以獲得精確的系統估計性能。所以說,GMSPPF算法為粒子濾波理論實時应用,如目標定位(單目標與多目標)、時變信道估計、圖像增強、机器故障診斷以及語音信號處理等提供了一個新的方案。

參考文獻

[1] Y.C.Ho and R.C.K.Lee,”A Bayesian approach to problems in stochastic estimation and control”IEEE Trans.Automat.contr. vol .AC-9.pp.333-339
[2]A.Doucet,N.Freitas,N.Gordon. Sequential Monte Carlo Methods in Practice [M].Springer
[3]B.D.O. Anderson and J.B.Moore .Optimal filtering . [M]Prentice Hall Englowcod Cliffo,NJ. 1979
[4]N.J.Gordon,D.J.Salmond,A.F.M.Smith,Novel approach to nonlinear/non-Gaussian Bayesian state estimation,IEE proceedings vol140,No2,April 1993
[5]MULLER,“Monte Carlo integration in general dynamic Models“ Contemp .Math.1991,115,pp,145-163
[6]Fredric Gustafsson,Niclas Bergman,”Particle filters for Position,Navigation and Tracking “,Final version for IEEE Transactions on Signal Processing Special issue on Monte Carlo methods for statistical signal
[7]ARNAUD DOUCET,SIMON GODSILL,”On sequential Monte Carlo sampling method for Bayesian filtering “statistics and Computing(2000),10,197-208,recived July 1998 and accepted August 1999
[8] Jayesh H.Kotecha and Petar M.Djurric,”Gaussian Particle Filtering ”In Proc. Workshop Statistical Signal Process.Singapore,Aug.2001
[9]J.S.Liu&R.Chen.”Sequential Monte Carlo Methods for Dynamical Systems”.Journal of the Amerian StatisticalAssociation,1998,Volume 93.pp.1032-1044
[10] ZHE CHEN,”Bayesian filtering:From Kalman filter to particle filters,And Beyond” Manuscript In 2003,April
[11] Jayesh H.Kotecha and Petar M.Djurric,”Gaussian Sum Particle Filtering ” IEEE Transactions On signal Processing,2003,Vol.51.No.10.October
[12]M.Sanjeev Arulampalam,Simon Maskell,Neil Gordon,and Tim Clapp,”A Tutorial on Particle Filteolinear/Non- Gaussian Bayesian Tracking”,IEEE transaction on signal processing,Vol,50,No 2February 2002
免費論文下載中心 http://www.hi138.com
下载论文

論文《基於蒙特卡洛方法的高斯混合采樣粒子濾波算法研究》其它版本

統計學論文

統計學論文服務

代寫統計學論文 統計學論文翻譯服務 如何寫統計學論文? 統計學英文論文統計學中英文對照論文 政府事業單位、機關論文 如怎樣寫好統計學畢業論文?
網站聲明 | 聯系我們 | 網站地圖 | 論文下載地址 | 代寫論文 | 作者搜索 | 英文版 | 手機版 CopyRight@2008 - 2017 免費論文下載中心 京ICP备17062730号