PLS的基本性質擴展與改進策略:以戰略管理實證數據為例

論文類別:理學論文 > 統計學論文
論文標簽:戰略管理論文
上傳時間:2009/9/22 11:39:00

          作者:王希泉 周海煒 謝小韋

  論文關鍵词:偏最小二乘回歸 管理 優勢 劣勢

  論文摘要:偏最小二乘回歸(PLS)應用價值廣泛,在戰略管理研究中,尤其是以企業樣本为主要分析單位時,偏最小二乘回歸良好的數學性质,如交叉有效性原則、對樣本量需求小和多重共線性的診斷等優势發揮的非常明顯。同時偏最小二乘回歸在組織與管理研究中也存在較明顯的不足,針對不足運用一個戰略管理領域企業實地調研的實例對偏最小二乘回歸的劣勢進行否證式的說明與論證。


  偏最小二乘回歸(以下簡稱PLS)是一种先進的多元統計分析方法,主要應用於建立多因變量的統計關系。在回歸分析中,當自變量與因變量的個數都很多,並且在自變量以及因變量之間都存在較嚴重的多重共線时,如果采取一般的多元回歸方法,其分析的可靠性極低,而采取偏最小二乘(PLS)回歸分析的建模方法,可以很好的解決這個問題。


  1.主成分回归和偏最小二乘回歸法的基本思想:

  主成分回歸基本思想:觀察n 個樣本点,得到因變量y 和p 个自變量PLS的基本性质扩展与改进策略:以战略管理实证数据为例關系,設自變量PLS的基本性质扩展与改进策略:以战略管理实证数据为例 = (PLS的基本性质扩展与改进策略:以战略管理实证数据为例) 間的相關數矩陣記為R。

  主成分回歸方法完全撇開因变量y ,單独考慮對自變量集合做主成分提取。其過程是:

  1) 求R 的前m 個非零特征值PLS的基本性质扩展与改进策略:以战略管理实证数据为例,以及相应的特征向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  2) 求m 個主成分:PLS的基本性质扩展与改进策略:以战略管理实证数据为例 PLS的基本性质扩展与改进策略:以战略管理实证数据为例  

  偏最小二乘回歸的基本思想: 首先在自變量集中提取第一潛因子PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例的线性組合, 且盡可能多地提取原自变量集中的變異信息, 比如第一主成分);同時在因變量集中也提取第一潛因子PLS的基本性质扩展与改进策略:以战略管理实证数据为例,並要求PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例相關程度达最大。然後建立因變量Y 與PLS的基本性质扩展与改进策略:以战略管理实证数据为例的回歸,如果回歸方程已達到滿意的精度, 則算法終止。否則繼續第二輪潛在因子的提取, 直到能達到满的精度為止。若最終對自變量集提取PLS的基本性质扩展与改进策略:以战略管理实证数据为例個潛因子PLS的基本性质扩展与改进策略:以战略管理实证数据为例, 偏最小二乘回歸將通過建立Y與PLS的基本性质扩展与改进策略:以战略管理实证数据为例的回歸式, 然后表示為Y 與原自變量的回归方程式[2]。


  2.偏最小二乘回歸法的基本性質與擴展

  1.1偏最小二乘回歸的基本性質

  性質1 在PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例之間存在以下循環計算關系:

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  1.2偏最小二乘回歸的扩展性質及推導

  下面,對偏最小二乘回歸的部分基本性質進行擴展,給出了详細的證明過程。

  擴展性質1 解釋變量空間的潜變量向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例(即成分)與其同階的反應變量空間的殘差向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例直交,即給定任意PLS的基本性质扩展与改进策略:以战略管理实证数据为例,均有PLS的基本性质扩展与改进策略:以战略管理实证数据为例

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  擴展性質2 解釋變量空間的潛变量向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例與其同階及以後的反應變量空間的殘差向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例直交,即給定任意PLS的基本性质扩展与改进策略:以战略管理实证数据为例,且PLS的基本性质扩展与改进策略:以战略管理实证数据为例不小於PLS的基本性质扩展与改进策略:以战略管理实证数据为例,均有PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  證明:由擴展性质1知,PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  當PLS的基本性质扩展与改进策略:以战略管理实证数据为例時,有

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  扩展性質3 在第PLS的基本性质扩展与改进策略:以战略管理实证数据为例步計算得到的回歸系數向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例與其對应的軸PLS的基本性质扩展与改进策略:以战略管理实证数据为例之間有

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  在相關文獻的基礎上,根據偏最小二乘回歸基本理論,扩展了部分性質,並給出了详細的證明過程,性質表明,與其它常見的多元統計分析方法相比,顯示出該方法的獨特之處。

  3 戰略管理企業調研實例的檢驗:基於主成份回歸與PLS回归法的比較

  本次調查歷時6個月,調查方式以訪問、E-mail、傳真等方式進行,為保證问卷回收率訪問調查被大量采用,共發出問卷200余份,回收146份,回收率為70.2%。大部分接受問卷企業對各項能力要素都比較看重。其中均值在5.5以上的二項要素:产品測試方面的專業水平、嚴格的質量管理,反映了大部分企業还是認同技術能力的高低對一個产品的最終影響。

PLS的基本性质扩展与改进策略:以战略管理实证数据为例\s

圖 SEQ 圖 \* ARABIC 1 企業能力各要素的現實表現直方圖

  通過聚類分析,將18個企業能力要素聚類為5大類。在此基礎上運用SAS9.0進行回歸分析。

  戰略管理的實證研究一般運用傳统的因果模型為主,例如主成份分析法,我們運用戰略管理研究方面企業核心能力實地調研的真實數據,運用主成份法進行回歸分析。由可以得出刪去第三個主成分 (PCOMIT= 1)後的主成分回歸方程 (其中OBS為3的那一行)為Y=1.56437 + 0. 11973 x1+ 0. 18803 x2+ 0. 20956 x3+0. 05397 x4+ 0. 10827 x5數據主成分回歸的結果見圖2。

  這個主成分回歸方程中回歸系數的符號都是有意義的;各個回歸系數的方差膨脹因子均小於1.1 (見中OBS為2的那一行);主成分回歸方程的均方根誤差(RMSE=1.08289)。

PLS的基本性质扩展与改进策略:以战略管理实证数据为例


图 SEQ 圖 \* ARABIC 2 基於主成份法分析戰略管理實例的結果

免費論文下載中心 http://www.hi138.com 免費论文下載中心 http://www.hi138.com

  介紹了PLS回歸建模方法对於算法中,給出了一個具體例子,計算出了,PLS回歸較好地克服了各指標間的多重共線性問题,通過此方法求得指數更準確、合理。最後,使用SAS軟件中的PLS過程完成偏最小二乘回歸分析,輸出結果見圖 2

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

圖 SEQ 圖 \* ARABIC 3 基於最小二乘回歸法的江蘇企業能力要素與企業自評滿意度关系

  上圖的第一部分給出抽取潛在變量的個數及相應的用于度量擬合效果的預測殘差平方和 (PRESS)的均方根值, 並指出在L = 1 時預測殘差平方和的均方根達最小。輸出的第二部
分給出第一、二個潜在變量所解釋的變差的百分數 (包括自變量和因變量兩方面) ; 輸出的第三部分給出所擬合的模型的信息。其中OBS為2和3 的行給出自變量和因變量的均值和標準差; OBS為6的行給出抽取二個潛在因子時的偏最小二乘估計,由估計值可以寫出標準化回歸方程為 (Y和 x z 表示 Y 和 x 的標準化變量)

  Y= 0. 11505 x1+ 0. 15942 x2+ 0.13036 x3+0. 11970 x4+ 0. 12946 x5

  以上偏最小二乘回歸方程中回歸系數的符號都是有意義的。偏最小二乘回歸的均方根誤差(需根據原始變量方程算出)比普通最小二乘回歸的均方根誤差 ( RMSE= 1.07560)有所增大, 但增加不多。且比主成分回歸方程的均方根誤差為1.08289也有所增大。


  偏最小二乘回歸對研究很多因變量及很多自變量的相依关系時更能顯示其特點, 此例變量個數少, 故沒能看出太多的優点。

  由實例看出,對於這組數據的處理,主成分回歸與偏最小二乘回歸的計算結果相比,PLS的計算結果更為可靠。且PLS可處理小樣本,30-100家企業數據的优勢使PLS在戰略管理實證中的優勢得以充分發揮。

  4.偏最小二乘回歸的改進策略及推導


  在多元線性回归分析中,如果出現多重共線性的情况,用偏最小二乘回歸分析解決這個問題有很大的優勢.然而, 偏最小二乘回歸也有它的弱點,比如,它對影響點是非穩健的,一個或幾個影響點的存在,可以嚴重改變回歸的結果.其次, 偏最小二乘回歸的選成份的過程也存在缺點。

  偏最小二乘回歸的基本的原理是按降序和交叉有效性原則,順次選擇使PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例的協方差PLS的基本性质扩展与改进策略:以战略管理实证数据为例盡量大的成分PLS的基本性质扩展与改进策略:以战略管理实证数据为例。從前面提供的偏最小二乘回歸的計算過程可以看到,對於一個數據集來讲,成分實際上就是解释矩陣PLS的基本性质扩展与改进策略:以战略管理实证数据为例的列的线性組合,而回歸就是建立在這些成分之上的。

  在偏最小二乘回歸中,提取成分PLS的基本性质扩展与改进策略:以战略管理实证数据为例的基本思路是使協方差 PLS的基本性质扩展与改进策略:以战略管理实证数据为例最大。在很多情形下,這樣提取的因子 PLS的基本性质扩展与改进策略:以战略管理实证数据为例可以保證对因變量的解釋能力最強,同時對自變量集合又有最佳綜合能力。

  根據協方差的計算公式PLS的基本性质扩展与改进策略:以战略管理实证数据为例,最理想的情況是因為選出成份與因變量的相關系數(與響應變量具有較高的相關性)和方差(所選的成份既含有解釋矩陣PLS的基本性质扩展与改进策略:以战略管理实证数据为例中較多的信息)都最大而使協方差達到最大.在很多情況下,兩者兼顧是可以做到的.但是,在某些情況下,盡管相关系數比較小,但由于方差非常大,還是能得到相當大的協方差. 相關系数比較小,回歸的結果一般不会令人滿意.這種情况下,不適宜直接使用偏最小二乘法.這一現象主要是由於解釋矩陣中含有大量與響應變量无關的信息造成的.這些與相应變量無關的信息被提取成具有大方差和小相關系數的成份,從而使得入選成份雖然具有較大的協方差,但是仍然對响應變量缺乏解釋能力.

  為了說明這個問題,给出一個模擬的例子,具體如下:

  考慮模型

  PLS的基本性质扩展与改进策略:以战略管理实证数据为例

PLS的基本性质扩展与改进策略:以战略管理实证数据为例 

 由於前面提到的偏最小二乘的弱點,得到3個估计都接近於0。如果偏最小二乘是有效的,那麽估計的PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例PLS的基本性质扩展与改进策略:以战略管理实证数据为例的3個系數應該是PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  我們提出了一種改進的偏最小二乘回歸。針對這樣的情況,提出的解決辦法是用投影的辦法把解釋矩陣中與響應變量無關的成分扣除出去,經過這样處理的解釋矩陣便不存在含有大量与響應變量無關的信息的問題,也就適合使用偏最小二乘法來處理。

  具體的過程如下:

PLS的基本性质扩展与改进策略:以战略管理实证数据为例

  假定PLS的基本性质扩展与改进策略:以战略管理实证数据为例為单位向量,PLS的基本性质扩展与改进策略:以战略管理实证数据为例,能使PLS的基本性质扩展与改进策略:以战略管理实证数据为例的方差達到最大的向量是矩陣PLS的基本性质扩展与改进策略:以战略管理实证数据为例的最大特征值對應的特征向量。因此尋找那些具有大方差且與響应變量PLS的基本性质扩展与改进策略:以战略管理实证数据为例線性無關的信息就等價於尋找矩陣PLS的基本性质扩展与改进策略:以战略管理实证数据为例的具有較大特征值的標準特征向量,剩下所要做的就是將解釋矩陣PLS的基本性质扩展与改进策略:以战略管理实证数据为例投影到這些标準特征向量所張成的空間的正交補空間中去。投影後得到的矩陣就是扣除了那些與PLS的基本性质扩展与改进策略:以战略管理实证数据为例無關的信息的解釋矩陣,再對響應向量PLS的基本性质扩展与改进策略:以战略管理实证数据为例做回歸的時候就可以用偏最小二乘的方法。


  

參考文獻

  [1]任若恩 王惠文. 多元统計數據分析-理論、方法、實例[M].北京: 國防工業出版社; 1997

  [2]Wu X.and Lou, Z.J.R. .Second-order approach to local influence[J]. Statist.Soc.B. 1993, (55): 929-936.

  [3]高惠璇. 兩個多重相关變量組的統計分析[J]. 數理統計与管理. 2002, 3(2).

  [4]王惠文. 偏最小二乘回歸方法及其應用[M].北京: 國防工業出版社; 1999:67-84.

  [5]高惠璇. 处理多元線性回歸中自變量共線性的几種方法[J]. 数理統計與管理. 2000, 9(5).

免費論文下載中心 http://www.hi138.com
下载论文

統計學論文服務

網站聲明 | 聯系我們 | 網站地圖 | 論文下載地址 | 代寫論文 | 作者搜索 | 英文版 | 手機版 CopyRight@2008 - 2017 免費論文下載中心 京ICP备17062730号