作者：王希泉 周海煒 謝小韋

論文關(guān)鍵詞：偏最小二乘回歸 管理 優(yōu)勢 劣勢

論文摘要：偏最小二乘回歸（PLS）應(yīng)用價(jià)值廣泛，在戰(zhàn)略管理研究中，尤其是以企業(yè)樣本為主要分析單位時(shí)，偏最小二乘回歸良好的數(shù)學(xué)性質(zhì)，如交叉有效性原則、對(duì)樣本量需求小和多重共線性的診斷等優(yōu)勢發(fā)揮的非常明顯。同時(shí)偏最小二乘回歸在組織與管理研究中也存在較明顯的不足，針對(duì)不足運(yùn)用一個(gè)戰(zhàn)略管理領(lǐng)域企業(yè)實(shí)地調(diào)研的實(shí)例對(duì)偏最小二乘回歸的劣勢進(jìn)行否證式的說明與論證。

偏最小二乘回歸（以下簡稱PLS）是一種先進(jìn)的多元統(tǒng)計(jì)分析方法，主要應(yīng)用于建立多因變量的統(tǒng)計(jì)關(guān)系。在回歸分析中，當(dāng)自變量與因變量的個(gè)數(shù)都很多，并且在自變量以及因變量之間都存在較嚴(yán)重的多重共線時(shí)，如果采取一般的多元回歸方法，其分析的可靠性極低，而采取偏最小二乘(PLS)回歸分析的建模方法，可以很好的解決這個(gè)問題。

1.主成分回歸和偏最小二乘回歸法的基本思想：

主成分回歸基本思想：觀察n 個(gè)樣本點(diǎn)，得到因變量y 和p 個(gè)自變量關(guān)系，設(shè)自變量 = () 間的相關(guān)數(shù)矩陣記為R。

主成分回歸方法完全撇開因變量y ，單獨(dú)考慮對(duì)自變量集合做主成分提取。其過程是:

1) 求R 的前m 個(gè)非零特征值，以及相應(yīng)的特征向量；

2) 求m 個(gè)主成分:

偏最小二乘回歸的基本思想： 首先在自變量集中提取第一潛因子（是的線性組合， 且盡可能多地提取原自變量集中的變異信息， 比如第一主成分)；同時(shí)在因變量集中也提取第一潛因子，并要求與相關(guān)程度達(dá)最大。然后建立因變量Y 與的回歸，如果回歸方程已達(dá)到滿意的精度， 則算法終止。否則繼續(xù)第二輪潛在因子的提取， 直到能達(dá)到滿的精度為止。若最終對(duì)自變量集提取個(gè)潛因子， 偏最小二乘回歸將通過建立Y與的回歸式， 然后表示為Y 與原自變量的回歸方程式[2]。

2.偏最小二乘回歸法的基本性質(zhì)與擴(kuò)展

1.1偏最小二乘回歸的基本性質(zhì)

性質(zhì)1 在 、 、 和之間存在以下循環(huán)計(jì)算關(guān)系：

1.2偏最小二乘回歸的擴(kuò)展性質(zhì)及推導(dǎo)

下面，對(duì)偏最小二乘回歸的部分基本性質(zhì)進(jìn)行擴(kuò)展，給出了詳細(xì)的證明過程。

擴(kuò)展性質(zhì)1 解釋變量空間的潛變量向量（即成分）與其同階的反應(yīng)變量空間的殘差向量直交，即給定任意，均有

擴(kuò)展性質(zhì)2 解釋變量空間的潛變量向量與其同階及以后的反應(yīng)變量空間的殘差向量直交，即給定任意，且不小于，均有

證明：由擴(kuò)展性質(zhì)1知，，

當(dāng)時(shí)，有

擴(kuò)展性質(zhì)3 在第步計(jì)算得到的回歸系數(shù)向量與其對(duì)應(yīng)的軸之間有

在相關(guān)文獻(xiàn)的基礎(chǔ)上，根據(jù)偏最小二乘回歸基本理論，擴(kuò)展了部分性質(zhì)，并給出了詳細(xì)的證明過程，性質(zhì)表明，與其它常見的多元統(tǒng)計(jì)分析方法相比，顯示出該方法的獨(dú)特之處。

3 戰(zhàn)略管理企業(yè)調(diào)研實(shí)例的檢驗(yàn)：基于主成份回歸與PLS回歸法的比較

本次調(diào)查歷時(shí)6個(gè)月，調(diào)查方式以訪問、E-mail、傳真等方式進(jìn)行，為保證問卷回收率訪問調(diào)查被大量采用，共發(fā)出問卷200余份，回收146份，回收率為70.2%。大部分接受問卷企業(yè)對(duì)各項(xiàng)能力要素都比較看重。其中均值在5.5以上的二項(xiàng)要素：產(chǎn)品測試方面的專業(yè)水平、嚴(yán)格的質(zhì)量管理，反映了大部分企業(yè)還是認(rèn)同技術(shù)能力的高低對(duì)一個(gè)產(chǎn)品的最終影響。

\s

圖 SEQ 圖 \* ARABIC 1 企業(yè)能力各要素的現(xiàn)實(shí)表現(xiàn)直方圖

通過聚類分析，將18個(gè)企業(yè)能力要素聚類為5大類。在此基礎(chǔ)上運(yùn)用SAS9.0進(jìn)行回歸分析。

戰(zhàn)略管理的實(shí)證研究一般運(yùn)用傳統(tǒng)的因果模型為主，例如主成份分析法，我們運(yùn)用戰(zhàn)略管理研究方面企業(yè)核心能力實(shí)地調(diào)研的真實(shí)數(shù)據(jù)，運(yùn)用主成份法進(jìn)行回歸分析。由可以得出刪去第三個(gè)主成分 (PCOMIT= 1)后的主成分回歸方程 (其中OBS為3的那一行)為Y=1.56437 + 0. 11973 x1+ 0. 18803 x2+ 0. 20956 x3+0. 05397 x4+ 0. 10827 x5數(shù)據(jù)主成分回歸的結(jié)果見圖2。

這個(gè)主成分回歸方程中回歸系數(shù)的符號(hào)都是有意義的;各個(gè)回歸系數(shù)的方差膨脹因子均小于1.1 (見中OBS為2的那一行);主成分回歸方程的均方根誤差(RMSE=1.08289)。

圖 SEQ 圖 \* ARABIC 2 基于主成份法分析戰(zhàn)略管理實(shí)例的結(jié)果

介紹了PLS回歸建模方法對(duì)于算法中，給出了一個(gè)具體例子，計(jì)算出了，PLS回歸較好地克服了各指標(biāo)間的多重共線性問題，通過此方法求得指數(shù)更準(zhǔn)確、合理。最后，使用SAS軟件中的PLS過程完成偏最小二乘回歸分析，輸出結(jié)果見圖 2

圖 SEQ 圖 \* ARABIC 3 基于最小二乘回歸法的江蘇企業(yè)能力要素與企業(yè)自評(píng)滿意度關(guān)系

上圖的第一部分給出抽取潛在變量的個(gè)數(shù)及相應(yīng)的用于度量擬合效果的預(yù)測殘差平方和 (PRESS)的均方根值， 并指出在L = 1 時(shí)預(yù)測殘差平方和的均方根達(dá)最小。輸出的第二部 分給出第一、二個(gè)潛在變量所解釋的變差的百分?jǐn)?shù) (包括自變量和因變量兩方面) ; 輸出的第三部分給出所擬合的模型的信息。其中OBS為2和3 的行給出自變量和因變量的均值和標(biāo)準(zhǔn)差; OBS為6的行給出抽取二個(gè)潛在因子時(shí)的偏最小二乘估計(jì)，由估計(jì)值可以寫出標(biāo)準(zhǔn)化回歸方程為 (Y和 x z 表示 Y 和 x 的標(biāo)準(zhǔn)化變量)

Y= 0. 11505 x1+ 0. 15942 x2+ 0.13036 x3+0. 11970 x4+ 0. 12946 x5

以上偏最小二乘回歸方程中回歸系數(shù)的符號(hào)都是有意義的。偏最小二乘回歸的均方根誤差(需根據(jù)原始變量方程算出)比普通最小二乘回歸的均方根誤差 ( RMSE= 1.07560)有所增大， 但增加不多。且比主成分回歸方程的均方根誤差為1.08289也有所增大。

偏最小二乘回歸對(duì)研究很多因變量及很多自變量的相依關(guān)系時(shí)更能顯示其特點(diǎn)， 此例變量個(gè)數(shù)少， 故沒能看出太多的優(yōu)點(diǎn)。

由實(shí)例看出，對(duì)于這組數(shù)據(jù)的處理，主成分回歸與偏最小二乘回歸的計(jì)算結(jié)果相比，PLS的計(jì)算結(jié)果更為可靠。且PLS可處理小樣本，30-100家企業(yè)數(shù)據(jù)的優(yōu)勢使PLS在戰(zhàn)略管理實(shí)證中的優(yōu)勢得以充分發(fā)揮。

4.偏最小二乘回歸的改進(jìn)策略及推導(dǎo)

在多元線性回歸分析中，如果出現(xiàn)多重共線性的情況，用偏最小二乘回歸分析解決這個(gè)問題有很大的優(yōu)勢.然而， 偏最小二乘回歸也有它的弱點(diǎn)，比如，它對(duì)影響點(diǎn)是非穩(wěn)健的，一個(gè)或幾個(gè)影響點(diǎn)的存在，可以嚴(yán)重改變回歸的結(jié)果.其次， 偏最小二乘回歸的選成份的過程也存在缺點(diǎn)。

偏最小二乘回歸的基本的原理是按降序和交叉有效性原則，順次選擇使和的協(xié)方差盡量大的成分。從前面提供的偏最小二乘回歸的計(jì)算過程可以看到，對(duì)于一個(gè)數(shù)據(jù)集來講，成分實(shí)際上就是解釋矩陣的列的線性組合，而回歸就是建立在這些成分之上的。

在偏最小二乘回歸中，提取成分的基本思路是使協(xié)方差 最大。在很多情形下，這樣提取的因子 可以保證對(duì)因變量的解釋能力最強(qiáng)，同時(shí)對(duì)自變量集合又有最佳綜合能力。

根據(jù)協(xié)方差的計(jì)算公式，最理想的情況是因?yàn)檫x出成份與因變量的相關(guān)系數(shù)(與響應(yīng)變量具有較高的相關(guān)性)和方差(所選的成份既含有解釋矩陣中較多的信息)都最大而使協(xié)方差達(dá)到最大.在很多情況下，兩者兼顧是可以做到的.但是，在某些情況下，盡管相關(guān)系數(shù)比較小，但由于方差非常大，還是能得到相當(dāng)大的協(xié)方差. 相關(guān)系數(shù)比較小，回歸的結(jié)果一般不會(huì)令人滿意.這種情況下，不適宜直接使用偏最小二乘法.這一現(xiàn)象主要是由于解釋矩陣中含有大量與響應(yīng)變量無關(guān)的信息造成的.這些與相應(yīng)變量無關(guān)的信息被提取成具有大方差和小相關(guān)系數(shù)的成份，從而使得入選成份雖然具有較大的協(xié)方差，但是仍然對(duì)響應(yīng)變量缺乏解釋能力.

為了說明這個(gè)問題，給出一個(gè)模擬的例子，具體如下：

考慮模型

由于前面提到的偏最小二乘的弱點(diǎn)，得到3個(gè)估計(jì)都接近于0。如果偏最小二乘是有效的，那么估計(jì)的 、 、的3個(gè)系數(shù)應(yīng)該是

我們提出了一種改進(jìn)的偏最小二乘回歸。針對(duì)這樣的情況，提出的解決辦法是用投影的辦法把解釋矩陣中與響應(yīng)變量無關(guān)的成分扣除出去，經(jīng)過這樣處理的解釋矩陣便不存在含有大量與響應(yīng)變量無關(guān)的信息的問題，也就適合使用偏最小二乘法來處理。

具體的過程如下：

假定為單位向量，，能使的方差達(dá)到最大的向量是矩陣的最大特征值對(duì)應(yīng)的特征向量。因此尋找那些具有大方差且與響應(yīng)變量線性無關(guān)的信息就等價(jià)于尋找矩陣的具有較大特征值的標(biāo)準(zhǔn)特征向量，剩下所要做的就是將解釋矩陣投影到這些標(biāo)準(zhǔn)特征向量所張成的空間的正交補(bǔ)空間中去。投影后得到的矩陣就是扣除了那些與無關(guān)的信息的解釋矩陣，再對(duì)響應(yīng)向量做回歸的時(shí)候就可以用偏最小二乘的方法。

[1]任若恩 王惠文. 多元統(tǒng)計(jì)數(shù)據(jù)分析-理論、方法、實(shí)例[M].北京: 國防工業(yè)出版社; 1997

[2]Wu X.and Lou， Z.J.R. .Second-order approach to local influence[J]. Statist.Soc.B. 1993， (55): 929-936.

[3]高惠璇. 兩個(gè)多重相關(guān)變量組的統(tǒng)計(jì)分析[J]. 數(shù)理統(tǒng)計(jì)與管理. 2002， 3(2).

[4]王惠文. 偏最小二乘回歸方法及其應(yīng)用[M].北京: 國防工業(yè)出版社; 1999:67-84.

[5]高惠璇. 處理多元線性回歸中自變量共線性的幾種方法[J]. 數(shù)理統(tǒng)計(jì)與管理. 2000， 9(5).