分散與標準化:相同平均為何可能完全不同

閱讀入口:國九先理解平均數以外的分散與全距;高一接續閱讀標準差與標準化。標示「選讀推理」的部分,可以在理解主線後再讀。 國家教育研究院

國九入口:平均相同,零件就一樣合用嗎?

一份驗收報告告訴你:兩批零件的平均長度都是100毫米,而設計要求恰好也是100毫米。

這是不是表示,兩批零件做得一樣好?

先把摘要放下,看看資料。以下零件、數據及規格都是假想的教學情境,不是實測紀錄:

甲批:97,99,100,101,103乙批:91,97,100,103,109

單位都是毫米。兩批各有五件,總長度都是500毫米,所以平均數確實都是:

5005=100毫米。

可是,假設零件必須落在97至103毫米之間才能使用,包含兩個端點,甲批五件全部符合要求,乙批卻有兩件不符合。

相同平均,不同分散:甲乙使用同一毫米尺度,規格從九十七到一百零三毫米,包含兩個端點。
相同平均,不同分散:甲乙使用同一毫米尺度,規格從九十七到一百零三毫米,包含兩個端點。

平均數沒有算錯。出問題的是,我們要求它回答了一個它沒有回答的問題。

平均數指出一種整體中心,卻不保證每件零件都靠近中心。長了9毫米與短了9毫米,在平均時可以互相抵消;在裝配時,卻不會因此都變得合用。

中心在哪裡,與個別資料散得多開,是兩個不同的問題。

先用一個簡單的方法看差別:找出最大值與最小值,計算兩者的差。這個差叫作全距。

甲批全距=103−97=6毫米, 乙批全距=109−91=18毫米。

兩批平均相同,但最遠兩端之間的跨度不同。

全距很容易計算,代價是只保留兩端。中間的數值即使移動,只要最大值與最小值不變,全距就不變。因此,全距告訴我們的是整體跨度,不是每一筆資料靠近中心的情形。NIST

這就引出了下一個問題:能不能讓每一筆資料與中心的距離,都參與描述這群資料?

在「標準差」這個名稱出現以前,人們已經能做什麼?

人類不是有了標準差,才第一次注意到觀測不會完全一致。處理觀測時,如何從不完全吻合的結果中選出近似答案;比較一群對象時,如何描述它們的共同位置與彼此差異,都是需要方法的問題。

十九世紀初,平方偏離已經進入這類研究。數學史研究記載,勒讓德在1805年發表最小平方法,將它作為近似工具。其基本判準,是把觀測與所選近似結果之間的差平方後加總,尋找使這個總量較小的選擇。這比「標準差」名稱的使用更早;處理平方誤差的方法,不能倒過來說成由今日的標準差公式才開始。Springer

另一路方法則從排序出發。高爾頓在1875年的文章中,先談逐一量測、取得數值的既有做法,再說明:即使沒有先把每個對象精密量成數字,也可能把它們依大小排列,選出中央及四分位附近的代表對象。他所說的中央位置,按今天的術語是中位數,不能把原文較寬泛的「mean」一律讀成算術平均數。Galton PDF

這種方法當時增加了一項實際能力:不必一開始就取得全部精密量測值,也能比較居中位置及散開情形。不過,高爾頓同時指出,選出了具有某種差異的代表對象,不等於已經得到差異的數值。知道誰較大,與知道相差多少,仍是兩件事。Galton PDF

聖安德魯斯大學的數學史條目,則把皮爾森使用「standard-deviation」名稱的記錄指向1894年論文第80頁。這是一個可查的用語節點,不表示排序、分散或平方偏離都在那一年才被發明。Maths History

這些方法不是一條「新方法出現,舊方法就失效」的淘汰線。排序、全距與平方偏離,各自保留不同資訊。若要計算標準差,仍然必須先取得數值;它不會代替量測,也不保證比找全距省力。

它增加的,是另一種可以反覆計算、比較與傳遞的摘要:把每一筆資料相對平均數的偏離,依同一套規則合成一個尺度。

高一主文:為什麼不能直接用離均差的平均表示分散?

回到甲批:

97,99,100,101,103。

平均數是100。每筆資料減去平均數,得到:

−3,−1,0,1,3。

這些數稱為離均差。負號表示在平均以下,正號表示在平均以上;絕對值表示離平均多遠。

這裡的「差」不表示資料錯了。平均數也不一定是理想值,只是在這個例子中恰好等於設計長度。

既然要描述整群資料離平均多遠,直接把離均差平均,會得到什麼?

−3−1+0+1+35=0。

這個平均可以計算,但不能用來區分資料散得多開。乙批更分散,離均差的平均卻同樣是零。

而且,這不是左右對稱才有的巧合。平均數的定義是「總和除以筆數」;因此,從每筆資料各減去一次平均數,合計減去的恰好就是原本的資料總和,最後一定得到零。

用甲批看,就是:

(97+99+100+101+103)−5×100=0。

有方向的離均差適合表示在中心哪一側,卻會在加總時失去我們想保留的散開資訊。

要避免抵消,一個合理辦法是取絕對值,得到:

3,1,0,1,3。

這些距離的平均,確實可以形成另一種分散量。因此,不能說「正負會抵消,所以只能平方」;平均絕對偏差也是可用的選擇。NIST

標準差走的是另一條路:先平方,再平均,最後開根號。

平方使每一項都不小於零,也使大偏離有更大的影響。離中心3毫米,平方後是9平方毫米;離中心1毫米,平方後是1平方毫米。原本三倍的距離,在平方和裡得到九倍的貢獻。

接著取平均,是為了不讓這個量只是隨著資料筆數堆高。把同一份資料完整複製一次,平方離均差總和會加倍,資料筆數也加倍;除以筆數後,分散量保持不變,符合「分布樣貌沒有改變」的意思。

最後開根號,是把單位帶回來。毫米經過平方成為平方毫米,再開根號才回到毫米,可以與原資料的距離對照。但這不會把前面的平方逐項取消,因為兩者之間已經先合計並取了平均。NIST

本篇把眼前的資料當作要描述的完整一組,每筆等權,至少有一筆。以 n 表示筆數,以 μ 表示平均數;μ 也常寫作 x¯。

變異數就是平方離均差的平均:

σ2=(x1−μ)2+(x2−μ)2+⋯+(xn−μ)2n

式子中的省略號表示把每筆資料的平方離均差全部加完,沒有漏掉任何一筆。變異數的非負平方根,就是標準差:

σ=σ2。

這裡的分母固定是完整資料的筆數 n。用一部分資料估計另一個未知群體,是不同的問題,本篇不混用那類公式。

算出2與6之後,究竟知道了什麼?

兩批的平均數都是100毫米。把計算展開:

組別離均差(毫米)平方離均差(平方毫米)平方和
甲−3、−1、0、1、39、1、0、1、920
乙−9、−3、0、3、981、9、0、9、81180

所以甲批:

σ甲2=205=4平方毫米,σ甲=4=2毫米。

乙批:

σ乙2=1805=36平方毫米,σ乙=36=6毫米。

原本相同的中心,現在配上不同的分散尺度。

還可以回查原始資料:這個例子特別安排成,乙批各位置的離均差是甲批對應離均差的三倍。平方後變成九倍,取平均仍是九倍,最後開根號回到三倍。標準差從2變成6,正好反映這個結構。

分母也需要看清楚。甲批的100雖然貢獻零,仍然是一筆資料,不能因為它沒有增加平方和,就把分母改成4。

若另有一份完整的四筆資料97、99、101、103,平均數同樣是100,它的標準差才是:

9+1+1+94=5毫米。

這是另一份資料,不能沿用五筆資料的分母。

不過,標準差為2毫米,不是說每件都離平均2毫米,也不是說一般算術意義的平均距離是2毫米。

甲批實際的五個距離是3、1、0、1、3,平均為:

3+1+0+1+35=1.6毫米,

最大的距離則是3毫米。這三個數回答不同問題:1.6是距離的算術平均,3是最大距離,2是平方距離平均後開根所得的尺度。

標準差讓每一筆偏離都參與計算,卻沒有把每一筆位置完整保存下來。它是一種摘要,不是原始資料的替身。

選讀推理:平均數為什麼與平方偏離相配?

既然可以用平方距離評量分散,為什麼偏偏從平均數量起,而不是從其他位置量起?

拿甲批來說,若把參照位置由100改成另一個數 c,五個平方距離的平均會是:

(97−c)2+(99−c)2+(100−c)2+(101−c)2+(103−c)25。

每個差都可以拆成兩段。例如:

97−c=(97−100)+(100−c)=−3+(100−c)。

其餘四筆也是同樣的拆法。平方展開後,原來五個平方離均差的平均是4;五個 (100−c)2 的平均仍是 (100−c)2;交叉項的合計則含有:

2(100−c)(−3−1+0+1+3)=0。

因此,前面的式子恰好等於:

4+(100−c)2。

後面那一項不可能是負數,只有 c=100 時才是零。也就是說,選擇平均數當中心,平方距離的平均最小,而且只有這個中心能達到最小值。

同樣的拆法也適用於其他有限資料:改用別的中心,平方距離的平均,等於原來的變異數再加上「兩個中心之差的平方」。

這是今天可以直接驗證的代數連結,不是宣稱歷史上的研究者全都按照這個教學順序發明標準差。它也不表示所有問題都應使用平均數,而是說:一旦選擇平方偏離作為判準,平均數就是與它相配的中心。

中心移動與尺度改變,不能混為一談

假設把甲批每個數都加上10,得到:

107,109,110,111,113。

平均數變成110,但每筆資料與新平均數的差,仍然是:

−3,−1,0,1,3。

所以標準差仍是2毫米。

整組一起平移,改變中心位置,沒有改變相對中心的散布。對原來97至103毫米的規格而言,這五件反而全部不合用。資料可以集中,卻集中在不符合要求的位置。

再換一種改動:不改變零件,只把毫米改記成公分。

9.7,9.9,10,10.1,10.3。

平均數變成10公分,標準差變成0.2公分。零件沒有更整齊,只是單位變了。2毫米與0.2公分表示同樣的散布,不能只看數字2比0.2大,就說前者比較分散。

選讀推理:把這兩種變化合在一起

假設每個原數值 xi 都依同一規則改成:

yi=axi+b,

其中 a、b 是固定實數。新平均數為:

μy=aμx+b。

所以新離均差是:

yi−μy=a(xi−μx)。

每一項平方離均差都變成原來的 a2 倍,平均也是 a2 倍,開根後得到:

σy=|a|σx。

加上的 b 隨平均數一起消去;乘上的 a 則改變距離尺度。即使 a<0,反轉方向也不會讓距離變負,所以必須寫絕對值。

若 a=0,所有新資料都成為 b,標準差便是0。這不是公式失效,而是所有差異都被這個變換消掉了。

標準化:改用這群資料自己的散布當作尺

一個數比平均高出3單位,這個差距算大嗎?

單看「3」不能回答。在標準差為2的資料裡,它是1.5個標準差;在標準差為6的資料裡,它只有半個標準差。原始差距一樣,放在各自資料的散布中,相對位置卻不同。

把外部測量單位換成資料自身的變異尺度,也有歷史實例。高爾頓一篇記載於1888年12月5日收稿的研究,便將不同測量的偏離改用各自的變異尺度表示,以研究它們如何一起變動。他採用的中心是中位數,尺度是當時所稱的「或然誤差」,不是今日以平均數與標準差定義的公式。加爾頓網站

這個轉換讓研究者不只比較原始單位下的差,還能比較偏離相對於各自散布有多大。它是相對尺度的歷史實例,不能直接說成今日標準化分數的完整發明。

現在回到本篇的定義。當參照資料的標準差 σ>0 時,數值 x 的標準化數值為:

z=x−μσ。

先減平均數,是把參照中心搬到零;再除以標準差,是改以這群資料的一個標準差為一單位。因此,z 表示「高於或低於平均幾個標準差」。分子與分母的單位相同,相除後沒有原來的量綱;它不是另一種毫米。NIST

例如同樣是103毫米:

z甲=103−1002=1.5,z乙=103−1006=0.5。

它在甲批位於平均以上1.5個標準差,在乙批則位於平均以上半個標準差。兩個結果都沒有改變零件長度,只是使用了不同的參照尺度。

換成一個假想成績例子:已知指定參照資料的平均數為60分、標準差為6分,72分便對應到:

z=72−606=2。

意思是高於這個參照平均兩個標準差,不是高於平均2分。反過來,若已給 z=−2,就表示低於參照平均兩個標準差;它也不是名次或負兩分。

把甲批全部標準化,得到:

−1.5,−0.5,0,0.5,1.5。

乙批全部標準化,恰好也得到同一組數。它們的平均數都是零,而標準差都是:

2.25+0.25+0+0.25+2.255=1。
圖二甲:以甲批平均一百及標準差二毫米標準化,五筆資料逐點對應;綠色規格帶包含兩端。
圖二甲:以甲批平均一百及標準差二毫米標準化,五筆資料逐點對應;綠色規格帶包含兩端。
圖二乙:以乙批平均一百及標準差六毫米標準化;同一物理規格變成較窄的標準化區間。
圖二乙:以乙批平均一百及標準差六毫米標準化;同一物理規格變成較窄的標準化區間。

這不只對這兩組成立。從整組資料都減去自己的平均數,新的平均數就成為零;再把每個離均差除以自己的非零標準差,平方離均差的平均便除以原本的 σ2,成為1,開根後仍是1。

所以,以同一組資料自己的平均數與非零標準差進行標準化,而且前後採用相同的計算約定,新的平均數為0、標準差為1。

若用的是另一組參照資料的平均數與標準差,仍能計算相對位置,但不能保證被轉換的這一組資料也有平均0、標準差1。

這個結果不需要假設資料呈現某種特定形狀。標準化不會自動把資料變成常態分布,也不會使所有資料都擁有相同形狀。甲乙的結果相同,是因為它們原先的對應離均差恰好成固定倍數,不是標準化的一般保證。

共用一種表示,不等於共用一個合格標準

甲批的103毫米與乙批的109毫米,都對應到 z=1.5,但依開頭的規格,前者合格,後者不合格。

標準化統一的是相對位置的表達,沒有改寫實際規格。

甚至同一個97至103毫米的規格,換到各自的標準化尺度後也不同。甲批對應的是:

−1.5≤z≤1.5,

乙批對應的卻是:

−0.5≤z≤0.5。

原本同一個物理要求,不能因為改用了相對尺度,就擅自畫成同一段合格區間。

此外,只要保留參照平均數、標準差與足夠的數值精度,就能反算原值:

x=μ+σz。

乙批的 z=1.5,反算就是:

100+6×1.5=109。

因此,標準化本身不是必然丟失原值;丟掉所用的中心、尺度,或過度四捨五入,才可能使原值無法準確還原。

邊界一:沒有分散,就沒有可借用的非零尺度

假設另一批五件零件全是110毫米。

它們的平均數為110,每個離均差都是零,所以標準差是0。

反過來,由於平方離均差都不小於零,它們的平均若為零,就必須每項都是零。因此,對本篇的完整有限資料:

σ=0⟺所有資料相同。

但用這一組自己的平均數與標準差標準化,會遇到:

110−1100=00,

這個式子沒有定義,不能把每個標準化數值填成0。

原因不只是背誦「分母不能為零」。標準化想借用這群資料的散布當作尺;資料完全不散開,就沒有非零的散布長度可供換算。只有一筆資料時,也會落在這個情況。

同時,五件110毫米雖然完全一致,卻全部不符合開頭的規格。標準差為零表示一致,不表示正確,更不表示優秀。

邊界二:兩個摘要數值,仍不等於完整分布

再看一組用來檢查摘要限制的假想資料:

丙批:96,101,101,101,101。

它的平均數仍是100,離均差為−4、1、1、1、1,標準差為:

16+1+1+1+15=2毫米。

丙批與甲批的平均數、標準差完全相同,甲批卻五件合格,丙批只有四件合格。相同摘要,不保證每件的位置或合格情形相同。

同樣地,兩批中的101毫米都對應到 z=0.5。但是甲批比101小的有三筆,丙批比101小的只有一筆。因此,跨不同群體比較時,相同標準化數值不保證相同排名,也不能直接換成固定的百分比。

這不表示標準化會打亂同一組資料的大小順序。在同一組資料裡,大家減去相同平均數,再除以同一個正的標準差,較大的值仍然較大,相等的值也仍相等。要分清楚的是「同一群體內保留順序」與「不同群體間排名相同」,不是同一件事。

這些例子是用來看清摘要的工作邊界,不是要否定摘要。知道它省略了什麼,才能判斷什麼時候需要回頭查看原始資料。

我們因此多了一種什麼判斷能力?

在當代工程統計中,評估製程不能只看平均數。NIST的製程能力說明,會把製程變異與規格界線相互比較,並要求考慮製程穩定性及資料條件。本篇的五筆假想資料,只能示範眼前資料如何被摘要,不能直接預測未來整個製程的合格率。NIST

背後的機制不神祕:中心偏移與散布過大,是不同問題;實際長度與相對於群體的距離,也是不同資訊。把它們拆開描述,才可能分別判斷。

把這個數學連結帶回成績報告,兩班平均相同,不能直接認定學習情況相同;兩份測驗的標準化數值相同,也不能只憑這個轉換,就認定它們衡量同一種能力,或兩個人的名次相同。

分散讓我們看見平均數沒有保留的差異;標準化讓我們知道,距離除了能用原始單位量,也能用參照資料自身的散布來量。

真正增加的能力,不只是多算兩個數,而是分得清楚:中心在哪裡、資料散得多開、比較使用哪一把尺,以及判斷好壞的標準究竟從哪裡來。