分散與標準化:相同平均為何可能完全不同
閱讀入口:國九先理解平均數以外的分散與全距;高一接續閱讀標準差與標準化。標示「選讀推理」的部分,可以在理解主線後再讀。 國家教育研究院
國九入口:平均相同,零件就一樣合用嗎?
一份驗收報告告訴你:兩批零件的平均長度都是100毫米,而設計要求恰好也是100毫米。
這是不是表示,兩批零件做得一樣好?
先把摘要放下,看看資料。以下零件、數據及規格都是假想的教學情境,不是實測紀錄:
單位都是毫米。兩批各有五件,總長度都是500毫米,所以平均數確實都是:
可是,假設零件必須落在97至103毫米之間才能使用,包含兩個端點,甲批五件全部符合要求,乙批卻有兩件不符合。
平均數沒有算錯。出問題的是,我們要求它回答了一個它沒有回答的問題。
平均數指出一種整體中心,卻不保證每件零件都靠近中心。長了9毫米與短了9毫米,在平均時可以互相抵消;在裝配時,卻不會因此都變得合用。
中心在哪裡,與個別資料散得多開,是兩個不同的問題。
先用一個簡單的方法看差別:找出最大值與最小值,計算兩者的差。這個差叫作全距。
兩批平均相同,但最遠兩端之間的跨度不同。
全距很容易計算,代價是只保留兩端。中間的數值即使移動,只要最大值與最小值不變,全距就不變。因此,全距告訴我們的是整體跨度,不是每一筆資料靠近中心的情形。NIST
這就引出了下一個問題:能不能讓每一筆資料與中心的距離,都參與描述這群資料?
在「標準差」這個名稱出現以前,人們已經能做什麼?
人類不是有了標準差,才第一次注意到觀測不會完全一致。處理觀測時,如何從不完全吻合的結果中選出近似答案;比較一群對象時,如何描述它們的共同位置與彼此差異,都是需要方法的問題。
十九世紀初,平方偏離已經進入這類研究。數學史研究記載,勒讓德在1805年發表最小平方法,將它作為近似工具。其基本判準,是把觀測與所選近似結果之間的差平方後加總,尋找使這個總量較小的選擇。這比「標準差」名稱的使用更早;處理平方誤差的方法,不能倒過來說成由今日的標準差公式才開始。Springer
另一路方法則從排序出發。高爾頓在1875年的文章中,先談逐一量測、取得數值的既有做法,再說明:即使沒有先把每個對象精密量成數字,也可能把它們依大小排列,選出中央及四分位附近的代表對象。他所說的中央位置,按今天的術語是中位數,不能把原文較寬泛的「mean」一律讀成算術平均數。Galton PDF
這種方法當時增加了一項實際能力:不必一開始就取得全部精密量測值,也能比較居中位置及散開情形。不過,高爾頓同時指出,選出了具有某種差異的代表對象,不等於已經得到差異的數值。知道誰較大,與知道相差多少,仍是兩件事。Galton PDF
聖安德魯斯大學的數學史條目,則把皮爾森使用「standard-deviation」名稱的記錄指向1894年論文第80頁。這是一個可查的用語節點,不表示排序、分散或平方偏離都在那一年才被發明。Maths History
這些方法不是一條「新方法出現,舊方法就失效」的淘汰線。排序、全距與平方偏離,各自保留不同資訊。若要計算標準差,仍然必須先取得數值;它不會代替量測,也不保證比找全距省力。
它增加的,是另一種可以反覆計算、比較與傳遞的摘要:把每一筆資料相對平均數的偏離,依同一套規則合成一個尺度。
高一主文:為什麼不能直接用離均差的平均表示分散?
回到甲批:
平均數是100。每筆資料減去平均數,得到:
這些數稱為離均差。負號表示在平均以下,正號表示在平均以上;絕對值表示離平均多遠。
這裡的「差」不表示資料錯了。平均數也不一定是理想值,只是在這個例子中恰好等於設計長度。
既然要描述整群資料離平均多遠,直接把離均差平均,會得到什麼?
這個平均可以計算,但不能用來區分資料散得多開。乙批更分散,離均差的平均卻同樣是零。
而且,這不是左右對稱才有的巧合。平均數的定義是「總和除以筆數」;因此,從每筆資料各減去一次平均數,合計減去的恰好就是原本的資料總和,最後一定得到零。
用甲批看,就是:
有方向的離均差適合表示在中心哪一側,卻會在加總時失去我們想保留的散開資訊。
要避免抵消,一個合理辦法是取絕對值,得到:
這些距離的平均,確實可以形成另一種分散量。因此,不能說「正負會抵消,所以只能平方」;平均絕對偏差也是可用的選擇。NIST
標準差走的是另一條路:先平方,再平均,最後開根號。
平方使每一項都不小於零,也使大偏離有更大的影響。離中心3毫米,平方後是9平方毫米;離中心1毫米,平方後是1平方毫米。原本三倍的距離,在平方和裡得到九倍的貢獻。
接著取平均,是為了不讓這個量只是隨著資料筆數堆高。把同一份資料完整複製一次,平方離均差總和會加倍,資料筆數也加倍;除以筆數後,分散量保持不變,符合「分布樣貌沒有改變」的意思。
最後開根號,是把單位帶回來。毫米經過平方成為平方毫米,再開根號才回到毫米,可以與原資料的距離對照。但這不會把前面的平方逐項取消,因為兩者之間已經先合計並取了平均。NIST
本篇把眼前的資料當作要描述的完整一組,每筆等權,至少有一筆。以 表示筆數,以 表示平均數; 也常寫作 。
變異數就是平方離均差的平均:
式子中的省略號表示把每筆資料的平方離均差全部加完,沒有漏掉任何一筆。變異數的非負平方根,就是標準差:
這裡的分母固定是完整資料的筆數 。用一部分資料估計另一個未知群體,是不同的問題,本篇不混用那類公式。
算出2與6之後,究竟知道了什麼?
兩批的平均數都是100毫米。把計算展開:
| 組別 | 離均差(毫米) | 平方離均差(平方毫米) | 平方和 |
|---|---|---|---|
| 甲 | −3、−1、0、1、3 | 9、1、0、1、9 | 20 |
| 乙 | −9、−3、0、3、9 | 81、9、0、9、81 | 180 |
所以甲批:
乙批:
原本相同的中心,現在配上不同的分散尺度。
還可以回查原始資料:這個例子特別安排成,乙批各位置的離均差是甲批對應離均差的三倍。平方後變成九倍,取平均仍是九倍,最後開根號回到三倍。標準差從2變成6,正好反映這個結構。
分母也需要看清楚。甲批的100雖然貢獻零,仍然是一筆資料,不能因為它沒有增加平方和,就把分母改成4。
若另有一份完整的四筆資料97、99、101、103,平均數同樣是100,它的標準差才是:
這是另一份資料,不能沿用五筆資料的分母。
不過,標準差為2毫米,不是說每件都離平均2毫米,也不是說一般算術意義的平均距離是2毫米。
甲批實際的五個距離是3、1、0、1、3,平均為:
最大的距離則是3毫米。這三個數回答不同問題:1.6是距離的算術平均,3是最大距離,2是平方距離平均後開根所得的尺度。
標準差讓每一筆偏離都參與計算,卻沒有把每一筆位置完整保存下來。它是一種摘要,不是原始資料的替身。
選讀推理:平均數為什麼與平方偏離相配?
既然可以用平方距離評量分散,為什麼偏偏從平均數量起,而不是從其他位置量起?
拿甲批來說,若把參照位置由100改成另一個數 ,五個平方距離的平均會是:
每個差都可以拆成兩段。例如:
其餘四筆也是同樣的拆法。平方展開後,原來五個平方離均差的平均是4;五個 的平均仍是 ;交叉項的合計則含有:
因此,前面的式子恰好等於:
後面那一項不可能是負數,只有 時才是零。也就是說,選擇平均數當中心,平方距離的平均最小,而且只有這個中心能達到最小值。
同樣的拆法也適用於其他有限資料:改用別的中心,平方距離的平均,等於原來的變異數再加上「兩個中心之差的平方」。
這是今天可以直接驗證的代數連結,不是宣稱歷史上的研究者全都按照這個教學順序發明標準差。它也不表示所有問題都應使用平均數,而是說:一旦選擇平方偏離作為判準,平均數就是與它相配的中心。
中心移動與尺度改變,不能混為一談
假設把甲批每個數都加上10,得到:
平均數變成110,但每筆資料與新平均數的差,仍然是:
所以標準差仍是2毫米。
整組一起平移,改變中心位置,沒有改變相對中心的散布。對原來97至103毫米的規格而言,這五件反而全部不合用。資料可以集中,卻集中在不符合要求的位置。
再換一種改動:不改變零件,只把毫米改記成公分。
平均數變成10公分,標準差變成0.2公分。零件沒有更整齊,只是單位變了。2毫米與0.2公分表示同樣的散布,不能只看數字2比0.2大,就說前者比較分散。
選讀推理:把這兩種變化合在一起
假設每個原數值 都依同一規則改成:
其中 、 是固定實數。新平均數為:
所以新離均差是:
每一項平方離均差都變成原來的 倍,平均也是 倍,開根後得到:
加上的 隨平均數一起消去;乘上的 則改變距離尺度。即使 ,反轉方向也不會讓距離變負,所以必須寫絕對值。
若 ,所有新資料都成為 ,標準差便是0。這不是公式失效,而是所有差異都被這個變換消掉了。
標準化:改用這群資料自己的散布當作尺
一個數比平均高出3單位,這個差距算大嗎?
單看「3」不能回答。在標準差為2的資料裡,它是1.5個標準差;在標準差為6的資料裡,它只有半個標準差。原始差距一樣,放在各自資料的散布中,相對位置卻不同。
把外部測量單位換成資料自身的變異尺度,也有歷史實例。高爾頓一篇記載於1888年12月5日收稿的研究,便將不同測量的偏離改用各自的變異尺度表示,以研究它們如何一起變動。他採用的中心是中位數,尺度是當時所稱的「或然誤差」,不是今日以平均數與標準差定義的公式。加爾頓網站
這個轉換讓研究者不只比較原始單位下的差,還能比較偏離相對於各自散布有多大。它是相對尺度的歷史實例,不能直接說成今日標準化分數的完整發明。
現在回到本篇的定義。當參照資料的標準差 時,數值 的標準化數值為:
先減平均數,是把參照中心搬到零;再除以標準差,是改以這群資料的一個標準差為一單位。因此, 表示「高於或低於平均幾個標準差」。分子與分母的單位相同,相除後沒有原來的量綱;它不是另一種毫米。NIST
例如同樣是103毫米:
它在甲批位於平均以上1.5個標準差,在乙批則位於平均以上半個標準差。兩個結果都沒有改變零件長度,只是使用了不同的參照尺度。
換成一個假想成績例子:已知指定參照資料的平均數為60分、標準差為6分,72分便對應到:
意思是高於這個參照平均兩個標準差,不是高於平均2分。反過來,若已給 ,就表示低於參照平均兩個標準差;它也不是名次或負兩分。
把甲批全部標準化,得到:
乙批全部標準化,恰好也得到同一組數。它們的平均數都是零,而標準差都是:
這不只對這兩組成立。從整組資料都減去自己的平均數,新的平均數就成為零;再把每個離均差除以自己的非零標準差,平方離均差的平均便除以原本的 ,成為1,開根後仍是1。
所以,以同一組資料自己的平均數與非零標準差進行標準化,而且前後採用相同的計算約定,新的平均數為0、標準差為1。
若用的是另一組參照資料的平均數與標準差,仍能計算相對位置,但不能保證被轉換的這一組資料也有平均0、標準差1。
這個結果不需要假設資料呈現某種特定形狀。標準化不會自動把資料變成常態分布,也不會使所有資料都擁有相同形狀。甲乙的結果相同,是因為它們原先的對應離均差恰好成固定倍數,不是標準化的一般保證。
共用一種表示,不等於共用一個合格標準
甲批的103毫米與乙批的109毫米,都對應到 ,但依開頭的規格,前者合格,後者不合格。
標準化統一的是相對位置的表達,沒有改寫實際規格。
甚至同一個97至103毫米的規格,換到各自的標準化尺度後也不同。甲批對應的是:
乙批對應的卻是:
原本同一個物理要求,不能因為改用了相對尺度,就擅自畫成同一段合格區間。
此外,只要保留參照平均數、標準差與足夠的數值精度,就能反算原值:
乙批的 ,反算就是:
因此,標準化本身不是必然丟失原值;丟掉所用的中心、尺度,或過度四捨五入,才可能使原值無法準確還原。
邊界一:沒有分散,就沒有可借用的非零尺度
假設另一批五件零件全是110毫米。
它們的平均數為110,每個離均差都是零,所以標準差是0。
反過來,由於平方離均差都不小於零,它們的平均若為零,就必須每項都是零。因此,對本篇的完整有限資料:
但用這一組自己的平均數與標準差標準化,會遇到:
這個式子沒有定義,不能把每個標準化數值填成0。
原因不只是背誦「分母不能為零」。標準化想借用這群資料的散布當作尺;資料完全不散開,就沒有非零的散布長度可供換算。只有一筆資料時,也會落在這個情況。
同時,五件110毫米雖然完全一致,卻全部不符合開頭的規格。標準差為零表示一致,不表示正確,更不表示優秀。
邊界二:兩個摘要數值,仍不等於完整分布
再看一組用來檢查摘要限制的假想資料:
它的平均數仍是100,離均差為−4、1、1、1、1,標準差為:
丙批與甲批的平均數、標準差完全相同,甲批卻五件合格,丙批只有四件合格。相同摘要,不保證每件的位置或合格情形相同。
同樣地,兩批中的101毫米都對應到 。但是甲批比101小的有三筆,丙批比101小的只有一筆。因此,跨不同群體比較時,相同標準化數值不保證相同排名,也不能直接換成固定的百分比。
這不表示標準化會打亂同一組資料的大小順序。在同一組資料裡,大家減去相同平均數,再除以同一個正的標準差,較大的值仍然較大,相等的值也仍相等。要分清楚的是「同一群體內保留順序」與「不同群體間排名相同」,不是同一件事。
這些例子是用來看清摘要的工作邊界,不是要否定摘要。知道它省略了什麼,才能判斷什麼時候需要回頭查看原始資料。
我們因此多了一種什麼判斷能力?
在當代工程統計中,評估製程不能只看平均數。NIST的製程能力說明,會把製程變異與規格界線相互比較,並要求考慮製程穩定性及資料條件。本篇的五筆假想資料,只能示範眼前資料如何被摘要,不能直接預測未來整個製程的合格率。NIST
背後的機制不神祕:中心偏移與散布過大,是不同問題;實際長度與相對於群體的距離,也是不同資訊。把它們拆開描述,才可能分別判斷。
把這個數學連結帶回成績報告,兩班平均相同,不能直接認定學習情況相同;兩份測驗的標準化數值相同,也不能只憑這個轉換,就認定它們衡量同一種能力,或兩個人的名次相同。
分散讓我們看見平均數沒有保留的差異;標準化讓我們知道,距離除了能用原始單位量,也能用參照資料自身的散布來量。
真正增加的能力,不只是多算兩個數,而是分得清楚:中心在哪裡、資料散得多開、比較使用哪一把尺,以及判斷好壞的標準究竟從哪裡來。