こんにちは、株式会社ナレッジラボでAI・機械学習のエンジニアリングを担当しているダンです。私たちは、社内に散在する経営データの集計・分析・管理を支援する「Manageboard」というサービスを提供しています。Manageboardは、今後ますますAI機能を強化していく予定です。私の記事では、研究開発中に直面した課題について共有いたします。
背景
標準偏差は、データの分散具合を示す重要な統計量であり、データがどれだけ広がっているかを理解するために使われます。標準偏差には、母集団の標準偏差と標本の標準偏差の2種類があります。それぞれ計算式が異なり、使用する場面によって使い分けが求められます。この記事では、GoogleスプレッドシートとPythonで標準偏差を計算する際の違いについて説明します。
標準偏差の基礎知識
標準偏差には、母集団標準偏差と標本標準偏差という2つの計算方法があります。これらは計算式が異なるため、使用するデータの性質によって使い分けが必要です。
- 母集団標準偏差： 母集団全体から得られたデータを基に計算します。計算式は次の通りです。
\sigma=\sqrt{\frac{1}{N}\sum^N_{n=1} (x_n-\overline{x})^2}
ここで、N x_n \overline{x} - 標本標準偏差： 標本データから母集団を推定するための不偏推定方法です。計算式は以下のようになります。
s=\sqrt{\frac{1}{N-1}\sum^N_{n=1} (x_n-\overline{x})^2}
この式では分母がN−1
Googleスプレッドシートでの標準偏差計算
Googleスプレッドシート（またはMicrosoft Excel）では、標準偏差を計算するためにSTDEV関数を使用します。しかし、この関数が計算するのは標本標準偏差です。標本データに対して不偏推定を行うため、分母は
- 標本標準偏差：
STDEV関数を使用すると、標本標準偏差が計算されます。例えば、セル範囲A1からA10までのデータに対して標本標準偏差を計算する場合、次の式を使用します：
=STDEV(A1:A10)
- 母集団標準偏差：もし、母集団標準偏差を計算したい場合、
STDEV.P（またはSTDEVP）関数を使用します。例えば、セル範囲A1からA10までのデータに対して母集団標準偏差を計算する場合、次のように入力します：
=STDEV.P(A1:A10)
このように、Googleスプレッドシートでは関数によって標本と母集団の標準偏差が異なる計算式で処理されます。標本データに基づく推定がデフォルトで行われる点に注意が必要です。
Pythonでの標準偏差計算
Pythonでは、標準偏差を計算するためにNumPyライブラリを使用することが一般的です。NumPyのstd()関数を使うと、母集団標準偏差が計算されます。標本標準偏差を計算するには、関数に特定のパラメーターを指定する必要があります。
- 母集団標準偏差：
numpy.std()関数を使うと、デフォルトで母集団標準偏差が計算されます。例えば、dataというリストがある場合、母集団標準偏差を計算するには次のように記述します。
import numpy as np
data = [10, 12, 14, 18, 20]
population_std = np.std(data)
print(population_std)
この場合、計算式は分母が
- 標本標準偏差：標本標準偏差を計算するには、
ddof（Delta Degrees of Freedom）パラメーターを使って分母をN−1 ddof=1を指定して標本標準偏差を計算します。
sample_std = np.std(data, ddof=1)
print(sample_std)
まとめ
| 特徴 | Googleスプレッドシート | Python (NumPy) |
|---|---|---|
| デフォルトの標準偏差 | 標本標準偏差 | 母集団標準偏差 |
| 母集団標準偏差の計算 |
STDEV.PまたはSTDEVP
|
numpy.std(data)（ddofなし） |
| 標本標準偏差の計算 |
STDEV関数（デフォルト） |
numpy.std(data, ddof=1) |
標準偏差の計算方法は、使用するツールによって異なります。Googleスプレッドシートでは、標本標準偏差がデフォルトで計算されるため、母集団標準偏差を求める際には異なる関数を使う必要があります。一方、PythonのNumPyでは、デフォルトで母集団標準偏差が計算され、標本標準偏差を求めるにはddof=1を指定する必要があります。
これらの違いを理解し、目的に応じて適切な関数や設定を選択することが重要です。
Discussion