2014年7月3日木曜日

アンケート調査の公表方法への苦言

今日の授業のテーマは、データが集められた時に、たとえば平均値を公表する―支持率や視聴率はゼロイチ・データの平均値だ―、その平均値にどの位の誤差があるかであった。つまり標準誤差がなぜ分かるか、平均値については標準誤差をどのように求めればよいか、だった。

……データから何がわかるか?まず平均値を出しますね。大きさの目安がほしい時は平均値を求めて、それでいいわけです。大体その位だ、と。

……しかしデータから分かるのは平均値だけではないですよね。母集団の期待値と分散を決めてしまうと、平均値のサンプリング誤差も決まります。これを逆に考えると、データからバラツキの度合いもわかりますから、サンプリング誤差の大きさも大体分かってくる。

……平均値が知りたいとき、サンプルから平均値を出すのですが、それだけではなくその平均値に含まれている誤差の大きさも大体わかってくる。更にいうと、標準誤差の2倍を超えるような大きな誤差は確率5%しかないはずだ。これも言えてくる。ここまでレポートしないと、苦労をしてかどうかは人によりますけどネ、統計学を勉強した甲斐がない。そうでしょ?

……たとえば、ある高校の1年生男子からランダムに5名をとって100メートル走の記録をとると、平均が13.75秒になった。学年全体の平均値はいくらか?「5名だけから分かりませんよ」、これは間違ってますよね。5名は調べたのだから見当はつくだろうと。これが統計的な議論です。となると、おそらく学年平均も13.75秒くらいだろうと。これは小学生でも言える。じゃあ、学年平均が16秒とか、これはない。15秒とか、これもないかな?では14秒50は?う~ん、微妙だねえ。そう感じますよね。

……元データをみないと誤差は見当がつきません。知りたいのはばらつきなんです。それで、5名のデータの不偏分散が1.205だったとしましょうか。そうすると、学年全体については分かりませんが、5名の記録差をみると平均値の標準誤差は \[ \sqrt{\frac{1.205}{5}}=0.49 \] この位だと見当がつくわけです。

……誤差が上のように見当がつくとすれば、5名のサンプルから言えることは『学年平均タイムは、12.75秒から14.75秒までの間にある。その確率は大体95%である』、更にいうと『学年平均タイムが13秒よりも速いタイムである確率は7%もない』。せいぜいこの位であって、あまり詳しいことはわからない。まあ、調べたのはたったの5人ですからネ、当たり前といえば当たり前ですよね。

このように、5人を調べるだけでも学年平均タイムについて色々なことが確率的にわかるわけである。平均13.75秒になりました。ただそれだけの集計結果をレポートするより、よほど科学的である。そしてこの程度のことは、学部の授業で教えているような初歩の初歩の統計技術なのである。

☓ ☓ ☓

日本銀行から「生活意識に関するアンケート調査」(2014年6月)が公表された。

調査概要を読むと、標本数は4千人、その内有効回答数は2275人である。標本は完全無作為抽出ではなく、層化二段無作為抽出法である。これは結果の精度を向上させるためであるが、第1段と第2段の抽出法は説明がない。

報告に目を通していくと、こんな下りがある。


暮らし向きにゆとりがなくなってきた人が増え(+5.6%)、ゆとりが出てきたという人は減っている(▲0.7%)ようだ。とはいえ、変動はわずかなものだ。これが完全無作為標本であれば、標準誤差は大きくとって1%程度だ。だから±2%ポイント程度の違いは誤差の範囲内である。「ゆとりがなくなってきた人」は確かに増えているのだろう。しかし、標準誤差が公表されていないので、「ゆとりが出てきた人」の割合については、はっきりしたことは分からない。

さらにこんな結果も公表されている。


雇用不安である。不安をかなり感じる人は誤差を考慮しても増えているようだ。「よろしくないねえ・・・」と、いや待てよ。回答者の年齢構成を見ないと、これは何ともいえないところだ。

レポート巻末の集計対象標本の属性分布をみると、回答者の中に占める中高年層の割合が母集団より高くなっている。雇用不安をかなり感じると答える人の比率が上がるのは、当たり前であり、労働市場の現況を知る手掛かりにはなりにくい。では、このことによって、母集団平均値に対してどの程度のバイアスが出ているのか?これは分からない。

☓ ☓ ☓

層化多段抽出法は、調査コストを節約しながら、結果の信頼度を上げるため頻繁に採用されているが、そのことによって標準誤差がどの程度小さくなるのか。この位は、何らかの資料であらかじめ説明をしておくべきではなかろうか。また、高速コンピューターがあるのだから、2段階だろうが、3段階だろうが、多段標本抽出による結果の標準誤差は容易に評価できるはずだ。

データの結果には必ず誤差がある。重要な政策判断をするとき、集計結果だけをみて「分かった」といえる時代は終わったというべきだ。そうではないだろうか。


0 件のコメント: