どこでも効果

多くの統計検定は、偶然の同時を仮定した時に任意の結果が得られる確率であるp値を与える。「XはYに影響を与えるか?」を問う時、Xを変動させ、結果として得られるYに有意な変動があるかを見るのが一般的である。もしこのp値が予め決定された統計的有意さの閾値αより小さければ、結果が「有意」であると見なされる。

しかしながら、多数の試験を行う（最初の試験が失敗すれば「他の場所を見る〔look elsewhere〕」）とすると、1/nのp値はn回程度の試験を行えば生じることが期待できる。例えば、なんの効果も存在しない場合において、p < 0.05の事象は、平均的には20回の試験後に見ることができる^[9]。これを補正するために、閾値αを試験の数nで割って結果がp < α/nの時に有意となるようにする方法がある（あるいは同じことだが、観測されたp値に試験の数を掛け、np < αの時に有意とする）。

これは最も単純な場合で、実際にはnは試験における自由度の数、つまり実際上独立な試験の数である。もし試験が完全に独立でなければ、この数は試験の数よりも小さくなる。

試験が独立である時、単純にp値をnで割ること（ボンフェローニ補正と呼ばれる）は、厳密なシダック補正に対する一次近似である。

どこでも効果は、失敗した試験が公表されず独立した試験の数nが小さく見積られる時に「有意のインフレーション」をよく引き起こす。ある論文が考慮された対立仮説に言及していないかもしれず、結果が得られなかった論文は単に出版されない。これによって、学術雑誌は統計的な「外れ値」に独占されることになる^[10]。

この効果は高エネルギー物理学において特に重要である。それは、この分野では、同じデータに関して非常に多くの数の試験が行われるためである。

1992年のスウェーデンの研究は、送電線がある種の健康への悪影響を引き起こすかどうかを決定しようと試みた。研究者らは、高圧送電線の300メートル以内に25年間以上居住している全員を調査し、800を超える病気の確率が統計的に有意に増加するかを探した。この研究では、小児白血病の発生が送電線の最も近くに居住していた人の中で4倍高くなっていることを見出し、スウェーデン政府による対応を呼び掛けた。しかしながら、この結論に関する問題は、彼らが「どこでも効果」を補正していないことであった。800のランダムな標本のいずれかの群において、少なくとも一つが偶然のみによって期待値よりも少なくとも3σ（標準偏差の3倍）大きくなる可能性がある。後続研究は、送電線と小児白血病との間にいかなる繋り（因果関係も相関関係も）を見出すこともできなかった^[11]。

• ボンフェローニ補正
• 巨大数の法則: サンプルサイズが十分大きければ、どんなとっぴな事でも起こり得る。
• リトルウッドの法則: 誰にでも一ヶ月に一回程度は「奇跡」は起こる。
• テキサスの狙撃兵の誤謬

• XKCD comic illustrating the Look-Elsewhere effect