書評：その数学が戦略を決める 〜 イアン・エアーズさん

絶対計算とは、大量データを分析することで、その道の専門家よりも良い予測結果を導き出す手法だ。

その数学が戦略を決める

我々は既に、大量データに基づいた分析の恩恵を受けている。Googleの検索結果の抽出もそうだし、はてブのホットエントリーもそうだ。これが、もっと専門的で人の知識と経験こそが必要そうだと思えるような分野にまで、適用可能だという。しかも、専門家よりも精度の高い判断ができるらしい。更には「感動できる映画のシナリオ」なんてものにまで。
一方で、この本を読んで危惧することもある。それは「マイノリティー」が無視されるようになるのではないか、ということだ。Googleやはてブのホットエントリーを見れば分かるが、そこにマイナーなページが表れることはない。映画のシナリオすらも絶対計算によって作成できるらしいと書いたが、恐らく、その手法では「マニアな映画」は作成されないのだろう。とはいえ、全てのものがそれに染まるとは思ってないので、危惧しているとはいえ、楽観的でもあるのだが。
まぁ、そんなこんなで色々思うところはあるのだけど、この「絶対計算」という代物は、これからの世界を理解する上で一つのポイントであることは間違いないだろう。まずは知っておいた方が良いように思う。

目次

序章 絶対計算者たちの台頭
第1章 あなたに代わって考えてくれるのは?
第2章 コイン投げで独自データを作ろう
第3章 確率に頼る政府
第4章 医師は「根拠に基づく医療」にどう対応すべきか
第5章 専門家vs.絶対計算
第6章 なぜいま絶対計算の波が起こっているのか?
第7章 それってこわくない?
第8章 直感と専門性の未来

この本の3つのポイント

1. 大量データに基づいた分析（＝絶対計算）によって、その分野の専門家を上回る判断が可能
2. 絶対計算の手法の紹介（回帰分析や無作為抽出テスト、ニューラルネットワークの利用、「2SD（平均から標準偏差2つ）」の意味）
   • 概要レベルの紹介なので、実際に使おうと思ったら別途文献をあたる必要がある
   • ただ、雰囲気を掴むには十分だし、何より2SDのことは知っておいた方がいい
3. 直感や経験と絶対計算の併用へ

1. 大量データに基づいた分析(=絶対計算)によって、その分野の専門家を上回る判断が可能

• 大量データの分析が利用されている例
  • アマゾンの「この本を買った人は....」によるお薦め本の紹介
  • カジノで負け越し過ぎて二度とこなくなる寸前の客を検出
    • ガジノであまり負け越すと二度と客は来てくれない
    • その人が気持ち良く負けられる金額を算出
    • フロア担当者がサービス券をあげたり
  • Farecast.com
    • 航空券は出発日間際に投売りされることがある
    • 路線や日時などの相関から傾向を調べ、航空券の値段が下がりそうな可能性を教えてくれる
• 専門家を凌ぐ絶対計算
  • 医療
    • 診断も治療法も、ググったり専用検索ソフトを使った方がミスが少ない
    • 診断支援ソフト「イザベル」は広範な医療論文情報を常に収集し、ひとりの医師の知識の限界を越え、盲点となるような病気の可能性をあげてくる
  • 最高裁の判事たちの判決予測
    • 法律の専門家よりも絶対計算の方が正確な予測をした
• なぜ専門家が負けるのか?
  • 人には各種の認知的な欠陥や偏りがあり、正確な予測能力を歪めてしまっている
  • 人は、重要そうに思える特異なできごとを、あまりに重視しすぎる
    • 「ニュースになるような」死の確率を過大評価し、もっと当り前の死因の確率を過小評価する
• 絶対計算+専門家は?
  • 絶対計算を併用することで、専門家の判断の精度は上がる
  • しかし、それでも「絶対計算のみ」の方が良い結果がでる

2. 絶対計算の手法の紹介

回帰分析

• だれでも使える
  • 指定の因子を入力すれば予測が出てくる
• 回帰分析は自分の限界を知っている
  • どのくらい信頼できる結果なのかも示すことができる
  • データに偏りがある場合やデータ集合が小さいと、いくら分析しても正確な予測はできない

無作為抽出テスト

• 過去のデータがなくてもできる
• 例えば、広告のメッセージで選択肢が2つあって、どちらが良いか知りたい場合
  • 見込み客を不作為に二つのグループに分ける
  • どっちの成功率が高いか実際に調べればいい
• 重要なのはサンプル数で、十分に大きい必要がある
• どっちのウェブページのデザインが良いか知りたい?
  • 二つ用意して試してみればいい
  • デザインのような人の感性に関わるような分野にも絶対計算は使えるし、一人の専門家が判断するよりも確かな結果が得られる
• 直感や経験は不要になったのか?
  • そもそもの選択肢は人が用意しなければならない
  • 無作為抽出テストは、直感を検証しているのである

ニューラルネットワーク

• 回帰分析では、人が式の具体的な形式を指定する必要があった
• ニューラルネットワークだと、生のデータを食わせるだけでいい
  • ニューラルネットワーク自身が学習する
  • 回帰分析では対応しきれなかった程の大量のパラメータを推計できる
• 予測結果の信頼度はわからない
  • 回帰分析であれば、「それが0.35から0.59の間にある可能性は95%」と教えてくれる

「2標準偏差」ルール

• 知能指数の例
  • 平均値が100で標準偏差が15
  • 95パーセントの人のIQは70〜130の間にある
    • 平均値±(標準偏差×2)
• ランダムな数値が、期待平均から標準偏差二つ分離れている可能性は5パーセントしかない
  • 推計散が他の数字より2標準偏差以上離れていたら、そこには「何か」ある
    • その結果が偶然生じる可能性は、ほとんどない(5%)
    • つまりその結果は「偶然ではない」という可能性が高いと言える
• 「2標準偏差」ルールを利用した例
  • スポーツの八百長
    • 勝っているチームがわざと得点差を縮めているようだ(賭事のため)
    • 最後の5分までの得点を見ると、そこに分布の偏りはない
    • しかし、そこから最後の5分には変な偏りが出ていた
    • 状況証拠としては強力
  • 株式投資のリスク
    • 来年の期待収益率は10パーセントで、標準偏差は20パーセント
    • このポートフォリオの収益率は、マイナス30パーセントとプラス50パーセントの間にある確率が95パーセント
    • つまり100ドル投資したら、来年、手元にあるお金は70ドルから150ドルの間
  • 選挙の支持率
    • 候補者Aの支持率は52パーセント、候補者Bは48パーセント
    • この調査の誤差範囲(2標準偏差)は2パーセント
    • これは接戦なのか?
    • 「2標準偏差ルール」に従うと、候補者Aの支持率が50〜54パーセントの間にある可能性が95パーセント
    • また、54パーセントより上である確率も、50パーセントより下である確率も、それぞれ2.5%
    • つまり、候補者Aがリードしている確率は97.5パーセントということになる

3. 直観や経験と絶対計算の併用へ

• 絶対計算では上手くいかないケース
  • 骨折した脚の例
    • 絶対計算によって、ある晩に人々が映画を観に出かけるか予測した
    • ブラウン教授が来週金曜日に映画に出かける確率が84パーセントと予測したとしよう
    • しかし、ブラウン教授は数日前に脚を複雑骨折し身動きできなかった
• 人間の出番
  • 仮説立案
    • 直観や経験を使って、統計分析にどの変数を入れるべき、あるいは入れるべきではないか推測すること
    • 何が何を引き起こすかについての仮説を生み出すのに、人間はどうしても必要
  • 理論の役割
    • 可能性を取り除くこと
    • 理論や直観がなくては、どんな結果にも文字通り無数の原因がありうる
    • 来年のワインの出来に、ワイン醸造の蔵元が7才の時に食べた晩ごはんはを調べるべきか、調べざるべきか
    • 人間の直観は、試験すべきもの、しなくていいものを決めるのに重要
• 絶対計算は直感にとって代わるものではなく、それを補うものだ
  • ただし、伝統的な専門性の未来については、楽観的ではない
  • Webを毛嫌いする人が情報収集においてすさまじく不利だ
  • 同じことが絶対計算に抵抗する専門家たちにもいえる
  • 未来は両方の世界に苦もなくいられる人々のものだ

他の書評

他の書評はこちらへ。