「ビッグデータの正体」

今年の流行語大賞は惜しくも逃しましたが＾＾　間違いなく今を読み解くキーワードとなったビッグデータ。この春に出版されて以来気になっていた本書がおもしろかったので、感想を書き留めておきます。

ビクター・マイヤー＝ショーンベルガー　ケネス・クキエ
「ビッグデータの正体　情報の産業革命が世界のすべてを変える」
（Big Data: A Revolution That Will Transform How We Live, Work and Think）

若い頃に日米で統計学の授業を取っていたものの今ではすっかり忘れていますが、この本は読み物として楽しめました。かねてより統計は実験データや市場調査の分析などに使われていましたが、その方法は、”有効な”データを選ぶことで、全体を予測するというものでした。

そして今、コンピュータの処理能力が飛躍的に高まり、大容量のデータを扱えるようになったことで、統計の世界は激変しました。この本は、昨今の巨大データ分析が私たちの生活をどのように劇的に変えたか、功罪合わせてわかりやすく紹介しています。

ビッグデータの最大の特徴は、有効なデータだけでなく、ゴミも含め全てのデータをすくい取ることにあります。

例えば自動翻訳。もとはIBMが手掛けていましたが、結局うまくいかなかったのは”正しい”文章だけを対象としていたからだそうです。今、この分野の最大手はGoogleですが、スペルや文法などの間違いを問わず”全ての”ことばや文章を対象とすることで、精度を上げることに成功しました。

Google検索でスペルを間違えて入力しても自動的に正しい語を提示してくれるのは、検索エンジンに学習機能が備わっているから。そして私たちが検索エンジンを使えば使うほど、学習能力が高められていく画期的なしくみになっています。

この他、ビッグデータでリードしている企業は、Amazon、Facebook、Twitterなど。私たちがネットで情報を得たり買い物したりと便利さを享受できるのは、同時にこれらの企業にデータを供給しているからでもあります。今やGoogleの検索語を分析することで、インフルエンザの流行を予測できるとまでいわれています。

Amazonの本業は本を売ることではなく、顧客情報の収集・分析といえるかもしれません。ここで得られる情報は、多くの異業種にとって再利用したい貴重な情報となっています。（先日、日本でもSuicaのデータの再利用が問題になりましたが、法整備を早急に進める必要があります。）

一方、ビッグデータの落とし穴として、相関関係と因果関係の取り違いによる判断ミス、プライバシーの侵害、監視社会の危険性などについて触れられていました。結局、ビッグデータを正しく生かすのも、使う側の人間性や賢さにかかっていることを、心に留めておかなくてはいけないと思います。