« 「ヒルズ ダル・マット」 のパスタ・ランチ | トップページ | グランド・セントラル・オイスター・バー&レストラン @品川 »

「ビッグデータの正体」

今年の流行語大賞は惜しくも逃しましたが^^ 間違いなく今を読み解くキーワードとなったビッグデータ。この春に出版されて以来気になっていた本書がおもしろかったので、感想を書き留めておきます。

Big_data_2

ビクター・マイヤー=ショーンベルガー ケネス・クキエ
ビッグデータの正体 情報の産業革命が世界のすべてを変える
(Big Data: A Revolution That Will Transform How We Live, Work and Think)

若い頃に日米で統計学の授業を取っていたものの今ではすっかり忘れていますが、この本は読み物として楽しめました。かねてより統計は実験データや市場調査の分析などに使われていましたが、その方法は、”有効な”データを選ぶことで、全体を予測するというものでした。

そして今、コンピュータの処理能力が飛躍的に高まり、大容量のデータを扱えるようになったことで、統計の世界は激変しました。この本は、昨今の巨大データ分析が私たちの生活をどのように劇的に変えたか、功罪合わせてわかりやすく紹介しています。

ビッグデータの最大の特徴は、有効なデータだけでなく、ゴミも含め全てのデータをすくい取ることにあります。

例えば自動翻訳。もとはIBMが手掛けていましたが、結局うまくいかなかったのは”正しい”文章だけを対象としていたからだそうです。今、この分野の最大手はGoogleですが、スペルや文法などの間違いを問わず”全ての”ことばや文章を対象とすることで、精度を上げることに成功しました。

Google検索でスペルを間違えて入力しても自動的に正しい語を提示してくれるのは、検索エンジンに学習機能が備わっているから。そして私たちが検索エンジンを使えば使うほど、学習能力が高められていく画期的なしくみになっています。

この他、ビッグデータでリードしている企業は、Amazon、Facebook、Twitterなど。私たちがネットで情報を得たり買い物したりと便利さを享受できるのは、同時にこれらの企業にデータを供給しているからでもあります。今やGoogleの検索語を分析することで、インフルエンザの流行を予測できるとまでいわれています。

Amazonの本業は本を売ることではなく、顧客情報の収集・分析といえるかもしれません。ここで得られる情報は、多くの異業種にとって再利用したい貴重な情報となっています。(先日、日本でもSuicaのデータの再利用が問題になりましたが、法整備を早急に進める必要があります。)

一方、ビッグデータの落とし穴として、相関関係と因果関係の取り違いによる判断ミス、プライバシーの侵害、監視社会の危険性などについて触れられていました。結局、ビッグデータを正しく生かすのも、使う側の人間性や賢さにかかっていることを、心に留めておかなくてはいけないと思います。

|

« 「ヒルズ ダル・マット」 のパスタ・ランチ | トップページ | グランド・セントラル・オイスター・バー&レストラン @品川 »

」カテゴリの記事

コメント

こんばんは。

ビッグデータって、最近頻繁に耳にするけど、こういう内容なんですね。
おおまかな概念だけは何となくわかるけど、こういう本を読むときちんと把握出来ますよね。

Googleとかの検索機能って常々凄いな・・って思ってましたが、こういう仕組みだったんですね・・。
「もしかして○○?」みたいなSuggestionって検索の時、ホントに助かりますよね。
たまに「違うわい!うるせ~!」って思う時もあるけど。(笑)

それにしても、セレンディピティさんも記事で締めくくられてる通り、技術は進化しても、それをどう利用するかは使い手の人間次第ですよね。
何だか、最新技術にふりまわされてる人が多い様な気がします。
もちろん私も含めてなんですけどね・・。

投稿: ごみつ | 2013年12月11日 (水) 01時30分

昔は、ハードウェアが大容量のデータを扱う処理能力がなく
大容量データ分析は大変な費用が掛かりましたが、最近では
パーソナルユースのPCでも結構な容量のデータを扱うことが
可能になってきましたね。
良いデータベースとハードウェアが安価で利用できることになったことで
色々なことが早く分析できるようになったことと思います。

まだ、学生だった頃、「第三の波」という本が注目されましたが、
将来的に、情報に価値が出る・・・いうようなことが書かれていましたが、
当時はパソコンも、ワープロさえもない様な時代に、何を言っているのだろうと
思いましたが(笑)、今は良く分かるようになりました。。。
今更ながらですが(・_・;)

投稿: イザワ | 2013年12月11日 (水) 02時39分

☆ ごみつさま ☆
こんにちは。
ビッグデータ関連の話題、今や新聞やニュースに
載らない日はないですものね。
関連書籍もたくさんありますが、この本は概要をわかりやすく
まとめてあって、とっかかりとしては一番お勧めだと思います。

Googleの検索機能、すごいですよね。
「ちがうわい!」という情報も、ちゃんとフィードバックされる
ところがミソなんですよね。
これは一例ですが、こうした情報の蓄積をもとに
Googleは今、人工知能の分野でも先頭を走っています。

そのうち、Amazonでの購入履歴やTwitterでの書き込みをもとに
犯罪を起こしうる人物としてチェックされることがあるかも
(すでにFBIとかやってそうですよね)
「マイノリティ・リポート」のような世界が現実になるかもしれない
と思うと、ちょっと怖いです。

投稿: ☆ ごみつさま ☆ | 2013年12月11日 (水) 09時57分

☆ イザワさま ☆
こんにちは。
コンピュータの処理能力がなかった頃は、データをしぼるために
サンプリングせざるを得なかったのでしょうが
膨大で雑多なデータの中にほんとうの価値が見出せるというのが
目からうろこの発想だな…と思いました。

今、情報の価値は計り知れないものがありますね。
以前、FacebookやTwitterは、どうやって利益を生み出すんだろうと
思ってましたが、情報という目に見えない莫大な資産があるのですよね…。
昨日の新聞に、TV番組の視聴率に加えて、Twitterと連動して
反響を調べると出ていましたが、
たしかに今どき、モニターの家に機械を置いて調べるなんて方法は
ほとんど意味がなさそうです…。

投稿: ☆ イザワさま ☆ | 2013年12月11日 (水) 10時40分

こんにちはー。
統計学の授業をとられていたのですか…。
私には敷居が高い学問です~。
でも、以前の仕事ではデータをいかにうまく使うかが
仕事のポイントでもありました。
結果は一見客観的そうでも、使う人の都合でどうにでもできる
怖い部分もありますね。

投稿: linen | 2013年12月11日 (水) 10時41分

☆ linenさま ☆
こんにちは。
私、専攻は数学だったんですよ。
(ちょっと意外かもしれませんが…)
統計学は一応ひととおり取る教科の中のひとつで
当時はまだ亜流…だと思っていたので、今になって
こんなに注目される分野になるとは驚きました。
もちろん中身は、当時とはだいぶ変わっているでしょうが。

ネットも、便利に使って喜んでいる一方で
しっかり個人情報を生かされていると思うと…
なんとも複雑な気持ちがします。

投稿: ☆ linenさま ☆ | 2013年12月11日 (水) 11時20分

こんにちは。
ビッグデータについてとても興味深く読ませていただきました。
検索エンジンのことから少し外れますが、音声認識を商用する
担当者をしていた時期があったのですが全国の言葉(方言やなまり、
イントネーション)やスピード、不鮮明なワード認識が精度を
落とし大変苦労したことを思い出しました。自動学習機能は無く
手作業で追加ワード登録していました(苦笑)

まさにこのビッグデータは企業が飛びつく価値があり、時代は
日進月歩で進んでいる実感があります。
個人的なアクセスから何を読み取られているかと思うとちょっと
怖い幹事もします。

投稿: aki | 2013年12月11日 (水) 12時49分

失礼いたしましたm(_ _)m
↑幹事→感じです。

投稿: aki | 2013年12月11日 (水) 12時50分

☆ akiさま ☆
こんにちは♪
akiさんは音声認識に関わるお仕事をされていたことがあるのですね。
ダイバシティが叫ばれる今、全国の方言をはじめ
さまざまな言語に対応していくことは意味のあることですね。
ひとつひとつ手入力していくのは骨の折れる作業ですが
その後そのシステムを使う方たちにとっては
何よりの貴重なデータになったことと思います。

この本の中にも、コンピュータが生まれる前の19世紀に
あらゆる航海記録を調べて、一番効率的な航路がわかる海図を作り上げた
アメリカの海軍士官のエピソードがあって
その先見性と粘り強さに感動しました。

>個人的なアクセスから何を読み取られているかと思うと
ほんとうにそうですね。やたらとクリックすることが
ためらわれてしまいます…。^^;

投稿: ☆ akiさま ☆ | 2013年12月12日 (木) 08時24分

この記事へのコメントは終了しました。

トラックバック


この記事へのトラックバック一覧です: 「ビッグデータの正体」:

« 「ヒルズ ダル・マット」 のパスタ・ランチ | トップページ | グランド・セントラル・オイスター・バー&レストラン @品川 »