Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Hadoop ⇔ DataSpider 連携

dstn技術者交流会 2012/08/22
by

You Osaki

on 25 September 2013

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Hadoop ⇔ DataSpider 連携

Hadoop⇔DataSpider連携
大崎 瑶
http://www.bsp.jp/seminar/2012/20120905.html
とは?
とは?
大規模データの分散処理フレームワーク
MapReduce
Javaで実装
って何?
って何?
分散処理について
分散ファイルシステム
GFS
Google File System
Yahoo!JAPAN
徳島大学病院
大量データの分析・解析
レコメンデーション
BI・データマイニング
検索(インデックス作成)
大量データの集計
基幹バッチ
Hadoopはどんなところに使われているの?
国立国会図書館
全国の公立図書館や学術研究機関の蔵書検索サービス「NDLサーチ」の検索インデックスを生成する
地域の病院や診療所、保健センターなどが持つカルテ情報を蓄積、糖尿病などの生活習慣病の予兆を検知するための基盤として活用
クックパッド
業務バッチ処理の時間短縮からスタート。現在は料理レシピサイトのアクセスログや検索クエリの非定形分析にも活用している。
アクセスログ分析や地図検索のインデックス作成、オークションサイトでのレコメンデーションなど各種サービスで利用
アプレッソとして

への取り組み
アダプタ
Frameworkとの連携
先日Asakusa Frameworkとの連携実証実験を行いました
HDFSへの読み書き
Hadoopとの連携はHDFSが基本!
dstnのブログでも紹介させていただきました。
with ノーチラス・テクノロジーズ様
http://dstn.appresso.com/dstn/modules/d3blog/details.php?bid=16
MapReduce on
map関数、reduce関数としてDataSpiderのスクリプトを呼び出す
Pig
HIVE
HBase
その他の連携
Hadoopの主な応用分野
Full transcript