Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Hadoop és társai - extrém adatmennyiségek feldolgozása és elemzése open-source alapokon

Open Source BI Fórum 2012 2012. október 4.
by

Zoltan Prekopcsak

on 5 October 2012

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Hadoop és társai - extrém adatmennyiségek feldolgozása és elemzése open-source alapokon

Hol tartanak ezek a projektek? Semmi. Tökéletes batch processing keretrendszer nagy adatokhoz. Spark Pregel Dremel BigQuery Spanner Hadoop és társai – Extrém adatmennyiségek feldolgozása és elemzése open source alapokon Prekopcsák Zoltán Mi a baj velem? Mi lenne ha nem olvasnék végig mindent? iteratív számítás nem hatékony nagy késleltetés (akár több óra) shared-nothing nem mindenre jó (pl. gráfok) Mi lenne ha memóriában tartanám? Mi lenne ha a gráf élein is lehetne adatot küldeni? Spark Dremel memóriában tartható adatszeletek
Scala programozási nyelv
Mesos klaszter Pregel oszlop alapú, tömörített adattárolás
ad-hoc SQL lekérdezések
fa architektúra gyors aggregációkhoz Mi lenne ha aszinkron lenne a kommunikáció? ~ Bulk Synchronous Parallel

Iteratívan ismétlődő lépések
bejövő üzenetek fogadása
csomóponti számítások
üzenetek küldése
szinkronizáció aszinkron megvalósítás
Gather-Apply-Scatter
ütemezés Ötlet Kísérleti fejlesztések Első sikerek Startup támogatás Nagyvállalati támogatás Dremel/Drill Spark Pregel Mi lenne ha beolvasztanám őket? Hol tart a Hadoop? Hogyan jutott ide? Prekopcsák Zoltán
prekopcsak@tmit.bme.hu http://adatbanyaszat.blog.hu http://www.radoop.eu MapReduce2
YARN általános klaszter-keretrendszer
MapReduce integráció Pregel - Hadoop alapú változatok (Hama, Giraph)
Spark - integráció folyamatban
Dremel/Drill - integrációs tervek
GraphLab - C++
Full transcript