Introducing 

Prezi AI.

Your new presentation assistant.

Refine, enhance, and tailor your content, source relevant images, and edit visuals quicker than ever before.

Loading…
Transcript

Open Data

Game Start

Game Over

Preguntes?

Insert Coin

Repositori de Dades

Dades Obertes

Les Dades

Meta-esquema

Esquema Relacional: Oracle / MySQL / ...

Volum

Big data

Tipus de contingut

  • Sol·lució contrastada com a Big Open Data
  • Sol·lució de gran implantació
  • Software lliure (cap cost per llicència)
  • Mínim manteniment
  • Mínima instal·lació
  • Rendiment espectacular
  • Sortida de les dades amb JSON
  • Infinitat de proveïdors amb experiència
  • Proves internes realitzades amb èxit

dataset

Varietat

dataset

Velocitat

camp

Definició

d'estructures

Dades

relació

Mínima

desnormalització

per rendiment

Coll d'ampolla

i posisble

creixement

desmesurat

Tipus de contingut

DO_DADES

dataset

PK

_id

camp

idx1, idx2...

JSON valor

Una JOIN per cada propietat o camp d'un tipus de contingut!!!

Zero JOINS i retorn rapidíssim de les dades

Tendència a generar slow queries.

més hardware

Solució relacional

més hardware

Límit "baix" "per rendiment" en el volum de les dades.

Base de dades pensada per a grans volums de dades

esquema dinàmic

Estructura i complexitat de les dades il·limitada

Límit "per rendiment" en l'estructura i complexitat de les dades.

Solució tecnològica

El millor dels dos móns

Font

Big Data: MongoDB

BD Corporativa: Oracle

BigData

Rendiment

Integritat referencial

No relacional

procés

Font

Optimitzat per a consulta

Flexibilitat

Transaccions

Aïllat

Simplicitat

Normalització

Font

Progrés: 66%

Repte 3

Els usuaris han de trobar i descobrir les dades; i els desenvolupadors ha de saber com a utilitzar-les.

Repte 2

Portal Web

Cercable

Meta

Servei àgil i ràpid

Dades Obertes

Ens cal construïr un repositori de dades de gran volum amb estructures molt diverses i d'accés molt ràpid

Segur i fiable

Ecosistema d'aplicacions

Completat: 100%

Útil

Flexible i adaptable

Fàcil i intuïtiu

Aïllat

Repositoris

de Dades

Corporatius

Repositori

NonSQL

OpenData

Consolidació

i validació

Mantenidors

de les Dades

dadesobertes.diba.cat

diba.cat

Màquines

Persones

Ens cal servir dades de forma

universal, ràpida, estructurada, segura, senzilla i útil.

Inici

Vull alliberar les meves dades!

Capa de serveis web

Dades

ehCache

RESTful

Hub de Serveis Web

RESTful

Progrès: 33%

Repte 1

Extra! Secret World!

Developer Friendly

Workflow de consolidació de les dades

Punts forts

API REST pensada per a sistemes distribuïts

JSON

  • Un camp email sempre serà un email vàlid.
  • Un camp url sempre serà una URL vàlida.
  • Un camp integer sempre serà un integer.
  • Un camp de coordenades sempre serà una coordenada vàlida.
  • Un relació entre datasets sempre coincidirà.
  • La clau primària sempre serà única.
  • etc...

XML

CSV

HTTP / HTTPS

  • Velocitat de resposta
  • Flexibilitat
  • Facilitat d’ús
  • Validació i consolidació contínua de les dades
  • Homogeneïtat del temps la resposta (Thresholding)
  • Actualització i fiabilitat de les dades
  • Documentació
  • No cal utilitzar conjunts de capçaleres com amb SOAP o XML-RPC.
  • Permet crides directes via AJAX o AJAJ en el client.
  • Arquitectura dissenyada per aplicacions que utilitzen la filosofia RPC (Remote Procedure Call).

Dates, variables i tipat

URLs estables i semàntiques

Geolocalització

  • URLs netes: Per millorar l'usabilitat i accessibilitat del servei web. No hi ha query_string ni pas de paràmetres.
  • Nom-màquina: Tots els tipus de continguts, datasets o camps defineixen un "nom-màquina" sense accents ni caràcters especials immutable i permanent per ser utilitzat a les crides.
  • Clau/valor: Els paràmetres es pasen per parells de clau/valor sense importar l'ordre, fent la programació i la concatenació de condicions més senzilla i estable.
  • Retrocompatibilitat: API enfocada a la retrocompatibilitat perquè qualsevol millora de l'API no afecti a les crides que ja funcionen, perquè els canvis s'afegeixen com un nou parell de clau/valor.

Tots els camps tenen associat un tipat: text pla, número, enter, data, correu, URL, booleà o coordenada.

El tipat garanteix la coherència de els dades i es pot utilitzar a les crides, cosa que el fa especialment útil quan treballes amb dates i calendaris, sobretot quan el convines amb variables del sistema.

Exemples de crides:

api/camp-data_fi/date:now

api/camp-data_inici-greater/date:21-12-2014

api/camp-data_inici-greaterequal/datetime:21-12-2014_13:00:00

api/camp-data_fi-lower/datetime:now

L'API treballa i calcula per tu, incorporant diferents mètodes de geolocalització que permeten:

  • Recuperar les dades geolocalitzades, fins i tot de forma transversal i agregada, de diferents conjunts de dades.
  • Filtrar les dades geolocalitzades segons qualsevol camp, categoria o criteri.
  • Ordenar les dades per proximitat a qualsevol punt.
  • Treballar amb diferents coordenades dins d'un mateix objecte (centre del municipi, localització de l'ajuntament, etc...).
  • Saber la distància en metres entre els diferents punts i l'ubicació de l’usuari.

Exemple d'una crida

http://do.diba.cat/api/dataset/municipis/ord-municipi_nom_curt/asc/format/xml

Learn more about creating dynamic, engaging presentations with Prezi