Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Nosql BA 2017 - Brincando com NoSQL

Breve apresentação sobre uma experiência de implantação de um cluster de Cassandra no ano de 2011

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Nosql BA 2017 - Brincando com NoSQL

Brincando com NoSQL
por Ivo Marcelo Leonardi Zaniolo - @imarcelolz
- Necessidade absurda de tempo de resposta
- Todo visita no site é monitorada
- Massa de dados: média diária de 40GB
Enfim, tudo funcionou!!
O que aprendi?
O que é uma Startup

Banco de dados relacionais podem não servir

Ruby on Rails
Cenário Inicial - Infra
Primeira Intervenção
Otimizar Procedures

Otimizar Banco de Dados

Escalonamento Vertical do Cluster

Adição de mais dois servidores de aplicação
Resultado
Uma semana de descanso...
O produto
- Windows Server 2008
- IIS Server 7.5
- Memcached
- 12GB - RAM
- 100GB - RAID 5
- Windows Server 2008
- SqlServer 2008 R2
- 48GB - RAM
- 500GB - RAID 10
Uma semana depois
Novos contratos assinados
No Laboratório
Primeiro dia - 14/out/2011 - Sexta Feira
Segundo dia - 15/out/2011 - Sábado
Terceiro dia - 16/out/2011 - Domingo
Quarto dia - 17/out/2011 - Segunda Feira
Quinto dia - 18/out/2011 - Terça Feira
Ainda no Sábado, vamos validar
Precisávamos de uma solução robusta
Os Servidores começaram a explodir...
- Instalação Cassandra versão 0.8.x

- Implementação da camada DAO para utilizar o Cassandra

- Migração da massa de dados do SQLServer para arquivos de texto HDFS

- Script para imprtação HDFS para cassandra
- Cada um dormiu 3 horas...

- Implementação da camada DAO

- Migração do SQLServer para arquivos de texto HDFS

- Desligamos completamente o SqlServer e adicionamos no cluster

- Script para imprtação HDFS para cassandra (3.5horas)!!
1. Ninguém conhecia NoSQL a fundo ou sabia o que estava fazendo;

2. criamos um modelo de dados relacional dentro de um banco de dados não relacional;

3. Inserimos toda a massa de 80gb de dados dentro do Cassandra, utilizando Column Families;

4. Não conseguimos extrair os poucos 80GB que inserimos no Cassandra;

Ops, 4 horas da madruga, amanhã estaremos aqui às 9:00...
- Reescrevemos todo nosso modelo de dados;

- Criamos uma tabela de índices;

- Ajustes na camada de dados dos Webservices;

- Ajustes no script de inserção de dados, eu já disse que foi escrito em Python?
5:00 - Versão 1.0 do Cassandra com melhor suporte às column famylies

6:00 - todos os 5 servidores atualizados apontando para o Cassandra

9:00 - usuários acessando o sistema

(momentos de tensão)

12:00 - Sistema rodando limpo e liso, pronto podemos ir para casa...
- Linkamos o cluster de Hadoop que tinhamos ao Cassandra

- Iniciamos o desenvolvimento das "procedures" PIG para a sumarização dos dados

- Implementação dos Webservices em Rails para expor os dados sumarizados
Full transcript