Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Extração de Dados em Redes Sociais

No description
by

Rafael Reis

on 7 September 2013

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Extração de Dados em Redes Sociais

Data Mining

Ir além da extração de Textos

Desafios Futuros


Fotos, Vídeos, Eventos, Localização
Gráfico da Rede
Número de amigos, seguidores
Interação: Likes(Facebook) Retweet(Twitter)

“é a tarefa de identificar opiniões positivas e negativas, emoções e avaliações.”

Análise de Sentimento

1. Criar uma lista de Stop Words

2. Obter as 10 palavras mais frequentes da Base

Atividade

Motivação

“processo de extração de padrões ou conhecimentos não-triviais em documentos de texto não estruturados”

Text Mining

“processo de extração de padrões ou conhecimentos não-triviais em documentos de texto não estruturados”

Text Mining

Data Mining

“conceito”

Extração de Informações de Redes Sociais

Conceitos
O que é Information Extraction
O que é Knownledge Discovery
O que é Text Mining?
O que é Crowdsourcing?

Onde obter os dados? Redes Sociais

Cases de aplicação

O que são redes sociais?

Como obter esses dados?

Extração de dados
APIs
Twitter API
Facebook API
Rest (JSON x XML)
Tratamento dos Dados
Remoção das StopWords
DFxTF
Classificação de Texto
Naive Bayes








Introdução

Por Rafael Reis
Extração de Conhecimento em Redes Sociais

Metodologias

Pre-processamento

StopWords

Reconhecimento de Entidades

DFx iDF


Text Mining

http://www.ed.conpet.gov.br/br/converse.php

Text Mining

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter



5 Perguntas clássicas
O quê? Como é visto as manifestações;
Onde? Facebook e Twitter;
Quando? Período de Julho a Agosto de 2013;
Quem? População de língua pt com acesso às R. Sociais;
Por que? Perceber a opinião pública diante do tema.

Extração de Conhecimento (KDD)

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter



5 Perguntas clássicas
O quê? Como é visto as manifestações;
Onde? Facebook e Twitter;
Quando? Período de Julho a Agosto de 2013;
Quem? População de língua pt com acesso às R. Sociais;
Por que?

Extração de Conhecimento (KDD)

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter



5 Perguntas clássicas
O quê? Como é visto as manifestações;
Onde? Facebook e Twitter;
Quando? Período de Julho a Agosto de 2013;
Quem?
Por que?

Extração de Conhecimento (KDD)

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter



5 Perguntas clássicas
O quê? Como é visto as manifestações;
Onde? Facebook e Twitter;
Quando?
Quem?
Por que?

Extração de Conhecimento (KDD)

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter



5 Perguntas clássicas
O quê? Como é visto as manifestações;
Onde?
Quando?
Quem?
Por que?

Extração de Conhecimento (KDD)

Porquê o último D?

D = Databases

KDD surgiu em 2000
Redes Sociais surgiu
depois
2004 Facebook
2006 Twiiter


Processo de extração automática de conhecimento, fazendo uso de um grande volume de dados, a partir de fontes de informações.

Extração de Conhecimento (KDD)

Vantagens x Desvantagens

Baixo Custo
Amplitude Global
Análise das Interações Sociais

Exige um certo conhecimento do domínio
Dados nem sempre estão estruturados
O público tem controle da informação
SPAM






Extração de Informações

Vantagens x Desvantagens

Controle da Informação
Maior controle do público
Informações são estruturadas

Alto Custo
Menor Rastreabilidade de público



Extração de Informações

Extração de Informações

http://www.observatorio.inweb.org.br/dengue

Extração de Informações de Redes Sociais

Visualização dos Dados

Desafios

Visualização dos Dados

Desafios

Adicionando Bibliotecas

Eclipse: Java IDE

Twitter API

> motivos
100% Java Puro
Compatível Java v.5+
Não exije outras dependências

SDK
Usaremos Twitter4J (http://twitter4j.org/en/)

Outros SDKs


Na Unha?


Facebook API

> motivos
100% Java Puro
Compatível Java v.5+
Não exije outras dependências

SDK
Usaremos Facebook4J (http://facebook4j.org/en/)

Outros SDKs
https://developers.facebook.com/docs/sdks/

Na Unha?
https://developers.facebook.com/docs/reference/apis/

Google News
Observatório da Web
SAC 2.0
Anti-SPAM

Categorização de Documentos:

Descoberta de Conhecimento:

Business Intelligence:

Classificação de Texto:


Text Mining

Aplicações

Processo de extração automática de conhecimento, fazendo uso de um grande volume de dados, a partir de fontes de informações.

O quê?
Onde?
Quando?
Quem?
Por quê?

5
Perguntas
clássicas

Extração de Conhecimento (KDD)

Text Mining

Aplicações

O Bob tem 19 anos e
cursa Ciência da
Computação

Nome: Bob
Idade: 19
Curso: Ciência da
Computação

“processo de extração de padrões ou conhecimentos não-triviais em documentos de texto não estruturados”

Text Mining

Dado Não
Estruturado
(texto)

Dado
Estruturado

Descoberta

Busca

Text Mining x Data Mining
Full transcript