Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

INDICADORES

No description
by

Claudia Cerqueira

on 1 October 2015

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of INDICADORES

Formulação
Avaliação
INDICADORES
Claudia Cerqueira
Danilo Hernandes
Eros Nascimento
Fernanda Becker
Rodrigo Taveira

Marco Conceitual
Construção de Indicadores
Os Indicadores no Ciclo de Políticas Públicas
Crítica: Uso, Mau Uso e Abuso dos Indicadores
Se bem empregados podem enriquecer a interpretação empírica da realidade social e orientar a análise, formulação e implementação de políticas sociais;

Podem contribuir no apontamento da magnitude das carências;

Prestam-se a subsidiar as atividades de planejamento público e formulação/reformulação de políticas;

Disciplina: Políticas Públicas
Profa. Marta Farah

Possibilitam o monitoramento das condições de vida e bem-estar;

Para a academia: “elo de ligação” entre os modelos explicativos teóricos e a evidência empírica dos fenômenos sociais observados.

Diagnóstico
Diagnóstico
Indicadores que permitam “retratar” a realidade social;
Caracterização do marco zero;

Tipos e propriedades:

- Amplo escopo temático
- Desagregabilidade populacional e geográfica
- Confiabilidade

Exemplos:
- Censos demográficos
- Pesquisas amostrais

Formulação
Indicadores que orientem a tomada de decisão;
Definir a natureza, prioridades e público-alvo do programa

Tipos e Propriedades:
- Indicadores sintéticos
- Indicadores multicriteriais
- Tipologias de situações sociais

Exemplos:
- Censos demográficos
- Pesquisas amostrais

UM BREVE HISTÓRICO: SURGIMENTO E EVOLUÇÃO

Década de 1920: nos EUA, o comitê presidencial produziu um relatório denominado “Tendências Sociais Recentes” (RUA, 2004): dados que refletissem a “cara” de uma sociedade e suas mudanças;

Década de 1950: após a Segunda Guerra Mundial, o modelo de desenvolvimento dos países centrais (EUA, Europa e Japão) levou à criação de indicadores econômicos: nível de produção como medida de desenvolvimento;

Década de 1960: ainda nos EUA, deu-se início a uma mudança de paradigmas, quando foi percebido que medidas de desenvolvimento econômico não explicavam as mudanças ocorridas em termos SOCIAIS (SANTAGADA, 2007):
 --> Em 1966, termo “Indicadores Sociais” é utilizado pela primeira vez;
--> Em 1967, Nixon cria o Serviço Nacional de Metas e Pesquisas.

Década de 1970: grande avanço no desenvolvimento e disseminação de indicadores pelas agências internacionais (ONU, OMS, OCDE etc.)

Implementação
Indicadores que permitam monitorar o processo de implementação dos programas;
Análise da eficiência/uso dos recursos.

Tipos e Propriedades:
- Indicadores-insumo e indicadores-processo
- Regularidade
- Atualidade
- Sensibilidade
- Especificidade

Exemplos:
- Registros administrativos
- Registros gerados nos procedimentos do próprio programa

UM BREVE HISTÓRICO: SURGIMENTO E EVOLUÇÃO

Década de 1980: a crise fiscal e a visão de um Estado mínimo, adotada principalmente na Inglaterra e nos EUA, levaram a um certo desprezo pelos indicadores sociais (MP, 2010);

Década de 1990: ressurge o interesse pelo indicadores, não apenas no âmbito econômico, mas também nos campos social, ambiental e gerencial;

A partir da década de 1990: passam a compor a pauta da maioria das nações; o avanço e disseminação de sistemas informatizados, fortaleceu-se a ideia da utilização dos indicadores sociais e gerenciais com a finalidade de apoiar o monitoramento e a avaliação das ações governamentais como um todo (RUAS, 2004).

Avaliação
E NO BRASIL?

Constituição de 1988

Reforma do Estado

Efeito “federalismo”: criação de indicadores subnacionais

O QUE SÃO INDICADORES?


Do ponto de vista de políticas públicas, os indicadores são instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenômeno, problema ou resultado de uma intervenção na realidade.


A principal finalidade de um indicador é traduzir, de forma mensurável, determinado aspecto de uma realidade dada (situação social) ou construída (ação de governo), de maneira a tornar operacional a sua observação e avaliação.

O QUE SÃO INDICADORES? – UM DEBATE CONCEITUAL

“Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente.” (JANUZZI, 2005, p. 138)

“Indicadores não são simplesmente dados, mas uma balança que nos permite ‘pesar’ os dados ou uma régua, que nos permite “aferir” os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos dos eventos.” (RUAS, 2004, p. 2)

Para o IBGE (2005), os indicadores são ferramentas constituídas de variáveis que,
associadas a partir de diferentes configurações, expressam significados mais amplos sobre os fenômenos a que se referem.

“O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado”. (FERREIRA et al., 2009, p. )

Indicadores que permitam observar a eficácia e efetividade social dos programas;
Geração de produtos, efeitos sociais

Tipos e Propriedades:
- Indicadores-resultado e indicadores-impacto
- Tipologias (ex: boas práticas)

Exemplos:
- Pesquisas amostrais
- Registros administrativos
- Grupos focais
- Pesquisas de egressos e de participantes do programa

“FUNÇÕES BÁSICAS” DE UM INDICADOR





Outro enfoque: Tipos de Avaliação

- Diferente da avaliação enquanto etapa do ciclo;
- Tratam-se de atividades de monitoramento e avaliação em diferentes momentos do ciclo, a partir de sistemas de indicadores, instrumentos e pesquisas.

Descritiva
Valorativa
a) Avaliação Formativa
- Durante e após o desenvolvimento do programa, mas antes da implementação;
- Entender as necessidades reais, ajudar na seleção e desenho de atividades e serviços apropriados para o programa;
- Dados quantitativos e/ou qualitativos.

Em distintos momentos do ciclo de políticas públicas:
Ex-ante

In curso

Ex-post
b) Avaliação de Processos
- Tipo mais básico;
- Estuda a maneira pela qual serviços e intervenções são realizados;
- Planejada para descrever o que está acontecendo, e não se funciona ou não.
- “O quê, a quem e como está sendo feito?”

c) Avaliação de Resultados
Tipo mais comum;
- Determina a efetividade de um programa: funciona? É capaz de fazer a diferença?
- É mais difícil de realizar, pode ser muito cara

d) Avaliação de Eficiência
- Desafios metodológicos e necessidade de recursos;
- Examina a relação resultados x custos do programa;
- Análise de custo-benefício ou Análise da eficiência em termos de custo.

e) Avaliação de Impacto
PROPRIEDADES DE UM INDICADOR:
Essenciais

• Relevância: grandes mitos "deve-se medir tudo" e "medir por medir";

- Validade: capacidade de representar, com a maior proximidade possível, a realidade que se deseja medir e modificar;

• Confiabilidade: indicadores devem ter origem em fontes confiáveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgação;

• Simplicidade: indicadores devem ser de fácil obtenção, construção, manutenção, comunicação e entendimento pelo público em geral.

- Desafios metodológicos e necessidade de recursos;
- Focaliza os efeitos gerais de um programa sobre uma população-alvo ampla, para além dos participantes diretos do programa.

Ambos os tipos são mais complexos e dispendiosos, em geral sendo menos realizados do que os outros três.

PROPRIEDADES DE UM INDICADOR:
Complementares


• Sensibilidade: capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas;

• Desagregabilidade: capacidade de representação regionalizada de grupos sociodemográficos, considerando que a dimensão territorial se apresenta como um componente essencial na implementação de políticas públicas;

• Economicidade: capacidade do indicador de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser favorável;

• Estabilidade: capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações;

• Mensurabilidade: capacidade de alcance e mensuração quando necessário, na sua versão mais atual, com maior precisão possível e sem ambiguidade;

• Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores.
Indicadores segundo os três aspectos relevantes da avaliação dos programas

Eficiência -
Meios e recursos empregados

Eficácia -
Cumprimento das metas
Efetividade -
Efeitos sociais do programa
TAXONOMIA












Avaliação de Desempenho
Natureza do indicador
Econômico
Social
Ambiental
Área Temática
Complexidade
Objetividade
Saúde
Educação
Mercado de Trabalho
Demografia
etc.
Analíticos
ou
Sintéticos
Objetivos
ou
subjetivos
Economicidade
Eficiência
Eficácia
Efetividade
Fonte: Guia Metodológico para Indicadores de Programas do Ministério do Planejamento, Orçamento e Gestão (2010) e Januzzi (2005).
Gestão do Fluxo de Implementação de Programas
Insumo
Processo
Resultado
Impacto
UMA IMPORTANTE DISTINÇÃO A SER FEITA


• Estatísticas Públicas: representam ocorrências ou eventos da realidade social, são produzidas e disseminadas pelas instituições que compõem o Sistema Estatístico Nacional e servem de insumos para a construção de indicadores;

• Indicadores de Desempenho de Programas: dentro de uma finalidade programática, permitem uma análise contextualizada e comparativa dos registros e estatísticas, no tempo e no espaço;

• Sistema de Indicadores: constitui um conjunto de indicadores que se referem a um determinado tema ou finalidade programática. São exemplos o sistema de indicadores do mercado de trabalho (MTE) e o sistema de indicadores urbanos (Nações Unidas).

Fonte: Januzzi, 2003
Indicadores de Educação
Implementação
COMO CONSTRUIR INDICADORES?

Todos os autores trabalham com a questão de como construir indicadores e sobre a necessidade de utilizar dados primários e secundários.

Existe consenso sobre o que seja um dado primário: é aquele que é gerado para uma finalidade específica. Assim, pesquisas quantitativas e qualitativas constituem dados primários

O entendimento sobre o que é um dado secundário é amplo: podem ser registros administrativos, dados de ministérios. Um dado secundário é aquele que é utilizado com uma finalidade diferente da inicial para qual foi gerado.

Um exemplo: registros administrativos de horários de chegada e saída de uma secretaria municipal que é utilizado para controle de funcionários.

DADOS PRIMÁRIOS

A atividade de avaliação depende da disponibilidade de dados extraídos de uma variedade de fontes.

As avaliações de programas podem ser tanto quantitativas como qualitativas, para a coleta de análise de dados.

A escolha da abordagem depende do programa a ser avaliado. A maioria dos especialistas concorda que diferentes métodos quantitativos e qualitativos deve ser combinado e não mutuamente exclusivos.

Métodos qualitativos visam principalmente obter conhecimento sobre uma realidade ainda desconhecida, métodos quantitativos testam o conhecimento sobre um fato que já se conhece
Fonte: Associação Brasileira Interdisciplinar de AIDS, 2001.
POSSÍVEIS FONTES DE DADOS PRIMÁRIOS

Entrevistas estruturadas: uso de um questionário padronizado para aplicar um conjunto de perguntas a um público-alvo de seleção aleatória;

Questionário aplicados: são como os questionário estruturados, porém é uma técnica mais barata pois usa outros meios que não o entrevistador para aplicá-lo;

Entrevistas em profundidade: são conversas individuais entre o entrevistador e entrevistado;

Grupos de discussão: Semelhante à entrevista em profundidade, mas no âmbito coletivo;

Observação direta: a coleta de dados ocorre no ambiente em que o que se quer avaliar está ocorrendo;

Observação etnográfica: o entrevistador participa e observa eventos no local em que ocorrem no grupo estudado, por um longo período;

Cliente misterioso: o entrevistador se apresenta como cliente para medir a qualidade dos serviços que estão sendo prestados – a fim de evitar vieses;

Triangulação: é a combinação entre métodos quantitativos e qualitativos para que se tenha uma perspectiva abrangente e maior entendimento dos estudos de políticas públicas. É uma forma de compensar as fraquezas de cada tipo de metodologia.

DADOS PRIMÁRIOS E DESENHO DE PESQUISA

O desenho de pesquisa pode ser experimental aleatório, quase-experimental ou não-experimental

Tanto no primeiro quanto no segundo caso, indivíduos são escolhidos aleatoriamente para ser parte de um grupo experimental que sofre uma intervenção sobre um determinado tema, e um grupo de controle, que não sofre.

No desenho quase-experimental, não há aleatorização de indivíduos, mas pareamento

Um dos problemas do desenho experimental é que ele exige um alto grau de controle das variáveis em todas as atividades, o que pode não ser possível.

Já no caso do desenho quase-experimental, um problema a ser apontado é oriundo da técnica de pareamento: pode fazer com que resultados sejam decorrentes das diferenças nos grupos de controle e experimental.

No desenho não-experimental, no qual existe apenas uma amostra de pessoas de que sofre uma intervenção, a dificuldade consiste em não existir grupo de controle.
DADOS SECUNDÁRIOS
Para Kayano e Caldas (2002), os indicadores são instrumentos ou formas de medir, avaliar ou verificar determinado fenômeno. Porém sua construção é sempre influenciada pelos valores de quem a constrói;

Eles podem ser simples, como por exemplo o número de leitos hospitalares implantados, relações, como entre idade e posição político-ideológica.

Mas também podem ser compostos, apresentando de forma sintética alguns aspectos da realidade. Geralmente são agrupamentos de indicadores simples e são importantes para avaliar a evolução do que se quer observar no tempo, sua eficácia e eficiência.

DADOS SECUNDÁRIOS

Em um primeiro momento deve-se definir a política pública mais apropriada para a intervenção social e alcance de objetivos, desenhando-a com objetivos claros.

Depois, deve-se definir o indicador que possibilitará a avaliação final da intervenção, quanto o acompanhamento e monitoramento da política pública.

Do ponto de vista operacional, o processo de sua elaboração deve:
1) Delimitar um quadro de referência
2) Definir objetivos, tempo, prazo e espaço geográfico, as medidas de processamento e a análise
3) Escolher suas variáveis
4) Definir sua composição
4) Definir sua composição
5) Criar sistemas de informação
EXEMPLO: ÍNDICE PAULISTA DE RESPONSABILIDADE SOCIAL - FUNDAÇÃO SEADE

Torres, Ferreira e Filho (2003) apresentam a seguinte proposta: utilizar a descrição das condições de vida feitas com base em um conjunto de indicadores que expressam, para cada um de suas dimensões, a questão da qualidade de vida.

Criação de uma tipologia que permita distinguir diferentes situações de vida, para depois elencá-las. Essa é a escolha adotada.

Para que tenha algum grau de comparabilidade, o indicador preserva as mesmas dimensões do IDH – renda, longevidade e escolaridade, o que a torna mais comparável à outros índices. Ele também é capaz de captar mudanças de curto prazo e baseia-se em registros administrativos devido à periocidade dos dados.

Os dados são ponderados de acordo com uma análise fatorial em que se mostra a interdependência entre variáveis, gerando os indicadores riqueza municipal, longevidade e educação.
IRPS: TIPOLOGIA CRIADA

Combinados os indicadores, cria-se uma tipologia que classifica os 645 município do estado de são Paulo com características similares em riqueza municipal, longevidade e escolaridade.
DADOS PRIMÁRIOS E SECUNDÁRIOS

Januzzi (2005) afirma que as dimensões os componentes e as ações operacionais de interesse programático moldam a construção de indicadores sendo por vezes necessária a utilização de ambos os tipos de dados: primários e secundários.

O autor propõe a construção de de indicadores sobre as questões de monitoramento e a avaliação, com base em um sistema informatizado de painéis para monitorar todo o ciclo de políticas públicas.

A vantagem dos sistemas de painéis ocorre porque esses podem integrar dados, e desagregá-los em diferentes níveis. Além disso, ele integra informações de acordo com uma referência comum, sintetiza-as e lhes fornece significado analítico.
Etapas na construção de um painel de indicadores para monitoramento analítico
1ª Etapa: Definição do programa a ser monitorado, seus objetivos, ações e lógica de intervenção
2ª Etapa: Especificação dos ciclos analíticos e definição de unidade de análise
3ª Etapa: Coleta de dados de indicadores de contexto
4ª Etapa: Coleta dos indicadores do programa
5ª Etapa: Construção de Painel de Indicadores na forma de gráficos e início da análise exploratória
INDICADORES COMO PADRÕES E FATOS SOCIAIS

Conceito originário de Durkheim:

fato social consiste em maneiras de agir, pensar e sentir exteriores ao indivíduo, e dotados de um poder coercitivo em virtude do qual se lhe impõem. Só há fatos sociais onde houver organização definida. Há, por exemplo, certas correntes de opinião que nos levam, com intensidades desiguais segundo o tempo e os países, ao casamento, ao suicídio ou a uma natalidade mais ou menos forte; estes são, evidentemente, fatos sociais Também se define o fato social como uma norma coletiva com independência e poder de coerção sobre o indivíduo.”
A RAZÃO ESTATÍSTICA CRIA FATOS SOCIAIS

“A razão estatística participa da própria construção dos fatos sociais: a razão estatística coloca em ação um conjunto de regras de comparação e medidas de equivalência que transformam coisas em príncípio disparatadas na realidade em “fatos sociais” portadores de um estatuto de objetividade que opera como parâmetro e referência para o debate público.” (Telles, 2003);

São, portanto, um processo de “construção social da realidade”.

IDEB - Índice de Desenvolvimento da Educação Básica
OS INDICADORES COMO FERRAMENTA POLÍTICA E NORMATIVA

“A produção de indicadores sociais ganha, portanto, um sentido político e também normativo, explícita e abertamente colocados no suposto de que a apropriação pelos cidadãos das informações relativas às suas condições de vida e sobre discrepâncias sociais estampadas na cidade é um componente importante na luta pela democratização da política e pela justiça social” (Telles, 2003)
Possuir indicadores educacionais é desejável para:

Detectar escolas / redes com baixa performance;

Monitorar a evolução temporal do desempenho dos alunos;

Comparar unidades de ensino.

Quais indicadores foram observados?


- Taxas de Escolarização Líquida e Bruta
- Taxas de Promoção
- Taxas de Evasão


Necessidade de aliar resultados de exames padronizados a informações de fluxo escolar.

OS INDICADORES CRIAM OS TERMOS DO DEBATE

O debate sobre as diferentes opções a alternativas em pauta (e em disputa) numa sociedade supõe a existência de referências comuns aos diferentes autores. São referências que fornecem as evidências sobre a existência, a objetividade e a pertinência das questões em pauta. (Telles, 2003)
Qualidade entendida como desempenho.


Quais as características de um sistema educacional com bom desempenho?

- Alunos atingem o grau de proficiência esperado;
- Alunos progridem no tempo esperado.

INDICADORES COMO PONTO DE INFLEXÃO

Muitas vezes, são os indicadores que estabelecem que um problema é de fato um problema. Eles têm poder de
influenciar na agenda
?

Estatísticas podem ser “manipuladas”:
a arte de torturar os dados até que eles “confessem”
.

exemplos:
Desemprego na Europa (pessoas que simplesmente pararam de procurar emprego);
Mulheres violentadas que não prestam queixa.

O CASO DO IDH - ÍNDICE DE DESENVOLVIMENTO HUMANO

Principal pergunta por trás do indicador:
o que é desenvolvimento?
Mensurar somente o crescimento econômico (PIB) significa o quê?

Seres humanos são os principais fins e meios para o desenvolvimento (Anand & Sen, 2000);

Capital Humano x Capital Físico

A importância dos esforços humanos, capacidades e talentos foram sistematicamente negligenciados na emergência da economia do desenvolvimento no pós-guerra;

"Capabilities and functionings (governments should be measured against the concrete capabilities of their citizens)" (Anand & Sen, 2000).
CRÍTICA AOS INDICADORES SINTÉTICOS

Até que ponto que um determinado indicador pode representar a realidade social complexa?

Ryten coloca que muitas vezes o IDH é redudandante e que como diversos componentes respondem em velocidades diferentes e de formas diferentes a determinados tipos de políticas, seria mais fácil simplesmente ver cada componentes separadamente.

Ryten também coloca que não existe teoria testada que ligue fatores economicos, sociais e ambientais ao desenvolvimento humano.
IDEB =
NOTA EM TESTE
APROVAÇÃO
- Quanto melhor o desempenho dos alunos nos testes (Prova Brasil) e maior a taxa de aprovação (Censo Escolar), mais elevado será o Ideb;

- Mede a qualidade do ensino:
escola/rede em que os estudantes aprendem o que é adequado à idade e o fazem no tempo indicado.

- Capta distorções como:
Passam todos os alunos: melhora do fluxo escolar com impacto negativo sobre o desempenho.
Eliminam-se os piores alunos: melhoria de desempenho decorrente de piora no fluxo escolar.

ÚLTIMAS CONSIDERAÇÕES

Indicador social apenas indica, não substitui o conceito que o originou;

Avaliação de política pública requer indicadores de diferentes naturezas;

Embora escassas, há fontes de dados para a construção de indicadores municipais úteis.
Fonte: Januzzi, 2002.
Características
Varia de 0 a 10;

Quanto melhor o desempenho dos alunos nos testes e maior a taxa de aprovação, mais elevado será o Ideb;

É calculado para cada escola, cada rede, cada estado e para o país – e todos possuem suas próprias metas;

Periodicidade de cálculo: a cada 2 anos.

Exemplo de Cálculo
Valores referentes à 1a fase do ciclo do EF
(Brasil – 2007):
IDEB =
NOTA DE
TESTE
AVALIAÇÃO
Prova Brasil
Censo Escolar
4,2 =
4,86
0,86
Vantagens
- Indicador sintético;

- Estimula a prestação de contas por parte das escolas e das redes;

- Estimula o acompanhamento por parte dos pais e da sociedade;

- Permite comparação por UF, rede de ensino e escolas;

- Promove a redução das desigualdades.

Brasil 2005
Brasil 2007
Brasil 2009
IDEB: a utilização do índice pelo MEC
- PDDE : maiores repasses a municípios com melhores resultados;

- Definição de municípios prioritários para apoio técnico e financeiro do MEC;

- Monitoramento de resultados das ações do MEC.

Outras Ações
- Plano de Desenvolvimento da Educação - PDE

- Compromisso Todos Pela Educação

- Plano de Ações Articuladas - PAR

- PDE-Escola
Full transcript