Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

EVALUACIÓN PRAGMÁTICA DE POLÍTICAS PÚBLICAS

No description
by

P B

on 14 August 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of EVALUACIÓN PRAGMÁTICA DE POLÍTICAS PÚBLICAS

y algunas formas de enfrentarlo
¿Cómo permite la evaluación aprender de la experiencia?
Criterios de Evaluación
El problema de la atribución
- Relevancia o pertinencia de lo que se evalúa




- Eficacia o efectividad





- Eficiencia (en el uso de los medios para alcanzar los objetivos).
Relaciona objetivos con la estrategia del país, sector, organización o institución que desarrolló la intervención.

Grado de logro de los objetivos. si los objetivos contemplan un horizonte temporal que no se limita al corto plazo, el juicio acerca de la eficacia incluye la sostenibilidad de los resultados en el tiempo. (¿cómo saber si un determinado objetivo fue alcanzado por un determinado proyecto?)

Análisis costo-beneficio, costos unitarios
Relacionar los logros con los medios empleados, y cuanificar los montos



a) ¿Cómo identificar el efecto de la intervención X en las variables clave?

b) ¿Cómo aislar o separar dicho efecto del correspondiente a otros factores?

c) ¿Qué hubiera sucedido en ausencia de la intervención X?

d) ¿Qué se suponía que hubiera sucedido si no se realizaba la intervención X?
Bichett, Valenzuela y Ubilla, 2014
- Enfoque tradicional de la evaluación: ex ante

- Gestión orientada a resultados y necesidad de rendir cuentas, aprendizaje a partir de la experiencia -> interés por la disciplina de la evaluación.
Evaluación
Enfoques para la evaluación de políticas públicas
Funciones y tipos de evaluaciones

Según el propósito

- Aprender de la experiencia: evaluaciones formativas
- Rendición de cuentas al público: evaluaciones sumativas que formulan un juicio sobre el valor de lo evaluado.

Según el momento
- Ex ante
- Ex post
- Inermedias

1. Políticas como tratamientos: cuya unidad de referencia son programas o proyectos

2. Intervenciones conceptualizadas que plantean un marco normativo, que no siempre puede reducirse a programas o proyectos.
EVALUACIÓN PRAGMÁTICA DE POLÍTICAS PÚBLICAS
Osvaldo Feinstein, 2007
Evaluaciones de proceso (mecanismos e instrumentos)

Evaluaciones de impacto (resultados)
- Evitar el riesgo de la Falacia post hoc ergo propter hoc ("después de algo, por lo tanto debido a eso"), confundiendo las causas con lo que ha sucedido primero.

- La evaluación debe tomar en cuenta los factores contextuales y realizar un análisis y síntesis que permita identificar las causas que han operado para alcanzar o no los resultados esperados, así como otros posibles efectos atribuibles a las intervenciones que tuvieron lugar.

- DESAFÍO: cómo diseñar, implementar y utilizar evaluaciones de modo que permitan aprender de la experiencia
Evaluación y evidencia (la evidencia no es la única base para el diseño de políticas públicas.
SEPARACIÓN DE EFECTOS E IDENTIFICACIÓN DE CAUSAS
Establecer la contribución de determinada
intervención a los resultados
Utilización de grupos de control
para establecer comparaciones (intervenidos y
no intervenidos
¿Es siempre posible realizar evaluaciones con grupos de control o es una mera posibilidad teórica?
- Es factible y recomendable en el caso de intervenciones muy específicas (estandarizadas), que no varían durante el proceso de implementación y se aplican a un subconjunto de la población. Asignación de recursos aleatoria y transparente.

- No es factible en el caso de evaluaciones de políticas globales, como una política monetaria, o de proyectos o programas en los cuales las intervenciones se van modificando durante la implementación, o en el caso de programas nacionales en los cuales toda la población sea objeto del tratamiento y la estrategia de implementación no pueda incorporar la aleatorización como procedimiento para asignar los recursos.
Pueden existir hipótesis rivales plausibles que expliquen los resultados alcanzados. DESAFIO: identificar dichas hipótesis rivales y considerar hasta qué punto es posible descartarlas. ANALISIS COMPARATIVO: efectuando comparaciones con situaciones donde esos mismos factores externos hubieran estado operando, aun si no es posible contar
con grupos de control.
A pesar de la tendencia reciente a privilegiar los resultados, es importante considerar adecuadamente los procesos asociados a una intervención.

Las evaluaciones de procesos pueden complementar las evaluaciones de resultados.


Políticas como "tratamientos": investiga una clase de intervenciones con cobertura parcial (que no incluyen a toda la población, o sea, que no son universales), de modo tal que hay un grupo de tratamiento y otro de control, y se reconoce que no es útil para evaluar intervenciones aplicadas universalmente en una economía (o sociedad); supone que los efectos en los miembros del grupo de control son los que resultarían en ausencia de una intervención.
Políticas públicas como intervenciones no reducibles a programas o proyectos:

- Aclarar su
marco orientativo
e identificar sus
objetivos
planteados

- aplicar los criterios de evaluación típicos (relevancia, eficacia y eficiencia) + equidad

- considerar su efecto sobre los incentivos que generan (y hasta qué punto los mismos son necesarios o suficientes para que se alcancen los objetivos)

- las capacidades necesarias para implementar las políticas

- el efecto de dichas políticas sobre las capacidades, la adopción de nuevos comportamientos o prácticas o tecnologías promovidas por la política pública

- los riesgos asociados a la implementación de la política (particularmente la posibilidad de que se generen efectos no buscados)

- las oportunidades creadas por la política pública (la equidad puede en este contexto ser un criterio importante ya que llevaría a considerar el grado en que la política pública ha promovido o no la igualdad de oportunidades)


Dificultades y soluciones

1. Falta de fondos: (¿se utilizan siempre?)

2. Capacidades limitadas: brecha entre demandantes y expertos. PROGRAMA DE BECAS para Oferta potencial.

3. Cuestiones metodológicas (fuentes, métodos,difusión)

4. Falta de incentivos (amenaza? - rendición de cuentas -> aprendizaje - premios a los resultados - círculo virtuoso).
Síntesis y Conclusiones
1. La evaluación bien permite aprender de la experiencia extrayendo lecciones sobre las políticas que han funcionado bien y las que han fallado, las razones de éxitos y fracasos.

2. Implementar criterios de evaluación como relevancia, efectividad y eficiencia, y algunos otros como equidad, ya que permiten considerar sistemáticamente (y extraer lecciones de) diversos tipos de políticas públicas.

3. Es importante evitar un enfoque ingenuo de la atribución que no reconoce la existencia de otros factores que no sea la propia política pública que se evalúa.

4. Para políticas públicas en las que los grupos de control o de comparación sean factibles, que no varían durante el período de implementación y que se aplican a un subconjunto de la población, es recomendable realizar la evaluación utilizando dichos grupos de control.

5. Cuando no sea factible utilizar grupos de control, es importante considerar hipótesis rivales plausibles, y utilizar evidencias para determinar cuál es la hipótesis más sólida.
6. Crear un fondo para evaluaciones, que puede constituirse con un pequeño porcentaje del total de fondos dedicados a políticas y programas públicos. A través de autoevaluaciones y/o evaluaciones independientes

7. La formación en evaluación puede complementarse mediante la creación de oportunidades para «aprender haciendo», viabilizadas por un programa de becas para tesis y tesinas sobre evaluación, financiado, por ejemplo, por fundaciones vinculadas a bancos u otras organizaciones privadas o estatales.

8. Es importante desarrollar un enfoque metodológico pragmático, utilizando diferentes métodos para realizar las evaluaciones en función de los tipos de políticas públicas y de la información disponible.

9. Los evaluadores y los gestores de evaluaciones deben ocuparse no solamente de la producción sino también de la post-producción de evaluaciones, asumiendo una responsabilidad por facilitar su utilización.

10. Implementación de incentivos para las mejores evaluaciones, permitiendo que las evaluaciones sirvan como instrumento de aprendizaje
Síntesis y Conclusiones
Full transcript