Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

CURSO DE EVALUACIÓN DE IMPACTO PARA HACEDORES DE POLÍTICA

CURSO DE EVALUACIÓN DE IMPACTO PARA HACEDORES DE POLÍTICA
by

Ludwing Torres

on 24 November 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of CURSO DE EVALUACIÓN DE IMPACTO PARA HACEDORES DE POLÍTICA

CURSO DE EVALUACIÓN DE IMPACTO PARA HACEDORES DE POLÍTICA
INTRODUCCIÓN A LA
EVALUACIÓN DE IMPACTO
CÓMO EVALUAR
MÉTODOS DE EVALUACIÓN
COMO IMPLEMENTAR UNA EVALUACIÓN DE IMPACTO
Existen múltiples programas sociales (públicos)
Los Evaluadores se concentran en verificar los medios
La EI permite determinar si un programa ha logrado o no los resultados previstos
Reducción de pobreza
Reducción de desigualdad
Reducción de mortalidad
Reducción de morbilidad
Mejoras en calidad educativa

Políticas basadas en evidencia y la GpR
En el último tiempo, una mayor presencia del Estado en temas sociales demanda una mayor eficiencia en la asignación de los recursos públicos.
Gestiones orientadas a logros, y no solo cumplimiento de funciones y actividades
La Gestión para Resultados (GpR), como parte de la Nueva Gestión Pública (NGP), es una estrategia de gestión pública que conlleva tomar decisiones sobre la base de información confiable acerca de los efectos que la acción gubernamental tiene en la sociedad.
Política basada en evidencia, orientada al desarrollo (GpRD)
La GpRd y la cadena de resultados
La gestión basada en resultados se centra en una clara noción de la causalidad.
En la práctica:
Frecuentemente, los funcionarios de un organismo público o un ministerio necesitan demostrar ante sus superiores que los programas funcionan para obtener asignaciones presupuestarias que les permitan continuarlos y expandirlos.
En paralelo, los Gobiernos están interesados en convencer a sus ciudadanos de que las inversiones que han elegido tienen rendimientos positivos (Accountability).
La información y las evidencias se convierten en un medio para sensibilizar al público y promover la rendición de cuentas del Gobierno.
NUEVO PROGRAMA DE ESTUDIOS
CALIDAD EDUCATIVA (RENDIMIENTO)
PROGRAMA DE
AGUA Y SANEAMIENTO
MEJORAS EN SALUD
PROGRAMA DE CAPACITACIÓN DE JÓVENES
FOMENTAR LA ACTIVIDAD EMPRESARIAL
MÉXICO – PROGRESA
1993 – Programa de transferencias condicionadas
Combate a la pobreza extrema rural / Romper los círculos inter-generacionales de pobreza
ALIMENTACIÓN
EDUCACIÓN
SALUD
Antecedentes (1)
Programa Nacional de Solidaridad (PRONASOL)
Distribución discrecional de recursos
Falta de transparencia
Inversiones de infraestructura social básica
Antecedentes (II)
Subsidios alimentarios
Tortibonos
altamente regresivos – Tortilla/ área rural, que vive del autoconsumo
Cobertura de tiendas subsidiadas, no llegaba a las localidades más necesitadas
Antecedentes (III)
Programas de educación y salud
gastos equivalentes a los asiáticos, pero con una brecha educativa persistente
aumento de deserción escolar,
aumento de morbilidad y mortalidad
principales perfiles epidemiológicos que se agudizan
Lineamientos de Progresa
Focalización: "asegurar que beneficien a quienes más lo necesitan, no destinarlos a quienes reciben otros apoyos...asegurar que no se dupliquen los beneficios"
Transparencia: "procedimientos rigurosos, objetivos e imparciales, homogéneos a nivel nacional, así como verificables y auditables...
Corresponsabilidad
1- inscribir a los niños <18 años en las escuelas de educación primaria o secundaria; apoyarlos para que asistan en forma regular a clases.

2. registrarse en la unidad de salud y cumplir con las citas periódicas

3. asistir a las pláticas mensuales de educación para la salud

4. destinar los apoyos monetarios para el mejoramiento del bienestar familiar, en especial la alimentación de los hijos.
Los primeros tres rubros condicionan los apoyos, y lo hacen en forma separable: es posible dejar de recibir los apoyos educativos sin dejar de recibir los alimentarios,
y viceversa.
OPORTUNIDADES
PRI al PAN/ se piensa en suprimir el programa
Resultados del Progresa
El programa estaba bien focalizado y había logrado cambios trascendentales en la acumulación de capital humano
Schultz, Paul. 2004. “Public Policy for the Poor? Evaluating the Mexican Progresa Poverty Program”. Journal of Development Economics 74 (1): 199-250.
Shulzts (2004), observó que el Progresa había mejorado considerablemente la matriculación escolar, con un promedio de 0,7 años adicionales de escolarización
Gertler (2004), encontró que la incidencia de las enfermedades en los niños se había reducido en un 23% mientras que los adultos registraron una reducción del 19% en los días de trabajo o estudio perdidos por enfermedad o discapacidad
Gertler, Paul J. 2004. “Do Conditional Cash Transfers Improve Child Health? Evidence from Progresa’s Control Randomized Experiment”. American Economic Review 94 (2): 336-41.
Berhman y Hoddinott (2001) observaron
que el programa había reducido la probabilidad de retraso del crecimiento en alrededor de un centímetro al año para los niños dentro de la franja crítica de edad de los 12 a los 36 meses.
Behrman, Jere R. y Hoddinott, John. 2001. “An Evaluation of the Impact of
PROGRESA on Pre-school Child Height.” FCND Briefs 104, Instituto
Internacional de Investigación sobre Políticas Alimentarias, Washington, DC.
En qué consiste la Evaluación de Impacto?
La evaluación de impacto forma parte de una amplia gama de métodos complementarios para apoyar las políticas basadas en evidencias.
En términos generales, son exámenes periódicos y objetivos de un proyecto, programa o política programada, en curso o completada. Las evaluaciones se usan para responder a preguntas específicas
En particular la Evaluación de Impacto intenta responder a preguntas sobre causa y efecto.
Mostrará cuál es el impacto (o efecto causal) de un programa sobre un resultado de interés
Una evaluación de impacto analiza los cambios en el resultado directamente atribuibles al programa.
Para estimar el efecto causal o el impacto de un programa sobre los resultados, cualquier método elegido debe estimar el denominado contrafactual, es decir, cuál habría sido el resultado para los participantes en el programa si no hubieran participado en él.
La pregunta fundamental de la evaluación, ¿Cuál es el impacto (o efecto causal)
de un programa sobre un resultado de interés?; sugerir formular una pregunta de interés
De suprimir el programa se pasa a ver la necesidad de integrar y articular las acciones del Programa con otros esfuerzos y acciones de desarrollo social.
Se buscó ampliar el acceso de las familias en condiciones de pobreza de capacidades a mayores oportunidades de desarrollo, fomentando la seguridad y autosuficiencia de los individuos.
Ampliación hacia zonas urbanas
Fortalecimiento de apoyo institucional – agentes privados
INDONESIA
Programa de Planificación familiar
En la década de 70s gran popularidad de los programas de planificación por
reducir las tasas de fertilidad del país.
Dos resultados destacados
1) las tasas de fertilidad se redujeron un 22% entre 1970 y 1980, un 25% entre 1981 y 1990,

2) Incrementó considerablemente de los recursos destinados a la planificación familiar
Subsidios para anticonceptivos
Conclusión: reducción de la fertilidad se debía al aumento de la inversión en planificación familiar.
(Resultados no muy convincentes)
Gertler, Paul. 2000. “The Impact of Targeted Family Planning Programs in Indonesia”.
Population and Development Review 26: 61-85.
Observaron que los programas de planificación familiar solo habían tenido un impacto moderado sobre la
fertilidad, y argumentaron que el descenso de las tasas de fertilidad se debía, más bien, a un cambio de la situación de la mujer.
Previo al programa
muy pocas mujeres en edad reproductiva habían terminado la educación primaria
Durante el programa
auge del petróleo
Inserción de mujeres al mercado laboral
Programa de educación a gran escala para niñas
Los fondos se recondujeron
de los subsidios para anticonceptivos a los programas que aumentaban la matriculación escolar de las mujeres.
Aunque los objetivos finales de los dos tipos de programas son similares, los estudios de evaluación habían demostrado que, en el contexto, para generar una reducción de las tasas de fertilidad
era más efectiva la inversión en educación que la inversión en planificación familiar.
Colombia
Programa de Malnutrición y desarrollo cognitivo
1980 - Ministerio de Educación de Colombia – Ecología Humana
Provisión de atención a la salud y actividades educativas, además de alimentos y suplementos nutricionales
Objetivos de Evaluación:
1) cuánto tiempo debería durar el programa para reducir la malnutrición entre niños en preescolar de familias de ingreso bajo
2) si las intervenciones podrían generar también mejoras del desarrollo cognitivo.
Compara resultados de Grupos de niños que recibieron tratamiento en diferentes periodos
Todos malnutridos
se asignó a los niños aleatoriamente a uno de los cuatro grupos de tratamiento

La única diferencia entre los grupos fue la secuencia en la que empezaron el tratamiento

El grupo 4 empezó primero y estuvo expuesto al tratamiento durante más tiempo, seguido de los grupos 3, 2 y 1.
Luego se aplican exámenes cognitivos
Resultados
Los evaluadores observaron que los niños que pasaron más tiempo en el programa mostraban mejor desarrollo cognitivo.
Este ejemplo ilustra la manera en que
los administradores de un programa y los
responsables de políticas pueden usar las
evaluaciones de múltiples opciones de
tratamiento para determinar la alternativa
más efectiva para un programa.
MOTIVACIÓN
El enfoque de Evaluación de Impacto, busca cuantificar los cambios en el bienestar de las personas por la implementación de un programa
Un elemento fundamental de la EI es verificar que hubiese pasado con los beneficiarios si el programa no existiese (CONTRAFACTUAL)
CONTRAFACTUAL: Opuesto a la realidad
En muchos casos el contrafactual no es observable
Por ello el reto de la EI es crear un grupo convincentemente comparable para realizar el análisis
En alguna metodología, que se abordará más adelante, se ve la conveniencia en diferenciar los resultados entre Grupo de Tratamiento y Grupo de Control
No es un problema trivial, ya que la Evaluación de programas sociales, no siempre se lleva a cabo con datos experimentales
Existen alternativas:
Crear un grupo de comparación mediante un diseño muestral
Modificar el objetivo del programa para limpiar las diferencias existentes entre GT y GC
Errores al construir un contrafactual
Beneficiarios del Banco Grammen, que realiza préstamos a mujeres para incrementar consumo alimentario percápita del hogar
Los resultados indican que el Consumo percápita de alimentos es menor en el grupo de de Tratamiento
La comparación es incorrecta, ya que se debería ver lo que hubiese pasado con el consumo de los beneficiarios si el programa no hubiese existido
Análisis de la costo-efectividad
Una vez que se dispone de los resultados de la evaluación de impacto, estos pueden combinarse con información sobre los costos del programa para responder a
preguntas adicionales.

¿Cuál es el balance entre costos y beneficios del
programa analizado?

Análisis de costo-beneficio basado en las evidencias de la evaluación de impacto no solo para un programa particular, sino también para una serie de programas y alternativas de programas.
Kenya
Programas orientados a aumentar asistencia escolar
Child Support Africa – serie de programas:

tratamiento contra parásitos intestinales

provisión gratuita de uniformes escolares

desayunos escolares

Cada una de las intervenciones se sometió a una evaluación de impacto
Resultados:
Programa que suministró tratamiento contra los parásitos intestinales

Aumentó la asistencia alrededor de 0,14 años para cada niño tratado, con un costo estimado de US$0,49 por niño. Esto equivale a unos US$3,50 por cada año adicional de asistencia a la escuela.
Suministro de uniformes escolares:

Las tasas de abandono escolar disminuyeron drásticamente en las escuelas tratadas y, después de cinco años, se estimó que el programa había aumentado los años de escolarización un promedio del 17%, sin embargo, el costo del aumento de la asistencia a la escuela mediante el programa de uniformes escolares se estimó en alrededor de $99 por cada año adicional de asistencia.
Desayunos gratuitos:

Un aumento del 30% en la asistencia a las escuelas del grupo de tratamiento, con un costo estimado de US$36 por cada año adicional de escolarización.
Aunque intervenciones similares pueden tener distintos objetivos en términos de resultados, como los efectos de la desparasitación para la salud o el logro escolar, además del aumento de la participación, la comparación de una serie de evaluaciones realizadas en el mismo
contexto puede determinar qué programas lograron el objetivo deseado con el menor costo.
Lo que resta por ver...
La Teoría del cambio
La cadena de resultados
Hipótesis de Evaluación
Estimación de un contrafactual
Una revisión general de los métodos de Evaluación de Impacto

GRACIAS POR SU GENTIL ATENCIÓN
Facilitador: Ludwing Torres
email: ltorres@aru.org.bo
Full transcript