Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Copy of CRITERIOS DE METAEVALUACIÓN

No description
by

NORA SERRANO

on 5 November 2013

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Copy of CRITERIOS DE METAEVALUACIÓN

1.- Definición de los requisitos de la información que será recogida.
2.- Obtención de la información
3.- Utilidad de la misma o rendición de cuentas. ((Stufflebeam, 1974, 2001)
Proceso de metaevaluación
Contrato de metaevaluación: para concretar compromisos y responsabilidades de las distintas partes implicadas.
1.- Recogida de información: entrevistas, cuestionarios y observaciones.
2.-Análisis de información y enjuiciamiento: puntuaciones que indican hasta qué punto la evaluación ha sido correctamente realizada. Mencionar fortalezas, debilidades, sugerencias y planes de mejora.
3.-Redacción de informe: resumen de lo obtenido y anexos de gráficos.
Con este proceso debe integrarse la elaboración de una lista de control, de ser necesario, ya que ésta es un conjunto esquemático de cuestiones clave que deben ser tenidas en cuenta en un proceso específico de intervención o evaluación.
1.- Definición de los requisitos de la información que será recogida.
2.- Obtención de la información
3.- Utilidad de la misma o rendición de cuentas. ((Stufflebeam, 1974, 2001)
Proceso de metaevaluación
CRITERIOS DE METAEVALUACIÓN
Conjunto de criterios que prescriben los atributos necesarios y suficientes para juzgar la calidad de un proceso de evaluación.

La panorámica de criterios y estándares aplicables en estudios de metaevaluación es relativamente amplia

La mayoría de los trabajos empíricos recientes, se basa en las normas del JCS y los principios éticos de la AEA.


Estándares científicos clásicos: Diseño de investigación que establezca relaciones causales válidas:Validez interna, validez externa.
Mediante uso de procedimientos válidos: validez de conclusión estadística y de constructo.

Criterios de calidad científica.
Estándares científicos clásicos.: diseño de investigación que establece relaciones causales válidas (validez interna y externa); mediante uso de procedimientos válidos como: validez de estadística y validez de constructo.
Estándares de calidad clásicos.
CRITERIOS DE CALIDAD CIENTÍFICA EN EVALUACIÓN
Chen (1990): cuatro criterios
Objetividad: fiabilidad
Confianza: validez externa
generalizabilidad: validez externa
responsividad: oportunidad, relevancia, amplitud de consecuencias, igualdad.
Lista de control de Scriven

NORMAS PROFESIONALES
Las normas o estándares del JCS (1981,1988,1994) son la principal fuente de criterios de los estudios de metaevaluación, son asumidas como marco normativo por diversas asociaciones.
Las normas del JCS son un conjunto de normas compuestas por un amplio abanico de subcriterios que cubren en general todos los pasos propios de una evaluación de corte sistemático.
Siguen una perspectiva conceptual, estas normas se agrupan en cuatro conjuntos diferenciados:
- Normas de utilidad: evaluaciones que resulten informativas, oportunas e influyentes.
-Normas de viabilidad: evaluaciones en contextos de recursos limitados, enfatiza la facilidad de implementación, la eficiencia en el uso de recursos y la viabilidad
-Normas de honradez: se preocupan por el cumplimiento de principios legales y éticos ( respeto a los derechos humanos y búsqueda del bienestar de las personas implicadas o afectadas por la evaluación)
-Normas de precisión: : criterios convencionales de validez científica (fiabilidad, validez y objetividad)

Principios éticos de los evaluadores.
Principios éticos de los evaluadores de la Asociación Americana de Evaluación: se compone por cinco principios generales que se dividen en un conjunto de principios específicos, esta dirigida a orientar la conducta profesional y promover el debate.
Los principios deben considerarse un complemento de los estándares y normas profesionales (Sanders, 1995) no son independientes entre sí, y quizá pueda haber conflicto entre algunos principios.
LOS CINCO PRINCIPIOS BÁSICOS
A) Investigación sistemática:
B) Competencia:
C) Integridad y honestidad.
D) Respeto a las personas
E) Responsabilidades hacia el bien general y público.
Key evaluation checklist (Scrven, 2003) responde a la evaluación centrada en el usuario. Las necesidades de información del usuario se constituyen en el organizador de la evaluación. Tiene una orientación sumativa que persigue determinar el valor relativo de un conjunto de productos entre los que el usuario necesita elegir.
Criterios para evaluaciones sistemáticas
Criterios para evaluaciones democráticas y emancipadoras
Funciones
Asume las
3 funciones
generales de evaluación
1.
Responsabilidad
--> -Dada por rendición de cuentas
-Evaluador muestra uso de recursos, fallas y beneficios.
2.
Desarrollo
--> -Mejorar evaluación
-Información sobre decisiones/actividades en
el proceso.
3.
Conocimiento
--> -Aumentar sobre un campo de la
evaluación para mejorar su práctica.
NOTA:

Necesario juzgar la necesidad de metaevaluar dependiendo de la extensión, formalidad y recursos empleados en c/ evaluación,

Fase preliminar
Se determina la naturaleza de la demanda y la metodología que se utilizará.
Fase de bases
Se analiza el contexto del trabajo, el objeto de evaluación, los usuarios, los recursos de todo tipo y criterios de valor para el enjuiciamiento.
Interacción con clientes y stakeholders de la metaevaluación: para identificar a los colaboradores del proceso, con el objetivo de plantear, negociar, y definir las cuestiones clave de la metaevaluación.Creación del equipo de metaevaluciónDefinir las cuestiones: valorar hasta qué punto la evaluación cubre las necesidades informativas de sus audiencias y si responde a los requisitos correctamente realizada.Acuerdos sobre normas y criterios de valor
Actividades de interés dentro De la metaevalución:
Fase de subevaluaciones
Se incluyen las actividades de evaluación de entrada, de proceso y de resultados, sumiendo los impactos del programa, el análisis de costes, programas alternativos y capacidad de generalización de los resultados.
Conclusiones
Se analiza la significación global de los resultados (en relación con las necesidades del usuario); las recomendaciones y explicaciones; la responsabilidad y justificación; el informe final; la metaevaluación.
Evaluación sitemática: se definen como un proceso continuo y exhaustivo de enjuiciamiento que complementa todas las fases de proceso general de intervención.
Modelo CIPP
Corresponde a los cuatro fases principales del proceso de evaluación: contexto, entrada, proceso y producto. Su objetivo: responder a las cuestiones sobre qué necesita hacerse, cómo se realizará, cómo se ha realizado en la práctica y cuál es su grado de éxito.
Hay una fase previa: acuerdos contractuales.
Fases finales: centrada en la metaevalación del proceso y el informe final de resultados.
Destacando cuatro tipos de resultados:
1. los impactos
2. la efectividad
3. la sostenibilidad
4. la transferencia
Evaluación sistemática y contingente
-Rebolloso y cols.-
Puede aplicarse a cada fase del proceso para:
-Describir
- Analizar c/u
- Valorar
¿Cómo se realizó?

Responde Función formativa
sumativa
¿Qué beneficios se obtuvieron?
MÉTODOS Y RESULTADOS
son específicos para cada diseño de
ME
.
internos--> I. CALIDAD trabajo
Evaluadores
externos--> I. CREDIBILIDAD

Hay quienes combinan.
La evaluación de contexto: extiende la evaluación de necesidades incluyendo un análisis de las condiciones sociales.
La e. de entrada: análisis de asuntos logísticos y de recursos, incluye el análisis de la coherencia teórica, variabilidad y objetivos del programa y de la propia evaluación.
Tipos
Los resultados de la intervención combinan efectos e impactos.
En la última fase el proceso global de intervención-evaluación se examina en comparación con otras alternativas de actuación o casos disponibles.
Hay un énfasis en la elaboración teórica del programa, distinguiendo entre cómo se explica el problema, cómo se espera qué actúe el programa y cómo se explican los impactos no perseguidos.

Objetivo de la evaluación democrática deliberativa: obtener resultados más seguros cuando existen posiciones en conflicto, y promover los valores y prácticas democráticas a través de procesos de dicisión y de liberación.
Evaluación democrática
La evaluación presta atención crítica a todas las opiniones, todas son escuchadas. El evaluador asume la responsabilidad de decidir lo que resulta correcto y ético confiando las decisiones a la deliberación y la defenza razonada de las conclusiones.
Asumiendo los criterios profesionales de validez de la investigación se sugieren 3 principios para juzgar la calidad de este tipo de evaluaciones:
1. la inclusión
2. el diálogo
3. la deliberación
Destacan el control de los equilibrios de poder, la autenticidad de la participación y el alcance de la deliberación.
Marco emancipador
Objetivo: el reconocimiento de los grupos sin voz (marginados en la toma de decisiones); el análisis de los desequilibrios de poder y la vinculación con la acción política.
La aplicación es difícil.
Los sesgos derivados del control sobre las decisiones puede ejercer efecto en todas las fases del proceso de intervención y evaluación.


La vinculación con la acción política: los evaluadores deben representar un papel activo para convertir a los grupos sin voz el centro de las acciones.
Resultado: una propuesta poco definida, apostando por una posición y objetivos éticos claros, y ofrece algunos criterios concretos para la práctica de la metaevaluación.
Sigue los mismos métodos, técnicas y principios que una evaluación.
Objetivo valorar calidad de evaluación
ayudar a mejorarla
Recomendable que se realice por evaluador externo.
Problema--> Generalización de estándares y
principios éticos en contextos culturales
diferentes al norteamericano.


Meta-análisis:

--Síntesis cuantitativas
-- Acumula, revisa y actualiza conocimiento de
un campo concreto.
Metaevaluación:
-- Análisis de calidad y función de una
evaluación dentro del ciclo de la intervención.
Diferencias entre...
METAEVALUACIÓN
Full transcript