TEMA 2.

PLAN DE EVALUACIÓN

1

Asignatura: Evaluación de programas de intervención

Curso y Titulación: 2º de Psicopedagogía

Objetivo básico del tema:

Con el desarrollo del presente tema se pretende conseguir que el alumno identifique los hitos fundamentales en el diseño o plan a seguir en la evaluación de diferentes programas de intervención psicopedagógica.

Otros objetivos del tema son:

Conozca los elementos esenciales de un diseño para la evaluación de programas

Comprenda el significado y la utilidad del diseño en su conjunto y de cada uno de sus elementos.

Elaborar un plan o diseño que contenga los elementos fundamentales para llevar a cabo la evaluación de un programa de intervención psicopedagógica.

Contenidos:

Principios que regulan la evaluación de programas (pág. 3).

Puntos de decisión en el diseño y desarrollo de la evaluación de programas (pág. 9).

El contrato de evaluación (pág. 15).

Bibliografía (pág. 18).

Desarrollo del tema:

Se apoya en la explicación de los conceptos ya indicados y en la presentación de un caso práctico que requiera la elaboración de un plan para la evaluación de un programa.

Materiales:

1. Documento de desarrollo de los contenidos del tema.

2. Ejemplos de planes y diseños de evaluación.

3. Programas de intervención psicopedagógica.

Autoevaluación:

Una vez finalizado el tema, se tratará de determinar si el alumno domina el objetivo básico del módulo. Para ello, se utilizará una prueba escrita, con varias preguntas de respuesta breve. Además el alumno completará una práctica sobre la elaboración de un diseño para evaluar un programa de intervención psicopedagógica.

1. PRINCIPIOS QUE REGULAN LA EVALUACIóN DE PROGRAMAS[]

Los evaluadores han de plantearse algunas cuestiones fundamentales. En principio parece que la evaluación requiere una reflexión reposada sobre los criterios en que ha de basarse, de hecho, los diferentes modelos de evaluación se diferencian por estos criterios que le sirven de referencia. Podemos ir más allá diciendo que al evaluar hoy resulta necesario plantear las referencias que determinarán estos criterios, porque cuando hablamos de una evaluación centrada en la audiencia estamos ya planteando una referencia diferente a la evaluación centrada en el programa (documento oficial). Del mismo modo, cuando hablamos de una evaluación centrada en los objetivos del programa, estamos hablando de una evaluación que tiene una referencia diferente a la que se propone "evaluar sin metas".

Cuando evaluamos es necesario, pues, poner de manifiesto por qué evaluamos y a quién ha de servir la evaluación, sólo así sabremos cuál es nuestro papel como evaluadores y cómo hemos de proceder.

Uno de los análisis que en torno a estas cuestiones nos parece más clarificador es el que realiza Kemmis (1989) cuando propone una serie de principios y revisa las alternativas posibles a estos principios.

1.1. El principio de racionalidad como razonabilidad

"Los participantes en el programa actuan razonablemente a la luz de sus circunstancias y oportunidades. Es tarea de una evaluación iluminar el razonamiento que guía el desarrollo y la evolución del programa, identificar los factores históricos y contextuales que influyen en él y que facilitan el examen crítico de estos aspectos y sobre el programa de la comunidad" (p. 119).

Conociendo la naturaleza de un proyecto explícito o no explícito de integración, sería lógico conocer las circunstancias y oportunidades en las que se desarrolla. Es fácil que nos encontremos al investigar sobre integración circunstancias muy diversas en los distintos centros, algunas veces podemos, desde luego, caer en la tentación de "expertos" que juzgan la actuación de los profesores como poco razonable. Esta tentación desaparece en el momento en que los profesores y profesionales empiezan a darnos datos de algunas circunstancias o que podemos observar éstas por nosotros mismos. No es infrecuente, por ejemplo, que determinados niños se integren en un centro y sin embargo no lleguen las dotaciones previstas por la Administración, o que no se reduzca la ratio en la medida en que se señaló en su momento. Circunstancias que inevitable­mente alteran el plan previsto y el modo en que los profesionales pueden trabajar, además de crear cierto clima de desconfianza sobre el desarrollo del propio proyecto.

La historia de los centros de integración nos resulta también un elemento clave, cómo se plantea el proyecto en sus inicios, si parte del propio centro o de la presión ejercida por la Administración por las necesidades existentes en la zona. Incluso, en los mismos centros podemos encontrar "argumentos" personales muy diferentes que hace que los profesores se declaren a favor o en contra de la integración.

Para Kemmis un reto de la evaluación sería sacar a la luz estos argumentos que guían los comportamientos de los implicados en el programa. Frente a esta posición estaría la planteada por Stake en la que la racionalidad está representada por el seguimiento de unos roles determinados, e incluso la de los criterios planteados por Scriven. Por supuesto se enfrentaría a esta posición la que asume el programa como un "plan racional".

1.2. El principio de autonomía y de responsabilidad

"La responsabilidad moral de un resultado sólo puede adscribirse a una persona en el grado que la elección libre de la acción como un agente moral autonómo sea causa del resultado". (p. 122)

En este sentido debería tenerse en cuenta, según Kemmis, que un programa es una empresa cooperativa en la que la responsabilidad tiene una carácter interactivo. El problema de la responsabilidad en la educación no ha alcanzado en nuestro país la dimensión alcanzada en otros países []. No estaría de más, sin embargo, reflexionar en este sentido ya que, sin que se manifieste de un modo claro, podríamos pretender que la responsabilidad del éxito de un programa depende sólo de los que lo han de llevar a cabo. La responsabilidad, según Kemmis, es siempre bilateral y se refiere tanto a la dotación como a la realización. No se trata de repartir las culpas, sino más bien de señalar de una forma interactiva qué favorece o constriñe las oportunidades para el desarrollo del programa.

Este principio de responsabilidad podría establecerse con respecto a "lo que debe hacerse" basándonos en determinados ideales de verdad y justicia. Por ejemplo, en un proyecto de integración puede invocarse a los derechos del niño y a los ideales de responder a sus necesidades especiales. Sin embargo, hoy sabemos por los estudios críticos que se han realizado que, bajo estos ideales, se han ocultado a veces otros intereses que no han contribuído a preservar estos derechos. Incluso, podemos observar en la literatura sobre integración que se presentan formas muy diferentes de salvaguar­dar estos derechos (diferentes ideas de cómo prácticar la integración). Con respecto a esta cuestión los patrocinadores de la evaluación pueden adoptar determina­das perspectivas de lo que es un trabajo correcto, lo bueno o lo mejor con respecto a unos determinados ideales; sin embargo, estos ideales no tienen por qué coincidir necesaria­mente con aquéllos que tienen los participantes en el proyecto. También sería posible mantener que los participantes del programa deben actuar responsablemente de acuerdo con "sus obligaciones", sin embargo esta posición llevaría a reconocer a los participantes como operarios del programa, más que como agentes responsables. Lo que entraría en contradicción con el profesionalismo que se les exige a los profesores y otros profesionales de la educación.

1.3. El principio de comunidad de intereses

"El evaluador tiene la responsabilidad de iluminar hasta dónde llegan los aspectos comunes y conflictivos entre los valores e intereses de los participantes en esta comunidad" (p. 125).

En este sentido el evaluador deberá distinguir diferentes intereses que interactúan y conocer a los intereses que sirve, que deberían ser los comunes, no los intereses de los que patrocinan la evaluación o los llamados "intereses públicos", como intereses por encima de los de los propios participantes. En este sentido el evaluador ha de plantearse cómo va a informar a los distintos implicados.

Este es un tema fundamental para el evaluador que se han planteado siempre los evaluadores. El evaluador podría correr el riesgo de que en un momento determina­do la información que ofrece lleve a tomar unas decisiones que no lleven a una mejora del programa, en el sentido de que responda sólo a los intereses de un grupo determinado.

Cuando nosotros hemos estado en las escuelas recabando información, los profesionales han tenido también presente este problema y nos han preguntado de qué forma se beneficiarían ellos de la información recogida. Nosotros les hemos planteado que tendrían una versión diferente de la integración en la que se daría un papel fundamental a sus propias perspectivas, aunque los datos serían de carácter general y no harían alusión a su caso concreto. Con esto queremos decir que la perspectiva de la propia investigación está guiada por la idea de a quién o quiénes ha de servir.

Hemos de decir también que en un proyecto de la naturaleza de la integración, considerado hasta ahora en fase experimental, el evidenciar problemas no resulta problemático para ninguno de los grupos interesados.

1.4. Principio de pluralidad de perspectivas sobre los valores

"Un abanico de perspectivas sobre valores llega a ser relevante en el juicio sobre el programa. La evaluación podría identificar estas perspectivas y ser responsable de los diferentes temas que implica" (p. 127).

Este principio alude al hecho de que un proyecto puede responder a valores diferentes, dependiendo de los grupos implicados. Por ejemplo, en el ámbito de la integración podemos tomar la perspectiva de los padres y, aún dentro de esta perspectiva, tendríamos que diferenciar dos grupos diferentes: la de los padres de los niños integrados y la de los padres de los otros niños de la escuela integrada. Los padres de los niños integrados defenderán el derecho a educar a sus hijos en el marco de la integración, con la perspectiva que les proporciona haber vivido experiencias que no han vivido los otros padres. Experiencias que les ha llevado a cambiar su forma de pensar, que les ha llevado a interesarse por los temas educativos de una manera diferente y a tener también un tipo de información más amplia. Los otros padres no pueden entender la integración en los mismos términos, están menos formados y puede, incluso, que muestren alguna reticencia si esta falta de información persiste antes de encontrarse implicados.

Este principio nos alerta de la importancia de tomar como valores de referencia bien los de los especialistas en el tema, bien los valores que tienen los patrocinadores del programa. Si tomáramos como referencia lo que dicen los "especialis­tas" podríamos juzgar muy negativamente toda reticencia por parte de los padres de niños que no son de integración, y sobre la base de esta perspectiva interpretar determinadas situaciones conflictivas. Por ejemplo, ¿cómo juzgar que los padres protesten porque disminuya el cupo de nuevas matrículas en un centro para mantener una ratio más baja en las aulas integradas?. La valoración sería negativa, pero no conduciría a nada, el problema real es otro: conocer por qué se ha asociado la bajada de la ratio a una disminución del cupo de matrícula, en vez de a la creación de nuevas clases para mantener el mismo cupo. Enseguida aparecen otros valores en juego que se plasman en el modo en cómo se responde a determinadas condiciones para que la integración sea posible. Sólo teniendo en cuenta estas diferentes perspectivas podremos informar de los términos en que se plantean problemas como éste.

1.5. El principio de autocrítica de la comunidad

"El debate crítico sobre la naturaleza y valor de un programa existe dentro y alrededor de su comunidad. Es una tarea de la evaluación refinar este debate y mejorar su relación con el programa de acción" (p. 129).

Para Kemmis distintas formas de evaluación podrían contribuir a ello: una evaluación interna, una evaluación externa e independiente, una evaluación de carácter consultivo, una metaevaluación. Yendo más allá de lo dicho en el apartado anterior la evaluación del programa podría incorporar otras perspectivas externas al programa. Por ejemplo, con respecto a la integración es muy fructífero conocer las perspectivas de personas que están implicadas en proyectos de integración en diferentes lugares, por ejemplo, en diferentes comunidades autónomas, incluso en otros países.

1.6. El principio de propiedad y de producción y distribución de la información

"Los procesos de evaluación inevitablemente afectan a la economía política de la información en un programa (la producción y la distribución de información sobre el programa). La evaluación afecta la distribución de poder y recursos en situaciones del programa, porque la informa­ción y los argumentos justifican o legitiman la toma de decisiones. Los participantes del programa y los observadores interesa­dos se ven afectados con las consecuencias del uso y abuso de la información procedente de la evaluación. Una evaluación debería explicitar los principios relativos a los procedimientos que gobiernan su desarrollo y sus procesos de información, producción y distribución" (p. 136).

El proceso de evaluación enlaza la generación de información con el poder de decidir. En este sentido la evaluación, según Kemmis, es un proceso inevitablemente político. De ahí que la producción y distribución de información sobre las personas, proyectos y programas deban regularse a través del principio de propiedad, principio que toma en cuenta las consecuencias políticas, sociales y morales del uso y abuso de la información.

El principio de propiedad en la producción y distribución de información significa que los evaluadores deben intentar procedimientos que controlen este proceso. Así, puede considerarse la elaboración de un contrato o una declaración de intenciones procedimentales que recoja por ejemplo el modo en que cada uno de los implicados en el proceso de evaluación va a conocer el tipo de riesgos que lleva consigo la colabora­ción con el evaluador, y las garantías que tiene para asegurarse contra un mal uso de la información. Estos procedimientos deberían indicar asimismo cómo va a recogerse, analizarse, interpretarse y difundirse la información, cuál es el status de las interpreta­cio­nes que va a hacer el evaluador y del proceso que se ha seguido para obtenerlas. Los implicados en un proceso de evaluación deberían conocer las respuestas a preguntas como (adaptadas de MacDonald y Walker, 1975).:

- ¿A qué necesidades responde la evaluación?

- ¿A quién pertenecen los datos (al evaluador, a los

sujetos evaluados, al patrocinador...)?

- ¿Quién tiene acceso a los datos?

- ¿Cuál es el status de las interpretaciones del evaluador

sobre las interpreta­ciones hechas por otros? (¿Quién decide

quién dice la verdad?)

- ¿Cuáles son las obligaciones de un evaluador con

respecto a los demás sujetos que participan en la

evaluación...?

En definitiva, el principio de propiedad alude a los derechos de los participantes en un programa a conocer cómo se usa y controla la información. Esto significa que ha de llegarse a un modelo de distribución equitativa de la información basado en los derechos y obligaciones de todos los implicados en la evaluación.

El problema para el evaluador es sopesar hasta dónde llega el "derecho público a conocer" y el "derecho individual a la discreción". El evaluador tiene la responsabilidad, según Kemmis, de tomar conciencia sobre las consecuencias de la información y de desarrollar los procedimientos adecuados para controlarla.

1.7. Principio de adecuación

"El diseño de la evaluación es un asunto práctico. Una evaluación debe ser adecuada al programa, responder a los problemas del programa y relevante para la comunidad del programa y los intereses de los observadores. Un diseño de evaluación debe renegociarse como un estudio progresivo a la luz de circunstancias cambiantes, problemas e intereses, y a la luz de sus propias consecuencias" (p. 138).

Para Kemmis la adecuación de un diseño de evaluación no es un asunto teórico o técnico, sino práctico. Esto quiere decir, sobre todo, que las decisiones relativas a la forma de la evaluación no deberían tomarse tan sólo teniendo como referencia la "lógica interna de los modelos y enfoques de evaluación", sino que las decisiones deberían tomarse teniendo en cuenta las necesidades, preferencias, obligaciones, circunstancias y oportunidades de los que estarán más implicados en el proceso de evaluación (evaluadores, participantes en el programa, patrocinadores y audiencias).

Como en el caso del sexto principio, Kemmis señala que es posible identificar un principio alternativo de inadecuación. En primer lugar, un diseño de evaluación resulta inadecuado cuando utiliza los modelos de evaluación de una forma dogmática o inflexible, cuando sufre de lo que este autor denomina la "visión metodológica del túnel". Es decir, cuando se ha construído con unas anteojeras metodológicas que impiden la aceptación de un enfoque diferente, más sensible al debate crítico generado en torno a un programa o a las circunstancias de su implementación. En segundo lugar, un diseño de evaluación no es apropiado cuando "fracasa para servir a aquéllos que están más estrechamente implicados en el desarrollo del programa", cuando sólo informa a una de las partes interesadas.

En esta autorreflexión sobre el diseño de evaluación, entendemos que todos aquellos afectados por el proceso valorativo podrían tratar de responder a cuestiones como éstas (adaptadas a partir de Erickson, 1984):

- ¿Cómo hemos alcanzado ese punto de vista de conjunto?

- ¿Qué hemos omitido y qué hemos excluido?

- ¿Qué argumentos hemos utilizado para la selección (de los

sujetos)?

- Del universo de comportamientos que podíamos utilizar

¿Cuántos utiliza­mos y/o manipulamos (en sentido

experimental)?

- ¿Por qué elegimos y/o manipulamos comportamientos en

algunas institucio­nes, grupos, clases ... y no en otras?

- ¿Qué fundamentos nos han condicionado para fijar el

significado desde el punto de vista de los actores?

En este sentido, consideramos que el diseño de evaluación -se construya éste desde uno u otro enfoque- debería someterse por parte de las diferentes audiciencias afectadas a una revisión periódica de su conveniencia, a la luz de los resultados que se van obteniendo de la evaluación. Pero, para que ésto sea posible, el diseño de evaluación debería ser el producto de la actividad intelectual y relacional de los individuos y colectivos que participan en la evaluación.

2. PUNTOS DE DECISIÓN EN EL DISEÑO Y DESARROLLO DE LA EVALUACION DE PROGRAMAS

En el diseño de cualquier evaluación educativa, los que evalúan y los que son evaluados se enfrentan directa o indirectamente ante diferentes posibilidades y alternativas. Elegir entre ellas supone asumir, consciente o implícitamente, el tipo de evaluación que a la postre va a realizarse. Algunas de estas preguntas, recogidas del trabajo de Nevo (1989), con sus posibles respuestas van a ser revisadas a continuación.

2.1. ¿Cómo se define la evaluación de programas?

Definir la evaluación supone en última instancia decir qué finalidad pretende darse a ese acto valorativo; comprometerse con las consecuencias personales, profesionales y sociales que implica cualquier acción evaluativa en educación. En el módulo 1 recogíamos ya una primera definición de evaluación: evaluar supone adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que el objeto satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado. Evaluar, en esta acepción, implica decidir en qué medida algo se acerca o se aleja de unos criterios dados. Si atendemos a esta definición, evaluar un programa no es otra cosa que emitir un juicio en el que se aprecia o señala el valor del programa.

Justipreciar algo es una responsabilidad excesiva para asumirse sin ser compartida con otros. Así, hay quienes han propuesto que la evaluación de programas sea una actividad que al tiempo que estima un valor aporte información que describa el programa objeto de evaluación. La idea es facilitar la participación de otros (las diferentes audiencias interesadas) en el proceso de evaluación. El peso de la información sobre el programa equilibra el peso del juicio (Guba y Lincoln, 1981; Stake, 1973).

Pero hay definiciones que van aún más lejos. Cronbach y asociados (1980) consideran que el que evalúa no puede convertirse en un arbitro obligado a decidir si son correctos o erróneos los fundamentos, la planificación, el desarrollo o los resultados de un programa; más bien es un educador que ayuda a que el programa funcione mejor y que debe ser juzgado por lo que audiencias y clientes aprenden de la evaluación. El acento se pone aquí en el carácter meliorativo de la evaluación, se evalúa para mejorar.

Otra definición bastante extendida de evaluación es la que la identifica con un proceso que facilita información para que se tomen decisiones relativas al programa evaluado. La apreciación en sí pierde protagonismo frente a la adopción de decisiones, verdadero leiv motiv de la evaluación (Stufflebeam y otros, 1971).

2.2. ¿Cuáles son las funciones de la evaluación de programas?

Resulta ya clásica la distinción de Scriven (1973) entre una evaluación formativa dirigida al desarrollo y la mejora del programa en curso, y una evaluación sumativa cuya función es la selección, la certificación o el control de cuentas sobre el programa. Desde un punto de vista institucional, la primera tendría preferentemente un uso interno y podría servir, por ejemplo, para modificar o mejorar el diseño del programa o para mejorar su ejecución en aspectos como los materiales didácticos, las estrategias instruccionales, la gestión de recursos, etc.; la segunda serviría más bien a fines externos a la propia institución que diseña y/o ejecuta el programa, que a veces son impuestos por las administraciones regionales o nacionales. En un sentido similar, Stufflebeam (1972) diferencia entre evaluación proactiva, que sirve para tomar decisiones, y evaluación retroactiva, utilizada para la certificación y el control de cuentas.

A la evaluación de programas también se le atribuye una función psicológica o sociopolítica (Cronbach et al., 1980; Patton, 1978). En estos casos, la evaluación se utiliza para dar a conocer programas innovadores o especiales, para motivar a los que participan en un programa o como medio de favorecer las relaciones con patrocinadores, autoridades administrativas o audiencias. Las "evaluaciones" de algunas de las reformas emprendidas en las últimas décadas en nuestro han tenido una función psicológica y sociopolítica.

Una función poco popular de la evaluación es aquella que la asociada al ejercicio de la autoridad (Dornbusch y Scott, 1975). Como parte de la evaluación interna de un programa puede existir el privilegio del superior (académico o administrativo) para evaluar a sus subordinados sin que exista la posibilidad contraria. En muchos casos, una persona desde una posiciónadministrativa o académica evalúa a otra para demostrar su autoridad sobre esa persona.

2.3. ¿Cuáles son los objetos de evaluación de programas?

Por definición, el programa es el objeto de evaluación. No obstante, esta tautología requiere algunas aclaraciones. Sobre todo porque no está claro a qué programa nos estamos refiriendo: a) el programa documento oficial; b) el programa en desarrollo; c) el programa realmente puesto en práctica. Todavía se hace más compleja la cuestión si la definición del programa como objeto de evaluación se realiza desde diversas instancias: a) el cliente; b) los diseñadores; c) los participantes; d) las audiencias. Finalmente, concretar los objetos de evaluación supone considerar al conjunto de las variables relativas al programa. Así, según el conocido modelo CIPP (Context, Input, Process, Product) de Stufflebeam (1971) deberíamos considerar cuatro grandes categorías de variables relativas a un programa que pueden ser objeto de evaluación: el contexto - ambiente en que se inserta el programa , incluye las condiciones actuales y deseadas relativas a dicho ambiente-, la entrada -recursos, tiempo, limitaciones, diseño, estrategias,etc.-, el proceso -cambios, adaptaciones, modificaciones- y el producto -resultados según los objetivos planteados en el diseño-.

En un intento de sistematizar los diferentes aspectos que pueden evaluarse en un programa, Alvira (1991:35-43) establece incluso una tipología de evaluaciones referidas a dichos aspectos que concreta en lo que podríamos entender como nueve dimensiones sobre las que puede centrarse un proceso de evaluación

Evaluación de necesidades

Evaluación del diseño/conceptualización del programa de intervención.

Evaluación de la evaluabilidad

Evaluación de la implementación

Evaluación de la cobertura

Monitorización y seguimiento del programa

Evaluación de los resultados

Evaluación del impacto

Evaluación económica

2.4. ¿Cuáles son los términos de comparación?

Un término de comparación constituyen un referente con el que puede equipararse un programa para determinar su similitud o diferencia con determinado referente. Los términos de comparación permanecen a menudo implícitos en el modo de evaluar o el diseño de evaluación.

El término de comparación más utilizado en la evaluación de programas es, desde luego, el propio programa objeto de evaluación. Se comparan objetivos y resultados, entradas y salidas, lo esperado y lo observado. También en el seno del programa, se realizan comparaciones en el propio diseño del programa para averiguar si sus antecedentes resultan lógicamente contingentes con las realizaciones previstas y si éstas son lógicamente contingentes con los resultados previsibles del programa. Con el programa ya desarrollado, se comparan las finalidades a las que realmente han respondido un programa con el tipo de estrategias utilizadas y éstas con los resultados obtenidos (Stake, 1973). De igual modo, las perspectivas que tienen sobre el programa las diferentes personas con él relacionadas (clientes, audiencias, usuarios, patrocinadores) son también términos de comparación.

No obstante, el programa también se compara con referentes externos al mismo. En estos casos, otros programas sirven de referentes comparativos al programa objeto de evaluación, tratando así de relativizar sus logros o deficiencias. Un programa también se suele comparar con estándares de excelencia de lo que debería ser un programa recogidos en la literatura.

2.5. ¿Cuáles son los criterios en la evaluación de programas?

Los criterios de evaluación constituyen una serie de estándares que nos permiten decidir bien sobre el valor o mérito del programa. Al igual que los términos de comparación, muchos criterios suelen estar implícitos en el proceso de evaluación o en la mente de los evaluadores y sólo se revelan cuando conocemos los resultados de la evaluación.

En términos generales, puede decirse que los criterios más utilizados en la evaluación de programas son los que aluden al grado de ajuste entre los términos de comparación: objetivos y resultados, entradas y salidas, antecedentes y logros, etc. Señalan simplemente si se han cubierto los objetivos previstos, si el coste es adecuado al beneficio, si las entradas se corresponden con las salidas. También se utilizan como criterios el nivel de mejora o desarrollo operado en el programa respecto a anteriores evaluaciones del mismo programa. Se trata de hacer un análisis longitudinal del programa y no una mera comparación circunscrita a un momento determinado en la vida del programa. La satisfacción de determinados indicadores o estándares, con los que se ha comparado el programa o el impacto social, educativo, profesional, etc. del programa son criterios utilizados por algunas evaluaciones.

En lo que se refiere al establecimiento de medidas o indicadores concretos en la evaluación de programas, puede indentificarse muchos y muy diferentes dependiendo de las propias intenciones del programa. Estos criterios pueden referirse a actitudes, valores, conocimientos, conductas, asignaciones presupuestarias, normas de servicio de organismos públicos o privados, productividad y muchas otras cosas. Pueden tener que ver con las personas a quienes afecta el programa, con los organismos que lo promueven o las instituciones que los acogen, con quienes se ven afectados por el programa o con el lugar o la comunidad en la que se implanta o con los ciudadanos en general. Weiss, por ejemplo, en 1972 establece cuatro tipos de medidas o indicadores de resultados: medición de los efectos sobre las personas a quienes se les da servicio; medición de los efectos sobre las organizaciones; medición de los efectos sobre sistemas más amplios: y, medición de los efectos sobre el público.

2.6. ¿Qué tipos de información se recogen en relación con el objeto evaluado?

El tipo de información que se recoge en un proceso de evaluación depende, en primer lugar, del objeto evaluado y, en segundo lugar, de los términos de comparación y de los criterios establecidos. La información pertinente para evaluar el programa de una asignatura puede no ser demasiado útil para evaluar un programa de intervención socioeducativa para grupos marginados o un programa de formació permanente para profesores de secundaria. No obstante estas diferencias, es posible pensar que -salvo en aquellas definiciones que no incluyen el juicio como parte del proceso evaluativo- toda evaluación requiere para su desarrollo dos tipos básicos de informaciones: descriptiva y valorativa.

Las informaciones de tipo descriptivo tienen que ver con alguna explicación sustantivo -apoyada en algún modelo teórico desde el que se realiza el análisis del programa- o con alguna explicación no sustativa -amparada en visiones que no hacen referencia a modelos teóricos y están apoyadas en intuiciones, sentimientos, intereses, etc.- sobre el diseño, funcionamiento o resultados del programa. Ambos tipos explicaciones son necesarias para captar con perspicacia cómo se gesta, cómo evoluciona y cuál es el impacto de un programa. El evaluador debe ser consciente que todas las informaciones que recoge y que explican algo sobre el programa responden a distintas preguntas. Las explicaciones se formulan en respuesta a las cuestiones de todo tipo que se formulan audiencias, clientes, evaluadores, patrocinadores, etc.

Las informaciones de tipo valorativo que recoge el evaluador reflejan los esquemas de referencia , los criterios y los esquemas de valor desde los que se juzga al programa. Es decir, un programa puede evaluarse sólo considerando los esquemas de valor y, por ende, los criterios de los clientes o los patrocinadores (p.e.. eficacia, eficiencia, cobertura, impacto social, etc.), pero a dichos esquemas de valor pueden sumarse los que identifican los participantes en el programa o las audiencias (p.e. desarrollo personal y social, respeto a la libertad de acción y decisión, mejoras económicas, etc.).

Una visión mas exhaustiva, como la mantenida por Guba y Lincoln (1981) o Stake (1975) vendría a señalar que en una evaluación se generan hasta cinco tipos de informaciones: (a) información descriptiva relacionada con el objeto de evaluación, su contexto y las condiciones por las que se ve afectado; (b) información en respuesta a los asuntos que preocupan a las audiencias; (c) información sobre cuestiones relevantes; (d) información sobre valores; (e) información sobre los estándares relevantes para apreciar el mérito y el valor

Desde su perspectiva, los criterios se identifican con las variables dependientes de una investigación evaluativa.

2.7. ¿Para quién es útil la evaluación?

Algunas de las definiciones dada sobre la evaluación sugieren que ésta ha sido concebida para servir a determinadas audiencias. Por ejemplo, cuando decimos que la evaluación se realiza para favorecer la toma de decisiones estamos subrayando a quién sirve la evaluación. Otras definiciones no son tan precisas en este sentido y sus autores hablan de la utilidad de la evaluación para los clientes, audiencias o sujetos evaluados.

En términos generales puede afirmarse, sin embargo, que la evaluación puede ser útil para todos al tiempo que lo es para una audiencia en particular. La literatura de evaluación no sugiere la existencia de una "audiencia más apropiada" para la evaluación, más bien en ella llegan a establecerse tres tipos de proposiciones en torno a esta cuestión: (a) una evaluación puede tener más de un cliente o audiencia; (b) diferentes audiencias pueden tener diferentes necesidades de evaluación; (c) al planificar las primeras etapas de un proceso de evaluación deben ser claramente identificadas las audiencias específicas para una evaluación as¡ como sus necesidades de evaluación (Nevo, 1989:21).

2.8. ¿Cuál es el proceso a seguir?

La forma en que se organiza un proceso de evaluación difiere de acuerdo con las respuestas que se hayan ido dando a las preguntas precedentes. En este sentido, las diferencias en cada concepción teórica toman forma en el modo de diseñar un proceso de evaluación. Presentaremos aquí dos posiciones polares en torno a esta cuestión.

Tyler, en su ya clásico modelo de evaluación de 1950, establece el siguiente proceso de evaluación: (a) establecer las metas de la evaluación en términos de conductas; (b) desarrollar instrumentos de medición; (c) recoger datos; (d) interpretar los hallazgos; y (e) hacer recomendaciones.

De acuerdo con la propuesta de Stake (1973), un proceso de evaluación debería incluir: (a) la descripción del objeto a evaluar; (b) informar de esa descripción a las audiencias relevantes; (c) obtener y analizar sus juicios; y (d) informar de nuevo a las audiencias sobre el análisis realizado con sus propios juicios.

Existen muchas más formas diferentes de organizar un proceso de evaluación de las que las aquí presentadas no son sino un mero exponente, pero en todas ellas se destaca la necesidad de que la evaluación no se convierta en una simple actividad técnica de recogida y análisis de datos, valoración de la información y, en su caso, toma de decisiones sino que debe incluir una cierta cantidad de interacción entre el que evalúa y sus audiencias de cara a identificar las necesidades de evaluación o para comunicar los resultados de la misma.

2.9. ¿Qué procedimientos se van a utilizar?

La evaluación de programas educativos, en términos generales, puede ser abordada desde una enorme variedad de métodos y estrategias. Así, una evaluación puede realizarse modificando las condiciones ambientales para conocer como se ven afectados los comportamientos de individuos, colectivos o instituciones educativas cuando se introduce un programa dado. Es decir, podemos utilizar procedimientos típicamente experimentales o cuasiexperimentales.

Una evaluación también puede diseñarse recogiendo informaciones y/o juicios producidos con anterioridad en un contexto y en una situación dadas, es decir, utilizando diseños ex-post-facto. Para algunos, la evaluación es algo más simple y sólo consiste en recoger información y presentarla de un modo descriptivo a un tercero que toma decisiones. En este caso, la evaluación sólo requiere un estudio descriptivo.

Para otros, la evaluación es un proceso complejo que va definiéndose interactivamente entre las audiencias y el evaluador. Se trata de diseños de trabajo abiertos y de carácter cíclico en los que resulta fundamental la comunicación de descripciones y juicios. Sus propuestas de trabajo se aproximan a los supuestos de la investigación interpretativa (etnográfica, naturalista, cualitativa) y siguen estrategias apoyadas en el estudio de casos únicos o múltiples.

Existen además métodos y estrategias de evaluación que siguen un modus operandi particular, que está condicionado y va definiéndose según las propias circunstancias de la evaluación así lo exigen.

En cualquier caso, una evaluación no es una investigación que deba reproducir en su diseño esquemas experimentales o interpretativos para satisfacer ciertos requisitos de validez o credibilidad científicas. La planificación, desarrollo y valoración de una evaluación no responde necesariamente a esos esquemas sino a otros que se desprenden de los rasgos propios de toda evaluación. Los esquemas de prueba de hipótesis sostenidos en muchos diseños cualitativos o cuantitativos deben entenderse aquí como esquemas de trabajo o referentes que guien determinados momentos del proceso de evaluación, pero nada más. En el Módulo 3, se desarrolla con más profundidad la idea de diseño de evaluación y las metodologías que pueden utilizarse en su desarrollo.

Cosa distinta son los procedimientos de recogida de la información que en toda su variedad y bajo todas sus formas conocidas pueden ser incorporados al desarrollo de una evaluación. Además, los diferentes modelos de evaluación incorporan una cierta variedad de procedimientos encuesta (entrevistas, cuestionarios... ), de observación (escalas, sistemas de categorías, grabaciones en audio y/o vídeo, diarios... ) y procedimientos de medida (tests, escalas ... ). Y lo mismo podría decirse de los procedimientos de análisis de datos convencionales, cualitativos y cuantitativos, que son incorporados casi sin restricciones en la práctica de la evaluación de programas.

2.10. ¿QUién realiza la evaluación?

La evaluación de programas, tal como la venimos definiendo en este curso, puede realizarse desde distintas instancias y respondiendo a metas diferentes. La literatura sobre evaluación sugiere dos importantes distinciones que deben tenerse en cuenta al decidir sobre esta cuestión. La primera de ellas es la que diferencia entre evaluador externo y evaluador interno (Scriven, 1973,1975; Stake y Gjerde, 1974, Stufflebeam et. al., 1971). Un evaluador interno es una persona o grupo profesional que, a diferencia del evaluador externo, participa en el programa bien como disecador, bien como usuario del mismo o en alguna otra función reconocida. La segunda distinción que cabría hacer es entre el evaluador profesional y el evaluador aficionado. Según Scriven (1973) esta distinción afecta sobre todo al tipo de formación que uno y otro han recibido. El evaluador aficionado tiene una formación más sólida en otros campos que en el de la evaluación, actividad a la que dedica sólo parte de su trabajo. El evaluador profesional ha recibido una formación específica sobre esta actividad, asume la responsabilidad de proyectos de evaluación y se dedica prioritariamente a evaluar. Es evidente que ambas distinciones resultan independientes y, por tanto, pueden combinarse en formas diferentes.

3. EL CONTRATO DE EVALUACIÓN

Un contrato de evaluación es un compromiso que suscriben cliente y evaluador por el que se regulan las expectativas y responsabilidades de ambas partes y que, en caso de conflicto, les compromente ante la jurisdicción que corresponda.

Existen, como cabe suponer, muy diferentes formas de plantear contratos de evaluación. Dichos contratos están, claro es, condicionados por las cuestiones planteadas en el primer apartado de este módulo y por el enfoque que pretenda darse a la evaluación . Por simplificar, el tipo de contrato que propugnan Parlett y Dearden (1981) desde un enfoque de evaluación iluminativa puede ser diferente al que recoge House (1994). No obstante, en cualquier contrato van a plantearse cuestiones relativas al acceso y uso de la información, a la divulgación de los resultados, al costo económico de la evaluación o al calendario de entrega.

Como ejemplo de un contrato de evaluación, reproducimos aquí un ejemplo de contrato que se recoge en la obra de House (1994).

Un contrato de evaluación

(Protocolo de contrato entre el equipo de evaluación y MEA/NEE)

1. Cometido

El jurado de evaluación externa compuesto por el Dr. Wendell RIVERS, el Dr. Ernest HOUSE y el Dr. Daniel STUFFELBEAM ha sido encargado por la Michigan Education Association y por la National Education Association de la evaluación de la validez y utilidad educativas en Michigan del Michigan Accountability Model], ocupándose de modo especial del componente de evaluación.

Destinatarios (en orden de prioridad)

NEA/MEA.

Responsables de decisiones del sistema educativo de Michigan (State Board of

Education y State Department of Education).

Los medios de comunicación (el público).

Los usuarios (padres, PTA, público en general, etc.).

Personal técnico (sobre todo del área de la medición educativa).

Informe y publicación del mismo

El equipo sólo es responsable de la realización de la evaluación y de su informe final. La NEA y la MEA pueden redactar y divulgar documentos independientes (como puntualizaciones, impugnaciones, comentarios o documentos de carácter descriptivo). Se conviene que el informe del equipo sea lo más reducido y directo posible y que ha de estar elaborado para comunicarlo a los destinatarios previstos del informe.

Divulgación

El equipo externo tiene derecho a facilitar su informe a cualesquiera miembros de los grupos destinatarios o a otras personas tras su elaboración. La entrega del informe no supone el respaldo de la MEA o de la NEA. Ambas instituciones pueden optar por refrendar o no el informe, dependiendo de su juicio sobre la calidad y adecuación del informe. La MEA y la NEA decidirán, en su caso, la publicación de sus propios documentos que describan el informe, bien entendido que tales documentos se identificarán como propios suyos y no como del equipo de evaluación. Unicamente el informe final, tal como lo prepare el equipo de evaluación, será divulgado de manera que figuren en él los nombres de los componentes de dicho equipo.

Formato del informe

Se considera deseable que en el informe final del equipo de evaluación figuren los siguientes ítemes:

mención de los acuerdos entre el equipo de revisión y NEA/MEA;

presentación de los principales descubrimientos;

presentación de las opiniones minoritarias, si las hubiera.

Cuestiones que tratar en el informe

Se tratarán las siguientes cuestiones específicas:

validez y fiabilidad de los tests referidos a criterio;

utilización de los tests para evaluar al profesorado;

importancia de los objetivos en los que se basa la evaluación de Michigan;

participación de los profesores en la elaboración de dichos objetivos y de los tests;

recomendaciones del equipo de evaluación relativas a posibles cambios y posteriores estudios;

comentarios sobre el equilibrio entre el esfuerzo del estado y la conveniencia de ampliar el ámbito de la evaluación, habida cuenta, sobre todo, de los factores de costo asociados con los proyectos para mejorar o ampliar la evaluación de Michigan;

calidad de la planificación en el Michigan Accountability Program;

proyecciones de costo/producto respecto al programa;

valor de los resultados e informes de evaluación para los distintos niveles de destinatarios de Michigan;

problemas de sesgo en el Michigan Aecountability Program

Recursos (presupuesto) del programa

La MEA y la NEA aportarán al equipo externo de evaluación recursos suficientes para cubrir ocho días de trabajo de cada miembro de dicho equipo en el programa, el apoyo administrativo que fuera necesario y cualesquiera requisitos de materiales y equipos, por ejemplo, magnetófonos, cintas magnetofónicas, etc., para las audiencias que se desarrollen en Lansing. Si cualquiera de los miembros del equipo tuviera que efectuar llamadas telefónicas interurbanas para recabar de personas que trabajan en Michigan sus opiniones sobre el programa, tales gastos les serán reembolsados a los citados miembros del equipo de evaluación, siempre que presenten un informe exacto y completo sobre el objetivo de la llamada, indicando la persona a la que se llamó.

8. Calendario de entrega

El equipo de evaluación ha de entregar su informe final el 1 de marzo o tan pronto como fuera posible a partir de esa fecha.

9. Acceso a datos

El Michigan Department of Education pondrá a disposición del equipo de evaluación cuantos datos e informes solicitara dicho equipo para realizar su trabajo. Esta disponibilidad se limita, como es obvio, a los datos e informes de los que dispone en la actualidad el Michigan Department of Education en relación con la rendición de cuentas en Michigan.

10. Procedimientos

De acuerdo con las condiciones anteriores, el equipo externo de tres personas tendrá pleno control del proceso de evaluación que debe implementar para cumplimentar responsablemente el trabajo a él encomendado y que acepta desarrollar. En consonancia, el equipo acuerda implementar el siguiente procedimiento general:

De manera exclusiva, el equipo celebrará entrevistas con representantes del Michiagn Department of Education, representantes de la NEA y la MEA, representantes de grupos seleccionados (profesores, administradores, consejeros de dirección y grupos de acción educativa). Asimismo, el equipo revisará los documentos que pongan a su disposición la NEA, la MEA y el Michigan Department of Education. Por último, el equipo concederá audiencias para recabar información adicional relativa a las cuestiones que el equipo considere de relieve en el transcurso de las entrevistas con diversos grupos interesados y al estudiar los distintos documentos.

BIBLIOGRAFÍA

1. Alvira Martín, F. (1991). Metodología de la evaluación de programas. Madrid: Centro de Investigaciones Sociológicas.

2. Cronbach, L. J. et. al. (1983). Designing evaluations of educational and social programs. San Francisco: Jossey-Bass.

3. Guba, E. G., & Lincoln, Y. S. (1989). Fourth generation evaluation. Newbury Park, California: Sage.

4. House, E. R. (1994). Evaluación, ética y poder. Madrid: Morata.

5. Nevo, D. (1989). Conceptualization of Educational Evaluation: An Analytical Review of Literature. En E. R. House (Ed.), New Directions in Educational Evaluation (pp. 15-29). Londres: The Falmer Press.

6. Parlett, M., & Hamilton, D. (1983). La evaluación como iluminación. En J. Gimeno Sacristán, & A. Pérez GómezLa enseñanza: su teoría y su práctica (pp. 450-466). Madrid: Akal.

7. Patton, M. Q. (1980). Qualitative evaluation methods. Beverly Hills: Sage.

8. Scriven, M. (1973). The methodology of evaluation. En B. R. Worthen, & J. R. Sanders (Eds.), Educational evaluation: Theory and practice (pp. 60-106). Belmont, California: Wadsworth.

Este apartado está tomado de García Pastor, C. y García Jiménez, E. (1992). La evaluación de los programas de integración, en García Pastor, C. (Coord.). Investigación sobre la integración. Tópicos, aproximaciones y procedimientos. Salamanca: Amarú. Los ejemplos y referencias aludidos en él tienen que ver con las propuestas de evaluación de la integración escolar en España.

2 Un ejemplo de lo conflictivo que puede llegar a ser este tema también en nuestro país podría constituirlo el de la evaluación de la calidad de la enseñanza en la universidad, centrada en la evaluación del profesorado.

2 Tema 2.