INTRODUCCIÓN - 1

PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE OBJETIVOS - 1

FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN- 1

Nombre del programa- 1

Orígenes y objetivos del programa - 1

Personas implicadas- 3

Principales actividades que constituyen el programa- 4

Lugares y tiempos de implantación- 5

Recursos materiales y presupuesto- 5

Otras informaciones de especial interés- 6

ÁMBITO/FOCO DE LA EVALUACION Y OBJETIVOS 11

Propósito general de la evaluación- 11

Formulación de objetivos específicos- 13

Identificación de audiencias potenciales- 14

Identificación de clientes y usuarios directos de la evaluación- 14

Identificación del tipo de evaluación a diseñar- 14

EVALUABILIDAD DEL PROGRAMA- 15

DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN- 15

Formulación de cuestiones evaluativas- 15

Definición de dimensiones de análisis y variables- 16

RECURSOS METODOLÓGICOS Y DISEÑO- 18

Fuentes y procedimientos de recogida de datos- 18

Definición del diseño de la evaluación- 21

PLAN DE ANÁLISIS DE DATOS- 24

PRESENTACIÓN DE RESULTADOS: INFORMES- 26

ORGANIZACIÓN DE LA EVALUACIÓN- 28

PRESUPUESTO- 32

METAEVALUACIÓN- 34

CONCLUSIONES- 37

ANEXOS- 38

INTRODUCCIÓN

En el presente documento se muestra información sobre el Programa Arce, con el cuál se va a llevar a cabo una evaluación detallada de lo que ha supuesto su realización y su puesta en marcha.

El desarrollo del trabajo comienza con la familiarización de dicho programa, donde se explica en qué consiste exactamente el programa y que objetivos propone, además de la especificación de las personas que lo realizan y su implicación.

También, en este punto se habla de las principales actividades que constituyen el programa, así de los lugares donde se van a llevar a cabo y su respectiva temporalización.

Como punto de interés se desarrolla un apartado en donde se incluye información relevante de este programa.

A continuación, se va a mostrar el propósito general de la evaluación que se propone en dicho programa y los objetivos específicos que se redactan para ésta.

Además se incluye la identificación de las audiencias potenciales, así como los clientes y usuarios directos de la evaluación y el tipo de evaluación que se va a llevar a cabo.

Otro de los puntos importantes del programa que aparecen en el trabajo es la delimitación del objeto de la evaluación donde se van a formular cuestiones evaluativas que darán respuesta a los objetivos planteados.

Asimismo también se definirán las dimensiones de análisis y las variables del programa en cuestión.

Pasaremos a especificar las fuentes y procedimientos de recogida de datos utilizados, donde se añadirán propuestas de mejora y se definirá el tipo de diseño a utilizar además de la muestra recogida.

En este apartado, por último se adjunta una tabla de los momentos en los que se ha recogido la información.

Posteriormente, se incluye el plan de análisis de datos donde se representan los tipos de instrumentos utilizados para obtener la información necesaria, la cuál será analizada para dar conclusiones lo más válidas y fiables posibles.

Se hará una presentación de los informes con toda la recogida de información y además se incluirá una organigrama de los tiempos en los que se ha llevado la evaluación y el presupuesto de los conceptos utilizados en dicha evaluación.

Para finalizar, se incluye un apartado dedicado a la metaevaluación donde aparece representada una tabla con los estándares de calidad de la evaluación, que serán explicados posteriormente y los anexos necesarios que hemos utilizado para llevar a cabo dicho trabajo.

A.- PLANTEAMIENTO DE LA EVALUACIÓN Y DETERMINACIÓN DE OBJETIVOS

FAMILIARIZACIÓN CON EL PROGRAMA Y DESCRIPCIÓN

1.- NOMBRE DEL PROGRAMA:

Programa ARCE (Agrupaciones y Redes de Centros Educativos).

2.- ORIGENES Y OBJETIVOS DEL PROGRAMA:

2.1. Fecha de inicio del programa/momento de la implantación o desarrollo en que se encuentra.

El programa ARCE se está llevando a cabo desde el año 2006 en todo el territorio español.

2.2. Necesidades a las que trata dar respuesta:

• Necesidad de mejorar algún aspecto del currículo, de la organización, de la participación del alumnado, de la atención a la diversidad, etc.
• Por parte de algún departamento o equipo de profesores: establecer nuevas formas de trabajo en cooperación, a través del establecimiento de redes educativas, o que tienen interés en realizar, mantener y generalizar buenas prácticas e iniciativas innovadoras sobre algunos aspectos concretos.
• Por parte del profesorado: formación e investigación en temas relacionados con el currículo, metodologías, medidas organizativas, prevención del abandono escolar, etc. Al igual que la necesidad de establecer lazos de cooperación con otros centros para ampliar sus horizontes, pasando de un trabajo individual a una forma de trabajo integrada.
• Por parte del alumnado: la necesidad de poder realizar intercambios con alumnos de otras comunidades autónomas.

En general, la razón fundamental de ello es, el enriquecimiento mutuo, la posibilidad de reflexionar y compartir experiencias innovadoras, lo que ayude a contribuir en la mejora de la calidad de la educación.

2.3. Objetivos del programa:

• Crear vínculos entre centros y profesionales de la educación, desarrollando proyectos basados en temas de interés común, que promuevan la cooperación e innovación en distintas áreas de trabajo, más allá del ámbito de la comunidad autónoma en la que están ubicados los centros.

• Establecer un marco para el debate y la reflexión conjunta dirigidos a la identificación y la promoción de buenas prácticas en el ámbito de trabajo de su elección, con especial atención a las áreas curriculares.

• Intercambiar propuestas con otros centros que presenten situaciones similares para dar respuesta de forma conjunta por medio del intercambio entre los centros que forman la agrupación y las movilidades entre el alumnado y al profesorado.

• Contribuir al desarrollo de las competencias básicas en un contexto de aprendizaje innovador.

• Conocer y valorar el patrimonio cultural y lingüístico de las diferentes comunidades autónomas.

• Establecer medidas de atención a la diversidad que faciliten la puesta en marcha de actuaciones, adaptaciones al currículo, medidas organizativas, apoyos y refuerzos que permitan dar la respuesta más adecuada a todo el alumnado del centro, intentando prevenir el abandono escolar y mejorar el éxito educativo.

• Difundir las conclusiones, materiales y herramientas elaborados en proyectos anteriores que puedan ser de aplicación en otros ámbitos educativos.

• Favorecer la creación de equipos de trabajo y redes educativas que permitan generalizar propuestas innovadoras, materiales novedosos y metodologías específicas que impulsen la cooperación y contribuyan a la mejora de la calidad educativa.

3.- PERSONAS IMPLICADAS:

3.1. Responsables del programa

Los responsables del programa son:

• La Secretaria de Estado de Educación y Formación Profesional
• La Dirección general de Evaluación y Cooperación Territorial
• La Subdirección General de Cooperación Territorial.

La plantilla que se encarga de llevar a cabo el programa serán:

• Un conjunto de profesores y de compañeros de la comunidad educativa, destinados al trabajo del mismo, lo que mejorará y garantizará una mayor repercusión, visibilidad y permanencia de todo aquello que hagan, además que ayudará a impulsar de manera efectiva el trabajo interdisciplinar y cooperativo.
• Debe contar desde el principio con el apoyo del claustro de profesores y de la institución, lo que permitirá el enriquecimiento con múltiples aportaciones permitiendo que el equipo de trabajo sea más amplio.
• El trabajo realizado por ellos, deberá ser presentado al equipo directivo para que así puedan contar con su cooperación y compromiso.

La población a la que va dirigida dicho programa es a los alumnos, profesoresy profesionales de la educación.

• Se podrá establecer alianzas y sinergias para contar con la colaboración de las instituciones locales, de los centros de formación del profesorado o del servicio de inspección, en el caso de ser necesario su apoyo y orientación.
• Los padres de los alumnos, ya que se tiene que contar con su complicidad al ser éstos uno de los papeles protagonistas de este programa.
• También se recibirá apoyo de empresas u otro tipo de instituciones y organismos.

4.- PRINCIPALES OPERACIONES/ACTIVIDADES QUE CONSTITUYEN EL PROGRAMA

Una vez seleccionado el proyecto y concedida la ayuda financiera, estas serían las principales operaciones:

• Comunicación de las aprobación y presentación del proyecto: Desde el primer momento es necesario que todo el claustro esté informado de las líneas generales del proyecto, de las posibles actividades que se realizarán y que afectarán a todo el centro educativo, al igual que es importante comunicar la aprobación del mismo a la administración educativo y a otras entidades de carácter educativo que puedan colaborar y facilitar su desarrollo.

Una buena manera de iniciar su difusión es a través de la publicación de notas de prensa en diferentes medios de comunicación locales o revistas educativas.

• Comunicación entre socios: Este punto debe ser realizado de manera continua, con la ayuda de las nuevas tecnologías que permiten la comunicación en tiempo real o diferido entre todos los miembros participantes en la agrupación. Para ello debemos fijar cuáles serán los canales de comunicación que se utilizarán (correo electrónico, fax, videoconferencia, teléfono, etc.), las ventajas o inconvenientes que puede tener cada uno, con qué periocidad, teniendo en cuenta la disponibilidad horaria de cada centro, entre otras cosas.

También deberá de acordarse cuáles serán los medios de comunicación entre los alumnos (blogs, videoconferencias, etc.).

• Léxico común ya que es un programa de cooperación en diferentes comunidades autónomas y es necesario que desde un principio todos los miembros participantes acoten el significado del léxico común.

• Definición de los objetivos que se va a perseguir con el proyecto, con lo cual todos los centros de la agrupación trabajarán en la misma línea.

• La institución o centro coordinador de la agrupación se encargará de:

  • Solicitud de participación en la convocatoria.

  • Informe de progreso al finalizar el primer año.
  • Coordinación de la memoria final.

• Reuniones de coordinación.

• Encuentros e intercambios:

Las actividades de intercambios con alumnos tienen un peso importante en la agrupación.

• Informe de progreso:

Al finalizar el primer año, cada uno de los centros o instituciones de la agrupación deberá enviar un informe de progreso a la subdirección general de cooperación territorial.

• Memoria final:

Al finalizar el proyecto, cada centro deberá presentar una cuenta justificada (memoria final).

En la memoria cada centro debe tratar los siguientes apartados:

• Modificaciones.
• Evaluación del Proyecto.
• Conclusiones.
• Difusión del Proyecto.
• Justificación de la ayuda recibida.

• Continuidad de la agrupación:

Observar si el programa continua o no al segundo año de su implantación.

Al final del documento aparecerán como anexo las actividades llevadas a cabo por cada centro, ya que este programa es un conjunto de proyectos de distintos centros.

5.- LUGARES Y TIEMPOS DE IMPLANTACIÓN

El Programa Arce va dirigido a 756 centros e instituciones del ámbito de la educación.

En un principio iba destinado a los centros públicos españoles de Educación Primaria, Educación Secundaria y Formación Profesional, pero se ha ido extendiendo en sucesivas convocatorias a otro tipo de enseñanzas, de centros e instituciones públicas del ámbito de la educación.

Actualmente se dirige a todos los centros públicos españoles que se encuentren en alguna comunidad autónoma o en las ciudades de Ceuta y Melilla, que imparten las enseñanzas reguladas en la LOE, así como a las instituciones públicas que presten apoyo a los centros educativos, a los profesionales de la educación, al alumnado o a sus familias. Con esto se ha abierto la convocatoria a centros de formación del profesorado, equipos de orientación educativa, centros penitenciarios, escuelas municipales, etc.

El número de centros ha ido aumentando considerablemente desde la convocatoria del año 2006, en el que se concedieron ayudas a 79 centros, permitiendo que surgieran 18 agrupaciones, hasta la convocatoria de 2010 en la que se han concedido ayudas a 361 centros, formándose un total de 102 agrupaciones.

6.- RECURSOS MATERIALES Y PRESUPUESTO

No aparece especificado en el programa.

7.- OTRAS INFORMACIONES DE INTERÉS ESPECIAL

Casi siempre, el inicio del proyecto parte a su vez de una evaluación inicial, en la cual se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y se reflexiona sobre la organización y gestión del centro.

Al elaborar el proyecto, se ha de establecer:

• Cómo se realizará la evaluación del proyecto: En el cómo se detalla las técnicas que va ha utilizar el programa para su evaluación, que serían: Observación indirecta: análisis de documentos, sobre la base de los indicadores; Valoración y opiniones de los implicados y “afectados”; y Observación directa en el desarrollo de las actividades.
• En qué momentos: Los momentos de la evaluación en este programa serían: En Enero: Evaluación inicial. Producto: Documento para compartir el punto de partida; En Junio/Julio: Evaluación del proceso (resultados hasta la fecha) Producto: Informe de progreso. Diciembre: Evaluación formativa, etc.; En Junio/Julio del segundo año: Evaluación final. Producto: Memoria final.
• Qué aspectos o ámbitos se van a evaluar: En este programa los ámbitos evaluados son: Desarrollo y gestión del proyecto; Eficacia y eficiencia; Satisfacción de los participantes y de la comunidad educativa; Incidencia del proyecto en determinados aspectos; Innovación; y Productos, resultados y logros.
• Con qué instrumentos: Los instrumentos que se utilizan aquí son: Cuestionarios, guiones de observación y registro, escalas de estimación, guión de análisis de documentos, anecdotarios, fichas de seguimiento, actas, etc.
• Cuáles van a ser los indicadores para cada una de las actividades que se realicen: los indicadores de este programa, son:

  • En cuanto al ámbito del Desarrollo y gestión del programa: Actuación de la coordinación; Nivel de participación de los centros agrupados; Frecuencia y efectividad de las comunicaciones entre los centros; Grado de acuerdo y de cumplimiento de tareas; y, Cumplimiento de la temporalización y del calendario previsto.

  • En cuanto a la Eficacia y eficiencia: Grado de consecución de los objetivos concretos y su realización; Adecuación de recursos y procesos para la consecución de los objetivos; y, Nivel de implementación de las actividades.
  • Satisfacción de los participantes y de la comunidad educativa: Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las actuaciones; y, Cumplimiento de aspiraciones y deseos de los participantes.
  • Incidencia del proyecto en: El funcionamiento de los equipos de los centros implicados; La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras; La integración de las TIC en el proceso de enseñanza-aprendizaje; El intercambio de información y conocimientos; La mejora del desarrollo curricular de los centros implicados; y, la generación, identificación y transferencias de buenas prácticas.
  • Innovación: Adopción de una variada gama de enfoques; Utilización de metodologías innovadoras; Utilización de las TICS; Transferencia de experiencias entre los centros agrupados; y, Formación e investigación.
  • Productos, resultados, logros: Incidencia en el aula, ciclo, centro, otros; Nivel de participación en su elaboración; Carácter creativo e innovador; y, adaptabilidad a los diferentes contextos.

La evaluación se realiza sobre el propio proyecto pero a la vez sobre el proceso de enseñanza-aprendizaje del alumnado participante y sobre el grado de implicación de la comunidad educativa.

A continuación aparece representada una tabla donde se encuentran las diferentes dimensiones a evaluar que han sido definidas previamente en el programa.

En el programa mencionan una serie de técnicas e instrumentos a utilizar que no fueron definidas para una dimensión concreta y que nosotras hemos clasificado.

Más adelante, en el apartado C, presentamos esta misma tabla con ampliaciones y mejoras.

*La columna de las dimensiones está obtenida tal cual del programa

** Las fuentes de información no aparecen especificadas en el programa.

En la siguiente tabla representamos los instrumentos y momentos de la recogida de las medidas que se proponen en el programa.

El escenario y las poblaciones/muestras no aparecen especificados en el programa por lo que nosotras lo ampliaremos en el apartado C en la definición del diseño de evaluación, además de mejorar algún instrumento y momentos.

ÁMBITO/FOCO DE LA EVALUACIÓN Y OBJETIVOS

1. PROPÓSITO GENERAL DE LA EVALUACIÓN.

Lo que nos proponemos con la evaluación es conocer si el programa ha tenido una incidencia directa sobre los centros y componentes que lo conforman, en los que se ha implantado. Además de observar más concretamente si se ha conseguido una mejora de la práctica educativa dentro del centro.

SEGUIMIENTO Y EVALUACIÓN (PROPUESTA)

	Ámbitos de análisis	Indicadores
Que	Desarrollo y gestión del proyecto	Actuación de la coordinación. Nivel de participación de los centros agrupados. Frecuencia y efectividad de las comunicaciones entre los centros. Grado de acuerdo y de cumplimiento de tareas. Cumplimiento de la temporalización y del calendario previsto.
	Eficacia y eficiencia	Grado de consecución de los objetivos concretos y su realización Adecuación de los recursos y procesos para la consecución de objetivos. Nivel de implementación de las actividades
	Satisfacción de los participantes y de la comunidad educativa	Cumplimiento de las aspiraciones y deseos de los grupos destinatarios de las actuaciones. Cumplimiento de aspiraciones y deseos de los participantes
	Incidencia del proyecto en:	El funcionamiento de los equipos de los centros implicados. La apertura y consolidación de las relaciones de los centros con otros centros, figuras o identidades. La integración de las TIC en el proceso de enseñanza-aprendizaje El intercambio de información y conocimientos. La mejora del desarrollo curricular de los centros implicados. La generación, identificación y transferencia de las buenas prácticas.
	Innovación	Adopción de una variada gama de enfoques. Utilización de metodologías innovadoras. Utilización de las Tecnologías de la Información y la Comunicación. Transferencia de experiencias entre los centros agrupados. Formación e investigación
	Productos, resultados y logros	Incidencia en el aula, ciclo, centro, otros. Nivel de participación en su elaboración Carácter creativo e innovador. Adaptabilidad a los diferentes contextos.
Cómo	Técnicas e instrumentos	Técnicas: Observación indirecta (análisis de documentos) Valoraciones y opiniones de los implicados y afectados. Observación directa en el desarrollo de las actividades Instrumentos: Cuestionarios, guiones de observación y de registro, escalas de estimación, guión de análisis de documentos, anecdotarios, fichas de seguimiento…
Cuándo	Momentos	Enero: evaluación inicial. Producto: documento para compartir el punto de partida Junio/julio: evaluación de proceso. Producto: Informe de progreso Junio/julio del segundo año: evaluación final. Producto: Memoria final
Quién	Responsables	Equipos de cada uno de los centros participantes Potenciales evaluadores externos

Evaluación de Productos, resultados, logros donde se observen indicadores como:

• Incidencia en el aula, ciclo, centro, otros.
• Nivel de participación en su elaboración.
• Carácter creativo e innovador.
• Adaptabilidad a los diferentes contextos.

2. FORMULACIÓN DE OBJETIVOS ESPECÍFICOS

La evaluación se plantea los siguientes objetivos específicos:

• Si el programa ha conseguido mejorar el trabajo en equipo entre centros escolares.
• Si el programa de actuación ha conseguido servir de modelo para otros centros.
• Si el programa ha tenido un efecto positivo y generalizado en todo el centro o institución.
• Si el programa, mediante la introducción de las TICS, ha conseguido una mejora en la comunicación entre los centros participantes.
• Si durante la implantación del programa y tras su finalización se han conseguido objetivos tales como: participación activa, innovación, mejora de la práctica educativa...

3. IDENTIFICACIÓN DE AUDICIENCIAS POTENCIALES.

Las audiencias potenciales que aparecen en este programa son de dos tipos: audiencias potenciales internas y audiencias potenciales externas.

Las audiencias potenciales internas serían los:

• Equipo directivo de los diferentes centros asociados
• Profesores
• Alumnos
• Familiares de los usuarios

Y las audiencias externas serían los:

• Comunidad educativa
• Sociedad
• Empresarios
• Servicio de inspección
• Instituciones locales

4. IDENTIFICACIÓN DE CLIENTES Y USUARIOS DIRECTOS DE LA EVALUACIÓN.

No aparece especificado quién encarga este informe aunque en la configuración del programa se realiza entre el MEC y las Comunidades Autónomas, dado a esta información creemos que son estos organismos los que encargan la evaluación ya que se especifica en el propio programa que se debe realizar una evaluación.

5. IDENTIFICACIÓN DEL TIPO DE EVALUACIÓN A DISEÑAR.

En este programa la evaluación que se lleva a cabo sería una evaluación inicial, la cual se realiza en el diseño del programa, en la cual se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y se reflexiona sobre la organización y gestión del centro.

También se debería realizar una evaluación de proceso, ya que es fundamental para poder ir adaptando las actividades, metodologías o los diferentes materiales a las necesidades emergentes y así poder llegar a la consecución de los objetivos previstos.

Y, por último, también se trata de realizar una evaluación final, o de resultados, que se realiza al fin del programa, puesto que es de interés conocer, cuáles han sido los efectos producidos tras la implantación del programa, si se han obtenido los resultados esperados, si se han conseguido los objetivos planteados al principio y en qué grado nos los hemos encontrado y si tras finalizar el primer período de implantación se han mantenido los resultados (durante cuánto tiempo).

La evaluación que se lleva a cabo no es ni puramente formativa ni sumativa. Se realiza una evaluación formativa, puesto que al llevarse a cabo una evaluación de proceso, quiere decir que se realiza durante el mismo proceso de funcionamiento del programa y que permite tomar medidas de carácter inmediato; Y una evaluación sumativa, ya que se realiza al final del programa y trata de determinar en qué grado se han alcanzado los objetivos previstos, y así poder tomar medidas a medio o largo plazo.

6. EVALUABILIDAD DEL PROGRAMA

En cuanto a este aspecto de la evaluación decir, que hemos encontrado dificultades a la hora de poder realizar algunos sondeos de opinión para consultar a la población a la que va destinada la evaluación cuáles son sus necesidades concretas respecto a la misma, por lo que hemos tenido que recurrir a datos de archivo, para determinar de manera indirecta las necesidades de dicha población.

También se obtuvo algunas dificultades a la hora de observar las acciones implicadas, la temporalización en la implantación…ya que este programa, como ya se ha mencionado varias veces, es un conjunto de varios proyectos que se realizan en diferentes centros, por lo que fue más complicado a la hora de tener claro la definición del programa, para su posterior evaluación.

El último aspecto de la evaluación con el que se ha tenido más problemas, ha sido con el coste de la misma, ya que en un primer se pretendía realizar en un solo año, pero vista la cantidad de dimensiones ha observar y evaluar, se llegó a la conclusión de realizarlo a lo largo de dos cursos académicos, debido a que si se realizase sólo en uno el presupuesto de la evaluación sería muy elevado.

B. DELIMITACIÓN DEL OBJETO DE LA EVALUACIÓN

____________________________________________________

A continuación proponemos una serie de preguntas que nos ayudarán a centrarnos en los aspectos que queremos evaluar, además añadimos para qué audiencias, de las antes descritas, es importante esa información.

FORMULACIÓN DE CUESTIONES EVALUATIVAS

PREGUNTAS EVALUATIVAS:

1. ¿El programa ha conseguido mejorar el trabajo en equipo entre los centros escolares que participan?
2. ¿Cuál ha sido el grado de aprovechamiento de los participantes en el programa?

Es decir, ¿Alcanzan al término del mismo los objetivos formativos planteados o por el contrario es frecuente que los asistentes no cubran con las exigencias previstas al final del curso?

3. ¿Este programa de actuación ha conseguido servir de modelo para otros centros?
4. ¿El programa ha tenido un efecto positivo y generalizado en todo el centro o institución?
5. ¿El programa ha utilizado de manera correcta las TICs para la comunicación entre los determinados centros participantes en el programa?
6. ¿Durante la implantación del programa y tras su finalización se han conseguido los objetivos previstos, tales como: participación activa, innovación, mejora de la práctica educativa…?

AUDIENCIAS:(las cuales hacen referencia a las audiencias a las que se refiere cada una de las preguntas evaluativas)

1. Todas las identificadas, pero especialmente importante para los responsables del programa, el equipo directivo y para el profesorado participante.
2. Todas las identificadas, pero especialmente importante para los responsables del programa y el profesorado participante.
3. Todas las identificadas, pero especialmente para los responsables del programa y las audiencias externas del programa.
4. Todas las identificadas, pero especialmente para los responsables del programa y equipo directivo.
5. Todas las identificadas, pero especialmente para los responsables del programa y el profesorado participante.
6. Todas las identificadas, pero especialmente para los responsables del programa y servicio de inspección.

IMPORTANCIA

1. Derivada del primer objetivo específico de la evaluación
2. Derivada del quinto objetivo específico de la evaluación
3. Derivada del segundo objetivo específico de la evaluación
4. Derivada del tercer objetivo específico de la evaluación
5. Derivada del cuarto objetivo específico de la evaluación
6. Derivada del quinto objetivo específico de la evaluación

DEFINICIÓN DE DIMENSIONES DE ANÁLISIS Y VARIABLES

A partir de las preguntas planteadas anteriormente, identificamos las grandes dimensiones a evaluar y los indicadores de cada una de ellas, que van a servir de ayuda para determinar exactamente los aspectos observables y medibles en nuestro proyecto evaluativo.

PREGUNTA EVALUATIVA: 1

• DIMENSIÓN: Eficacia del proyecto
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • Grado de consecución de los objetivos concretos y su realización.

  • Adecuación de recursos y procesos para la consecución de los objetivos.
  • Nivel de implementación de las actividades.

PREGUNTA EVALUATIVA: 2

• DIMENSIÓN: Satisfacción de los participantes y de la comunidad educativa
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • Cumplimiento de aspiraciones y deseos de los grupos destinatarios de las actuaciones.

  • Cumplimiento de aspiraciones y deseos de los participantes.

PREGUNTA EVALUATIVA: 3

• DIMENSIÓN: Desarrollo y gestión del proyecto
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • Actuación de la coordinación

  • Nivel de participación de los centros agrupados
  • Frecuencia y efectividad de las comunicaciones entre los centros
  • Grado de acuerdo y de cumplimiento de tareas
  • Cumplimiento de la temporalización y del calendario previsto.

PREGUNTA EVALUATIVA: 4

• DIMENSIÓN: Incidencia del proyecto
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • El funcionamiento de los equipos de los centros implicados

  • La apertura y consolidación de las relaciones de los centros con otros centros, figuras o entidades colaboradoras.
  • La integración de las TIC en el proceso de enseñanza-aprendizaje.
  • El intercambio de información y conocimientos
  • La mejora del desarrollo curricular de los centros implicados
  • La generación, identificación y transferencia de buenas prácticas.

PREGUNTA EVALUATIVA: 5

• DIMENSIÓN: Innovación del programa
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • Adopción de una variada gama de enfoques

  • Utilización de metodologías innovadoras
  • Utilización de las Tecnologías de la Información y la Comunicación
  • Transferencia de experiencias entre los centros agrupados
  • Formación e investigación

PREGUNTA EVALUATIVA: 6

• DIMENSIÓN: Productos, resultados, logros
• SUBDIMENSIÓN: No aparece especificado en el programa.
• VARIABLES/MEDIDAS/INDICADORES:

  • Incidencia en el aula, ciclo, centro, otros

  • Nivel de participación en su elaboración
  • Carácter creativo e innovador
  • Adaptabilidad a los diferentes contextos

C. RECURSOS METODOLÓGICOS Y DISEÑO

_____________________________________________________________________________

FUENTES Y PROCEDIMIENTOS DE RECOGIDA DE DATOS

En la siguiente tabla aparecen reflejadas las dimensiones, fuentes de información, técnicas e instrumentos propuestos en el programa. Las técnicas e instrumentos surgen de una explicación general de las mismas, a lo que nosotras hemos tenido que ir enlazándolas con la dimensión que creemos correspondiente.

Aquellas que están en negrita son mejoras propuestas por nosotras a dicha evaluación, ya que estas no aparecen detalladas en el programa.

Al ver que esta evaluación si se llevase a cabo en un solo año supondría un presupuesto muy alto, decidimos realizarla a lo largo de dos cursos escolares.

*Todos los instrumentos elaborados ad hoc.

* Los apartados en negrita son propuestas de mejora.

DEFINICIÓN DEL DISEÑO DE EVALUACIÓN

1. TIPO DE DISEÑO: Se parte de una evaluación inicial donde se analiza el contexto, se evalúan las necesidades formativas, los aspectos didácticos que se quiere mejorar y posteriormente se reflexiona sobre la organización y gestión del centro.
2. DISEÑO MUESTRAL (TIPO DE MUESTRAS Y TAMAÑO): La muestra tomada son todos los alumnos de la etapa de Secundaria (en edades comprendidas entre los 13 y 16 años) que participan en la agrupación del proyecto ERA, de los siguientes centros:

• IES Alto Almanzora (Tíjola, Almería)
• IES Miguel Catalán (Zaragoza, Aragón)
• IES Punta Larga (Candelaria, Tenerife)
• IES Carlos Casares (Vigo, Galicia)

PLAN DE RECOGIDA DE MEDIDAS: (TABLA PÁGINA SIGUIENTE)

Los instrumentos 1, 2, 3, 9, 10, 13, 16, 17, 18, 21 y 23 son utilizados dentro de las aulas de los centros anteriormente mencionados. Los instrumentos 4, 5, 6, 7,8, 11, 12, 14, 15, 19, 20 y 22 son usados dentro de los centros, pero no estrictamente en el aula

D. PLAN DE ANÁLISIS DE DATOS

En la siguiente tabla se representan los tipos de instrumentos utilizados para obtener la información necesaria, y de qué manera trataremos de analizarla para adquirir conclusiones eficaces, completas y válidas.

En la columna de la derecha establecemos la puntuación que consideramos mínima para aceptar que ese instrumento ha sido lo suficientemente bueno para medir la información que queremos obtener.

E. PRESENTACIÓN DE RESULTADOS: INFORMES

A continuación, presentamos la información acerca del programa que les proporcionaremos a las audiencias potenciales internas. Dejando al margen de esto a las audiencias externas, ya que no necesitan una información tan detallada acerca de esto.

F. ORGANIZACIÓN DE LA EVALUACIÓN

La evaluación de este programa se lleva a cabo entre 3 pedagogas, Evaluadora 1(Yanira), Evaluadora 2 (Sonia) y evaluadora 3 (Lucía), algunas se hacen en conjunto para obtener información complementada, otras se toman de manera individual para hacer una repartición de la tarea evaluativa.

G. PRESUPUESTO

A continuación se detallan los presupuestos de los conceptos necesarios para el desarrollo del proceso de evaluación, así como su estimación de gasto y su coste total. Se muestran dos tablas, una por cada año.

PRESUPUESTO PRIMER AÑO

PRESUPUESTO SEGUNDO AÑO

Los presupuestos son diferentes por año ya que en el segundo año no se usa el instrumento de la entrevista por lo que el coste es inferior.

H. METAEVALUACIÓN

A continuación, aparece representada en la tabla unos estándares de calidad de la evaluación, de esta manera podemos observar si han sido aplicables en la misma o no, y si han sido aplicables de qué manera.

En relación a la metaevaluación propuesta, debemos aclarar que a pesar de que el programa elegido propone un tipo de evaluación no la pone en marcha, y por tanto, no tenemos resultados o información acerca de las conclusiones reales de la misma.

Por otro lado, nuestro trabajo ha sido proponer una mejora a esa evaluación planteada en el programa. Hemos intentado añadir una información más precisa a cerca de lo que nosotras haríamos en el caso de que implantásemos realmente la evaluación. Pero como no ha sido una puesta en marcha real no tenemos información suficiente para realizar la metaevaluación de manera correcta.

De esta manera, realizamos una metaevaluación pensando cómo sería si de verdad se hubiese aplicado.

Para aclarar la tabla anterior, vamos a pasar a justificar algunos de los aspectos que hemos considerado no aplicables o aplicables en nuestra evaluación, en mayor o menor grado.

• Estándares considerados no aplicables:

Conocemos e imaginamos que habrá aspectos que influyan en el programa y en su evaluación sin embargo no han sido considerados y tampoco se ha adquirido información acerca de ellos.

Con respecto a la Viabilidad política, hay muchos factores respecto a este estándar y es muy difícil obtener información válida acerca de él.

Conflicto de intereses, estándar muy complicado de abarcar. Ya que no tenemos los medios suficientes para medirlo.

Como ya hemos comentado, los estándares considerados no aplicables, no se han medido por la gran dificultad para abarcarlos, y por el coste elevado que podrían suponernos.

• Estándares considerados como adecuadamente cubiertos:

- Derechos de los sujetos:A nuestro parecer, durante todo el proceso ha sido respetada la integridad de las personas participantes, haciéndolas saber desde el primer momento a lo que se sometían al participar en este programa, y la evaluación que se iba a llevar a cabo desde el comienzo del mismo. De este modo, si alguno de los sujetos no quería participar en él, no se le pondría ningún impedimento en ello.

También es un estándar muy teniendo en cuenta, ya que gran cantidad de información se obtiene de alumnos (menores de edad). Además es un programa poco “comprometedor” respecto a la posición ideológica de las fuentes de información.

- Oportunidad y difusión del informe: somos evaluadoras externas al programa, y fuimos contratadas para evaluarlo, es por ello, que sabemos que toda la información que obtuviésemos con la evaluación tendríamos oportunidad y obligación de presentarla.

Además a través de diferentes medios de presentación (ya delimitados anteriormente) todas las audiencias potenciales recibirán conclusiones directas acerca del programa (cada uno en su nivel y su área concreta).

• Estándares considerados como insuficientemente cubiertos:

- Credibilidad del evaluador: Este estándar no podemos decir que se haya cumplido de manera total en nuestra evaluación, ya que nosotras no tenemos mucha experiencia en evaluación de programas, por lo que tendremos que ir consiguiendo que poco a poco nuestras evaluaciones y nosotras como evaluadoras seamos más creíbles para la gente que nos vaya a contratar.

- Fuentes de información:En cuanto a este estándar decir que para la realización de nuestra evaluación en este programa, obtuvimos la información necesaria para la misma, desde fuentes diversas y variadas, de tal modo que pudiésemos contrastar la información recogida. No se ha cumplido de manera total, ya que aunque buscamos en muchas fuentes, quedaría alguna en la cual no hubiésemos mirado, pero porque con la información encontrada en aquellas utilizadas nos pareció adecuado.

CONCLUSIONES

Para concluir con el presente trabajo, tenemos que decir que no ha sido un trabajo fácil ya que nos resultó complicado, en primer lugar encontrar el programa adecuado para su realización y en segundo lugar realizar la familiarización del programa elegido, ya que cada vez que elegíamos un programa y realizábamos su familiarización siempre había cosas que no concordaban. Llegamos a realizar la familiarización del programa cuatro veces, hasta que dimos con el Programa Arce y por fin pudimos realizarla correctamente.

A pesar de todos estos problemas, el haber encontrado este programa nos ha ayudado a ver las cosas de otra manera e incluso a aprender realmente como se hace la evaluación de un programa.

Ha sido un trabajo duro y aunque nuestro trabajo no es igual que el del resto de nuestros compañeros, pensamos que hemos conseguido cumplir con los objetivos de la asignatura y sobre todo con el objetivo principal de la misma, que ha sido aprender.