La evaluación de los aprendizajes en formación virtual: vías para la innovación

Contenido de la comunicación

INTRODUCCIÓN

Innovar no es sólo  mejorar un proceso o un producto sino que implica generar un verdadero cambio, ya que como afirma Larrea (2006)los buenos profesionales deben convertirse en maestros del error. Y es justo por estos motivos por los que iniciamos el desarrollo de esta experiencia, que nos está aportando resultados tan positivos.

En este artículo presentamos un modelo de evaluación que pretendemos sirva como plataforma para el EEES, pues cumple todos los requisitos que desde este plan se están promoviendo, entre otros, trabajo autónomo del alumno, aprendizaje continuo, mayor peso del trabajo en grupo, profesor cómo guía, etc.

No solo es la implantación del espacio europeo lo que nos ha motivado a crear nuestra experiencia, sino también ha influido la enorme expansión del e-learning como una nueva era en la educación a distancia. No hay duda de que en estos momentos es exponencial su crecimiento, especialmente en la educación universitaria, ya que el modelo tradicional de transmisión de información que todavía domina en el sistema educativo apenas ha cambiado, pero parece necesario aprender a diseñar nuevos escenarios educativos en el que profesores y estudiantes puedan aprender a moverse e intercambiar conocimiento (Blázquez, 2002). Todavía estamos viviendo las primeras fases del e-learning y nos queda mucho por aprender de sus capacidades docentes y de la creación de una nueva «ecología del aprendizaje», a pesar de que, como siempre ha sucedido, las esperanzas depositadas en esta estrategia no se han visto confirmadas, ya que una vez más se quiere someter la educación a la tecnología, en lugar de que la tecnología se coloque al servicio de la educación. Es evidente que crear espacios tecnológicamente potentes para después usarlos pedagógicamente no siempre funciona.

Tal y cómo se refleja en el informe Las TIC en el Sistema Universitario Español: UNIVERSITIC 2009 que publica la CRUE (Conferencia de Rectores de las Universidades Españolas), probablemente los momentos de profundo cambio que se están viviendo estos años en el contexto de la universidad española, como consecuencia de la implantación del Espacio Europeo de Educación Superior (EEES), estén motivando una creciente atención hacia el ámbito de las TIC, ya que éstas pueden constituir un factor clave en un escenario universitario caracterizado por un cada vez mayor grado de competencia, interdependencia e internacionalización. En este contexto más exigente, las TIC pueden permitir a las universidades alcanzar un mayor grado de eficiencia y eficacia en todos sus campos de actividad, no sólo en cuanto a su gestión, sino también en relación a las áreas docente e investigadora.

La evaluación como elemento fundamental de todo proceso de enseñanza/aprendizaje, ya sea presencial o virtual, ha evolucionado en su concepción y ámbitos a lo largo de los años.

Uno de sus primeros precursores, Tyler (1969), considera que evaluar supone un proceso sistemático que permite determinar en qué medida los alumnos alcanzan los objetivos propuestos en el proceso educativo. De sus planteamientos, tal y como sostienen Medina y Salvador (2002), se derivan ciertos matices que comienzan a caracterizar el concepto de evaluación para siempre, estos son:

• La evaluación es un proceso.

• Evaluar no es medir o recoger información, sino también valorar la información recogida.

• Los objetivos son un criterio de referencia para evaluar.

Otros, como Cronbach (1963) consideran la evaluación como un proceso de recopilación y utilización de la información para tomar decisiones. En 1984, Tenbrick la ha concebido como un proceso de obtener información y usarla para formar juicios que a su vez se utilizaran en la toma de decisiones.

De cualquier modo, evaluar consiste en obtener información, formular juicios y tomar de decisiones (Medina y Salvador, 2002).

El desarrollo y la implementación de sistemas de evaluación para educación a distancia han sido trabajados por expertos en varias áreas, incluyendo los diseñadores de tecnologías de la comunicación y los profesionales de la tecnología. No obstante, la mayoría de estos estudios se han limitado a evaluar programas o sistemas de e-learning. López (2004) considera que el e-learning es una herramienta que permite comparar los indicadores referidos a los distintos estudiantes de un mismo curso, facilitando la evaluación continuada.

Más recientemente, Díez Fernández (2006), desde la concepción de la evaluación como un proceso global, ha señalado que en los ambientes virtuales evaluar implica diferentes ámbitos: el entorno virtual de aprendizaje y su implementación (por ejemplo, si los alumnos han podido acceder con normalidad al aula, si la instalación ha sido correcta, etc.), la evaluación de los materiales didácticos (por ejemplo, si los materiales reúnen las características técnicas y didácticas adecuadas para el nivel, el medio educativo y las necesidades de los alumnos) y, finalmente, una evaluación de la acción tutorial (en este apartado se valorará el rol docente y tutorial del profesor).

En esta comunicación presentamos el estudio realizado sobre un modelo de evaluación online implementado en un Curso de Especialista Universitario en Docencia en Educación Secundaria, creado por el Departamento de Ciencias de la Educación de nuestra universidad y desarrollado a través de la plataforma Moodle en el año 2007, experiencia tras la cual decidimos aplicar dicha propuesta en una titulación oficial. El modelo de evaluación del curso es un modelo flexible, adaptado a las circunstancias del curso. Los aspectos evaluados serían las actividades individuales (15%), las actividades colaborativas (15%), un trabajo final (30%) y una entrevista (30%).Así mismo, desde el principio se les planteó a los alumnos otros aspectos evaluables como su implicación, la interacción con el tutor y el profesorado y las aportaciones personales al glosario (10%), concebida como una actividad más.  De este modo desarrollamos una evaluación continua basada en los principios que el espacio europeo de educación superior predica como muy importantes.

METODOLOGÍA

El modelo de Evaluación No-Presencial en Enseñanza Superior On-line que presentamos se ha experimentado durante el desarrollo de un Curso de Especialización universitario abierto a estudiantes de España e Iberoamérica en el año 2007 y su eficacia ha sido contrastada por parte de protagonistas y evaluadores externos mediante técnicas de investigación cualitativas. Aportamos los datos sustanciales de la experiencia.

Algunos de los objetivos del estudio cuyos datos queremos presentar en la presente comunicación son:

1. Demostrar la viabilidad de un sistema de evaluación para la enseñanza virtual totalmente fiable y con garantías de acreditación de conocimientos, sin necesidad de la presencia física del estudiante de enseñanza universitaria

2. Innovar modalidades de evaluación integral, formativa y basada en tareas –más que en pura recitación de conocimientos- acordes con la línea que impone la Convergencia con el Espacio Europeo de Enseñanza Superior

3. Desarrollar y mejorar los sistemas de e-learning y demostrar la versatilidad de nuestro modelo evaluador para su uso por instituciones educativas y empresas que realicen e-formación.

4. Colaborar en la innovación y el cambio de los sistemas de enseñanza universitaria a distancia que, en términos generales, refuerzan modelos de enseñanza tradicionales.

Para la muestra se han obtenido datos de 47 sujetos, de los cuales, 10 son profesores, 33 alumnos y 4 expertos. Dado que, de los 33 alumnos, 3 no terminaron el curso, por lo tanto datos reales tenemos a 44 sujetos:

• Los profesores o tutores se caracterizan fundamentalmente por su formación de corte universitario y psicopedagógico, lo que quiere decir que están especialmente familiarizados con modelos de enseñanza/aprendizaje.

• Por otro lado, los alumnos son diplomados y/o licenciados en distintas carreras universitarias que deseaban obtener una certificación que avalara sus conocimientos psicopedagógicos y su preparación para formar alumnos de educación secundaria.

• Los expertos han sido cuatro profesores altamente especializados en sistemas de enseñanza/aprendizaje y tres de ellos especialistas y miembros de instituciones de enseñanza a distancia. Dos de ellos de la Open University (Reino Unido) y un tercero de la UNED (España).

De modo esquemático, presentamos los instrumentos utilizados en nuestro estudio, siguiendo el modelo de  la “triple triangulación” para reforzar la credibilidad de los datos que hemos usado en anteriores proyectos de investigación. Ésta consiste en que, además de utilizar la convencional triangulación de instrumentos, añadimos la de participantes y la de momentos. Así pues, se ha usado

A) Triangulación  de técnicas:

• 1) Cuestionarios  2) Entrevistas  3) Discusión grupal

B) Triangulación de informantes:

• 1) Profesorado  2) Alumnos  3) Evaluadores externos

C) Triangulación de momentos:

• 1) A mitad de la experiencia 2) Al final de la misma 3) En tiempo diferido.

RESULTADOS

Para analizar los grupos de discusión y las entrevistas semiestructuradas, trabajamos con técnicas cualitativas de análisis de contenido. Se trata de técnicas clásicas de investigación en Ciencias Sociales que se aplican a datos informativos no estructurados o poco estructurados como es nuestro caso.

Convendría señalar que los datos obtenidos de los instrumentos aplicados han sido analizados con el programa “NVIVO”.  Es un programa diseñado para el análisis de datos cualitativos que facilita notablemente la codificación y análisis de las transcripciones o documentos originados por las técnicas arriba indicadas, al ofrecer un entorno de trabajo muy amigable facilitador de su uso. Nos ha permitido almacenar, organizar y obtener informes resumidos de los datos más significativos que iban emergiendo del análisis, así como combinar una doble dimensión en nuestro análisis integrando una perspectiva narrativa y otra más analítica .Respecto del objetivo 1 que trataba de demostrar la viabilidad de un sistema de evaluación para la enseñanza virtual totalmente fiable y con garantías de acreditación de conocimientos, sin necesidad de la presencia física del estudiante de enseñanza universitaria, nos interesaba saber si existen verdaderas garantías de acreditación de conocimientos con el sistema no presencial implementado.  En este sentido la gran mayoría de los alumnos destacan que están muy satisfechos, y encuentran coherencia con los objetivos y contenidos definidos para el curso. Valga el apunte de algunos alumnos que lo afirman del siguiente modo: “Sí, porque me ha obligado a ser constante, disciplinada, y a organizarme. Además, me ha permitido comprobar si dominaba o no los contenidos.”(Alumno, cuestionario).

Otros destacan para garantizar el procedimiento la realización del trabajo final: “…Sí, sobre todo el trabajo final, ya que mientras que para la participación en los foros y la realización de los ejercicios prácticamente bastaba con el estudio del temario, en el trabajo final te centrabas en dos o tres temas principales que había que desglosar a fondo e interconectar entre ellos, lo cual favoreció su aprendizaje”. (Alumno, cuestionario).

Así mismo destacan los alumnos para la consecución de este objetivo lo importante que ha sido la interacción con los tutores, pues les ha aportado seguridad: “El sistema de evaluación del curso sí ha favorecido mi aprendizaje. En las actividades individuales y colaborativas el seguimiento y el contacto de la tutora me ha animado a abordarlas con confianza; sus comentarios han sido muy instructivos, ayudándome a detectar ciertas lagunas en el aprendizaje y a superar las dificultades que han ido surgiendo.”(Alumno, cuestionario)

A la hora de evaluar dicha adquisición los tutores señalan la importancia de evaluar el proceso de adquisición, como un todo, más que el logro de unos conocimientos o conceptos: “Pues según nuestro modelo de evaluación continuada, es más importante saber el cómo lo han adquirido que ver si pueden contestar de boca unas preguntas”. (Profesor, grupo de discusión).

Uno de los temas que más nos ha preocupado con respecto a la evaluación es el tema de la fiabilidad acerca de la tutoría de las actividades, trabajos, etc.  En este tema los alumnos han dicho que creen que está muy controlado por el trabajo colaborativo y el trabajo final. Pero esto también tiene su lado negativo, pues los alumnos, han traducido esta búsqueda de los tutores por la fiabilidad, en quejas de excesivo trabajo.

Los alumnos han entendido perfectamente el porqué de cada actividad: “Porque por hacer las actividades te tenías que leer el tema, entenderlo y llevarlo a la práctica; para intervenir en los foros también, no vas a intervenir sin tener ni idea, para hacer el trabajo final aparte de leerte el trabajo tienes que buscar más información y también interrelacionar los temas porque tenías que poner evaluación y de todo…” (Alumno, cuestionario)

En las entrevistas a expertos hemos encontrado también referencias al tema de la fiabilidad, relacionándolo con un tema, la ratio de alumnos que cada profesor-tutor guía, en nuestro caso eran cuatro alumnos, por lo tanto en este sentido hemos controlado perfectamente la fiabilidad. Un extracto de esto sería lo que nos comenta el profesor Cabero: “Y al final, puede hacer un proyecto u otra cosa. A mí no me da tanto miedo  porque muchas veces cuando nosotros de forma presencial le decimos al alumno que vaya haciendo un portafolio electrónico o al final va a presentar un proyecto o una memoria de investigación. Lo que sabemos es que el alumno físicamente nos lo ha dado a nosotros, pero no tenemos el mecanismo, lo tenemos cuando constantemente estamos hablando con él. Eso se puede hacer en la red, pero hay que buscar otro criterio y el criterio es que la ratio alumno-tutor no puede ser muy elevada.” (Experto, entrevista).

En cuanto a la fiabilidad del sistema, los tutores comentan la necesidad de la misma. Y comentan cómo a la hora de realizar la entrevista final a través del teléfono o webcam, los alumnos se muestran un poco esquivos. No obstante, todos confirman con seguridad que sus alumnos han realizado las tareas aportadas.

Respecto del objetivo 2 que trataba de innovar una modalidad de evaluación integral, formativa y basada en tareas –más que en pura recitación de conocimientos- acordes con la línea que impone la Convergencia con el Espacio Europeo de Enseñanza Superior, hay consenso  en las opiniones de los participantes de cada una de las tareas propuestas de manera general, y son los propios alumnos los que han destacado que ha sido un “buen sistema”:

 “En general me ha parecido un buen sistema teniendo en cuenta las características del curso. El sistema empleado ha hecho, al menos en mi caso, que los contenidos se trabajasen diariamente. Con las actividades individuales y colectivas, y la participación en los foros se puede conseguir dicho objetivo. A pesar de esto, el tutor también puede ver si el alumno está trabajando y en qué medida adquiere los conocimientos adecuados. Creo que el sistema, en general, está bien planteado y, consecuentemente, estoy satisfecho con él”. (Alumno, cuestionario)

En este sentido también tenemos que anotar que más de uno ha destacado el excesivo trabajo que conlleva este tipo de evaluación, pero no porque no haya sido de su agrado si no porque no es a lo que están habituados en el resto de formación que han realizado, tanto de modo presencial como a distancia o de forma virtual.

En palabras de otro alumno, así expone cómo ha sido la evaluación: “En un principio hubo un cuestionario previo sobre nuestros conocimientos sobre el tema y sobre nuestras preferencias, lo que hizo que se me encuadrara en un grupo de trabajo en el que he podido realizar el proyecto final sobre el tema que más me interesaba desde mi perspectiva personal. Por otro lado, la formación continua ha sido muy buena y se ha podido debatir y complementar la formación a través de los foros temáticos de cada uno de los temas. Las actividades propuestas y realizadas han servido, para trabajar sobre los temas y profundizar en los mismos, además de afianzar conocimientos adquiridos o trabajarlos de una manera un poco más práctica, no tan teórica. Y mediante el proyecto final, hemos podido trabajar con esos conocimientos adquiridos, a la vez que se ha profundizado aun más en ellos y a través del cual hemos podido demostrarlos, al igual que con la entrevista final.”(Alumno, cuestionario)

-Respecto de las herramientas utilizadas:

• Foros: Los foros los valoran muy positivamente porque les hace pensar y trabajar los temas previamente.

• Chats: como ya hemos comentado casi todos los alumnos han propuesto incluir más herramientas sincrónicas, los tutores también lo valoran positivamente.

• Actividades: Así mismo, esta herramienta es muy bien valorada, dicen la mayoría de los alumnos que es una de las claves para el e-learning. Las actividades colaborativas son especialmente bien valoradas.

• Trabajo Final: Con respecto a este tema destacan sobre todo que se les deje más tiempo para realizarlo

• Entrevista final: En general los alumnos comentan que les gustaría que existieran más entrevistas, como una inicial, media y final (no todos los tutores han realizado las dos primeras).

A pesar de evaluar todas las herramientas como positivas, los alumnos proponen cambios a la hora de la ponderación de cada una de las tareas de que consta el curso para otorgar la puntuación final. Se ha acordado en diálogo con ellos cuál sería el valor de cada una de ellas (actividades individuales, en grupo, trabajo final, entrevistas, etc.), que se pondrá en vigor en la prevista segunda edición del curso.

Respecto del objetivo 3 (Desarrollar y mejorar los sistemas de e-learning y demostrar la versatilidad de nuestro modelo evaluador para su uso por instituciones educativas y empresas que realicen e-formación), los resultados avalan, por el grado de satisfacción de alumnos, de los expertos y de los propios profesores, que se ha avanzado en varias direcciones-clave para una enseñanza mucho más activa, menos memorizadora, más centrada en tareas de los alumnos y, lo que es de destacar, con un sistema de evaluación que no precisa la presencialidad si de modo continuado se van valorando las actividades, ejercicios, interacciones, entrevistas, trabajos, etc.

Confirmada la garantía y fiabilidad del trabajo del alumno a través de todo ello, no deberá existir reparo en extender la evaluación no presencial en cuantas materias o asignaturas se vehiculen a través del e-learning. O en cualquier otro tipo de formación inicial o continua en las empresas.

Por último, creemos haber cumplido el objetivo 4 (colaborar en la innovación y el cambio de los sistemas de enseñanza universitaria a distancia que, en términos generales, refuerzan modelos de enseñanza tradicionales).

Nuestro modelo se ha valorado unánimemente como innovador y alejado de los esquemas centrados en apuntes a memorizar y ha supuesto un cambio real en los procesos de enseñanza/aprendizaje, extensible a todos los que se disponga a trabajar en el espíritu de la convergencia europea. Sin olvidar la cuestión clave: el uso de una metodología, activa, centrada en actividades y en una evaluación producto de un seguimiento continuo. En definitiva, con una nueva pedagogía. Sin ella, el e-learning reforzará los esquemas clásicos de enseñanza y, una vez más, las tecnologías no lograrán innovar los procesos e enseñar y aprender.

CONCLUSIONES

En este estudio hemos presentado un modelo de evaluación online que no requiere de la presencialidad del alumnado, basándonos en una consideración constructiva del conocimiento donde el aprendizaje puede y debe valorarse y evaluarse a lo largo del propio proceso formativo, utilizando tareas evaluadas desde la perspectiva del aprendizaje individual y grupal. La evaluación de este estudio nos ha permitido establecer las siguientes conclusiones:

• Se ha demostrado la viabilidad, eficacia y garantía de un modelo de evaluación integrador, y pedagógicamente innovador para la enseñanza superior a distancia, que se valora como un aporte altamente beneficioso para cuantos docentes practiquen modelos de enseñanzas e-learning anclados en evaluaciones sumativas estándares, producto de procesos de enseñanzas tradicionales, y alejados de los solicitados por el EEES.

• El modelo facilitará la propuesta de actividades universitarias regladas para alumnos imposibilitados de acceder a pruebas finales (exámenes) presenciales, con lo que se abre un enorme mercado formativo a nuestras universidades, especialmente a países latinoamericanos.

• Los resultados de este proyecto hacen converger la pretendida innovación docente en la universidad al tiempo que desarrollar herramientas proporcionadas por la sociedad de la información.

Finalmente destacar que en general la implementación de esta modalidad de evaluación no presencial ha sido positiva, especialmente al trabajar centrados en una evaluación continua mediante las actividades, trabajos y entrevistas (vía telefónica o mediante webcam), aunque esperamos poder corroborarla en la segunda edición del curso.

De todos modos nos hemos hecho eco de las propuestas de ligeros cambios en el proceso de evaluación, que podemos resumir en la petición por parte de los alumnos de mayor flexibilidad de los profesores/tutores a la hora de realizar la entrega de las actividades, que se valoren más las actividades colaborativas y los foros, se realicen más entrevistas y se introduzcan más herramientas sincrónicas.  Todo esto lo hemos puesto en práctica en una asignatura de la titulación oficial de psicopedagogía virtual de la Universidad de Extremadura, a la espera de los análisis de datos que estamos realizando, pensamos que la experiencia ha sido muy positiva pero que tenemos que seguir haciendo de nuestro sistema de evaluación online cada día algo más válido y fiable.

Bibliografía/Referencias

• BLÁZQUEZ, Florentino. 2002. FOPEVAL: Informe de Investigación sobre la Formación de Profesores para la Enseñanza Virtual. Badajoz: Departamento de CC.EE. de la Universidad de Extremadura.

• CRONBACH, L. J., 1963, “Course improvement through evaluation”, en Teachers College Record, no. 64, pp. 672-683.

• DÍEZ FERNÁNDEZ, OLGA  (2006). Concepto, metodología y retos de la evaluación on line: Buenas prácticas para su fiabilidad. Comunicación presentada al III Congreso Online del Observatorio para la Cibersociedad. Recuperado el 1 de Junio de 2009, de http://www.cibersociedad.net/congres2006/gts/comunicacio.php?id=927

• LARREA, José Luis, 2006, El desafío de la innovación. Barcelona: EDIUOC

• LÓPEZ, A. (2004). El e-learning como herramienta estratégica en el Espacio Europeo de Educación Superior. Comunicación presentada a online Educa Madrid. Madrid 14-15 Mayo. Material policopiado.

• MEDINA, A. y SALVADOR, F. (Coord.), 2002, Didáctica General, Madrid: Pearson Educación.

• TENBRICK, T. D., 1984, Evaluación, guía práctica para profesores, Madrid: Narcea.

• TYLER, R. W. (Ed.), 1969, Educational evaluation: New roles, new means, Chicago: University of Chicago Press

• UNIVERSITIC 2009 (2009). CRUE (Conferencia de Rectores de las Universidades Españolas). [en línea]., Recuperado el 4 de Septiembre de 2009 en http://crue-tic.uji.es/index.php?option=com_remository&Itemid=28&func=fileinfo&id=229.

Licencia de documentación libre de GNU (GFDL 1.3 o cualquier otra posterior)