Evaluación de e-learning. Indicadores de calidad desde el enfoque sociocultural. Pilar Colás Bravo pcolas@us.es Catedrática de Universidad. Universidad de Sevilla Manuel Rodríguez López rodri@us.es Ayudante de Investigación. Universidad de Sevilla Rocío Jiménez Cortés rjimenez@us.es Becaria FPU del MEC. Universidad de Sevilla

Introducción

Esta aportación se deriva del un Proyecto I+D [1], destinado a explorar y experimentar modelos de Integración Curricular de las TIC (Tecnologías de la Información y la Comunicación) en la Educación Física.El modelo de investigación consta de tres fases. En una primera se plantea la formación del profesorado en TIC en base a e-learning. En una segunda fase el profesorado hace propuestas educativas que incluyen la integración de las TIC en el Currículo y actividades del aula. La tercera fase va destinada a la evaluación, tanto de la formación on-line del profesorado en TIC, como de la integración de las TIC en el currículo escolar en materias específicas. Es precisamente en esta última fase donde se inscriben los contenidos de este artículo. En esta aportación de trata de avanzar modelos e indicadores de calidad del impacto de las TIC en base a la perspectiva sociocultural. Este enfoque ampl iamente conocido, difundido, y asentado en la comunidad científica ofrece un sólido marco teórico en que asentar propuestas de evaluación e-learning, así como derivar indicadores de calidad de la formación con TIC.

En el texto se identifican claramente tres apartados. En el primero se ofrece una panorámica general de los principales enfoques y líneas de trabajo que orientan actualmente la evaluación e-learning. En el segundo apartado se presentan constructos del enfoque sociocultural relevantes para la evaluación de los aprendizajes con TIC. Y por último se concreta la traslación y la aplicación de estos constructos a la creación de instrumentos evaluativos.

2. Enfoques en la Evaluación e-learning

La evaluación e-learning se ha abordado desde diferentes flancos, desarrollándose enfoques de evaluación de e-learning en términos socioeconómicos, tecnológicos, educativos (pedagógicos), metodológicos y psicológicos. Cada una de estas perspectivas ha originado una gran variedad de indicadores de calidad, así como modelos de evaluación. En la figura 1 se presentan de forma sintética los principales enfoques de evaluación e-learning.

Figura 1. Síntesis de Enfoques y Modelos en la Evaluación e-learning

La Evaluación e-learning desde un Enfoque Socioeconómico

En años recientes una de las áreas de mayor interés ha sido encontrar modelos de evaluación para determinar los beneficios asociados con la utilización de e-learning en la formación en empresas y organizaciones. Doughty (1998) y Tavistock (1998) distinguen y puntualizan dos términos asociados estrechamente a este enfoque: "el análisis coste /beneficio" como un método para comparar costos y resultados y "coste-eficacia" como un método para valorar los resultados con relación a unos objetivos.

El enfoque de "beneficio/coste" es el que ocupa mayor interés por parte de los agentes económicos; gobiernos, empresas y agentes inversores. Se trata de medir o determinar los beneficios económicos conseguidos y derivados de los costes invertidos por las empresas en la formación e-Learning. De ahí que los indicadores de evaluación se circunscriban fundamentalmente a factores de índole económica, tales como la cuantificación de beneficios, inversiones y costes.

 Este planteamiento deriva posteriormente a modelos más globales e incluyentes como los basados en la Calidad Total y en la Gestión de Calidad. En ellos se incluye como beneficios, no solo la vertiente monetaria, sino también dimensiones organizativas, dinámicas y comunicativas. Los modelos de evaluación e-learning basados en la idea de "Calidad" entienden el beneficio como la contribución de e-learning al desarrollo organizacional y a la calidad. Desde esta perspectiva por tanto, la evaluación e-learning toma como referencia las dimensiones y criterios contemplados en la evaluación de la Calidad Total, trasladándose y adaptándose las correspondientes normas de calidad a la formación virtual.

Dentro de esta orientación cabe citar también el Modelo de evaluación e-learning benchmarking (European Commission DG Education and Culture 2002). Este modelo pretende aportar criterios e indicadores de calidad basados en las buenas prácticas. Su propósito es obtener unos estándares de excelencia que sirvan de referencia para poder comparar centros u organizaciones en cuanto a su calidad en estas prácticas.

La Evaluación e- Learning desde una perspectiva Tecnológica

La evaluación de e-learning desde una perspectiva tecnológica se centra en valorar la calidad de las plataformas tecnológicas a través de las cuales se implementa el e-learning. La evaluación de las mismas se orienta a la valoración del grado de adecuación de su oferta a las características del modelo de formación e-learning deseado, cara a su mejora.

Son las distribuidoras de plataformas, agencias independientes y universidades las que elaboran instrumentos de evaluación orientados a determinar la calidad de las mismas en función de una serie de criterios entre los que consta su accesibilidad y usuabilidad para el estudiante, el profesor, el administrador, así como la disponibilidad y potencialidad del hardware y software.

La Evaluación e- Learning desde una perspectiva Pedagógica

A la evaluación e-learning desde una perspectiva pedagógica se le han aplicado modelos provenientes de la formación presencial, reproduciendo en mayor o menor medida modelos, enfoques, métodos de investigación y técnicas de recogida de datos, aplicados en la educación formal. Los modelos de evaluación de programas educativos clásicos han sido recurrentes, por tanto, a la hora de plantear propuestas pedagógicas de evaluación de e-learning, de ahí que con frecuencia se recurra a modelos tales como los de Stufflebeam (CIPP) (1987), Kirkpatrick (1999), Vann Slyke y otros(1998), etc.

En estos momentos es pertinente plantearse nuevas cuestiones relacionadas con la "e-pedagogía", y revisar e idear modelos evaluativos alternativos de e-learning más acordes con el pensamiento pedagógico actual, y con las características y posibilidades educativas de e-learning.

En este sentido nuestra aportación consiste en presentar la teoría sociocultural como modelo conceptual base para inspirar nuevos modelos de evaluación e-learning. Ello exige la exposición de los constructos o aspectos de la teoría sociocultural relevantes y aplicables a la evaluación e-learning por un lado, y por otro, la presentación de indicadores de calidad aplicables a la evaluación de la formación desde el enfoque sociocultural.  

Las Teorías del Aprendizaje sirven de base, tanto para el diseño pedagógico de la formación "en línea" (on line), como para propuestas de evaluación de los aprendizajes y recursos tecnológicos. Las Teorías del Aprendizaje basadas en el Conductismo, el Constructivismo Cognitivo y el Constructivismo Social son las principales teorías psicológicas que en las últimas décadas han sustentado y fundamentado los procesos instructivos en la formación "en línea".

Las Teorías Cognitivas Constructivistas ponen mayor atención en la actividad de los estudiantes, haciendo propuestas facilitadoras y provechosas para la construcción del aprendizaje. Los contenidos se presentan con una menor estructuración y se pone especialénfasis en los procesos de indagación.

El Constructivismo Socialpone el acento en  el  contexto social del aprendizaje  en la interacción personal y en la relación del sujeto con las tecnologías como base para el desarrollo cognitivo. Estas teorías aportan constructos útiles y aplicables para la evaluación de e-learning. Su exposición, así como su proyección aplicada a la evaluación de e-learning constituye el núcleo básico de los siguientes apartados.

La Teoría Sociocultural, aplicada a la evaluación del e-learning, provee de un conjunto de conceptos teóricos que abren nuevas perspectivas en la evaluación del aprendizaje con TIC, generando a su vez indicadores de calidad de las acciones formativa en los contextos escolares.

De los diversos constructos planteados por la Teoría Sociocultural, algunos son especialmente relevantes en su aplicación al estudio de los efectos de las TIC en los aprendizajes escolares. De Pablos, Rebollo y Lebres, (1999) aportan una derivación de constructos socioculturales tales como internalización, dominio, privilegiciación, reintegración y apropiación al ámbito educativo, asociándose a distintos instrumentos culturales entre ellos las Tecnologías. En la figura 2, tomada de estos autores  se presenta estos constructos relacionados al plano interpsicológico (plano social) y al plano intrapsicológico (plano interno individual). Por tanto conceptos como "dominio", "privilegiación", "reintegración" y "apropiación" permiten explicar el proceso y niveles de aprendizaje con TIC y constituyen potentes herramientas conceptuales para dimensionar indicadores de evaluación del aprendizaje y también del e-learning.

Figura 2. De Pablos, Rebollo y Lebres, (1999: 243)

Concretamente, el e-learning implica una acción formativa mediada tecnológicamente. En este sentido, la Teoría Sociocultural plantea el constructo de "acción mediada" para ilustrar el procedimiento a través del cual, los seres humanos, interponen entre ellos y su actividad formativa determinados instrumentos culturales que actúan como mediadores de su acción. Así, la acción formativa que se desarrolla en entornos virtuales de aprendizaje está mediada por la propia tecnología, es decir, depende de la forma en que tecnológica y pedagógicamente está constituida. Y como tal, va a intervenir en el propio desarrollo y aprendizaje del individuo.

El e-learning como proceso de aprendizaje mediado tecnológicamente pretende que el individuo interiorice aprendizajes y pautas culturales a través del uso de las TIC. El sujeto debe usar y apropiarse de pautas tecnológicas para que el aprendizaje con TIC se produzca. En este sentido, el concepto de "internalización" es clave, porque nos ofrece la posibilidad de explicar cómo aprende el individuo cuando intervienen instrumentos mediadores. Así, la "internalización" que implica la incorporación al plano individual (intrapsicológico) de lo que previamente ha pertenecido al ámbito de la interacción social (interpsicológico) se convierte en el principal elemento sobre el que sustentar el aprendizaje con TIC. La "internalización", desde el punto de vista del e-learning, nos ofrece un marc o teórico para una explicación de los aprendizajes tecnológicos. Así como del proceso por el cual se genera una conciencia tecnológica en el individuo.

Wertsch (1997) aporta los términos de "dominio" y "apropiación" como concreciones del concepto de "internalización", y en nuestro caso, aprendizaje tecnológico.

La internalización de pautas culturales de tipo tecnológico requiere del individuo un "dominio" de las tecnologías. Este "dominio" que hace referencia al grado de uso de las herramientas tecnológicas en distintos contextos (familiar, escolar, laboral, etc.) se ha convertido en un mecanismo de gran relevancia en el proceso de adaptación social del individuo. El dominio surge en su nivel más básico en los distintos contextos de la cultura, donde herramientas culturales de tipo tecnológico son puestas a disposición de los sujetos que, a través de uso, van adquiriendo determinados grados de dominio. Así, las TIC requieren el desarrollo de destrezas que deben ser aprendidas, practicadas y dominadas en los procesos educativos. El dominio de herramientas tecnológicas supone el nivel más básico de evaluación del e-learning.

De forma complementaria, el concepto de "apropiación", tal y como lo emplea Wertsch, deriva de los escritos de Bajtín (1981) y, se entiende como, el proceso de tomar algo y hacerlo propio. La "apropiación" plantea cómo, herramientas culturales tecnológicas (como por ejemplo los lenguajes multimedia), son asumidas por los sujetos, estructurando sus maneras de interpretar la realidad y constituyendo la base de su aprendizaje. Así, el proceso de apropiación implica una traslación del control del uso de herramientas culturales desde los contextos hacia los individuos. El resultado de la apropiación de herramientas tecnológicas, fruto de la participación en un proceso de e-learning, supone la generación de una conciencia tecnológica en el individuo.

En resumen, para De Pablos, Rebollo y Lebres (1999), el proceso de "internalización" se puede definir como un continuo entre: 1) el dominio que los sujetos deben ejercer sobre los instrumentos mediadores, como consecuencia de su adaptación a los contextos que proponen dichas herramientas y 2) la apropiación que se refiere al proceso por el cual un individuo toma algo que pertenece a otros y lo hace propio.

Complementariamente, en el proceso de "apropiación" de herramientas culturales, se plantean dos nuevos constructos: "privilegiación" y "reintegración"que hacen referencia a las formas de acción de los individuos en el proceso de internalización (De Pablos, Rebollo y Lebres 1999: 242).

En la Teoría Sociocultural, la noción de privilegiación" se relaciona según Wertsch (1993), con la posibilidad de decidir y usar las herramientas culturales más apropiadas en determinado contexto. En este sentido, los sujetos toman decisiones acerca de qué herramientas utilizar, en qué contexto y momento. Los contextos, ponen a disposición del sujeto una serie de herramientas culturales que, resultan ser, más apropiadas que otras, para el desarrollo de una actividad determinada. Para Wertsch (2002), a pesar de que, los sujetos, disponen de una gama de herramientas mediadoras para responder a una tarea dada, sin embargo, actúan como si sólo una de las herramientas fuera la adecuada. Esta idea, apunta a la existencia de una serie de factores (como los ideológicos, los contextuales, los hábitos, etc.) que impulsan a los sujetos a privilegiar el uso de una herramienta sobre las demás. En definitiva, en palabras de Wertsch (1993: 43): "la privilegiación se refiere al hecho de que un instrumento mediador se concibe más apropiado o eficaz que otros en un determinado escenario sociocultural". Así el concepto de privilegiación está relacionado con la elección y el uso de los instrumentos mediadores adecuados a determinados contextos.>

Para una mayor comprensión de estos constructos veámoslos aplicados a un caso [2] concreto, el de una profesora de Enseñanza Secundaria que ha participado en el curso "en linea"  "La Integración de las TIC en el Desarrollo Currículum de la Educación Física", realizado  a través de la plataforma tecnológica Virtual Profe4. En esta plataforma el lenguaje multimedia y tecnológico (herramienta cultural) es privilegiado frente a otros tipos de lenguajes. En este caso diremos que se ha producido reintegración si el sujeto domina el lenguaje multimedia ( y las TIC) y es capaz de aplicarlo en su contexto de trabajo. En este caso, si  la profesora  es capaz de diseñar unidades didácticas de su materia incorporando e ideando actividades pedagógicas con TIC y e-content (EDUSPORT http://recursos.cnice.mec.es/edfisica/). Esta descontextualizaci&oa cute;n que efectúa el sujeto de la herramienta (TIC) supone el grado más próximo a la apropiación de la misma. Cuando el sujeto, ha aprendido a dominar el lenguaje multimedia, lo ha privilegiado frente al uso de otros lenguajes posibles, lo ha reintegrado, es decir ha sido capaz de aplicarlo a otros contextos y actividades diferentes, podemos decir que el sujeto se ha apropiado del lenguaje multimedia (TIC), lo ha internalizado y por tanto lo ha aprendido, pasando a constituir su propia conciencia e identidad tecnológica.

Un caso paradigmático y representativo de un alto nivel de dominio, apropiación y reintegración de las TIC, consecuencia de la formación e-learning lo tenemos en una profesora, que a partir de este curso, se plantea la necesidad de elaborar WEBQUEST para el desarrollo de su materia (temática no incluida en el curso de formación) y sin ninguna orientación, ni requerimiento alguno, posteriormente a la realización del curso,  incorpora y aplica en su enseñanza WEBQUEST diseñadas y elaboradas por ella misma. Frente a este caso de máximo nivel de internalización, es decir, ha hecho un uso creativo descontextualizado de las TIC, generando formas nuevas de los instrumentos aplicables a los contextos del aula, se observan niveles diferenciados entre los profesores en los grados de dominio, apropiación y reintegración de las TIC en el Currículum de la Educación Física.

La derivación de indicadores empíricos de los constructos socioculturales planteados se especifican en el apartado que sigue.

4. Indicadores para la Evaluación de los Aprendizajes con TIC desde >la Teoría Sociocultural

Dominio se orienta a revelar si el alumnado posee la capacidad de manipular instrumentalmente el ordenador y sus posibilidades para realizar las operaciones que se les solicita. Cuando afirmamos que un alumno domina la herramienta, estaremos aludiendo a su capacidad para de resolver las mismas tareas de siempre, pero esta vez usando el ordenador.

El indicador privilegiación supone un paso más en este dominio instrumental. Nos permite revelar si, además de conocer su funcionamiento mecánico (manipulación instrumental), el alumnado tiende a resolver las mismas tareas que se le vienen proponiendo en la cultura escolar mediante la nueva herramienta aprendida (ordenador). Un alumno privilegiará el uso del ordenador si cuando se le propone la resolución de una tarea cotidiana en el aula, éste prefiere resolverla a través de la nueva herramienta (TIC), en vez de hacerlo como tradicionalmente venía haciéndolo.

Cuando un alumno se encuentra en el nivel de reintegración de una herramienta tecnológica, su actividad de aprendizaje se verá modificada en el sentido de darle un uso creativo a estas herramientas en contextos diferentes, dotándola de nuevas funciones y transformando así su propia forma de pensar y de actuar. La  en la utilización de las TIC en nuevas acciones y contextos de uso, a las que inicialmente se las privilegió. Por tanto el alumno reintegra una herramienta, en este caso las TIC, cuando es competente para aplicarla en un contexto distinto al que la había privilegiado.

El concepto de Apropiación es clave en la teoría sociocultural. Hace referencia al proceso por el cual el control de un instrumento cultural pasa desde un plano interpsicológico al plano intrapsicológico. El lenguaje, como instrumento cultural, es el ejemplo más representativo de este proceso. Cuando decimos que un niño se ha apropiado de la oralidad, estamos afirmando que ha tomado el lenguaje del contexto que lo rodea y lo ha hecho propio, transformándose así su propio modo de pensar. En el caso del lenguaje que nos ocupa (el lenguaje tecnológico), un alumno se habrá apropiado del uso de las TIC cuando este nuevo instrumento cultural es constitutivo de su propia identidad, lo que se traduce en que ahora pensará a través de la nueva herramienta.

En su operativización, el indicador "apropiación" hace referencia directa a si el alumnado necesita de las TIC para seguir con su actividad cotidiana en contextos de actividad diferentes al que asoció su dominio. De este modo, el niño necesitará del ordenador en su quehacer cotidiano aunque no se le exija, o incluso aunque no se le haya enseñado cómo hacerlo.

Además de los constructos anteriormente referidos, la teoría sociocultural propone otros conceptos que resultan claves para comprender y valorar los procesos del aprendizaje en contextos institucionales. Nos referimos al Control de la Actividad, Responsabilidad en la Tarea, formas de Interactividad y Representación de la Meta.

Estos conceptos resultan muy pertinentes para nutrir indicadores de los aprendizajes con TIC.

El Control de la Actividad se refiere a capacidad del alumno de tomar las riendas de su propio aprendizaje, determinado y organizando estrategias y recursos a lo largo del proceso de aprendizaje. El grado de control de la actividad determina el nivel o grado de aprendizaje. El control de la actividad es un objeto educativo por sí mismo, lo que se traduce en el logro de la autonomía en el aprendizaje. En última instancia, el traspaso gradual del control de la actividad del profesor al alumno es el fundamento de "aprender a aprender". A esto hacemos referencia cuando hablamos de Responsabilidad en la Tarea, que traducido a nuestro estudio significará que, gracias a los ordenadores, el alumno será capaz de resolver por sí mismo las tareas que se le requieren, sin necesidad de la intervención del profesor.

Tabla 1: Indicadores e Índices en la evaluación de los aprendizajes con TIC en contextos escolares.

En esta misma línea del autoaprendizaje y del control de la formación, desde la teoría sociocultural se plantea que el dominio de las herramientas informáticas puede favorecer la Representación de la Meta que los alumnos elaboran en la resolución de problemas en el contexto académico de la educación formal. En nuestro estudio, entendemos que los artefactos tecnológicos favorecen la representación de la meta cuando esta se hace presente de forma más nítida y temprana a los alumnos.

Por otro lado, desde la perspectiva sociocultural cada contexto o escenario cultural privilegia formas propias de interactividad. Las TIC potencian numerosas y variadas fórmulas de interactividad, muy superiores a las posibilitadas desde los contextos escolares tradicionales. Ello permite disponer de una gran variedad de contextos discursivos que amplían los lenguajes y las formulas de aprendizaje.

La traslación de estos constructos a la creación de indicadores e índices para la evaluación de los aprendizajes con TIC en contextos escolares puede verse en la tabla 1.

Conclusiones

El rápido y expansivo crecimiento de e-learning obliga a investigar sobre el impacto formativo de esta  nueva alternativa educativa. La revisión de enfoques de evaluación aquí presentados se antoja insuficiente para detectar niveles de internalización y de impacto o proyección social de las TIC. De ahí que se cree la necesidad de indagar en nuevas aproximaciones evaluativas que revelen dimensiones formativas de mayor profundidad y calado que las registradas en enfoques anteriores. En este sentido la teoría Sociocultural se revela como potente herramienta para formalizar nuevos modelos de evaluación de e-learning.

En este artículo, los constructos socioculturales internalización, dominio, privilegiciación, reintegración y apropiación se presentan como anclajes teóricos en los que  fundamentar nuevos y alternativos modelos de evaluación aplicables a la formación e-learning y/o a la integración de las TIC en el contexto escolar o profesional.

Otro aspecto clave a resaltar es la necesidad de idear y concretar técnicas de evaluación de e-learning basadas en la teoría Sociocultural. En este sentido, este artículo aporta y ejemplifica una posible proyección aplicada de esta teoría en el diseño de un instrumento de evaluación.

En síntesis, los  constructos socioculturales aquí presentados, así como sus correspondientes derivaciones evaluativas, tienen por objeto avanzar propuestas instrumentales para la evaluación de los aprendizajes derivados de e-learning.

Las posibilidades de la teoría sociocultural para formalizar dimensiones e indicadores de la calidad de los procesos educativos con TIC, supera con creces la aplicación y concreción  instrumental aquí planteada. No obstante, esta aportación puede servir como un primer paso para futuros  desarrollos de la teoría sociocultural en su aplicación  a la evaluación  de la integración de las TIC en el Currículum Escolar.

Referencias Bibliográficas