PSYKHE 2008, Vol.17, N° 2, 79-90

ARTICULO

Diseño, Construcción y Evaluación de una Pauta de Observación de Videos para Evaluar Calidad del Desempeño Docente

Design, Construction, and Assessment of a Guideline for the Observation of Videos to Evaluate Quality of Teacher's Performance

Neva Milicic, Ricardo Rosas, Judith Scharager, María Rosa García y Carolina Godoy
Pontificia Universidad Católica de Chile

Dirección para Correspondencia

RESUMEN

Este artículo presenta el diseño, construcción y valoración métrica de una pauta de observación de clases, cuyo objetivo es evaluar la calidad del desempeño docente. Para ello se observaron 92 videos de profesores de 4^o a 8^o básico, evaluados previamente en Chile por el Sistema Nacional de Evaluación del Desempeño Profesional Docente, Docentemós. El instrumento muestra adecuados niveles de confiabilidad y permite efectuar una evaluación complementaria a la efectuada por Docentemás, debido a que integra variables adicionales e innovadoras en la evaluación del desempeño docente. La pauta permite entregar a los maestros el conocimiento de dimensiones relevantes para el logro de aprendizajes de calidad, posibilitando que ellos mismos se autoevalúen y logren visualizar aspectos que pudieran desarrollar y/o mejorar en sus prácticas pedagógicas.

Palabras clave: pauta de observación, evaluación, desempeño docente.

ABSTRACT

This article presents the design, construction, and metric evaluation of a guideline for the observation of school classrooms. The goal was to evaluate the quality of the teacher's educational performance. Ninety-two teacher's videos from 4^th to 8^th grade, previously recorded by the National System of Evaluation of the Educational Professional Performance, Docentemas, were used in the study. The instrument shows appropriate levels of reliability and allows for a complementary assessment to the one done by Docentemás, integrating additional and innovative variables to the assessment of the teacher's performance. The guideline provides teachers with relevant information about the quality of the learning process, making it possible for them to visualize areas of their pedagogical practices that they could develop or improve.

Keywords: guideline of observation, evaluation, educational performance.

Para desempeñar un trabajo de la trascendencia social de la educación se requieren calificaciones, estándares de desempeño y procesos de evaluación que den cuenta del carácter profesional del trabajo docente (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura [UNESCO], 2005).

Para evaluar las prácticas docentes en el aula por lo general se aplican técnicas directas y técnicas indirectas. Entre las primeras se cuentan principalmente los cuestionarios a los profesores y entre las indirectas, la observación en salas de clase por evaluadores externos previamente capacitados, guiados por pautas más o menos estructuradas (Seguel, Correa & De Amesti, 1999).

La observación de clases es un método empírico de investigación que se utiliza con frecuencia en la evaluación del desempeño docente. En ella se analizan las características de la actuación del profesor y sus alumnos en el contexto real en el que tiene lugar el proceso educativo, evitando realizar inferencias acerca de lo que verdaderamente sucede en las salas de clases (Stronge, 1997). La evaluación puede realizarse de manera directa (observación in situ) o indirecta, mediante la observación de filmaciones de la práctica docente. En la Tabla 1 se resumen las dimensiones que evalúan algunas pautas de observación existentes y que sirvieron de fundamento para la construcción de la pauta de observación en sala de clases que se presenta en este artículo.

Tabla 1

Dimensiones que Evalúan algunas Pautas de Observación

Las pautas de observación evalúan dimensiones que reflejan los supuestos teóricos que tienen los investigadores acerca de qué es la efectividad docente y las variables influyentes en el logro de una educación de calidad. Las dimensiones que son comúnmente evaluadas se refieren a la explicitación de objetivos y el tratamiento de los contenidos, el uso del refuerzo, las metodologías de enseñanza y los recursos de apoyo utilizados, el clima del aula y el comportamiento de los alumnos. Algunas de estas pautas se centran fundamentalmente en la estructura de la enseñanza, dejando fuera la evaluación de aspectos referidos al vínculo afectivo que se establece entre el profesor y los alumnos, el uso de juegos y contenidos lúdicos en la enseñanza, la influencia de los patrones no verbales utilizados por el docente y los aportes de la inteligencia emocional, fundamentales al realizar una evaluación de la práctica docente.

Lo que actualmente predomina en la evaluación de docentes son sistemas multimodales que recogen información de diversas fuentes de información, las que en forma integrada permiten obtener una mirada completa del desempeño docente (Stronge, 1997). Ejemplo de lo anterior es el tipo de evaluación utilizado en Chile por el Sistema de Evaluación del Desempeño Profesional Docente, conocido como Docentemás, el que, basado en el Marco para la Buena Enseñanza (MBE) (Chile, Ministerio de Educación ZMINEDUC[ & Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas ZCPEIP[, 2003), evalúa el desempeño de profesores que trabajan en establecimientos municipalizados, midiendo aspectos de sus habilidades y conductas en el aula, el desarrollo de tareas y de actividades relacionadas con la profesionalización (UNESCO, 2006).

Docentemás evalúa mediante cuatro instancias complementarias:

- Una autoevaluación
- Una entrevista realizada por un par
- Un informe de terceros (realizado por el director del establecimiento educacional y el jefe de la Unidad Técnico Pedagógica)
- Un portafolio, que contempla:

o Una evaluación escrita redactada por el profesor o Una filmación de una hora de clases que evalúa 3 dimensiones:

■ el ambiente de la clase
■ la estructura de la clase
■ la interacción pedagógica.

La filmación ha demostrado ser uno de los elementos que aporta más información al proceso de evaluación, en la medida que da cuenta de lo que sucede en la sala de clases y en la interacción del profesor con los estudiantes. Desde esta perspectiva, se ha considerado necesario construir una pauta de observación complementaria, que permita indagar en aspectos que están insuficientemente representados en la escala de evaluación original.

Al igual que otros sistemas de evaluación del desempeño docente, Docentemás no focaliza la observación en los aspectos lúdicos y socioemocio-nales de la sala de clase, lo que no es convergente con los resultados de investigaciones que examinan el peso de estos aspectos en el aprendizaje de los alumnos (Shulman, 2001).

El vínculo establecido entre el profesor y los alumnos es relevante, pues es el docente quien logra validar y reforzar al alumno en su identidad, desde un punto de vista del desarrollo personal, y en su autoestima académica, la que es muy decisiva en el rendimiento alcanzado por este. Al validar las capacidades del alumno, el profesor le permite construir narrativas sobre su identidad, que serán determinantes para el desempeño alcanzado por el mismo y para la percepción de sí mismo en el futuro. Los profesores efectivos usan retroalimentación para reforzar el aprendizaje y ayudar a los alumnos a sentir que pueden realizar sus actividades en forma exitosa (Arancibia, 1992).

La comunicación no verbal es un aspecto de suma importancia pues es en ella donde la persona muestra aquello que "no quiere mostrar". Cuando el mensaje verbal es congruente con las pautas no verbales, hay una gran potenciación del mismo; sin embargo, cuando es incongruente, el mensaje se desdice y puede ser desorientador, paralizando a la persona a responder. Dos códigos no verbales que comúnmente se asocian a la comunicación no verbal son los aspectos kinésicos de la comunicación, como gestos, expresiones, movimientos o posturas, y elementos del paralenguaje, es decir, del aspecto vocal del habla. Ambos se destacan por ofrecer una gran cantidad de información en la comunicación y porque, junto a otros aspectos más difíciles de consignar en una observación, actúan creando significado (Simonetti, 2003).

Por otro lado, los sistemas de evaluación de calidad docente analizan las metodologías pedagógicas utilizadas en el desarrollo de la clase, en el supuesto que existen ciertas estrategias que contribuyen a la efectividad del profesor, entre las que se encuentran la atención diferencial de acuerdo a las necesidades de los niños, el estilo democrático y flexible (Arancibia, 1987) y el uso de ejemplos, que promueve la transferencia lógica, es decir, la capacidad de resolver un problema nuevo al recordar cómo se resolvía uno ya conocido, facilitando con esto el aprendizaje en los alumnos (Mayer, 2004).

Entre las estrategias que el docente puede utilizar en el desarrollo de la clase, destacan los contenidos lúdicos. Su utilización permite concretizar el aprendizaje, muchas veces abstracto, y llevarlo a la experiencia para que los alumnos puedan integrarlo en sus propias estructuras de conocimiento. Por otra parte, el uso de elementos lúdicos permite la creación de un ambiente propicio para el aprendizaje, siendo este un indicador esencial del logro de la efectividad escolar (Arancibia & Alvarez, 1994).

Se considera que el juego, tanto el simbólico como el de construcción, permite al niño desarrollar estructuras de conocimiento que le facultan para aprender luego contenidos diversos (Sarlé & Rosas, 2005). Es por ello que es de gran utilidad como estrategia instruccional en el desarrollo de la clase, ya que facilita el interés de los alumnos por esta, quienes se disponen a jugar y, por medio de ello, a aprender. Fundamentadas en esta evidencia, hay algunas pautas de observación de clases que incorporan una dimensión conformada por aspectos relativos al desarrollo de habilidades de comunicación interpersonal y habilidades para generar un clima que favorece la confianza personal (Bralic, Seguel & Del Real, 2004).

El objetivo de la presente investigación fue desarrollar una pauta de observación de videos de clases, que permita discriminar entre diferentes niveles de competencia de los profesores, integrando nuevas variables relevantes en la medición de la calidad de los aprendizajes, y evaluar las propiedades métricas de la pauta.

Método

El estudio se desarrolló en dos etapas sucesivas. La primera estuvo abocada a la construcción de la pauta de observación de videos de clases y la segunda, a la evaluación de algunas de sus propiedades métricas.

Muestra

De una población de 4.000 videos de clases, se seleccionó al azar una muestra de 92 videos, entre aquellos cuyos profesores evaluados en el año 2006 por Docentemós hubieran firmado un consentimiento informado de autorización para utilizar la evidencia para fines de investigación, y que cumplieran con los siguientes criterios de inclusión:

1. Cursos de cuarto a octavo básico.

2. Una distribución equitativa de videos correspondientes a tres niveles de rendimiento (bajo, medio y alto) alcanzado por el docente, de acuerdo a los resultados del portafolio de Docentemás.

3. En cada nivel de rendimiento, existencia de docentes de edades diversas.

4. Presencia de asignaturas diversas (lenguaje, ciencias naturales, ciencias sociales y matemáticas).

La muestra seleccionada correspondió a videos de clases de 28 profesores y 64 profesoras, de entre 30 y 60 años de edad, con una edad promedio de 45 años, tal como se aprecia en la Tabla 2.

Tabla 2
Distribución de la Muestra según Sexo y Edad del Profesor y Asignatura Impartida

Procedimiento

Para elaborar la pauta de observación se completaron los siguientes pasos, los que se describen más detalladamente a continuación:

- Revisión bibliográfica acerca de pautas de observación de clases

- Definición de las dimensiones a ser evaluadas.

- Construcción de una pauta preliminar Evaluación piloto de la pauta, aplicando rúbrica y puntuación ad hoc

- Examen de las propiedades métricas de la pauta

- Elaboración de la pauta definitiva

Una vez definidas las dimensiones a ser evaluadas en los docentes, se sometió la versión preliminar de la pauta de observación a una evaluación piloto, realizada por cuatro jueces, en una submuestra de 15 videos. Producto de los resultados de este procedimiento, se definieron los indicadores a operacio-nalizar y se elaboró una rúbrica con puntuaciones específicas para cada indicador, a partir del análisis de evaluación y comparación de apreciación entre los cuatro observadores.

Luego, para determinar las propiedades métricas de la pauta se evaluaron 92 videos de una hora de clase pedagógica (40 minutos aproximados) de distintos establecimientos educacionales municipaliza-dos del país, mediante dos observadores a la vez, de modo de triangular la información. La metodología de evaluación consistió en observar el video en su totalidad, completar la pauta de observación luego de terminada la filmación de la clase, comparar los resultados y lograr un acuerdo entre evaluadores. Finalmente, se ingresaron los puntajes obtenidos al registro de resultados.

Instrumento

La pauta de observación de clases es un instrumento de evaluación del desempeño docente, construido en una modalidad de pauta cerrada en base a una rúbrica que permite examinar cada indicador y asignarle una puntuación que puede fluctuar entre -2 y 2. Específicamente, una puntuación de -2 representa un desempeño muy deficiente del profesor en dicha categoría, -1 hace alusión a un desempeño deficiente, 0 representa un desempeño esperado, 1 muestra un desempeño competente y 2 representa un desempeño destacado.

Al finalizar la evaluación, el evaluador debe sumar el puntaje total obtenido por el docente en los 36 ítems de la pauta de observación, lo que puede dar como resultado un puntaje mínimo de -40 puntos y un puntaje máximo de +32 puntos.

La construcción de esta pauta se basa en un modelo sistémico, que permite evaluar cuatro dimensiones o escalas seleccionadas bajo el supuesto que existen ciertos comportamientos y estrategias de los profesores que suscitarán con mayor probabilidad un progreso en el rendimiento académico de los alumnos. Las cuatro escalas son las siguientes:

1. Escala General: evalúa aspectos generales de la enseñanza referidos a las características de la clase, observadas en la conducta de los alumnos y del profesor. Específicamente, evalúa el ritmo de la clase, la participación espontánea de los alumnos, el interés de estos por la clase, la relación profesor-alumnos a nivel general y la conexión emocional del educador con las necesidades del grupo. A su vez, considera la promoción de la participación que realiza el docente, actitudes de ansiedad, agresividad y verticalidad mostradas por este, el control del curso que logra, la claridad del lenguaje utilizado por él, la estimulación de los aprendizajes en los estudiantes, la preparación de la clase, los materiales y/o tecnologías utilizadas y el uso del tiempo instruccional.

2. Escala Interaccional: evalúa la relación vincular entre el profesor y algún alumno o grupo de alumnos. Específicamente, evalúa el reconocimiento explícito que realiza el docente a un alumno en particular o a un grupo de alumnos, el maltrato -o la sospecha del mismo- que inflige a un alumno en particular o a un grupo de alumnos, las preguntas formuladas por el educador y la respuesta que da a las preguntas de los alumnos, la percepción del vínculo entre el profesor y los alumnos, y las alusiones que efectúa a atributos personales de un alumno en particular, ya sea a sus defectos o debilidades o a sus competencias y virtudes.

3. Escala Lúdica: evalúa el uso de contenidos lú-dicos como estrategia docente en el desarrollo de la clase, tales como el uso de metáforas, del sentido del humor y de juegos por parte del profesor, la presencia de risa en el educador, el uso de estrategias creativas para mantener la atención y el uso y promoción de ejemplos.

4. Escala No Verbal: evalúa las competencias del profesor a través de las pautas no verbales de su conducta. Se refiere al desplazamiento del profesor en la sala, a quién se dirige, el uso de la gestualidad para permitir una mayor comprensión por parte de los alumnos, los gestos que son realizados hacia estos, el tono de voz y el ritmo de este y el contenido implícito de sus verbalizaciones.

En la Tabla 3 se muestran algunos ejemplos de ítems de las cuatro escalas de la pauta de observación, con sus respectivas puntuaciones.

Tabla 3
Ejemplos de Ítems de las Cuatro Escalas de la Pauta de Observación

Resultados

La Tabla 4, en la que se exponen los resultados descriptivos, muestra claramente que en todas las escalas los rangos de puntajes observados no cubren el rango total de puntajes posibles, específicamente en los puntajes bajos. Por otra parte, la escala general muestra un coeficiente de variación (razón entre desviación estándar y promedio) levemente mayor que las demás escalas.

Tabla 4
Resultados Descriptivos de las Escalas

Consistencia Interna

Para determinar la consistencia interna de las subescalas se calculó el coeficiente alfa de Cronbach. Como se observa en la Tabla 5, las escalas muestran niveles aceptables de consistencia, los que avalan el uso de la pauta.

Tabla 5
Consistencia Interna de las Escalas

Confiabilidad Interjueces

Se evaluó la confiabilidad interjueces de la pauta mediante cuatro observadores que evaluaron, de manera independiente, 9 videos completos seleccionados de manera intencionada (3 videos correspondientes a los puntajes más bajos, 3 con puntajes medios y 3 con los más altos puntajes).

De los cuatro jueces, dos eran expertos y dos novicios en la aplicación de las pautas. Se quiso evaluar la confiabilidad diferencial de las evaluaciones de las dos parejas de jueces (expertos y novatos), a fin de estimar el efecto de la novedad de la pauta sobre su confiabilidad.

Los datos mostrados en la Tabla 6 corresponden a la correlación de las evaluaciones de la pareja de expertos, la correlación de la pareja de novicios y la correlación entre el promedio de la evaluación de los novicios y el promedio de la evaluación de los expertos.

Tabla 6
Confiabilidad Interjueces

Correlaciones con Escalas Docentemás

Como puede apreciarse en la Tabla 7, las correlaciones observadas entre la pauta de observación y las escalas Docentemás son bajas, considerando que ambas pautas evalúan calidad de ejecución de una clase. Sorprendentemente, la más alta de las correlaciones la obtiene la escala lúdica, que evalúa aspectos no considerados por la escala Docentemás. Sin embargo, es preciso tener en cuenta que la pauta de observación desarrollada para este estudio tiene como propósito evaluar dimensiones no necesariamente equivalentes a lo evaluado por Docentemás, sino complementarias.

Tabla 7
Correlación de Puntuaciones de la Pauta de Observación con Escalas Docentemás

Confiabilidad de Tiempo Reducido de Observación

Se compararon las diferencias entre una evaluación realizada a partir de una observación de una clase completa y una realizada a partir de la observación de seis minutos de clases, específicamente dos minutos al comienzo (desde que el profesor comienza a hablar), dos minutos al medio de la clase (del minuto 20 al 22) y los dos minutos finales de esta. Para ello se comparó la evaluación de dos observadores novatos que vieron 6 minutos de 20 videos seleccionados de manera intencionada (6 videos correspondientes a los más bajos puntajes, 8 con puntajes medios y 6 con los más altos puntajes) con la evaluación de dos observadores expertos que vieron los 20 videos completos.

Como se observa en Tabla 8, las correlaciones obtenidas por las evaluaciones en 6 minutos con la escala total son bastante altas.

Tabla 8
Correlaciones de Pauta de Observación con Puntajes de Escalas en Base a Tiempos Reducidos

Aspectos Cualitativos de la Observación de Videos

A partir de la observación de los 92 videos de una hora pedagógica de clases realizada por diversos docentes nacionales, destacan ciertas características comunes presentes en ellos. A continuación se describen algunos de los elementos cualitativos más relevantes.

Primeramente, llama la atención el formato rígido en base al cual están estructuradas la mayoría de las clases. Al menos tres momentos claves caracterizan su proceso: un inicio, un desarrollo y un cierre, instancias que se manifiestan inflexibles e independientes de los contenidos o de las eventualidades que ocurren en el aula. Este formato o estructura de clase prima, en su mayoría, por sobre los ritmos y necesidades de aprendizaje de los alumnos. Es preciso señalar, sin embargo, que las instrucciones para la organización de la clase del proyecto Docentemós sugiere esta estructura, lo que podría explicar la poca variabilidad observada.

La distribución de los alumnos en grupos también es una característica común en los videos evaluados. Esta distribución, sin embargo, no se acompaña de actividades de carácter grupal. Es así como el modo en que se sientan los alumnos en la clase deja de ser funcional en tanto varios de los docentes permanecen preferentemente adelante de la sala y la clase se limita en su realización a un trabajo más bien individual. En otras palabras, los estudiantes son frecuentemente sentados juntos en grupos pequeños, pero ello no conlleva necesariamente un trabajo cooperativo.

Por otra parte, resalta la carencia de fomento del pensamiento crítico y reflexivo en los alumnos, lo que se observa en distintas dimensiones. Una de ellas se refiere a la escasa variedad de actividades utilizadas durante el desarrollo de la clase, siendo frecuente el uso de guías que proponen, en su mayoría, tareas que no desarrollan ni estimulan el pensamiento crítico de los alumnos, y que no invitan a reflexionar, en la medida en que promueven la completación de contenidos, muchas veces en forma textual, literalmente copiada, de los textos de apoyo.

Otra dimensión se refiere a la insuficiente creatividad en los mecanismos y actividades para enseñar las materias, lo que provoca una disminución del interés de los alumnos en el aprendizaje y no favorece en ellos el desarrollo de la creatividad.

En relación a las normas de disciplina, se observa una preferencia marcada por estrategias enfocadas a mantener el orden y el silencio por sobre la promoción de valores. Esto parece transmitir a los alumnos que aprender es una actividad poco atractiva, que dista de contar con la participación activa de ellos.

Todos los factores anteriores convergen en que los estudiantes no realizan preguntas en voz alta, no participan si es que el profesor no lo pide explícitamente y se mantienen en silencio, quizá en parte intimidados por la instancia de evaluación, realizando la actividad exclusivamente preparada por el profesor en forma automática, sin mayores cuestionamientos.

Por otra parte, se observa una insuficiente mediación de los docentes en el trabajo de los alumnos. El profesor organiza a los alumnos para que trabajen en grupos de manera independiente, y se lo observa interviniendo sólo cuando estos explícitamente lo solicitan. Llama la atención que cuando esta intervención no dice relación con las indicaciones de la actividad -lo que sucede la mayoría de las veces- sino que se refiere a los contenidos, el profesor responde sucintamente, indicando en gran parte de las ocasiones el lugar donde se halla la respuesta en el texto guía, sin desarrollar mayormente la idea o incentivar la realización de nuevas interrogantes.

Otro aspecto que llamó la atención en la observación cualitativa fue la relación vertical entre profesor y alumnos, en la que prima la autoridad del profesor por sobre una actitud democrática. La interacción puede percibirse cordial, pese a primar un ambiente poco distendido, caracterizado por la seriedad. Son muy pocos los profesores observados que ríen o utilizan el humor como parte del proceso de enseñanza-aprendizaje.

Finalmente, y a la hora de exponer los trabajos realizados, se observa poca intervención de los profesores en términos de la retroalimentaciónpositiva a los alumnos y a su trabajo. En general, el señalamiento positivo se limitaba a un escueto "bien" o "muy bien" que, más que un reconocimiento explícito del logro de los alumnos, indicaba dar el paso al siguiente grupo. En general, la retroalimentación positiva por parte de los profesores es un refuerzo carente de la fuerza necesaria para ser claramente fortalecedor del talento o el esfuerzo de los alumnos. Se percibe como entregado automáticamente y con falta de elaboración, sin hacer alusión a las características particulares de los alumnos, y sin destacar su participación. El refuerzo finalmente parece perder su poder en cuanto no funciona como un real reconocimiento, lo que, sumado a la falta de feedback que hacen los profesores, generaliza las intervenciones de los alumnos, sin destacar ninguna de ellas.

Otro elemento que parece no responder a su objetivo original se refiere al uso de autoevaluaciones de los alumnos de sus aprendizajes. Las pautas de autoevaluación que les son entregadas al finalizar la clase son en general completadas rápidamente, sin contar con el tiempo necesario para un desarrollo reflexivo, o bien, como sucede en la mayoría de las clases por no alcanzar el tiempo, las autoevaluaciones son realizadas en forma oral, lo que restringe la libertad de los alumnos a decir lo que realmente opinan, transformándose más en una instancia formal que en una evaluación real.

Finalmente, es relevante mencionar algunos aspectos que, pese a no ser generalizados, llamaron profundamente la atención de los observadores. Uno de ellos se refiere al hecho que algunos profesores se muestran poco conectados emocionalmente con sus alumnos durante la clase; por ejemplo, algunos profesores hablan sin un interlocutor aparente que los atienda. Muchas veces lo hacen durante el trabajo personal de los alumnos, interrumpiéndolos con frecuencia y, en general, realizan una clase que no atiende de manera adecuada el estado emocional de los alumnos.

Por otra parte, se pudo observar a algunos profesores que tienden a presionar en forma excesiva a los estudiantes, de manera de fomentar la rapidez de estos en la realización de las actividades, haciendo uso generalizado de la frase "ya, pues" o utilizando miradas que conminan su participación, inhibiendo muchas veces posibles respuestas más creativas por parte de los alumnos.

Discusión

La pauta de observación desarrollada en la presente investigación se basa en estudios recientes de la Psicología Educacional que dicen relación con las variables que han demostrado ser influyentes en la calidad de los aprendizajes, y ha sido construida especialmente para la observación de clases a través de videos.

La pauta se diseñó pensando en extraer el máximo de información complementaria a las observaciones y evaluaciones realizadas en el contexto del sistema de evaluación del desempeño profesional docente, Docentemás. Un proceso de la magnitud y relevancia de este sistema exige instrumentos validados externamente que retroalimenten su trabajo. Sin embargo, es preciso destacar que esta pauta fue diseñada para ser utilizada en el contexto de las filmaciones entregadas por los propios maestros para su evaluación y, por lo tanto, sería necesario estudiar las posibles limitaciones de la validez que este material tiene.

Parece claro que toda pauta de observación del quehacer de la sala de clases a partir de videos es doblemente parcial. Por una parte, se trata de una muestra sesgada, ya que los profesores son filmados en lo que ellos estiman que es su mejor desempeño. Por otra, toda pauta necesariamente se focaliza en los constructos teóricos que sus autores consideran relevantes por ser influyentes en una enseñanza de calidad de los aprendizajes. En el caso de la pauta Docentemás, se focaliza en el MBE (MINEDUC & CPEIP, 2003). En relación a la pauta aquí presentada, el foco estuvo centrado en aspectos generales, interaccionales, lúdicos y no verbales. Respecto de la relación existente entre los constructos teóricos que guían la evaluación y las pautas resultantes, es preciso destacar que la inclusión de estos aspectos tiene una incidencia indirecta -pero no por ello menos importante- en la enseñanza, en la medida que muestra a los profesores los aspectos que serán evaluados.

Uno de los aspectos centrales que se incorporaron en esta pauta fue el aspecto lúdico, que resultó prácticamente ausente en las observaciones, lo que de alguna manera describe una queja frecuente de los alumnos, en el sentido que el colegio es una instancia de aprendizaje aburrido y que no considera sus necesidades de jugar. Como señaláramos en los antecedentes, el juego no es solo un buen contexto para el aprendizaje sino un fuerte promotor del mismo. Resulta sorprendente el bajo uso de estas estrategias por parte de los profesores y la escasa consideración de ellas en el MBE.

Otro aspecto que se incluyó en la pauta fue la retroalimentación positiva a los niños por sus diferentes comportamientos, que ha demostrado ser un factor significativo para el aprendizaje y para la construcción de la propia narrativa, en términos que les permite a los niños percibir cuáles son sus principales fortalezas (Haeussler & Milicic, 2005). Este aspecto también estuvo prácticamente ausente en la observación, limitándose a un "muy bien", sin hacer señalamientos explícitos de los logros y menos aun una alusión al talento o al esfuerzo implicado en ese logro. Sin embargo, es preciso destacar que tampoco se observó retroalimentación negativa.

Un aspecto que debe ser abordado es la diferencia obtenida entre la pauta de observación de videos aquí propuesta y el puntaje asignado por Docente-más. La baja correlación entre ambas mediciones podría inducir a pensar que evalúan constructos diferentes. En efecto, la pauta Docentemós evalúa preferentemente componentes estructurales de la enseñanza, basados en el MBE, siendo estrictamente fiel a ella. En cambio, la pauta aquí propuesta evalúa una amplia gama de dimensiones, centrándose tanto en la forma como son impartidos los contenidos como en la estructura de la clase. En muchas ocasiones, se aprecia que el formato de clase observado sigue de manera rígida, sin una reflexión suficiente, los aspectos desiderativos del MBE. Por ejemplo, el esquema de inicio, desarrollo y cierre de la clase se observó muchas veces siendo aplicado forzosamente ante cualquier circunstancia, aun en aquellas en que no habría sido necesario hacerlo. Lo mismo apareció en relación al trabajo en grupos. A pesar que este formato de trabajo debiera ser la base para un trabajo cooperativo, se observó en una gran cantidad de videos que el trabajo en grupo no pasaba de ser una forma diferente de sentar a los niños, quienes seguían realizando un trabajo individual.

La pauta de observación permite tanto evaluar las prácticas docentes mediante la observación de clases, como entregar a los maestros el conocimiento de las dimensiones que son observadas, de modo de posibilitar que ellos mismos se autoevalúen y logren visualizar aspectos que pudieran desarrollar y/o mejorar en la práctica pedagógica. Destacan como ventajas de este instrumento el hecho que puede ser utilizado para evaluar clases pertenecientes a currículos tradicionales y alternativos y el hecho que permite ubicar a los profesores en un continuo de desempeño de la calidad docente, discriminando aquella actuación destacable de una deficiente. Además, es un instrumento de fácil aplicación, en cuanto las categorías están claramente operacionalizadas y se corresponden con una puntuación específica.

Referencias

Arancibia, V. (1987). Estado del arte: manejo instruccional del profesor en la sala de clases en América latina (Proyect BRIDGES). Manuscrito no publicado, Harvard University. Boston, Estados Unidos.        [ Links ]

Arancibia, V. (1992). Efectividad escolar: un análisis comparado. Revista Estudios Públicos, 47, 101-126.        [ Links ]

Arancibia, V. & Alvarez, M. I. (1994). Características de los profesores efectivos en Chile y su impacto en el rendimiento escolar y autoconcepto académico. Psykhe, 3(2), 131-143.        [ Links ]

Arancibia, V., Cox, C, Saragoni, C, Solis, C, Strasser, K., Bilbao, M. et al. (1998). Pauta de observación. Manuscrito no publicado, Santiago, Chile.        [ Links ]

Bralic, S., Seguel, X. & Del Real, F. (2004). Evaluación de un modelo de identificación y educación de escolares con talentos académicos, para su transferencia a organismos educacionales de Chile y Latinoamérica (Proyecto FONDEF N° D02I1039). Santiago, Chile: Pontificia Universidad Católica de Chile, PENTAUC.        [ Links ]

Chile, Ministerio de Educación & Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas (2003). Marco para la buena enseñanza. Santiago, Chile: Autores.        [ Links ]

Denegrí, M. (2005). Proyectos de aula interdisciplinarios y re-profesionalización de profesores: un modelo de capacitación. Estudios Pedagógicos, 31(1), 33-50.        [ Links ]

Docentemás (2005). Pauta de corrección Módulo 2. Manuscrito no publicado, Santiago, Chile.        [ Links ]

Haeussler, I. & Milicic, N. (2005). Confiar en uno mismo: programa de autoestima. Santiago, Chile: Santillana.        [ Links ]

Mayer, R. (2004). Psicología de la educación. Enseñar para un aprendizaje significativo. Madrid: Pearson Prentice Hall.        [ Links ]

McDonald, C, Morrison, F. J. & Katch, L. E. (2004). Beyond the reading wars: Exploring the effect of child-instruction interactions on growth in early reading. Scientific Studies of Reading, 8, 305-336.        [ Links ]

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (2005). Educación para todos: el imperativo de la calidad. Paris: Autor.        [ Links ]

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (2006). Evaluación del desempeño y carrera profesional docente: una panorámica de América y Europa. Santiago, Chile: Andros Impresores.        [ Links ]

Sarlé, P & Rosas, R. (2005). Juegos de construcción y construcción del conocimiento. Buenos Aires: Miño y Dávila.        [ Links ]

Seguel, X., Correa, M. & De Amesti, A. (1999). Pauta de observación de prácticas docentes. Estudio de sus características psicométricas. Psykhe, 8(2), 103-110.        [ Links ]

Shulman, L. S. (2001). Conocimiento y enseñanza. Estudios Públicos, 83, 163-196.        [ Links ]

Simonetti, F. (2003). Juegos de comunicación. Santiago, Chile: Ediciones Universidad Católica de Chile.        [ Links ]

Stronge, J. (1997). Evaluating teaching. A guide to current thinking and best practice. London: Corwin Press, Inc.        [ Links ]

Valdés, H. (2000, Mayo). De los métodos de evaluación del desempeño profesional docente. Ponencia presentada en el Encuentro Iberoamericano sobre Evaluación del Desempeño Docente, México D. F., México. Extraído el 3 Septiembre, 2006, de http://www.campus-oei.org/de/rifad01.htm        [ Links ]

Correspondencia a: La correspondencia relativa a este artículo debe ser dirigida a Neva Milicic, Escuela de Psicología, Facultad de Ciencias Sociales, Pontificia Universidad Católica de Chile, Vicuña Mackenna 4860, Macul, Santiago, Chile. E-mail: nmilicic@uc.cl

Fecha de recepción: Agosto de 2007.
Fecha de aceptación: Septiembre de 2008.

Neva Milicic, Escuela de Psicología, Pontificia Universidad Católica de Chile, Santiago, Chile.

Ricardo Rosas, Escuela de Psicología, Pontificia Universidad Católica de Chile, Santiago, Chile.

Judith Scharager, Escuela de Psicología, Pontificia Universidad Católica de Chile, Santiago, Chile.

María Rosa García, Escuela de Psicología, Pontificia Universidad Católica de Chile, Santiago, Chile.

Carolina Godoy, Escuela de Psicología, Pontificia Universidad Católica de Chile, Santiago, Chile.

Investigación financiada por el Proyecto Docentemás.