HACIA LA EVALUACIÓN ACADÉMICA: ESTUDIO PILOTO DEL TEACHING GOALS INVENTORY EN LA UASLP

 

Autor principal: Omar Sánchez-Armáss Cappello¹
Coautores: Silvia Romero Contreras¹, Karina Salud Montoya Pérez¹, Rigel Rut Sánchez Armass Juárez¹
Adscripción Institucional: ¹Facultad de Psicología. Universidad Autónoma De San Luis Potosí
Instituto de Investigación y Posgrado.
Facultad de Psicología, U. A. S. L. P.
omarsac.uaslp@gmail.com

 

Resumen: El Teaching Goals Inventory (TGI; Angelo & Cross, 1993) evalúa objetivos de enseñanza, facilita la concientización de los profesores respecto a los objetivos de sus prácticas docentes, ayuda a especificar técnicas de evaluación, y provee un punto de partida para discutir los objetivos de enseñanza-aprendizaje entre los encargados de la misma asignatura. Se analizaron las propiedades psicométricas de la adaptación del TGI en una muestra de 103 profesores UASLP. El instrumento tiene propiedades psicométricas sólidas y comparables al instrumento original que le permiten proveer información útil y relevante tanto a los docentes como a las universidades.

Abstract:   The Teaching Goals Inventory (TGI: Angelo & Cross, 1993) evaluates teaching goals, facilitates professors’ awareness of teaching activity goals, assists in the specification of evaluation techniques, and promotes a starting point for discussions on teaching goals among colleagues. The adapted TGI’s psychometric properties were evaluated with a sample of 103 UASLP professors. The instrument has solid psychometric properties that are comparable to the original scale. These properties allow the instrument to offer useful and relevant information to professors and universities.

La evaluación de la educación superior está basada fundamentalmente en dos inquietudes, una externa y una interna. Por un lado, la evaluación surge de la responsabilidad de demostrarle resultados tanto a la Federación como a la sociedad por los fondos que apoyan la educación superior. La otra, refleja la responsabilidad interna de las instituciones de promover el aprendizaje del alumno e incrementar continuamente la efectividad institucional (Bonekamp, 1992). Al operacionalizar la evaluación para estos propósitos, el profesorado puede utilizar este proceso para transformar su enseñanza y el aprendizaje de los alumnos y, simultáneamente, alcanzar los resultados esperados por las disposiciones de control de calidad dirigidas a las instituciones de educación superior (Kisner, 1998).

A partir de los 80’s uno de los componentes principales en la evaluación académica ha sido la revisión sistemática de qué y cuánto aprenden los alumnos en una materia particular (Trice & Dey, 1997). La evaluación que pretenda alcanzar conclusiones que permitan mejorar el aprendizaje e incrementar la efectividad en el proceso de enseñanza, necesita basarse en objetivos de enseñanza específicos, es decir, de las metas que plantea el profesorado sobre lo que quiere que sus alumnos aprendan. Si no se tienen claros los objetivos, no es posible evaluar fácilmente la eficacia de los métodos y técnicas empleadas o saber cuándo se ha realizado un trabajo adecuado (Angelo & Cross, 1993). De hecho, los objetivos de enseñanza determinan qué es lo que se necesita evaluar y, a partir de esto, qué métodos de observación se necesitarán para colectar la retroalimentación que manifestará el desempeño de los alumnos con respecto a los objetivos planteados. El profesorado entonces interpreta los resultados de esta retroalimentación, y en caso de ser necesario, formula modificaciones a qué y cómo enseña, y qué y cómo podrían aprenderlo los alumnos (Brown, 2003).

A pesar de que la necesidad de clarificar los objetivos de enseñanza es suficientemente obvia, la realización de esta actividad no es del todo sencilla. En la educación superior frecuentemente los objetivos están implícitos en el contenido de la materia, por lo que comúnmente se le dificulta al profesorado articular los objetivos de enseñanza específicos para materias particulares, y aún más difícil les resulta relacionar los objetivos con las estrategias de enseñanza utilizadas en clase. El Teaching Goals Inventory (TGI; Angelo & Cross, 1993) es un instrumento diseñado para apoyar al profesorado en el proceso de clarificación de objetivos (Meehan, et al., 2002), ya que facilita la concientización de los profesores respecto a los objetivos de sus prácticas docentes mediante la ubicación de técnicas de evaluación adecuadas y la discusión entre colegas de temas relacionados con la enseñanza y el aprendizaje.

Tradicionalmente una de las responsabilidades primordiales del profesorado ha sido la facilitación del aprendizaje y el desarrollo del alumno, siguiendo ciertas expectativas sociales e institucionales. Uno de los factores fundamentales en el proceso de enseñanza-aprendizaje es el establecimiento de los objetivos que deben alcanzar los alumnos. Estos objetivos proveen la base de la estructura curricular y la selección de los métodos pedagógicos utilizados para promoverlos.

A pesar de que el primer paso en la evaluación académica es la clarificación de los objetivos de enseñanza,  no existe en México un instrumento que nos permita: (a) determinar fiablemente qué objetivos de enseñanza son más valorados por el profesorado de las distintas disciplinas académicas, (b) entender los resultados con base en una referencia contextual válida, es decir, las respuestas típicas de la población, y (c) comparar directamente los resultados de las investigaciones conducidas en México con aquellas realizadas en otros países. Por lo tanto, el proporcionarle a la comunidad científica un instrumento válido y fiable que fomente la evaluación sistemática y rigurosa del proceso educativo, es necesariamente un primer paso en el continuo mejoramiento de la educación superior tanto en la Universidad Autónoma de San Luis Potosí, como en otras instituciones en el país. Es así que, el propósito de este estudio fue analizar las propiedades psicométricas de la adaptación del TGI en una muestra de profesores UASLP.

Sujetos. Participaron 103 profesores de la Universidad Autónoma de San Luis Potosí, 66 hombres y 37 mujeres entre 28 y 68 años de edad, con una media de 45.5 años y una desviación estándar de 9.57. El nivel máximo de estudios concluidos fue de licenciatura para 19 profesores, 3 reportaron una especialidad, 49 maestría, y 32 doctorado. Treinta y ocho profesores reportaron trabajar bajo la modalidad hora/clase, mientras que 65 eran profesores de tiempo completo. En cuanto a la experiencia docente de la muestra varió entre uno y 42 años (M=15.8, DE=9.93 ).

Instrumentos y Materiales. El Teaching Goals Inventory (TGI) es un instrumento auto-administrado que evalúa objetivos de enseñanza cumpliendo tres propósitos: (a) ayudar a profesores a tomar conciencia de los objetivos que desean lograr en materias específicas; (b) ayudar al profesor a especificar técnicas de evaluación que les permitan medir qué tan bien están alcanzando los objetivos propuestos de enseñanza y aprendizaje; y (c) proveer un punto de partida para discutir los objetivos de enseñanza y aprendizaje entre aquellos que a su cargo tengan la misma asignatura. El TGI consiste de 52 reactivos que describen objetivos de enseñanza/aprendizaje específicos, en donde los participantes deben indicar la importancia de cada objetivo para una materia específica utilizando una escala tipo Likert de cuatro puntos que va desde no importante hasta esencial. Además existe la opción de que el objetivo no sea aplicable. El último reactivo le pide a los docentes que seleccionen la función que consideren más importante de un profesor; se presentan seis opciones, correspondientes a las seis subescalas del instrumento, que son: s1. Habilidades superiores de pensamiento; s2. Habilidades básicas de aprendizaje; s3. Habilidades y conocimientos disciplinares; s4. Valores humanos y académicos; s5. Preparación laboral y profesional; y s6. Desarrollo personal.

Dos profesores universitarios bilingües realizaron una doble traducción para salvaguardar la fidelidad del instrumento. Un par de jueces expertos en educación revisaron la traducción final y la redacción de reactivos.

Mediante el correo electrónico institucional se contactó a 2,253 docentes de la UASLP, y se les invitó a contestar el TGI en formato electrónico con el correspondiente consentimiento informado en el que se les aseguró que sus respuestas serían completamente anónimas.  El total de profesores que respondió el inventario fue, como ya se ha mencionado, de 103.

Análisis de Datos. t de Student con o sin la corrección de Welch, o la U de MannWhitney. El nivel significancia se mantuvo constante a lo largo de comparaciones múltiples utilizando la corrección de Bonferroni. Se utilizó el alfa de Cronbach para evaluar consistencia interna (DeVellis, 2003).

Resultados

Estadística Descriptiva

En la Tabla 1 se presenta el resumen de cinco números de Tukey, junto con la puntuación media y desviación estándar de las seis subescalas del TGI.

 

 

W=.95, p=.001). Las puntuaciones siguieron una distribución mesocúrtica (.10) con un ligero sesgo negativo (-0.58). Las subescalas II y V (s2 y s5) fueron las únicas que presentaron distribuciones que no difirieron significativamente de una puntuación normal (s2: W=.98, p=.12; s5: W=.98, p=.08). La distribuciones del resto de las subescalas fueron mesocúrticas (s3:-0.69, s4:-0.84, y s6:-0.84) y simétricas (s3:-0.28, s4:-0.20, y s6:0.44) a pesar de no ser normales (s3: WW=.98, p=.04; s4: W=.98, p=.04; s6: W=.95, p<.001).

El último reactivo del TGI solicita al profesor que seleccione la función que considere más importante. En la Tabla 2 se muestra el porcentaje de profesores que seleccionó cada una de las opciones en la muestra de la UASLP y USA.

 

Tabla 2. Percepción de la Función Principal de un Profesor Universitario
Funciones de un Profesor	UASLP % (n=103)	USA % (n=951)
Enseñar a los alumnos hechos y fundamentos de la materia.	5.8	29.0
Ser para los alumnos un ejemplo de profesional a seguir.	1.9	6.4
Ayudar a los alumnos a desarrollar habilidades superiores de pensamiento.	32.0	31.8
Preparar profesionalmente a los alumnos.	31.1	11.2
Fomentar en los alumnos su desarrollo y crecimiento personal.	21.4	18.3
Fomentar en los alumnos el desarrollo de habilidades básicas de aprendizaje.	7.8	3.4

 

Propiedades Psicométricas

El análisis de reactivos reveló problemas con el reactivo ocho (de s1) y con el reactivo 17 (de s2). Dado que ambos reactivos presentaron correlaciones inter-reactivo negativas, así como correlación reactivo-total bajas y disminuían la consistencia interna de sus respectivas subescalas, se decidió descartarlos. Las correlaciones reactivo-total para el resto de los reactivos fueron mayores a .30. La consistencia interna de las subescalas, una vez eliminados los dos reactivos se presenta en la Tabla 3..

Tabla 3. Consistencia interna de las subescalas del TGI de la muestra de referencia y la muestra de la UASLP
		USA	UASLP
Subescalas		Alfa	Alfa	95%IC
I.	Habilidades Superiores de Pensamiento	0.77	0.78	0.72-0.83
II.	Habilidades Básicas de Aprendizaje	0.79	0.89
III.	Habilidades y Conocimientos Disciplinares	0.71	0.83	0.79-0.87
IV.	Valores Humanos y Académicos	0.84	0.90	0.88-0.92
V.	Preparación Laboral y Profesional	0.85	0.88	0.85-0.91
VI.	Desarrollo Personal	0.86	0.94	0.93-0.96

 

Variables Demográficas de la Muestra y su Relación con las subescalas del TGI

TGI y Género. No se encontraron diferencias significativas entre las respuestas de hombres y mujeres a las subescalas del TGI (s1((U=1304, p=.57); s2(t(65.95)=1.87, p=.06); s3(t(60.36)=-.48, p=.62); s4(U=1211, p=.95); s5(t(62.89)=.07, p=.94); s6(U=1339, p=.42)).

TGI y Grado Académico. Se encontraron diferencias en las respuestas de los profesores según su grado académico. Específicamente, los profesores con maestría (M=28.45) le otorgan mayor importancia a los objetivos de enseñanza relacionados con la adquisición de habilidades básicas de aprendizaje (F(3,99)=2.83, p=.04) que los profesores con doctorado (M=24.31). De igual forma los profesores con maestría (M=28.47) le otorgan mayor importancia a los objetivos de enseñanza relacionados con la preparación laboral y profesional (F(3,99)=4.11, p<.001) que los profesores con doctorado (M=23.09). En las demás subescalas no se encontraron diferencias significativas (s1(F(3,99)=.57, p=.64); s3(F(3,99)=2.34, p=.07); s4(F(3,99)=.55, p=.65); s6(F(3,99)=1.51, p=.22)).

No se encontraron relaciones significativas entre las respuestas a las subescalas del TGI y los años de experiencia de los profesores (s1(r_s=.19, p=.06); s2(r_s=.16, p=.11); s3(r_s=.07, p=.48); s4(r_s=.18, p=.07); s5(r_s=.12, p=.22); s6(r_s=.17, p<.09)).

TGI y Contrato Laboral. En promedio, los profesores hora/clase (M=28.68) le otorgan mayor peso a los objetivos relacionados con la adquisición de habilidades básicas de aprendizaje en comparación a los profesores de tiempo completo (M=25.31; t(77)=2.54, p=.01). Igualmente, se encontraron diferencias significativas en los objetivos relacionados con la preparación laboral y profesional (t(97)=3.34, p=.001) y el desarrollo personal (U=1546, p=.03) entre profesores hora/clase (M_s5=29.03; M_s6=33.92) y tiempo completo  (M_s5=24.62; M_s6=29.88). En cambio, no se encontraron diferencias significativas en las subescalas restantes (s1(U=1315, p=.58); s3(t(79)=1.08, p=.28); s4(U=1428, p=.18)).

TGI y Disciplina Académica. Se agrupó a los profesores según su afiliación a una DES de la UASLP en las áreas del CONACYT. La tabla 4 muestra la distribución de los profesores por área de conocimiento.

 

 

No se encontraron diferencias significativas entre disciplina académica y las subescalas del TGI (s1(F(5,97)=.27, p=.93); s2(F(5,97)=1.51, p=.19); s3(F(5,97)=1.22, p=.30); s4(F(5,97)=.97, p=.44); s5(F(5,97)=1.25, p=.29); s6(F(5,97)=2.11, p=.07)).

Discusión 

La generalización de estos resultados está seriamente limitada, dado que solo el 4.57% de los docentes en la UASLP respondieron el instrumento. Muy probablemente se hubiera podido aumentar la participación de los profesores administrando el instrumento en papel y lápiz, y no solo de forma electrónica.

Los resultados indican que el TGI tiene propiedades psicométricas comparables a la escala original. La consistencia interna para cada una de las subescalas fue mayor a .70, con lo cual se considera que son lo suficientemente consistentes para proveer información útil (Nunnaly & Bernstein, 1994). Una vez eliminados los reactivos 8 y 17, las correlaciones reactivo-total indican que los reactivos contribuyen significativamente a la puntuación total de sus respectivas subescalas.

No se encontraron diferencias significativas entre las puntuaciones de las subescalas de hombres y mujeres, lo cual es consistente con los resultados reportados por Angelo y Cross (1993). Se encontró que tanto los profesores con maestría, como aquellos contratados por hora/clase valoran más los objetivos relacionados con la adquisición de habilidades básicas de aprendizaje y la preparación laboral y profesional, en comparación con los profesores con doctorado y aquellos contratados por tiempo/completo. Angelo y Cross reportan también diferencias estadísticamente significativas, sin embargo concluyen que esas diferencias probablemente no sean educativamente relevantes.

Angelo y Cross (1993) concluyen que los objetivos de enseñanza están más relacionados con la disciplina académica que con cualquier otro factor. Sin embargo, en la muestra de la UASLP no se detectaron diferencias significativas. Esto bien podría deberse al tamaño de la muestra, que al dividirla en 6 categorías no hay suficiente poder para detectar las diferencias.

Se encontró que en general los profesores de la UASLP valoraron más las dos subescalas relacionadas con objetivos que enfatizan el desarrollo de habilidades superiores de pensamiento, y la adquisición de habilidades y conocimientos disciplinares.  Es de esperarse que estos sean los objetivos de enseñanza más valorados por profesores universitarios, lo que sugiere junto con las relaciones reportadas –al menos de forma preliminar- que la adaptación del TGI evalúa los objetivos de enseñanza. Además, Hilgard (1965) menciona que una buena validez de facia junto con una alta consistencia interna constituye un buen argumento a favor de la validez de un instrumento. El instrumento tiene propiedades psicométricas sólidas como para proveer información útil y relevante sobre los objetivos de enseñanza, las técnicas de evaluación relevantes para dichos objetivos, tanto a los docentes como a las universidades. Se propone seguir administrando el TGI en la UASLP para estandarizar el instrumento y además poder evaluar a profundidad los patrones de valoración de los objetivos de enseñanza aprendizaje del profesorado. Sería también interesante evaluar si existen diferencias entre los profesores de universidades públicas y los profesores de universidades privadas.
 

Referencias

Angelo, A. T., & Cross, K. P. (1993). Classroom assessment techniques: A handbook for college teachers. San Francisco, CA: Jossey-Bass Inc.

Bonekamp, L. W. F., (1992). Evaluation activities regarding courseware in Europe. Viewpoints, 120, 1-9.

Brown, D., (2003). Comparison of teaching goals and objectives identified by faculty and peer learning facilitators within a transition seminar for new college students.  Eastern New Mexico University Report #143, Accession # ED479654.

DeVellis, R. F. (2003). Scale Development: Theory and Applications (2da Ed). Applied Social Research Methods Series , Vol 26. USA: Sage Publications, Inc.

Heiberger R. M. & Holland, B. (2004). Statistical Analysis and Data Display: An Intermediate Course with Examples in S-Plus, R, and SAS. New York: Springer Science Business Media, Inc.

Hilgard, E. R. (1965). Hypnotic susceptibility. New York: Harcourt Brace Jovanovich, Inc.

Ihaka, R., & Gentleman, R. (1996). R: A language for data analysis and graphics. Journal of Computational and Graphical Statistics, 5, 299-317.

Kisner, M. J., (1998). Documenting academic and employability skills needed in the workplace and found in the curriculum. Custom Instructional Communications, 10, 2-8. 

Meehan, M. L., Wiersma, W., Cowley, K. S., Craig, J. R., Orletsky, S. R., & Childers, R. D., (2002). School faculty as a high-performing learning community: Normative data from 132 schools. Paper presented at the annual CREATE National Evaluation Institute (11th, Boise, ID, July 25-27, 2002) 

Nunnally, J., & Bernstein, I. (1994). Psychometric theory. New York: McGraw-Hill. 

Trice, A. G., & Dey, E. L., (1997). Trends in faculty teaching goals: A longitudinal study of change. Journal of College Student Development, 38(5), 527-534.

---