Fenomenología de agencia académica: Calibración, Validación y Confiabilización del Meta-evaluador Web de Componentes de Agencia Académica

Con datos de una muestra no intencional de 1361 estudiantes universitarios distribuidos por las diversas regiones del país, se calibraron los bancos de reactivos, se validaron los constructos subyacentes y se puso a prueba la homogeneidad de los tres bancos iniciales de ítems que constituyen el Meta-Evaluador Web. El primer banco, el de Estrategias de Estudio y Autorregulación (IEEA) estuvo constituido por 52 ítems iniciales que miden 13 sub dimensiones, seis acerca de heurísticas cognitivas y siete sobre heurísticas autorregulatorias. De ellos, se eligieron 50 ítems con valores de discriminación >0.65, para el análisis factorial confirmatorio de los tres sub bancos que, a su vez, lo componen: a) el de Estrategias Cognitivas de estudio, b) el de Estrategias de Autorregulación de Persona y c) el de Autorregulación de Tarea y Materiales. Los resultados muestran validez convergente y divergente de constructo para los tres sub bancos: el correspondiente a Estrategias Cognitivas mostró que su índice de ajuste práctico (CFI =.93; RMSEA=.04) y su Alfa de Cronbach (0.87) son adecuados; el segundo sub banco, el de Estrategias Autorregulatorias de Persona, también mostró un índice de ajuste práctico aceptable (CFI =. 94; RMSEA =. 05) y una confiabilidad adecuada de 0.82 (Alfa de Cronbach) y el tercero, el de Autorregulación de Tareas y Materiales mostró que su validez es aceptable (CFI=.94; RMSEA=.06), con una confiabilidad adecuada (.83 de Alfa de Cronbach). El segundo banco inicial mide cuatro dimensiones de Epistemología Personal (IEP), a partir de 26 ítems tipo Likert, distribuidos en nueve sub dimensiones. De ellos, sólo se eligieron los 12 reactivos que constituyen las tres dimensiones puestas a prueba, cuyos reactivos mostraron los valores más altos de discriminación (>0.65), con ellos se realizó el análisis factorial confirmatorio y su resultado mostró validez con1. Laboratorio de Evaluación y Fomento del Desarrollo Cognitivo y el Aprendizaje Complejo, Posgrado, Facultad de Psicología, UNAM. Correo de contacto: [email protected] 2. Departamento de Ciencias de la Comunicación. Universidad Autónoma Metropolitana – Unidad Cuajimalpa 82 Fenomenología de Agencia Académica vergente y divergente de los constructos subyacentes. Su índice de ajuste práctico (CFI =. 90; RMSEA =. 07) es adecuado y su confiabilidad Rho es aceptable (0.76). En la calibración de todos los ítems politómicos se usó el modelo de respuesta graduada de Samejima (1969). Finalmente, el tercer banco mide la comprensión de textos en función de los resultados obtenidos por los estudiantes en tres tipos de estrategias relacionales: : a) Relaciones témporo-causales, b) Estrategias de Razonamiento y c) Estrategias de Esquema, todas ellas evaluadas en dos contextos: reconocimiento y recuperación. En este análisis se eligieron los 18 reactivos con los valores más altos de discriminación (≥1.00) obtenidos mediante un análisis dicotómico, que sirvieron para realizar el análisis factorial confirmatorio (AFC). Nueve reactivos integran el sub-banco de cada contexto. Los resultados del AFC correspondiente al sub-banco de Reconocimiento muestran validez convergente de constructo. Su índice de ajuste práctico (CFI = .98; RMSEA = .02) permitió concluir que la matriz de covarianza teórica no difiere significativamente de la empírica. Su Alfa de Cronbach es .63. Por su parte, los resultados del AFC del sub-banco de Recuerdo, también muestran validez convergente de constructo. Su índice de ajuste práctico (CFI = .98; RMSEA = .03) permitió concluir que la matriz de covarianza teórica no difiere significativamente de la empírica. Su Alfa de Cronbach es .67. En términos generales, puede establecerse que gracias a los análisis psicométricos y de validación realizados se redujo la probabilidad de error, se aumentó la capacidad de discriminación de los reactivos entre niveles diferentes de habilidad, se validaron los constructos subyacentes y se aseguró la homogeneidad entre ítems. Por todo lo anterior es posible confiar en que el Meta-Evaluador Web es una herramienta de medición válida, confiable, estandarizada y útil.