Prácticas de investigación aplicada a contextos educativos

 Directrices sobre puntuación e interpretación. Comunican la necesidad de considerar información demográfica pertinente al momento de realizar las interpretaciones de las diferencias de las puntuaciones entre los grupos bajo estudio. También, resaltan la importancia de utilizar el nivel de invarianza establecido para la escala de puntuación sobre la que se hacen las comparaciones.

 Directrices sobre documentación. Señalan la importancia de proporcionar toda la documentación técnica acerca de las modificaciones del test adaptado, donde además se incluyan las evidencias de la equivalencia con la versión original e información a los usuarios sobre el uso correcto del test en la población a la que va dirigido.

Directrices para la traducción

y adaptación de pisa 2012

Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

 Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

 Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

 Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

 Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

 Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

 Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.

El objetivo principal de estas directrices es asegurar que el proceso de traducción no introduzca sesgos que distorsionen las comparaciones internacionales, como pueden ser: a) la alteración de la dificultad de textos, gráficos o tablas utilizadas como estímulos en los test, b) la alteración de la dificultad de un ítem de manera que se modifique el tipo de estrategia mental requerido para responder, c) la introducción de ambigüedades que perjudiquen la medición de las variables de los cuestionarios de contexto, o d) la inadecuada adaptación de manuales al contexto nacional para que se modifiquen los procesos de muestreo, aplicación o calificación.

Consideraciones finales

En este capítulo se describieron los principales documentos que orientan las prácticas de desarrollo, adaptación y traducción de instrumentos de medición psicológicos y educativos. De manera general, los documentos y argumentos aquí presentados coinciden en destacar que la aplicación de instrumentos válidos y confiables en otros países, desarrollados en apego a marcos conceptuales pertinentes, no aseguran que éstos midan lo mismo en poblaciones y contextos diferentes.

La presente revisión sirve como marco al conjunto de investigaciones realizadas en nuestro país (aún reducido) que reconocen la necesidad de utilizar metodologías, procedimientos y esquemas analíticos que proporcionen equidad en las evaluaciones y justicia a los examinados, con reconocimiento a la contribución que hacen las diferencias culturales en la explicación de los resultados educativos (Byrne et al., 2009; Solano et al., 2009; inee, 2011). Sirva este trabajo para difundir el contenido de documentos aquí referidos y como orientación para todos aquellos involucrados en procesos de desarrollo, validación y adaptación de instrumentos de medición psicológica o educativa.

Bibliografía

American Education Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing 1999. Washington: American Education Research Association.

American Education Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing 2014. Washington, dc: American Education Research Association.

American Education Research Association, American Pychological Association y National Council on Measurement in Education (1985). Standards for Educational and Psychological Testing 1985. Washington, dc: American Education Research Association.

byrne, b. m., Oakland, T., Leong, F. T. L., Van de Vijver, F., Hambleton, R. K., Cheung, F. M., y Bartram, D. (2009). A critical analysis of cross-cultural research and testing practices: Implications for improved education and training in psychology. Training and Education in Professional Psychology, 3 (2), 94-105. doi: 10.1037/a0014516.

elosua, p. (2012). Test publicados en España: usos, costumbres y asignaturas pendientes. Papeles del Psicólogo, 33 (1), 12-21.

geisinger, k. (1994). Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment, 6 (4), 304-312.

hambleton, r. k. (1996). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10, 229-240.

hambleton, r. k. (2001). The next generation of the itc test translation and adaptation guidelines. European Journal of Psychological Assessment, 17 (3), 164-172.

hambleton, r. k. (2004). Theory, methods and practices in testing for the 21st century. Psicothema, 16(4), 696-701.

hambleton, r. k., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Nueva Jersey, Londres: Lawrence Erlbaum Associates.

hambleton, r. k., Yu, J. y Slater, S. C. (1999). Field test of the itc Guidelines for adapting educational and psychological tests. European Journal of Psychological Assessment, 15 (3), 270-276.

Instituto Nacional para la Evaluación de la Educación (2011). La teoría del error de traducción de pruebas y las evaluaciones internacionales de timss y pisa. México: Instituto Nacional para la Evaluación de la Educación.

International Test Commission (2010). International Test Commission Guidelines for Translating and Adapting Tests. Recuperado de http://www.intestcom.org

klerk, g. (2008). Cross-cultural testing. In Online Readings in Testing and Assessment. International Test Commission. Recuperado de http://www.intestcom.org/Publications/Orta.php

Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests (segunda edición). Psicothema, 25 (2), 151-157.

Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E., Campillo-Álvarez, Á., y Peña-Suárez, E.(2011). Evaluación de test editados en España. Papeles del Psicólogo,32 (2), 113-128.

Organization for Economic Co-operation and Development (2010). Translation and adaptation guidelines for pisa 2012. Recuperado de http://www.oecd.org/pisa/pisaproducts/49273486.pdf

solano flores, g., Backhoff, E. y Contreras-Niño, L. Á. (2009). Theory of Test Translation Error. International Journal of Testing, 9 (2), 78-91. doi: 10.1080/15305050902880835

tanzer, n. k. (2005). Developing Tests for Use in Multiple Languages and Cultures a Plea for Simultaneous Development. En Hambleton, R. K., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, New Jersey: Lawrence Erlbaum Associates.

tanzer, n. k. y Sim, C. Q. (1999). Adapting instruments for use in multiple languages and cultures: A review of the itc Guidelines for Test Adaptations. European Journal of Psychological Assessment, 15 (3), 258-269.