COLLABORATION IN WRITING ASSESSMENT: INSIGHTS INTO NOVICE AND EXPERIENCED IRANIAN EFL RATERS’ CRITICAL THINKING AND CRITERIA

Resumen

Hay una creciente literatura sobre técnicas eficaces a través de las cuales el pensamiento crítico (PC) puede ser fomentado en un entorno educativo. De una manera que concuerda con la enseñanza como un proceso interactivo, existe un debate considerable sobre la mejora de las capacidades de PC de los profesores en los últimos años. En cuanto a los efectos positivos de la colaboración en el PC, el presente studio analiza si la frecuencia de los componentes del PC entre evaluadores noveles y experimentados de EFL iraníes diferente mientras se evalúa un pasaje de forma individual y colaborativa (en parejas). Para ello, se adoptó un enfoque de métodos mixtos. Las evaluaciones escritas realizadas por dos grupos de evaluadores noveles y experimentados fueron codificadas en busca de declaraciones clasificadas como uno de los cinco componentes del PC (Stapleton, 2001). Los datos obtenidos incluyeron protocolos de pensamiento en voz alta y comentarios escritos hechos por evaluadores mientras que evaluaron 3 pasajes escritos por examinados de IELTS. A continuación, los evaluadores principiantes y experimentados se compararon en base a la frecuencia total de los componentes de PC utilizados al evaluar individualmente y en colaboración. Posteriormente, se intent establecer su criterio para anotar un pasaje (sin usar una rúbrica). Los hallazgos revelaron que la colaboración en la evaluación de la escritura mejora las habilidades de los evaluadores de PC independientemente de su nivel de experiencia, mientras que los índices de PC fueron significativamente mayores en parejas experimentadas. Aunque, las habilidades de PC de los evaluadores principiantes y experimentados no fueron significativamente diferentes al evaluar individualmente. Con respecto a los criterios aplicados por los evaluadores principiantes, el análisis cualitativo reveló preocupaciones importantes sobre el nivel superficial del texto. En realidad, se cree que están en la línea de formar sus estrategias personales y establecer sus propios criterios como evaluadores. Mientras que los evaluadores experimentados fueron más allá de la sintaxis en semántica.