ISSN: 1579-9794
Hikma 23 (Número especial I) (2024), 1 - 21
La evaluación de la calidad de la traducción automática de
los textos turísticos en la enseñanza de la traducción: un
estudio cualitativo
Machine Translation Quality Assessment of Tourism Texts
in Translation Training: a Qualitative Study
DIANA GONZÁLEZ-PASTOR
diana.gonzalez@uv.es
Universitat de València
Fecha de recepción: 16/2/20024
Fecha de aceptación: 19/9/2024
Resumen: El turismo es un sector que genera un gran volumen de textos
multilingües que precisan ser traducidos con una gran inmediatez y que
resultan inabarcables para la traducción humana. La traducción automática
(TA) se ha convertido en una opción viable para las empresas del sector
turístico, pues pueden disponer de contenidos multilingües que requieran
distintos niveles de calidad de acuerdo con las necesidades del cliente, la
función de la traducción y la perecibilidad del texto, y que, tras pasar por un
proceso de posedición y revisión humana, pueden ajustarse a la calidad
requerida. Por ende, resulta necesario plantear la introducción de la
traducción automática en la formación de traductores, lo que deber incluir la
evaluación de los textos generados con traducción automática en contextos
especializados como el del turismo. De este modo, se puede proveer al
alumnado de la competencia tecnológica y la capacidad de visión crítica que
le permita la identificación de los errores, el análisis razonado de riesgos en
el uso de la TA y la correcta toma de decisiones. Todo ello puede contribuir a
situarles en el nuevo entorno laboral marcado por el uso de la automatización
y la inteligencia artificial (IA). De acuerdo con estas premisas y a través de
una metodología de análisis cualitativo, el presente trabajo expone los
resultados de un estudio exploratorio acerca de las opiniones del alumnado
del Grado de Traducción y Mediación Interlingüística de la Universitat de
València en España respecto a una experiencia docente que integra la
enseñanza de la traducción automática de textos del ámbito turístico para
conocer la utilidad de la evaluación de la calidad a través del uso de esta
herramienta.
Palabras clave: Texto turístico, Traducción automática, Evaluación de la
calidad, Formación de traductores, Análisis cualitativo
2 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
Abstract: Tourism is a sector that generates large volumes of multilingual
texts that need to be translated with great immediacy and cannot be covered
by human translation. Machine translation has become a viable option for
companies in the tourism sector, as they can have multilingual content that
may require different levels of quality depending on the needs of the client,
the aim of the translation and the perishability of the text. Thus, the quality can
be adjusted to the required level after the post-editing process and human
revision. It is therefore necessary to introduce the teaching of machine
translation in the translation classroom, including translation quality
assessment in specialised contexts such as tourism. Thereby, students will
be provided with the necessary technological competence and the capacity
for critical vision involving error identification, reasoned analysis of the risks of
using machine translation and correct decision-making. This can contribute to
placing them in the new working environment marked by the use of
automation and artificial intelligence. Using a qualitative analysis
methodology, this contribution presents the results of an exploratory study of
the students’ opinions of the Degree in Translation and Interpreting at
University of Valencia in Spain regarding a teaching experience that integrates
the teaching of machine translation of texts in the field of tourism to find out
the usefulness of translation assessment tools for these type of specialised
texts.
Keywords: Tourism Texts, Machine Translation, Translation quality
assessment, Translation training, Qualitative analysis
INTRODUCCIÓN
El uso de la IA cobra cada vez más importancia en las industrias de la
lengua. En este sentido, el uso de la traducción automática irrumpe en el flujo
de trabajo de las empresas del sector de la traducción como una tarea más.
En la actualidad, debido a que la traducción automática neuronal (TAN) ocupa
un lugar cada vez más destacado en las empresas (Leiva Rojo, 2018) y los
profesionales autónomos de la traducción la han adoptado de forma paulatina
durante el último decenio, bien de modo espontáneo o por necesidades del
encargo (González Pastor, 2023), la posedición (PE) se configura como una
tarea adyacente para adecuar el texto producido por la máquina al nivel de
calidad acordado entre el traductor o la empresa de traducción y el cliente. A
la hora de utilizar la TA resulta crucial que el traductor sea capaz de evaluar
de modo crítico, objetivo y flexible la calidad del texto generado por la
máquina en distintas situaciones y contextos especializados para realizar el
tipo de intervención humana necesaria, que debe ir asociada a la función y la
perecibilidad del texto (Way, 2013). En el sector turístico existe una gran
demanda de textos turísticos que presentan un valor añadido y en los que la
Diana González-Pastor 3
Hikma 23 (Número especial I) (2024), 1 - 21
figura del poseditor es clave a la hora de realizar este tipo de proyectos en
los que la traducción automática está presente. Debido, pues, a la necesidad
de formar profesionales de la traducción altamente cualificados en
tecnologías y en IA capaces de desarrollar su labor en contextos
especializados destacados, se hace necesaria la integración de la enseñanza
de la traducción automática en ámbitos como el del turismo dentro de la
formación de los estudiantes de Traducción e Interpretación con el objetivo
de mejorar su empleabilidad siguiendo la realidad de la práctica profesional.
No obstante, todavía hoy existe una brecha considerable entre lo que
se enseña en la universidad y la práctica real en el entorno profesional de la
traducción:
In spite of isolated exceptions, the largely informal relationship
between the industry and academic translator trainers often creates
a distance between teaching and professional practice that needs to
be addressed in contemporary translation training programmes. It is,
in fact, difficult for translator trainers, especially those with less-
developed industry connections, to design effective teaching
materials for their courses and for translation studies scholars to
develop sound pedagogic theories and teaching-oriented models
that are relevant to today’s training needs (Gaspari et al., 2015,
p. 333).
En España, la gran mayoría de planes de estudios de estos grados
adolecen de contenidos de TA y la PE (Cid-Leal et al., 2020), lo que provoca
una desconexión entre las necesidades de formación y la práctica profesional.
Por ende, resulta necesario llevar a cabo investigaciones que permitan
explorar las vías de integración de la TA en la formación de traductores y
establecer así, cómo debe realizarse esta incorporación en los programas de
estudios dentro de un marco de competencias destinado a la enseñanza. De
acuerdo con estas premisas, en este artículo se presentan los resultados de
un análisis cualitativo realizado a través de una experiencia docente en el
Grado en Traducción y Mediación Interlingüística de la Universitat de
València. En él se realiza un análisis de las opiniones del alumnado acerca
de la evaluación de la calidad de los textos traducidos con traducción
automática, su utilidad en la formación de traductores, así como su
conveniencia de uso y aplicación para los textos del ámbito turístico.
1. LA TRADUCCIÓN AUTOMÁTICA EN EL ÁMBITO DEL TURISMO
La adopción de la traducción automática y la posedición como nuevo
modelo de traducción ha impactado en todas las áreas de negocio, por lo que
el sector turístico, que destaca por su madurez y competitividad, no se ha
quedado a la zaga. Las ventajas del uso de la IA para el sector turístico y
hotelero son innumerables, puesto que permiten, por ejemplo, la
4 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
comunicación con el turista a través de asistentes virtuales, la recogida de
datos del cliente, el uso de softwares conversacionales multilingües en tiempo
real como herramienta de atención al cliente (comúnmente denominados
chatbots), la generación de correos electrónicos en una lengua distinta para
entender cuáles pueden ser las necesidades de un posible cliente, la
traducción de comunicación interna del personal multilingüe de una empresa,
entre otros (Carvalho e Ivanov, 2024). En concreto, la TA es una alternativa
a la traducción humana (TH) para contenidos con un valor bajo y con una
función informativa para los que anteriormente no se contemplaba su
traducción al no haber un presupuesto destinado a este propósito. Este es el
caso, por ejemplo, de las reseñas de opinión publicadas en Internet, un
género con unas características propias (Candel-Mora, 2022). También se
considerarían textos de valor bajo los foros y blogs turísticos no
especializados de Internet, que contienen información volátil y efímera.
Debido a la necesidad inmediata de publicar estos textos en muchas lenguas,
no suele prestarse demasiada atención a la calidad ni se les aplican modelos
de evaluación. Por el contrario, existen textos no perecederos y destinados a
la promoción turística que tienen un valor adicional, en ocasiones estético y
transmiten un contenido relevante que perdura en el tiempo (Castellano
Martínez, 2021). Así, podemos poner como ejemplo los textos de la literatura
de viajes o los folletos y las guías turísticas, o aquellos en los que la imagen
de marca del establecimiento turístico está en juego, como son las
descripciones en páginas web de hoteles y en los que el elemento persuasivo
desempeña una función fundamental (Suau Jiménez, 2015) o las revistas e
informes. En estos casos, la TA resulta una herramienta estratégica para la
traducción de materiales multilingües de alta calidad que se utilizan para la
promoción turística y las campañas de marketing (Mich y Garigliano, 2023).
Como vemos, la solución adoptada para cada tipo de texto está relacionada
con la calidad esperada y negociada con el cliente (Doherty et al., 2018).
Debido a su naturaleza híbrida y no especialmente técnica, los textos
turísticos suelen ser considerados de forma errónea como textos fáciles de
traducir (González Pastor, 2018). Coincidimos con Castellano Martínez
(2021), quien aprecia un vacío en términos formativos y de calidad profesional
en la traducción de textos turísticos y a su vez con Fuentes Luque (2017), que
pone de manifiesto los errores de traducción que se cometen en materiales
promocionales tan importantes para la reputación e imagen de un restaurante
u hotel como son los menús gastronómicos. A todo esto, debemos sumarle
los proyectos de traducción turística y campañas de marketing fallidas y con
resultados nefastos, debido a que la industria del turismo tiende a subestimar
el peso de la traducción en la experiencia turística (Calvi, 2019) y del uso
indebido que se hace de la TA con la consiguiente pérdida de credibilidad por
parte de las empresas, los particulares y los entes públicos que la utilizan
Diana González-Pastor 5
Hikma 23 (Número especial I) (2024), 1 - 21
incorrectamente, así como de la mala prensa que genera para los
profesionales que se dedican a la traducción. Aunque las causas para la falta
de calidad parecen ser multifactoriales, es preciso seguir haciendo hincapié
en esta cuestión.
El texto turístico encierra una serie de peculiaridades que lo convierten
en un tipo de texto lleno de dificultades y retos para la TH por la variedad de
géneros, la terminología, las diferentes funciones comunicativas que
presentan los textos y la abundancia de culturemas (Déniz Suárez, 2015), lo
que suele dar lugar a múltiples errores de traducción (Durán Muñoz, 2012).
Pensemos entonces en cuán importante debe ser la figura del traductor
humano para una correcta toma de decisiones si el proyecto de traducción
incluye el uso de la TA. En estos casos, la evaluación crítica de la calidad del
texto surgido de la máquina cobra un protagonismo esencial y repercutirá en
el éxito o el fracaso del producto final. En esta línea destacamos algunos
estudios previos sobre la viabilidad de la traducción automática para la
traducción de textos museísticos (Leiva Rojo, 2020), así como la contribución
de Fuentes Luque y Santamaría Urbieta (2020) que presentan una evaluación
manual diagnóstica de los errores de diversos sistemas de TA para una serie
de textos provenientes de guías turísticas. Asimismo, debemos incluir el
estudio de Korolkova et al. (2017), quienes hicieron lo propio con las páginas
web de hoteles. Por último, destacamos también el trabajo de Giamperi y
Harper (2022), en el que se estudia la viabilidad de la TA de las colocaciones
de los textos turísticos en el par de lenguas inglés-italiano.
2. LA ENSEÑANZA DE LA TRADUCCIÓN AUTOMÁTICA Y LA EVALUACIÓN DE SU
CALIDAD
Si bien es cierto que la enseñanza de la traducción y la función que la
tecnología debe desempeñar en ella han sido objeto de estudio y de
controversia durante décadas (Rothwell y Svoboda, 2019) y que existen
opiniones divergentes en cuanto a cómo debe orientarse y aplicarse en el
aula (Doherty y Kenny, 2014; Mellinger 2017), parece meridianamente claro
que es necesario incluirla en los planes de estudios de traducción desde
distintas perspectivas y contextos a través del uso de las distintas
herramientas y tecnologías disponibles (Man et al., 2019). Por su parte, la
enseñanza de la traducción automática recibe cada vez más atención en la
formación de traductores a la vez que la integración de esta tecnología en los
flujos de trabajo de las empresas está dando lugar a nuevos perfiles y tareas
distintas a las que tradicionalmente le estaban reservadas. Como indica Rico
Pérez (2021), «podemos considerar la posedición como una nueva
especialidad relacionada con la TA, ya que es una actividad más de las que
ofrece la industria de la traducción» (p. 92) con una serie de competencias
relacionadas (Sánchez Gijón, 2016). En este sentido, debemos destacar el
6 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
marco de competencias del Máster Europeo en Traducción (EMT, 2022) que
se ha convertido en uno de los estándares de referencia en lo que a la
formación de traductores se refiere y que establece cinco áreas de
competencias (lengua y cultura, traducción, tecnología, personal e
interpersonal y de provisión de servicios). En su última actualización,
establece como requisito para la adquisición de la competencia tecnológica
que el alumnado debe ser capaz de poseditar «MT output using style guides
and terminology glossaries to maintain quality standards in MT-enhanced
translation projects» (EMT, 2022, p. 8). En el área concreta de competencias
de tecnología, establece que el alumnado debe saber utilizar «the most
relevant IT applications, including the full range of office software, and adapt
rapidly to new tools and IT resources having critically assessed their relevance
and the impact of change on their work practices», además de entender «the
basics of MT systems and their impact on the translation process and
integrate MT into a translation workflow where appropriate» (EMT, 2022, p. 9).
Asimismo, destaca la competencia traductora (incluye las subcompetencias
estratégica, metodológica y temática) que implica traducir «general and
domain-specific material in one or several fields from one or several source
languages into their target language(s), producing a ‘fit for purpose’
translation» (EMT, 2022, p. 7).
Puesto que el concepto de calidad de la traducción es muy amplio,
cabe diferenciar el ámbito en el que se va a evaluar la calidad de una
traducción. Si nos situamos en la industria, el objetivo suele ser el de medir,
a través de distintas métricas, manuales (Lommel, 2018) o automáticas
(Castilho et al., 2018), que el texto traducido se le entrega al cliente con la
calidad requerida y acordada con este último. La evaluación manual corre a
cargo de los profesionales, mientras que las métricas automáticas son
cálculos que realizan programas informáticos con una serie de parámetros
establecidos y sin intervención humana. Si nos situamos en la docencia de la
traducción, la perspectiva cambia, puesto que es necesario adaptar los
contenidos al contexto docente y los objetivos pedagógicos. Asimismo, como
indican Sánchez Ramos y Rico Pérez (2020), resulta fundamental establecer
el objetivo para el cual se realiza la evaluación, ya sea la de comparar dos o
más sistemas de TA para ver cuál de ellos arroja mejores resultados, para
comparar distintas versiones de un mismo programa y ver las mejoras, o
«para analizar los resultados de un mismo sistema en función de aspectos
lingüísticos… o los errores que produce la máquina al procesar textos de un
ámbito de un campo de especialidad determinado» (p. 32), como sucede en
el caso que nos ocupa en este artículo. La evaluación de la calidad presenta
algunos condicionantes importantes, entre los que destacan el tiempo y el
dinero que se destinan (Doherty, 2017).
Diana González-Pastor 7
Hikma 23 (Número especial I) (2024), 1 - 21
La incorporación de conceptos clave en torno a la evaluación de la TA
en la formación de traductores resulta indispensable debido al protagonismo
que están adquiriendo estos procesos de evaluación en el ámbito profesional
con herramientas cada vez más sofisticadas. Sin embargo, en el ámbito de la
formación de traductores no parece haberse prestado la suficiente atención a
la evaluación de la calidad en general, ni mucho menos a la evaluación de la
TA. Como indican Doherty et al. (2018), «within academia, there is a lack of
education and training opportunities to equip translation students with the
knowledge and skills required to understand and use TQA» (p. 95). En este
sentido, dentro del campo de especialidad de traducción que presentamos, el
turismo, debemos destacar la aportación de Plaza Lara (2020), que realiza
una propuesta de integración de la TA y la PE en la clase de traducción
inversa de textos turísticos en la que se incluye una actividad de evaluación
manual de los errores realizados por la máquina en una hoja de cálculo.
3. EL EXPERIMENTO: CONTEXTUALIZACIÓN
El experimento docente que describimos a continuación se enmarca
en el Proyecto de investigación DITAPE (Docencia e Investigación en
Traducción Automática y Posedición)1, que tiene como objetivos, en primer
lugar, estudiar cómo se enseña la TA en la universidad y, en segundo lugar,
descubrir la intersección entre lo que se imparte en la universidad, lo que
demanda el sector en términos de aquellas competencias tecnológicas y
perfiles que deberían reunir los traductores profesionales y lo que realizan
diariamente los traductores profesionales del sector. La acción investigadora
se complementa con la docente para transferir al aula de traducción las
herramientas, técnicas y procedimientos en TA y PE que se precisan en el
mercado de la traducción actual.
En línea con estos objetivos, se realizó un experimento docente en
octubre de 2022 en el Grado de Traducción y Mediación Interlingüística de la
Universidad de Valencia para incorporar las tareas de TA y de PE en el aula
de traducción en consonancia con la realidad profesional. Los objetivos
generales pretenden dotar al alumnado de técnicas y herramientas
informáticas propias de la traducción profesional como son la TA y la PE,
realizar prácticas de evaluación de la calidad del texto traducido por la
máquina de una manera objetiva y flexible de acuerdo con los requisitos
acordados con el cliente, realizar prácticas de posedición de textos turísticos,
desarrollar en el alumnado una percepción realista sobre el esfuerzo en PE y
la dimensión emocional que acompaña a esta tarea y, por último, reflexionar
1 Proyecto GV/2021/080, financiado por la Conselleria de Educación, Universidades y Empleo de
la Generalitat Valenciana.
8 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
y fomentar el debate sobre el uso indebido de la TA en ámbitos especializados
como el turístico, para así determinar cómo repercute en ámbito profesional.
La visión que subyace a la práctica docente de este experimento se
fundamenta en una aplicación transversal y práctica de las tecnologías de la
traducción (Mellinger, 2017), pues la tecnología misma forma parte del
proceso traductor, por lo que su uso debe integrarse de modo intensivo
durante todo el Grado de Traducción (Rico, 2017).
El estudio se realizó con 27 estudiantes del 4.º año del Grado en
Traducción y Mediación Interlingüística de la Universitat de València. Los
participantes habían recibido instrucción previa en la lengua extranjera y la
materna, y se habían iniciado en práctica de la traducción a través de las
asignaturas de Traducción General (español-inglés). Por otro lado, el
alumnado ya había cursado la asignatura Tecnologías de la Traducción. El
experimento se realizó en la asignatura Traducción General Inversa (español-
inglés), ubicada en el primer semestre y con una carga de 6 ECTS y el
alumnado recibió instrucción previa en TA y en PE. Se tomó la decisión de
realizar este experimento en alumnos del último curso del grado, ya que esto
implicaba el paso previo del alumnado por las asignaturas obligatorias de
iniciación y formación básica en traducción humana. Las actividades que se
realizaron consistían, por un lado, en realizar una evaluación diagnóstica y
pormenorizada del texto meta (TM) comparando los resultados de diferentes
motores de traducción automática (Yandex, DeepL, Google y Prompt) a
través del análisis y categorización de los errores mediante estándares y
métricas de la industria (SAEJ2450, así como el modelo de calidad de errores
prototípicos que ofrecía la herramienta). En el anexo se ha incluido el ejercicio
planteado. También se realizó PE para comparar el tiempo necesario para
poseditar la salida de la TA con el tiempo que el alumnado había tardado en
producir una traducción humana previamente sin ayuda de un fragmento de
una guía turística extraída del portal turístico oficial de la ciudad de Valencia.
Tras la realización de las tareas, el alumnado elaboró un informe sobre las
mismas, en el que debían analizar las tareas que habían realizado, la
idoneidad para su formación y sus reflexiones acerca del uso de la TA para
la traducción de los textos turísticos. La herramienta seleccionada para
realizar el experimento fue Raw Output Evaluator (ROE). Este programa,
descargable y de acceso libre, permite una serie de funcionalidades como la
comparación de los resultados de diferentes motores de traducción
automática, tanto entre sí como con otras traducciones del mismo texto origen
y la evaluación comparativa de la calidad humana utilizando estándares y
métricas manuales propias de la industria. No obstante, la herramienta no
dispone de métricas automáticas de evaluación. El mismo programa también
se puede utilizar como una sencilla herramienta de PE, al igual que puede
Diana González-Pastor 9
Hikma 23 (Número especial I) (2024), 1 - 21
usarse para comparar el tiempo que se requiere para poseditar el texto que
proporciona la máquina con el tiempo que se tarda en producir una TH gracias
a un temporizador incorporado. Esta herramienta ya ha sido testada en un
módulo de un curso de posgrado dedicado al uso de la TA y la PE (Farrell,
2018) y se presentó al público en noviembre de 2018 con los resultados para
el par de lenguas inglés-italiano. Además, se trata de una herramienta que
cuenta con mejoras y actualizaciones.
4. METODOLOGÍA
Puesto que nuestra intención es conocer la opinión del alumnado
respecto a la incorporación de la TA y la PE y, en concreto, de evaluación de
la TA de los textos turísticos en el aula, optamos por una metodología
encuadrada en el paradigma cualitativo y en concreto, el análisis de
contenido. Esta metodología, que está basada en la Grounded Theory, ha
sido profusamente empleada y testada en investigaciones para conocer
opiniones y percepciones de estudiantes, profesores e investigadores en el
ámbito de la Educación Superior (Lichtman, 2013; Den Outer et al., 2013) y
en la lingüística aplicada. Al contrario que en otros métodos, el objetivo es
explorar el estado de la cuestión sobre un fenómeno de manera global, por lo
que no suelen probarse teorías ni hipótesis, sino que se busca generar teorías
a través del instrumento de medida representado por la persona
investigadora, por lo que los datos extraídos con subjetivos (López Noguero,
2002).
La opinión del alumnado sobre el experimento se recogió a través de
dos cuestionarios, uno previo en el que se le preguntó al alumnado acerca de
su conocimiento sobre la materia (la TA, la PE, la evaluación de la TA, el
conocimiento previo sobre los errores habituales de la TA en este tipo de
textos y el uso de la TA para el texto turístico) y otro cuestionario final con
preguntas que recogían la opinión respecto a la importancia de la evaluación
de la TA y la idoneidad del uso de la TA en distintas tipologías textuales del
ámbito turístico. Ambos cuestionarios se incluyen al final del artículo a modo
de anexo para su consulta. Previamente se recogió el consentimiento
informado de los participantes para la explotación de los datos con fines
investigadores. Los cuestionarios se alojaron en Google Forms y se optó por
un de diseño de preguntas de respuesta abierta para así poder recoger la
máxima información textual posible, las opiniones, las explicaciones y las
justificaciones sobre la importancia de introducir la evaluación de la calidad
en aula de traducción y a modo de retroalimentación sobre las actividades
planteadas. Las preguntas se elaboraron teniendo en cuenta las siguientes
preguntas de investigación: 1) ¿Cómo valora el alumnado el uso de sistemas
de evaluación de la calidad? y 2) ¿En qué medida puede la TA ayudar a
traducir los textos turísticos? Estas dos cuestiones son importantes para la
10 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
investigación en la didáctica de la traducción automática, ya que, a pesar de
la gran cantidad de estudios existente en el mercado sobre la pujanza de la
TA en el sector profesional, existe una carencia de estudios investigadores
en lo que respecta a la opinión del estudiantado respecto a la incorporación
de la TA en el aula. Una vez recopiladas las respuestas de los cuestionarios,
se inició el proceso de codificación que consistió en convertir las respuestas
individuales en categorías. La codificación se usa para establecer si los
resultados constituyen información útil con el objetivo de reducir de este modo
la variedad de respuestas al mínimo. El proceso de codificación se realizó de
forma manual, dado que esta opción resulta viable para el análisis de
proyectos a pequeña escala (Saldaña, 2015).
5. RESULTADOS
Dos temas principales emergieron del análisis de los contenidos que
se realizó y que representan la opinión del alumnado respecto al uso de la TA
y la evaluación de la calidad de esta.
5.1 Ventajas del uso de los sistemas de evaluación de la calidad
Los participantes consideran las tareas de evaluación de la calidad
como una herramienta que puede reportar distintos beneficios a la hora de
enfrentarse a la traducción de un proyecto de TA y ayudar en la toma de
decisiones sobre el proceso de producción de un proyecto del ámbito del
turismo.
De esta forma, uno de los principales beneficios que proporciona es la
identificación rápida del nivel general de calidad del texto que ofrece la
máquina (P16: para comprobar de forma rápida y sistemática si la calidad del
texto es aceptable) y si esta se puede utilizar acompañada de la PE o debe
descartarse (P27: para saber si una traducción con TA se puede usar) en pro
de una TA (P18: para comprobar que vale la pena una traducción automática
con posedición o si, por el contrario, sería mejor recurrir directamente a la
traducción humana).
De las respuestas proporcionadas por los participantes respecto al
comportamiento de los distintos sistemas de TA y la producción de errores,
un 52 % observa diferencias en los sistemas de TA en cuanto a la generación
de errores, mientras que un 48 % opina que son iguales o similares (P4: todos
cometen más o menos los mismos errores). Asimismo, se infiere que todos
los participantes son conscientes de que los sistemas de TA cometen una
serie de errores que es necesario identificar y subsanar (P19: no revisar ni
evaluar la calidad sería un error que repercutiría en el resultado final de la
traducción) y ven la realización de tareas de evaluación como una
herramienta útil (P17: para corregir aquellos errores que podrían hacer del
Diana González-Pastor 11
Hikma 23 (Número especial I) (2024), 1 - 21
texto una traducción válida; P26: sirve para eliminar posibles errores graves
o que afectan a la calidad). Otro beneficio destacado es la posibilidad que
ofrece de contrastar distintos sistemas de traducción automática (P5: es ideal
para hacer una comparativa de qué motores son más útiles), lo que puede
contribuir a una correcta toma de decisiones respecto al uso que se hace de
la TA.
Todos los encuestados coinciden en la importancia de formarse en la
evaluación de la calidad y en el desarrollo de las competencias necesarias
para poder llevarla a cabo (P1: sí, es necesario tener una visión crítica y
justificada del uso de la TA), al igual que en ser consciente de las limitaciones
propias de la máquina (P11: los sistemas de traducción siempre van a tener
algún error, y si aprendemos a evaluarlos nos aseguramos de que el texto
final tiene una buena calidad) y de las repercusiones que puede generar una
ausencia de la evaluación de la calidad en el ámbito laboral (P23: si no
evaluamos la traducción puede salir mal y eso perjudicaría tu imagen
profesional; P18: una mala traducción publicada podría suponer el
desprestigio de quien la encargue).
En cuanto al uso de la herramienta ROE, un 74 % del alumnado valora
la herramienta como buena (P10: la herramienta, en general, resulta bastante
útil a la hora de realizar evaluaciones de calidad manuales), mientras que un
22 % la califica de regular y el resto (el 4 %) indican que es muy buena.
Ningún alumno la considera mala. Entre sus ventajas, los participantes del
estudio destacan la facilidad en el manejo y la clasificación de los errores
(P17: también ayuda que sea una herramienta muy visual por el código de
colores que usa para clasificar los errores), si bien ponen reparos a la interfaz
(P19: tiene una interfaz un poco anticuada y poco intuitiva).
5.2 Utilidad de la TA para la traducción de los textos turísticos
Una de las preguntas que se realizó a los participantes estaba
relacionada con los aspectos que influyen en el nivel de calidad de la TA. La
mayoría de los estudiantes aseguró que el texto original y, en concreto, la
tipología textual, tiene un peso específico (otros aspectos mencionados
fueron el tipo de sistema de TA y el corpus utilizado para el entrenamiento):
• P11: creo que influye sobre todo cómo sea el texto original.
• P7: influye mucho la adecuación del léxico con respecto al
género, corrección morfosintáctica, adecuación en cuanto a los
matices y la puntuación.
• P22: el tipo de texto, porque no es lo mismo tener un texto con
muchos culturemas que uno con lenguaje técnico.
• P19: la calidad de la TA, el «entrenamiento» que este tenga.
12 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
En relación con la viabilidad e idoneidad del uso de la TA para la
traducción de textos turísticos y en concreto, la tipología de guía turística, la
mayoría de participantes consideraron que la TA puede ser útil para la
traducción de este tipo de textos debido a que presentan estructuras
recurrentes (P4: contiene muchas frases y grupos sintácticos que se repiten;
P11: muchas veces son textos explicativos que cuentan la historia del sitio,
los cuales creo que son bastante adecuados para la TA). Sin embargo, a
pesar de su conveniencia de uso, se mencionan también numerosos
condicionantes y limitaciones (P6: excepto en el caso de los carteles,
culturemas y errores pragmáticos, suele hacer un trabajo bastante eficiente).
Aquellos participantes que se mostraron reacios a utilizar la TA en los
textos de turismo aluden a una serie de características propias de la tipología,
como son los elementos culturales y la función apelativa y el carácter
promocional, lo que no permite el uso de la TA (P16: un texto turístico da
problemas con la TA por su estilo conversacional/apelativo). En otros casos,
son los elementos humorísticos o creativos los que suponen un problema
para la TAN, que no resuelve estas cuestiones que presentan dificultades
tanto en la TH como para la TA (P26: no siempre, ya que las guías turísticas
muchas veces juegan con el humor, por lo que los dobles sentidos o las
expresiones familiarizadas son difíciles de traducir).
En cuanto a la viabilidad de uso de la TA en otros géneros textuales
del ámbito del turismo, la mayoría de participantes consideran que la TA
puede ser una opción válida para algunas tipologías textuales sencillas (P11:
describir un monumento, traducir un mapa). Los folletos se perciben como
textos más sencillos por el estudiantado, aunque también presentan una serie
de condicionantes para la traducción (P4: traducir folletos en los que se
incluyen servicios, precios, fechas, horarios, etc.; P27: folletos que expliquen
la historia de un monumento o una ciudad siempre y cuando no usen
metáforas o ironías).
En cualquier caso, los participantes que ven la utilidad en el uso de la
TA la restringen en su mayoría al uso combinado con la PE (P17: sí que
puede ayudar, aunque siempre será necesaria la revisión de un traductor).
A modo de resumen de este apartado, podemos señalar que se
identificaron dos temas principales del análisis de contenido realizado: por un
lado, el alumnado percibe la utilidad y, sobre todo, la importancia de saber
evaluar la calidad de un texto generado por la TA. La actitud reflejada hacia
el uso de la TA es positiva y se contemplan los sistemas de evaluación de la
calidad como herramientas con múltiples utilidades que sirven para ayudar a
la toma de decisiones respecto a la conveniencia de uso de la TA
(identificación rápida del texto, valoración de la gravedad y cantidad de los
Diana González-Pastor 13
Hikma 23 (Número especial I) (2024), 1 - 21
errores, comparativa de diferentes sistemas de TA para elección del sistema
más adecuado, principalmente). Por otro lado, el alumnado encuestado
estima que la formación en la evaluación de la traducción automática es
relevante, en especial para poder desarrollar de forma correcta la profesión
debido a la demanda masiva de traducción con el nuevo paradigma de la TA
y la PE.
A pesar de que la mayoría de los participantes afirmaban no haber
utilizado previamente sistemas de TA para traducir textos turísticos, tras las
sesiones docentes, estos ven viable el uso de la TA para la traducción en el
ámbito del turismo, pero limitan su uso a ciertas tipologías textuales y
establecen muchas reservas en cuanto a la calidad que pueden arrojar para
la traducción de ciertos elementos creativos y culturales, así como ciertas
marcas estilísticas, al tiempo que son conscientes de la necesidad de la PE
en un gran número de casos presentados.
CONCLUSIONES
En este estudio hemos analizado la opinión del estudiantado en
relación con una experiencia docente que incluye el uso de la TA aplicada a
los textos del ámbito turístico prestando especial atención a la utilidad que el
alumnado percibe en el uso de los sistemas de evaluación de la calidad de la
TA. El uso prácticamente generalizado de esta tecnología en sectores como
el del turismo hace necesaria la introducción de esta tecnología en el aula de
traducción, de manera que los futuros egresados de los grados en Traducción
e Interpretación sean capaces de formarse adecuadamente, comprender el
funcionamiento de la TAN, sus limitaciones y errores de acuerdo con las
métricas que suelen utilizarse en el sector profesional de la traducción y poder
así ajustar el nivel de intervención requerido atendiendo a las características
del encargo y el nivel de calidad acordado con el cliente. Así, el experimento
docente que hemos expuesto, enmarcado en el Proyecto de investigación
DITAPE, nos permitió introducir la comparativa de distintos sistemas de TAN
y el análisis pormenorizado de errores a través de la aplicación de sistemas
de evaluación manual y la realización de prácticas de PE destinadas a la
medición del esfuerzo de posedición temporal en los textos turísticos. En línea
con experimentos similares (Dias Esqueda, 2021; González Pastor, 2021;
Moorkens, 2018), las tareas tenían como objetivo principal el
empoderamiento por parte del alumnado en materia de tecnología que les
permitiera comprender las ventajas e inconvenientes que presenta la TA y el
desarrollo de la capacidad de análisis crítico (Roiss y Zimmerman, 2020), lo
que permite no solo la puesta en valor del traductor humano, sino también de
la necesidad intervenir adecuadamente para asegurar el correcto uso de la
máquina (Nitzke y Hansen-Schirra, 2021). De acuerdo con las opiniones del
alumnado, en la actualidad los sistemas de TAN son capaces de traducir con
14 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
fluidez y precisión textos de ciertas tipologías textuales del turismo, que
pueden alcanzar un nivel de calidad alto al mediar la corrección humana del
texto en bruto producido por la máquina. No obstante, cuando la traducción
debe realizarse en textos de alta especificidad cultural e idiomaticidad, es
necesario que medie el ojo crítico del traductor para detectar, valorar y, si
corresponde, subsanar las deficiencias que presentan los textos generados
por la máquina.
Este estudio presenta las percepciones del alumnado tras un
experimento docente que puede arrojar luz en la introducción futura de la TA
en los planes de estudios de formación de traductores en la Educación
Superior de España, que, o bien se hallan en proceso o aún no han
incorporado este contenido en su currículo (Cid-Leal et al., 2020). Desde
nuestra óptica, coincidimos con Moorkens (2018) en que el aprendizaje en el
uso de métricas de evaluación manual puede servir no solo para evaluar la
calidad de la traducción per se, sino también para ayudar al alumnado a
desmitificar los resultados que ofrece la TA y contribuir a un mayor
conocimiento de cómo funciona la máquina, que puede cometer errores
impredecibles. A los docentes, por su parte, les corresponde comprender y
trasladar con precisión el contexto profesional al aula por medio de los
modelos y las herramientas de evaluación más adecuadas con el fin de que
el alumnado sea capaz de comprender tanto su potencial como sus
limitaciones. Para ello se hace necesaria una formación previa en los distintos
sistemas de TA y la funcionalidad que ofrecen para la evaluación de la
calidad.
Por otro lado, este trabajo abre nuevas vías para estudiar la
incorporación de la TA en el aula en contextos especializados. Las
limitaciones del estudio están ligadas al tamaño de la muestra y a su alcance,
pues se trata de un estudio a pequeña escala en un contexto determinado y
con una herramienta concreta que, a pesar de estar diseñada para la
enseñanza y haber sido testada con anterioridad, no se halla en consonancia
con las múltiples métricas existentes en la actualidad en el sector, mucho más
sofisticadas. Los estudios futuros en la materia deberían ir encaminados a
ampliar la muestra para conocer en mayor profundidad qué competencias
debe desarrollar el alumnado a la hora de enfrentarse a la TA y la evaluación
de la calidad y a hacer extensible el experimento docente a otros sistemas de
evaluación para no incluir solo las métricas manuales, sino también las
automáticas.
Diana González-Pastor 15
Hikma 23 (Número especial I) (2024), 1 - 21
REFERENCIAS BIBLIOGRÁFICAS
Calvi, M.V. (2019). Géneros discursivos, diversidad cultural y traducción de
textos turísticos. Altre Modernità: Rivista di studi letterari e culturali, 21,
69-86. https://doi.org/10.13130/2035-7680/11633
Candel-Mora, M. Á. (2022). Big data to assess genre-specific features of the
machine translation output of online travel reviews in Spanish.
Quaderns de Filologia: Estudis Lingüístics XXVII, 49-69.
https://doi.org/10.7203/QF.27.24667
Carvalho, I. e Ivanov, S. (2024). ChatGPT for tourism: applications, benefits
and risks. Tourism Review, 79(2), 290-303. https://doi.org/10.1108/TR-
02-2023-0088
Castellano Martínez, J.M. (2021). Fundamentos nocionales y traductológicos
para la traducción de textos promocionales. Comares.
Castilho, S., Doherty, S., Gaspari, F. y Moorkens, J. (2018). Approaches to
Human and Machine Translation Quality Assessment. En J. Moorkens.
S. Castilho, F. Gaspari y S. Doherty (Eds.), Translation Quality
Assessment: From Principles to Practice (pp. 9-38). Springer.
https://doi.org/10.1007/978-3-319-91241-7_2
Cid-Leal, P., Espín-García, M.-C. y Presas, M. (2020). Machine translation
and post-editing: profiles and competences in translator training
programmes. MonTI. Monografias de Traducción e Interpretación, 11,
187–214. https://doi.org/10.6035/MonTI.2019.11.7
Déniz Suárez, G. R. (2015). La traducción de los textos turísticos (español-
inglés). Los folletos de museos [Tesis Doctoral, Universidad de las
Palmas de Gran Canaria]. https://accedacris.ulpgc.es/bitstream/10553
/21655/2/0733604_00000_0000.pdf
Den Outer, B., Handley, K. y Price, M. (2013). Situational analysis and
mapping for use in education research: a reflexive methodology?
Studies in Higher Education, 38(10), 1504-1521.
https://doi.org/10.1080/03075079.2011.641527
Dias Esqueda, M. (2021). Machine Translation: Teaching and Learning
Issues. Trabalhos em Linguística Aplicada, 60(1), 282-299.
https://doi.org/10.1590/01031813932001520210212
Doherty, S. y Kenny, D. (2014). The design and evaluation of a Statistical
Machine Translation syllabus for translation students. The Interpreter
and Translator Trainer, 8(2), 295–315
https://doi.org/10.1080/1750399X.2014.937571
16 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
Doherty, S., Moorkens, J., Gaspari, F. y Castilho, S. (2018). On Education and
Training in Translation Quality Assessment. En J. Moorkens. S.
Castilho, F. Gaspari y S. Doherty (Eds.), Translation Quality
Assessment: From Principles to Practice (pp. 95-106). Springer.
https://doi.org/10.1007/978-3-319-91241-7_5
Doherty, S. (2017). Issues in human and automatic translation quality
assessment. En D. Kenny (Ed.), Human issues in translation
technology (1.ª ed., pp. 131-148). Routledge. https://doi.org/10.4324/9
781315648934
Durán Muñoz, I. (2012). Caracterización de la traducción turística: problemas,
dificultades y posibles soluciones. Revista de Lingüística y Lenguas
Aplicadas, 7, 103-113. https://doi.org/10.4995/rlyla.2012.1127
European Masters in Translation. (2022). European Masters in Translation
competence framework 2022. https://commission.europa.eu/system/fil
es/202211/emt_competence_fwk_2022_en.pdf
Farrell, M. (Noviembre, 2018). Raw Output Evaluator, a Freeware Tool for
Manually Assessing Raw Outputs from Different Machine Translation
Engines [sesión de conferencia]. 40th Conference Translating and the
Computer, Londres, Reino Unido. https://www.asling.org/tc40/wp-
content/uploads/TC40-Proceedings.pdf
Fuentes-Luque, A. (2017). An approach to analysing the quality of menu
translations in Southern Spain restaurants, Journal of Multilingual and
Multicultural Development, 38(2), 177-188.
https://doi.org/10.1080/01434632.2016.1187154
Fuentes-Luque, A. y Santamaría Urbieta, A. (2020). Machine Translation
systems and guidebooks: an approach to the importance of the human
translator. Onomázein, 63-82. https://doi.org/10.7764/onomazein.ne7.
04
Gaspari, F., Almaghout, H. y Doherty, S. (2015). A survey of machine
translation competences: Insights for translation technology educators
and practitioners. Perspectives: Studies in Translation Theory and
Practice, 23(3) 333-358. https://doi.org/10.1080/0907676X.2014.9798
42
Giamperi, P. y Harper, M. (2022). Tourism translation: from corpus to machine
translation (and back). Umanistica Digitale, 14, 119-135. https://doi.or
g/10.6092/issn.2532-8816/15109
Diana González-Pastor 17
Hikma 23 (Número especial I) (2024), 1 - 21
González Pastor, D. (2018). ¿Cómo se traducen los culturemas del ámbito
turístico? Análisis de estrategias de traducción (español-inglés).
Comares.
González Pastor, D. (2021). Introducing Machine Translation in the
Translation Classroom: A Survey on Students’ Attitudes and
Perceptions. Revista Tradumàtica. Tecnologies de la Traducció, 19,
47-65. https://doi.org/10.5565/rev/tradumatica.273
González Pastor, D. (Coord.) (2023). El impacto de la traducción automática
y posedición en el sector de la traducción en España. Informe de
investigación DITAPE 2022. https://hdl.handle.net/10550/85779
Korolkova, S. A., Novozhilova, A. A. y Sheyko, A. M. (2017). Tourism
Discourse: Strategies and Difficulties in Translating Hotel Websites.
Science Journal of Volgograd State University. Linguistics, 16(3), 80-
89. https://doi.org/10.15688/jvolsu2.2017.3.8
Leiva Rojo, J. (2020). ¿Es la traducción automática una opción factible?
Reflexiones acerca de un estudio comparado de textos museísticos
traducidos (inglés-español). En S. Rodríguez Tapia y A.
González-Fernández (Eds.), Lenguas y Turismo, Estudios en torno al
discurso, la didáctica y la divulgación (pp. 179-200). Peter Lang.
https://doi.org/10.3726/b17069
Leiva Rojo, J. (2018). Aspects of human translation: the current situation and
an emerging trend. Hermeneus: Revista de traducción e intepretación,
20, 257-294. https://doi.org/10.24197/her.20.2018.257-294
Lichtman, M. (Ed.) (2013). Understanding and evaluating qualitative
educational research. Sage Publications.
Lommel, A. (2018). Metrics for Translation Quality Assessment: A Case for
Standardising Error Typologies. En J. Moorkens. S. Castilho, F.
Gaspari y S. Doherty (Eds.), Translation Quality Assessment: From
Principles to Practice (pp. 109-127). Springer.
https://doi.org/10.1007/978-3-319-91241-7_6
López Noguero, F. (2002). El análisis de contenido como método de
investigación. XXI, Revista de Educación, 4, 167-179.
Man, D., Mo, A., Chau, M. H., O’Toole, J. M. y Lee, C. (2019). Translation
Technology Adoption: Evidence from a Post-graduate programme for
student translators in China. Perspectives: Studies in Translation
Theory and Practice, 28(2), 253-270. https://doi.org/10.1080/0907676
X.2019.1677730
18 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
Mellinger, C. D. (2017). Translators and machine translation: knowledge and
skills gaps in translator pedagogy. The Interpreter and Translator
Trainer, 11(4), 280-293. https://doi.org/10.1080/1750399X.2017.1359
760
Mich, L. y Garigliano, R. (2023). ChatGPT for e-Tourism: a technological
perspective. Information Technology and Tourism, 25, 1-12.
https://doi.org/10.1007/s40558-023-00248-x
Moorkens, J. (2018). What to expect from Neural Machine Translation: a
practical in-class translation evaluation exercise. The Interpreter and
Translator Trainer, 12(4), 375-387.
https://doi.org/10.1080/1750399X.2018.1501639
Nitzke, J. y Hansen-Schirra, S. (2021). A short-guide to post-editing.
Language Science Press. https://doi.org/10.5281/zenodo.5646896
Plaza Lara, C. (2020). La traducción automática y la posedición para la
enseñanza de la traducción inversa de textos turísticos. En S.
Rodríguez Tapia y A. González Fernández (Eds.), Lenguas y Turismo,
Estudios en torno al discurso, la didáctica y la divulgación (pp. 77-94).
Peter Lang. https://doi.org/10.3726/b17069
Rico Pérez, C. (2021). Fundamentos teórico-prácticos para el ejercicio de la
traducción. Comares.
Rico Pérez, C. (2017). La formación de traductores en traducción automática.
Tradumàtica: Tecnologies de la Traducció, 15, 75-96.
https://doi.org/10.5565/rev/tradumatica.200
Roiss, S. y Zimmermann González, P. (2020). DeepL y su potencial para el
desarrollo de la capacidad de análisis crítico en la clase de traducción
inversa. Hermēneus. Revista de Traducción e Interpretación, 22,
363-382. https://doi.org/10.24197/her.22.2020.363-382
Rothwell, A. y Svoboda, T. (2019). Tracking translator training in tools and
technologies: findings of the EMT survey 2017. JoSTrans: The Journal
of Specialised Translation, 32, 26-60.
Saldaña, J. (2015). The Coding Manual for Qualitative Researchers. Sage
Publications.
Sánchez-Gijón, P. (2016). La posedición: hacia una definición competencial
del perfil y una descripción multidimensional del fenómeno. Sendebar:
revista de Traducción e Interpretación, 27, 151-162.
https://revistaseug.ugr.es/index.php/sendebar/article/view/4016
Diana González-Pastor 19
Hikma 23 (Número especial I) (2024), 1 - 21
Sánchez Ramos, M.ª del M. y Rico Pérez, C. (2020). La Traducción
Automática: conceptos clave, procesos de evaluación y técnicas de
posedición. Comares.
Suau Jiménez, F. (2015). Traducción de calidad de webs hoteleras: discurso
interpersonal e implicación del cliente. Onomázein, 32, 152-170.
https://doi.org/10.7764/onomazein.32.8
Way, A. (Noviembre, 2013) Traditional and emerging use-cases for machine
translation. [comunicación oral]. Translating and the Computer 35,
Londres. https://aclanthology.org/2013.tc-1.12.pdf
ANEXO I. CUESTIONARIO PRELIMINAR
1. ¿Has recibido formación previa en traducción automática y
posedición durante tus estudios?
2. Si has recibido formación previa en traducción automática, indica
brevemente qué formación recibiste, dónde y cuándo.
3. Si has usado algún traductor automático alguna vez, indica qué
traductores has usado y para qué.
4. ¿Cuál es tu opinión respecto a la calidad de las traducciones
producidas en general por los traductores automáticos?
5. ¿Crees que la traducción automática puede ayudarte a traducir mejor
en esta asignatura de traducción general inversa español-inglés? Si
crees que sí, ¿en qué aspectos?
6. ¿Qué entiendes por posedición?
7. ¿Utilizas o has utilizado la traducción automática para realizar tus
traducciones de clase?
8. ¿Qué repercusiones crees que puede tener el uso de la traducción
automática en el ámbito profesional?
9. ¿Has utilizado la traducción automática alguna vez para traducir
algún texto de ámbito del turismo?
10. De acuerdo con tu intuición, ¿cuáles crees que son los errores más
comunes que presentan los textos turísticos traducidos con
traducción automática?
20 La evaluación de la calidad de la traducción automática de los textos […]
Hikma 23 (Número especial I) (2024), 1 - 21
ANEXO II. CUESTIONARIO POSTERIOR
1. ¿Qué crees que has aprendido sobre traducción automática en estas
sesiones?
2. ¿Qué aspectos crees que influyen en la calidad del texto salido de un
sistema de TA?
3. ¿Para qué sirve la evaluación de la calidad del texto producido por
los sistemas de TA?
4. ¿Crees que es importante aprender a evaluar la calidad del texto
generado por los sistemas de traducción automática? ¿Por qué?
Justifica tu respuesta
5. ¿Cuáles han sido los errores más frecuentes realizados por la TA en
la traducción del texto de la guía turística de Valencia?
6. ¿Se comportan los distintos sistemas de TA del mismo modo en
cuanto a la producción de errores? Explica si has encontrado
diferencias entre ellos.
7. ¿Cuál es tu valoración general de la herramienta ROE?
8. ¿En qué aspectos crees que podría mejorarse esta herramienta?
9. ¿Consideras que la traducción automática te puede ayudar a traducir
los textos de una guía turística? ¿Por qué?
10. ¿Crees que la traducción automática puede ser válida para traducir
otros textos del ámbito del turismo (que no son la guía turística)?
¿Qué tipo de textos serían? Razona tu respuesta y pon ejemplos.
11. ¿Crees que las actividades que has realizado estaban diseñadas de
manera clara, con instrucciones sencillas y con los materiales
suficientes para completarla?
12. ¿Las explicaciones que has recibido para realizar estas tareas han
sido suficientes?
13. ¿Has podido resolver las dudas que te han surgido al hacer las
actividades de traducción automática?
Diana González-Pastor 21
Hikma 23 (Número especial I) (2024), 1 - 21
ANEXO 3. ACTIVIDAD
Vas a realizar el análisis de la calidad de la traducción automática de
una guía turística valiéndote de la herramienta Raw Output Evaluator (ROE).
1. Descarga ROE en https://www.intelliwebsearch.com/raw-output-
evaluator/
2. Crea un archivo de trabajo y sube el TO al programa.
3. Procesa el TO con la TA de Google, Yandex, DeepL y Prompt.
4. Analiza la calidad del texto salido de la máquina con métricas
manuales.
5. Compara tus resultados en grupo.
6. Redacta un breve informe de autoevaluación y reflexión personal
sobre la actividad realizada.
