ISSN: 1579-9794
Hikma 23(1) (2024), 87 - 109
La traducción automática de los referentes culturales.
Propuesta de una metodología de evaluación aplicada a
textos del ámbito migratorio
Cultural references and machine translation: a
methodology for evaluation. The case of administrative
texts in the area of migration
CELIA RICO PÉREZ
celrico@ucm.es
Universidad Complutense de Madrid
Fecha de recepción: 20/02/2023
Fecha de aceptación: 25/07/2023
Resumen: Los referentes culturales constituyen uno de los grandes desafíos
para la traducción automática (TA). Pese a existir numerosos estudios ad hoc
acerca de esta herramienta, la magnitud de casos en los que se puede aplicar
excede los límites de las investigaciones actuales. La TA de las
manifestaciones culturales propias de una lengua se enmarca dentro los
campos poco explorados hasta el momento. En consecuencia, se muestra la
necesidad de revisar los métodos de evaluación que a menudo se emplean
para determinar la validez de las traducciones hechas por la máquina y
aplicarlo al caso de estos referentes, con especial incidencia en el ámbito
migratorio. En esta línea, el artículo presenta una propuesta metodológica
para la evaluación basada fundamentalmente en datos cualitativos sobre la
fluidez, la precisión y la aceptabilidad de las traducciones automáticas, a los
que se añaden datos cuantitativos sobre la percepción de estos mismos
criterios. En primer lugar, se contextualizan los referentes culturales en el
marco de la TA y la inteligencia artificial. A continuación, se presentan los
diferentes métodos de evaluación de evaluación automática y manual, con la
definición de una metodología específica para la evaluación de los referentes
culturales. Con el fin de ilustrar cómo se puede llevar a la práctica esta
metodología, se muestra un caso de evaluación de referentes culturales
mediante un estudio exploratorio llevado a cabo con textos administrativos
del ámbito migratorio.
Palabras clave: Referentes culturales, Traducción automática, Evaluación
de la traducción, Textos administrativos, Migración
88 La traducción automática de los referentes culturales […]
Hikma 23(1) (2024), 87 - 109
Abstract: Cultural references constitute one of the great challenges for
machine translation (MT). Despite the existence of numerous ad hoc studies
on this technology, the number of cases where it can be applied exceeds the
limits of current research. MT of a language's own cultural manifestations is
one of the fields that have been little explored so far. Consequently, there is a
need to review the evaluation methods often used to determine the validity of
the texts produced by MT, with a focus on cultural referents on the field of
migration. In this line, the article presents a methodological proposal for MT
evaluation which is based primarily on the following qualitative data: fluency,
accuracy, and acceptability. To these, quantitative data is added on the
perception of these same criteria. First, the cultural references are
contextualised in the framework of MT and artificial intelligence. Then, the
different evaluation methods of automatic and manual evaluation are
presented, with the definition of a specific methodology for the evaluation of
cultural references. To illustrate this methodology from a practical point of
view, a case of evaluation of cultural references is shown by means of an
exploratory study carried out with administrative texts in the field of migration.
Keywords: Cultural references, Machine translation, Translation evaluation,
Administrative texts, Migration
I
NTRODUCCIÓN
La catalogación de los ámbitos a los que pueden referirse los
referentes culturales está ligada a una serie de contextos concretos como son
el medio natural, el patrimonio cultural, la cultura social o la cultura lingüística
(cf. Molina, 2006). En el proceso de transferencia de un referente de una
cultura a otra, este lleva asociado sus propias connotaciones, en otras
palabras, su propia carga cultural específica que, dentro del contexto en el
que aparece, puede llegar a plantear un problema cuando en la cultural meta
no existe un referente con una carga cultural equivalente. Esta característica
de los referentes culturales puede suponer un problema en los textos
traducidos de forma automática en función de si ese contexto cultural se ha
podido trasvasar o no. Si tomamos como ejemplo un referente de la cultura
social como puede ser el uso del tratamiento de cortesía usted, observaremos
que su traducción automática plantea problemas de equivalencia que solo
pueden resolverse por medio del contexto. Veamos los dos ejemplos
siguientes, ambos traducidos automáticamente con el programa de
traducción DeepL:
Texto original
Traducción automática
1) ¿Quiere usted un poco más de vino?
Do you want some more wine?
Celia Rico Pérez 89
Hikma 23(1) (2024), 87 - 109
2) ¿Quiere usted un poco más de vino,
Sra. García?
Would you like some more wine, Mrs.
Garcia?
Tabla 1. Ejemplos de TA DeepL
Fuente. Elaboración propia
En el primer caso, la carga cultural asociada a usted queda anulada en
la traducción automática, puesto que no hay un contexto específico que
permita a DeepL resolver la equivalencia de otro modo que no sea utilizando
el pronombre you; mientras que, en el segundo caso, al añadir la referencia
contextual Sra. García, DeepL cuenta con la información suficiente como para
generar una equivalencia con un nivel de cortesía similar en inglés.
El campo de la traducción automática de referentes culturales es un
área aún carente de estudios, quizá porque hasta la llegada de los sistemas
basados en inteligencia artificial no se habían conseguido resultados con
suficiente calidad que justificaran debidamente su estudio. Estos nuevos
desarrollos artificiales son capaces de generar traducciones que el propio ser
humano interpreta como un acto comunicativo válido. En parte, debido a
nuestra innata predisposición a interpretarlos de este modo, es decir, como si
la máquina tuviera la intención de transmitir un significado coherente. El
problema reside en que la máquina no tiene ninguna intención comunicativa
por sí misma y que el hecho de que genere textos que se lean de manera
fluida no garantiza, a priori, que la traducción se corresponda con el texto
original. En el caso de los referentes culturales, precisamente porque remiten
a ámbitos específicos, conviene explorar la capacidad de la máquina para
producir traducciones adecuadas y examinar los resultados mediante una
metodología de evaluación que abarque el carácter dinámico de estos
referentes a la hora de permitir el trasvase entre dos culturas concretas. Este
elemento dinamizador hace que los referentes culturales estén ligados
estrechamente al contexto y, por lo tanto, cualquier metodología que se
emplee para evaluar la traducción automática de estos deberá considerar en
todo momento este aspecto.
Por otra parte, parece necesario que desde los Estudios de Traducción
se reflexione acerca de la validez de las categorías de evaluación que
tradicionalmente se emplean con el fin de adaptarlas al análisis de la
traducción automática de los referentes culturales. Pongamos por caso,
estrategias típicamente humanas como pueden ser la domesticación o la
extranjerización (Venuti, 1995). Hacerlo de este modo conferiría, a la máquina
de una intencionalidad similar a la que se espera de la persona que traduce,
lo que, como ya se ha mencionado con anterioridad es hasta cierto punto
inverosímil. Además, atribuirle al programa de traducción esa capacidad
humana inherente contribuye a restar agencia al propio proceso humano de
90 La traducción automática de los referentes culturales […]
Hikma 23(1) (2024), 87 - 109
traducción en el sentido que apunta Vieira (2019) al analizar los diferentes
grados de control que se pueden dar en la interacción de la persona con la
traducción automática.
En este artículo se plantea, en primer lugar, una reflexión sobre el lugar
que pueden ocupar los referentes culturales en el marco de la traducción
automática y la inteligencia artificial, para proseguir con una revisión de los
diferentes modelos que se emplean en la evaluación de la traducción
automática: los modelos automáticos y los manuales (Sánchez Ramos y Rico
Pérez, 2020, p. 34-48). A continuación, se proponen tres criterios de
evaluación que parecen más acordes con la problemática que nos
encontramos: la adecuación, la fluidez y la aceptabilidad. Finalmente, con el
fin de ilustrar la puesta en práctica de la metodología de evaluación que se
plantea, se muestra su aplicación en el caso concreto de los textos
administrativos en el campo de las migraciones. Tras la discusión de los
resultados obtenidos, el artículo concluye con la exposición de por qué no es
posible aplicar criterios universales para la evaluación de la traducción
automática. Referentes culturales, traducción automática e inteligencia
artificial
Cuando nos encontramos frente a la máquina que traduce no podemos dejar
de sentir cierta fascinación al comprobar cómo un ente digital puede producir
un texto que aparenta tener un origen humano. En un intento por descifrar los
entresijos de su funcionamiento recurrimos a recursos como la prosopopeya
para afirmar que la máquina aprende, piensa, decide, de modo que la
humanizamos con el fin de poder comprender algo que nos es desconocido.
Esto dota de cierto misterio a esos cerebros sintéticos que traducen y que
son «indescifrables para el gran público, pero capaces de asumir tareas con
un altísimo rendimiento» (cf. Torrijos, 2022, p. 31). Sin embargo, lo que hay
detrás de la máquina y su supuesta inteligencia no deja de ser un sistema
algorítmico complejo de reconocimiento conformado por patrones, que
procesa cantidades inimaginables de datos y usa para ello una ingente
cantidad de recursos informáticos, con un alto coste asociado no solo desde
el punto de vista económico, sino también medioambiental (cf. Bender et al.,
2021)
1
. Una vez procesados los datos, el sistema reproduce de manera
probabilística los patrones observados, con distintos grados de fiabilidad y
utilidad, pero siempre guiados por los datos de entrenamiento (cf. Bender,
1
Para que podamos hacernos una idea, se estima que el procesamiento de un transformador
GPT-3 como el que ha desarrollado OpenAI para #ChatGPT requiere una infraestructura
eléctrica y de computación por valor de varios millones de dólares, de manera que esta solo
puede activarse en los servidores de un gigante de la informática como es el caso de Microsoft.
En cierto modo, esta situación no hace más que consolidar la actuales dictaduras en la infoesfera
(Vetere, 2021).
Celia Rico Pérez 91
Hikma 23(1) (2024), 87 - 109
2022). En el caso de la traducción automática, los patrones de traducción se
extraen a partir de un compendio de corpus paralelos con millones de
palabras y de segmentos traducidos gracias a los que se pueden entrenar las
redes neuronales que, de algún modo, simulan el comportamiento humano al
traducir. Por ende, la calidad de estas traducciones generadas
automáticamente dependería de dos factores: los datos que se usen para el
entrenamiento y las técnicas de inteligencia artificial empleadas.
Sin embargo, conviene recordar que por mucho que la inteligencia
artificial pueda reproducir el lenguaje humano lo que en realidad hace no es
comprender ni aprender, sino hacer cálculos y asignar significados a partir de
unas instrucciones y ejemplos que ya se han procesado previamente. De ahí
que la magia de estos modelos cuando producen lenguaje se deba a los
ajustes que se hacen con retroalimentación humana, en los que se recogen
datos acerca de las puntuaciones sobre la adecuación del contenido que ha
generado la máquina para así poder mejorar los resultados automáticos y con
ellos, volver a entrenar el sistema. Con este procedimiento se ajusta el
comportamiento de la máquina a las preferencias declaradas de un grupo
específico de personas, esto es, las personas que etiquetan los resultados
(cf. Ouyan et al., 2022). Como vemos, en realidad, la traducción automática
es una cuestión de números y el texto que se genera no tiene ninguna
intención comunicativa porque, la máquina per se no tiene capacidad para
compartir pensamientos de ningún tipo. Sí es cierto, sin embargo, que, dadas
las cualidades cada vez más fluidas del texto generado automáticamente,
puede dar la impresión de que se crea una situación comunicativa. Esto es
así porque nuestra percepción del texto, independientemente de cómo se
haya generado, está mediada por nuestra propia competencia lingüística y
nuestra predisposición a interpretar los actos comunicativos como si
transmitieran un significado y una intención coherentes, con independencia
de si, efectivamente, lo transmiten. Así, la comprensión del significado
implícito es una ilusión que surge de nuestra singular comprensión humana
del lenguaje (cf. Bender et al., 2021, p. 616). El aumento en la fluidez del
resultado de la traducción automática modifica la percepción de la adecuación
de dicho resultado. Sin embargo, los sistemas de traducción automática
pueden producir resultados inexactos, aunque fluidos y coherentes por sí
mismos para un consumidor que no ve el texto original o que no puede
entenderlo por sí mismo (cf. Martindale y Carpuat, 2018). A los grandes
modelos lingüísticos de inteligencia artificial se les puede pedir que realicen
una serie de tareas de procesamiento del lenguaje natural si se les
proporcionan algunos ejemplos de la tarea. No obstante, estos modelos
suelen tener comportamientos no deseados tales como inventarse hechos,
generar textos sesgados o tóxicos (cf. Ouyang et al., 2022). La cuestión que
92 La traducción automática de los referentes culturales […]
Hikma 23(1) (2024), 87 - 109
surge entonces es la siguiente: qué efecto tiene la traducción automática
aplicada a los referentes culturales.
1. M
ÉTODOS DE EVALUACIÓN EN TRADUCCIÓN AUTOMÁTICA
Los métodos de evaluación en traducción automática se suelen
clasificar en dos tipos: la evaluación automática, es decir, la realizada por el
propio software sin intervención humana, y la evaluación manual, realizada
por profesionales de la traducción (Sánchez Ramos y Rico Pérez, 2020, p.
34-48). Estos dos tipos se emplean en diferentes contextos de evaluación
tales como la comparación de dos o más sistemas para determinar cuál
ofrece mejores resultados en un determinado par de idiomas, la comparación
de las diferentes versiones de un mismo programa para analizar qué mejoras
se han realizado en cada una de ellas o la evaluación de los resultados que
da un sistema con textos de un campo de especialidad determinado. En el
caso de las métricas de evaluación automática, estas comparan las
traducciones obtenidas por el programa con una traducción de referencia
realizada por un traductor profesional. Aunque una correspondencia exacta
no es posible, se considera que la mejor traducción es aquella que más se
acerca a la traducción de referencia. La proximidad entre la traducción de
referencia y la que ha generado el programa se calcula de forma distinta
según las métricas y de ellas, BLEU (Bilingual Evaluation Understudy)
2
(cf.
Papineni et al., 2002) es la que se usa con más frecuencia. Para realizar los
cálculos de evaluación de la calidad se utilizan tres parámetros, siempre
relacionados con el grado de coincidencia léxica entre la traducción
automática y la traducción de referencia (cf. Sánchez y Rico, 2020, p. 31-54):
a) El número de palabras comunes entre la traducción de
referencia y la generada de forma automática.
b) La longitud del texto traducido automáticamente (calculado en
el número total de palabras).
c) La longitud de la traducción de referencia (calculada en el
número total de palabras).
A partir de estos tres parámetros, se pueden establecer las siguientes
relaciones:
1. La relación entre el número de palabras comunes (a) y la
longitud del texto traducido automáticamente (b). Con esta
relación se calcula la precisión, esto es, cuantas palabras del
texto traducido automáticamente no están en la traducción de
referencia. La puntuación que se obtiene penaliza la
2
Bilingual Evaluation Understudy) o Bilingual Evaluation Understudy (BLEU).
Celia Rico Pérez 93
Hikma 23(1) (2024), 87 - 109
generación de palabras adicionales que no aparezcan en la
traducción de referencia.
2. La relación entre el número de palabras comunes (a) y la
longitud de la traducción de referencia (c). Con esta relación
se calcula la exhaustividad, es decir, la cantidad de palabras
de la traducción de referencia que no aparecen en la
traducción automática.
3. La calidad de la traducción resultante del sistema de TA es
asignada con un valor en una escala del 1 al 100, de manera
que cuanto más alta sea la puntuación, mayor será la calidad
de la traducción.
Como vemos, este tipo de métricas automáticas miden únicamente el
grado de similitud entre una traducción automática y un documento de
referencia contrastado en la lengua meta, pero no se centran, en ningún caso,
en la expresión adecuada del significado del texto origen por lo que, en
realidad, carecen de validez en cuanto a la medida de la calidad semántica
de la traducción. Esta es una de las grandes desventajas de las métricas
automáticas y, aunque es cierto que sirven para dar una estimación de la
calidad en grandes volúmenes de texto, conviene atender también a los
resultados que se obtienen de la evaluación de oraciones individuales. Este
es, precisamente, uno de los puntos más controvertidos de BLEU y se debe
a que, al calcular la calidad de una traducción de acuerdo con una traducción
de referencia, no se tiene en cuenta que cabe la posibilidad de que un texto
traducido sea bueno sin ser necesariamente idéntico al de referencia.
Con respecto a la evaluación manual de la traducción automática, esta
se lleva a cabo de modo analítico, es decir, identificando errores uno por uno,
con categorías típicas como errores terminológicos, ambigüedad léxica,
omisiones, concordancia o errores de puntuación. Generalmente, se utilizan
plantillas correctoras que establecen una tipología de errores con una serie
de valores de penalización para cada uno de ellos, con el problema añadido
de que no son valores estándar, puesto que cada métrica asigna un peso
diferente a las distintas tipologías de error. Este tipo de evaluación nos da una
imagen pormenorizada de qué problemas se han identificado en el texto
traducido de manera automática. A la hora de aplicar las métricas de
evaluación manual, los evaluadores primero identifican el error en función de
una tabla previa de clasificación y luego asignan una puntuación según una
escala determinada, de forma que al final se obtiene una puntuación que
determina la calidad del texto meta. Algunas de las métricas de evaluación
manual más utilizadas son SAEJ2450 (cf. SAE 2001), el modelo MQM (cf.
Almaghout y Specia, 2013) y el modelo TAUS (cf. Valli, 2015).
94 La traducción automática de los referentes culturales […]
Hikma 23(1) (2024), 87 - 109
La bibliografía especializada en la evaluación de la traducción
automática es extensa y abarca diversas disciplinas como la informática, la
lingüística computacional, la estadística o la inteligencia artificial (ver, por
ejemplo, Way, 2018). En los Estudios de Traducción, la evaluación de la
traducción automática ha hecho su entrada en los últimos años, coincidiendo
precisamente con la implantación casi generalizada de este tipo de
programas, y se ha centrado principalmente en la posedición (cf. Koponen et
al., 2021), adoptando −y adaptando, en la medida de lo posible− los métodos
de las disciplinas citadas. Ahora bien, los Estudios de Traducción no son
ajenos, en modo alguno, a la evaluación y esta es, precisamente, un área de
trabajo de gran tradición (cf. Conde, 2022). Por otra parte, en la evaluación
de la traducción automática no pueden aplicarse los mismos criterios que en
la evaluación de la traducción humana, puesto que son actividades diferentes
y con objetivos complementarios (cf. Mihalache, 2021). Hacerlo de otro modo,
suponeponer en pie de igualdad los resultados de una y otra, lo que de alguna
manera lleva intrínseca la devaluación del factor humano e impide una
adecuada traslación de los referentes culturales en tanto que «nociones
específico-culturales de un país o de un ámbito cultural, unidades de
comunicación que poseen una estructura semántica y pragmática compleja»
(cf. Luque, 2009). La cuestión es saber hasta qué punto estos métodos sirven
realmente para evaluar los referentes culturales traducidos de manera
automática.
2. C
RITERIOS PARA LA EVALUACIÓN DE LOS REFERENTES TRADUCIDOS
AUTOMÁTICAMENTE
La evaluación de los referentes culturales traducidos mediante
traducción automática puede considerarse un nuevo campo de estudio. Hasta
ahora, el análisis ha seguido la metodología propuesta fundamentalmente por
Molina (2006), quien define los referentes culturales (culturemas) como
elementos dinámicos que existen precisamente como la consecuencia de un
trasvase cultural entre dos culturas concretas, de manera que al entrar en
contacto a través de la traducción se puede provocar un problema de
compresión. Por lo tanto, los elementos culturales no existen fuera de un
contexto, puesto que su actuación como tal depende del contexto en el que
aparezcan (cf. Molina 2006, pp. 78 -79). Este es un punto clave a la hora de
definir una metodología de evaluación de los referentes culturales traducidos
automáticamente porque, como hemos podido comprobar en el apartado
anterior, el contexto no es precisamente un aspecto que se tenga en cuenta
en los criterios que se suelen utilizar. La evaluación de los elementos
culturales en el resultado de la traducción automática requiere un análisis
cualitativo para el que las métricas automáticas, como BLEU, no son
adecuadas. Tampoco resultan aptas las métricas manuales, puesto que usan
Celia Rico Pérez 95
Hikma 23(1) (2024), 87 - 109
escalas analíticas que incluyen anotaciones de errores y el cálculo de la
proporción de estos errores con respecto al número total de palabras del texto
traducido. Por consiguiente, son evaluaciones que no aportan datos
relevantes para el caso de los referentes culturales porque no recogen
información concreta sobre la esencia dinámica del referente cultural.
La propuesta de criterios que se presenta en este artículo toma como
punto de partida el eje funcionalista, que permite tener en cuenta el uso final
del texto en una situación o contexto determinado de modo que para que una
traducción sea buena debe funcionar (cf. Conde, 2022). A partir de este
marco de trabajo se proponen tres criterios básicos para la evaluación de los
referentes culturales, siguiendo las definiciones de Castilho et al. (2018,
pp. 18, -20):
a) Adecuación: grado en que la traducción transfiere el significado
de la unidad de la lengua de partida a la de llegada.
b) Fluidez: grado en que la traducción sigue las reglas de la
lengua de llegada.
c) Aceptabilidad: grado en que el texto traducido satisface las
necesidades de los potenciales usuarios.
Adicionalmente, y como se muestra en el siguiente apartado, la
aplicación de estos tres criterios permite obtener datos cualitativos que
revelan información significativa.
2.1 Aplicación práctica de los criterios: el caso de textos del ámbito
migratorio
La forma en que se comunica la administración pública con las
personas migrantes presenta un ámbito de situación comunicativa muy
interesante en el que analizar la traducción automática de los referentes
culturales. Por una parte, los textos que se manejan en este ámbito destacan
por características lingüísticas como la nominalización, la
despersonalización, las construcciones formadas por participio + sustantivo,
la subordinación reiterada, las construcciones pasivas, el uso de la pasiva
refleja y la abundancia de siglas (El-Madkouri, 2016, p. 131). A esto se
añaden las barreras culturales que se habrán de sortear para generar un texto
aceptable como resultado del proceso de traducción, sobre todo, en términos
y expresiones que se refieren a una realidad o a un tipo de documento
específico para una administración determinada del Estado.
Por otra parte, la comunicación multilingüe es clave en el contexto
migratorio. Debido a las restricciones presupuestarias para la gestión de las
necesidades lingüísticas de las personas migrantes (cf. Tesseur, 2017 y
96 La traducción automática de los referentes culturales […]
Hikma 23(1) (2024), 87 - 109
2022), el uso de traducción automática se ve a menudo como una solución
práctica en las diferentes etapas de la cadena de ayuda (cf. Rico, 2020). Sin
embargo, la utilización indiscriminada de esta tecnología podría suponer una
brecha en el flujo de trabajo comunicativo o incluso, en algún momento, un
riesgo significativo, todo dependiendo del tipo de contenido que se vaya a
traducir (cf. Nitzke et al., 2019). Por esta razón, es importante conocer el
impacto que tienen los contenidos traducidos automáticamente como
respuesta a las necesidades multilingües de las personas migrantes. En este
sentido, con el objetivo de mostrar una aplicación práctica de los criterios de
evaluación que se proponen en este artículo, en los siguientes apartados se
presenta un estudio exploratorio sobre la evaluación de los referentes
culturales traducidos automáticamente en textos del ámbito migratorio.
2.1.1 Características de los participantes en el estudio
El estudio exploratorio se llevó a cabo entre el 17 y el 19 de enero de
2022 con un grupo de 176 estudiantes de la asignatura Técnicas y Recursos
para la Traducción e Interpretación en los Servicios Públicos en el Máster de
Comunicación Intercultural, Interpretación y Traducción en los Servicios
Públicos de la Universidad de Alcalá. Este grupo de estudiantes tenía como
combinación lingüística ES-AR, FR, RU, ZH, EN-ES con la siguiente
distribución por grupo de idioma (Gráfico 1):
Gráfico 1. Distribución del grupo de lenguas
Fuente. Elaboración propia
2.1.2 Instrumento
Para la recogida de datos se creó un cuestionario a través de un
formulario de Google con dos tipos de preguntas para evaluar la calidad del
resultado de la traducción automática según los criterios de adecuación,
Celia Rico Pérez 97
Hikma 23(1) (2024), 87 - 109
fluidez y aceptabilidad (en el Anexo I pueden verse las preguntas que se
hicieron). El primer grupo de preguntas recogía datos cuantitativos mediante
una escala Likert de 5 puntos en la que los participantes indicaban el grado
de acuerdo con una serie de afirmaciones relativas a la calidad del texto
traducido automáticamente y que se referían de manera explícita a los tres
criterios citados. Así, por ejemplo, para recoger la información sobre el criterio
de adecuación, los participantes debían indicar su grado de acuerdo con la
siguiente afirmación: «la traducción automática del texto con el que he
trabajado traslada de manera adecuada el significado del texto original». El
segundo grupo de preguntas se centraba en datos cualitativos, con preguntas
abiertas sobre la calidad de la traducción automática. En este sentido, se
pedía expresamente a los participantes que dieran su opinión sobre el
resultado de la traducción automática y que indicaran algún ejemplo
problemático, en el caso de que lo hubiera, con su correspondiente
explicación. Para el criterio de adecuación, por ejemplo, la pregunta se
formulaba de la siguiente manera: «¿hay algún caso en el que la traducción
automática del texto con el que has trabajado no haya trasladado de manera
adecuada el significado del texto original? Indica en qué caso y explícalo».
2.1.3 Corpus de análisis
El corpus de análisis estaba compuesto por textos del Portal de
Migraciones del Ministerio de Inclusión, Seguridad Social y Migraciones de
España. Se trata, principalmente, de contenidos informativos sobre trámites
y procedimientos con la Administración tales como la contratación de
trabajadores extranjeros, reagrupación, estancia por estudios o
autorizaciones de diversa índole. Asimismo, el corpus de análisis contenía
formularios y modelos de solicitud de autorización de estancia, de residencia
o de trabajo. Todos los text