Traducción humana vs. traducción automática: análisis contrastivo e implicaciones para la aplicación de la traducción automática en traducción jurídica* **

Human Translation vs. Machine Translation: A Contrastive Analysis and Factors Involving Machine Translation Use for Legal Translation

Traduction humaine vs. Traduction automatique : analyse contrastée et implications pour l’application de la traduction automatique dans la traduction juridique

Vicent Briva-Iglesias[1]

 

[1] vicent.brivaiglesias2@mail.dcu.ie Science Foundation Ireland Centre for Research Training in Digitally-Enhanced Reality (d-real) School of Applied Language and Intercultural Studies (SALIS), Dublin City University Irealnd.

Date received: 15/2/2021

Date accepted: 26/4/2021

Resumen

En el contexto actual de avances tecnológicos y desarrollo de la inteligencia artificial, la digitalización de las sociedades y las mejoras tecnológicas transforman nuestras vidas en todos los ámbitos. La traducción no es una excepción. Con la aparición de la traducción automática neuronal -un nuevo paradigma de traducción automática-, la calidad que ofrece dicho sistema ha mejorado sustancialmente, incluso llegando a afirmarse que iguala o supera la calidad de la traducción humana en determinados ámbitos como las noticias. No obstante, los lenguajes de especialidad entrañan complejidades intrínsecas. En traducción jurídica, el anisomorfismo del lenguaje jurídico puede ser una brecha muy difícil de salvar para las máquinas: términos dispares para un mismo concepto en sistemas jurídicos diferentes, equivalencia cero o parcial, etc. Así, el objetivo del presente trabajo es estudiar la utilidad de la traducción automática como recurso formativo en el aula de traducción jurídica, teniendo en cuenta las características y tendencias del sector de la traducción profesional. Para ello, en este estudio se hace una evaluación humana de tres traducciones humanas de contratos societarios inglés-español y de una traducción generada por un motor de traducción automática neuronal. Los resultados apuntan a 1) que la traducción automática podría constituir una herramienta didáctica muy útil en la clase de traducción jurídica; 2) que la identificación de las competencias podría potenciarse con un enfoque de esta naturaleza; 3) la forma de incorporación de la traducción automática a la formación en Traducción Jurídica, y 4) las ventajas que tendría aquella sobre métodos de enseñanza-aprendizaje tradicionales.

Palabras clave:

traducción automática, tecnologías de la traducción, traducción jurídica, calidad de la traducción, evaluación de la calidad

Abstract

In the current context of technological advancements and development of artificial intelligence, the digitalization of our societies and technological improvements are transforming our lives in all areas. Translation is no exception. With the emergence of neural machine translation (NMT), a new paradigm of machine translation (MT), the quality offered by such systems has improved substantially, and some authors even claim that MT systems equal or surpass human translation quality in certain fields such as news. However, specialized genres involve intrinsic complexities. In legal translation, the anisomorphism of legal language can be a very difficult gap for machines to bridge: different terms for the same concept in different legal systems, zero or partial equivalence, and so on. In this study, a human evaluation of three human translations of English-Spanish company contracts and one translation generated by a NMT engine will be carried out. Results show that MT could be a very useful teaching tool in the legal translation classroom, allowing to identify the skills that could be enhanced by such an approach. Finally, how MT could be incorporated into the training of legal translators is proposed, and the advantages it would have over traditional teaching-learning methods are presented.

Keywords:

Machine translation, translation technologies, legal translation, translation quality, quality evaluation

Résumé

Dans le contexte actuel de progrès technologiques et de développement de l’intelligence artificielle, la numérisation de nos sociétés et les progrès technologiques transforment nos vies dans tous les domaines ; la traduction ne fait pas exception. Avec l’apparition de la traduction automatique neuronale (TAN), un nouveau paradigme de traduction automatique (TA), la qualité qu’offre ce système s’est considérablement améliorée, au point d’affirmer qu’elle égale ou dépasse la qualité de la traduction humaine (TH) dans certains domaines tels que les nouvelles journalistiques. Néanmoins, les langages de spécialité comportent des complexités intrinsèques. En traduction juridique, l’anisomorphisme du langage juridique peut être une brèche très difficile à combler pour les machines : des termes différents pour un même concept dans des systèmes juridiques différents, équivalence zéro ou partielle, etc. Ainsi, l’objectif de ce travail est d’étudier l’utilité de la traduction automatique en tant que ressource de formation dans la classe de traduction juridique, en tenant compte des caractéristiques et des tendances du secteur de la traduction professionnelle. Dans cette étude, une évaluation humaine de trois th des contrats sociétaires anglais-espagnol et d’une traduction produite par un moteur de ta neuronal sera réalisée. Les résultats montrent i) que la ta pourrait être un outil d’enseignement très utile dans la classe de traduction juridique, ii) l’identification des compétences qui pourraient être améliorées par une telle approche, iii) la manière dont la ta pourrait être intégrée dans la formation à la traduction juridique, et iv) les avantages qu’elle présenterait par rapport aux méthodes d’enseignement-apprentissage traditionnelles.

Mots-clés :

traduction automatique, technologies de traduction, traduction juridique, qualité de la traduction, évaluation de la qualité

1. Introducción

Con el desarrollo de la inteligencia artificial y la aparición de sistemas de traducción automática (TA) más potentes y gratuitos, al alcance de cualquier persona con acceso a Internet, los cambios en el mundo profesional de la traducción son profundos y relevantes (Alvarez-Vidal et al., 2020). La amplia competencia laboral y la introducción de la TA en el flujo de trabajo profesional, que permite aumentar la productividad de los traductores y reducir los costes de producción, han provocado un descenso notable de las tarifas (Moorkens, 2017). Además, varios especialistas y académicos del campo de la traducción y de la lingüística computacional ya afirman que, con el desarrollo de nuevos sistemas de TA, la calidad de esta es, actualmente, similar a la traducción humana (TH) o que se acerca a la de los traductores promedio (Wu et al., 2016). Algunos académicos incluso indican que los sistemas de TA pueden superar la calidad de los traductores en determinados ámbitos como son las noticias (Hassan et al., 2018).

Ahora bien, se ha demostrado que los estudios que arrojaron estos resultados no habían seguido enfoques de evaluación de la calidad de la traducción adecuados (Läubli et al., 2018, 2020; Toral, 2020). Entre otros aspectos, uno de los fallos en las evaluaciones anteriores fue que habían sido llevadas a cabo por traductores no profesionales, es decir, voluntarios o estudiantes, sin conocimientos expertos en traducción. Según Castilho et al. (2017), esto puede provocar que no se detecten determinados errores o incoherencias y, por ende, que se valoren las traducciones de manera incorrecta. No obstante, pese a que la TH sigue prevaleciendo sobre la TA, la dirección de estas investigaciones indica que se están haciendo grandes progresos cualitativos en el campo de la TA.

Según el informe del año 2020 de la European Union of Associations of Translation Companies (EUATC), un 68 % de las empresas de servicios lingüísticos utilizaba la TA en su entorno de trabajo y tenía pensado aumentar su inversión en ella en los próximos años (EUATC, 2020), mientras que, en el 2017, esta cifra rondaba el 45 % (EUATC, 2017). En contraste con el gran uso de la TA en la industria de la traducción, Borja y Martínez-Carrasco (2019) indican que solo el 13 % de las asignaturas relacionadas con las tecnologías en 26 universidades españolas que ofrecían el grado en Traducción e Interpretación (TeI) en 2017-2018 mencionaban la TA en sus planes de estudio. Y esto último no significa que realmente la utilicen. De estos datos podemos extraer que los proveedores de servicios lingüísticos están adaptándose e introduciendo los nuevos avances tecnológicos, pero no podemos decir lo mismo de las universidades españolas.

Habida cuenta de la situación actual, es necesario empezar a definir nuevos perfiles para los futuros traductores profesionales, atendiendo a los avances que se están produciendo en la calidad de la TA, con el propósito de identificar cuáles pueden ser sus campos de actuación en el futuro. Por todo ello, el objetivo del presente trabajo es estudiar la utilidad de la TA como recurso formativo en el aula de traducción jurídica, teniendo en cuenta las características y tendencias del sector de la traducción profesional. Específicamente, los objetivos fueron los siguientes:

  • Analizar las traducciones de un texto jurídico realizadas por estudiantes del último curso de TeI y compararlas con la traducción en bruto de un motor de TAN general.

  • Analizar la conveniencia de incorporar la TA a la formación en Traducción Jurídica.

  • Identificar las competencias que podrían potenciarse con un enfoque de esta naturaleza.

  • Proponer el modo de incorporar la TA a la formación en Traducción Jurídica.

  • Identificar las ventajas que el objetivo 4 tendría (si las hubiera) sobre métodos de enseñanza-aprendizaje tradicionales.

Para realizar esto, tres traductores profesionales, con experiencia en traducción jurídica, han evaluado las traducciones de un contrato societario realizadas por estudiantes del cuarto curso de TeI y se han comparado con la traducción en bruto de un motor de traducción automática neuronal (TAN).

Esta evaluación se ha llevado a cabo siguiendo la metodología Multidimensional Quality Metrics-Dynamic Quality Framework (MQM-DQF) de Translation Automation User Society (TAUS) (Görög, 2014; O’Brien, 2012) y las directrices de evaluación humana de Läubli et al. (2020), ambos recursos bien reconocidos en el campo de evaluación de la TA.

El hecho de comparar los diferentes tipos de error presentes en las TH y la TA ha permitido analizar la conveniencia de incorporar esta última a la formación en traducción jurídica e identificar las competencias que podrían potenciarse con un enfoque de esta naturaleza. Finalmente, se hace una breve propuesta de incorporación de la TA a la formación en traducción jurídica y se mencionan las ventajas que tendría esta metodología sobre métodos de enseñanza-aprendizaje tradicionales.

2. La traducción automática

Aunque el término “tecnologías de la traducción” suela utilizarse para hablar de herramientas tecnológicas relacionadas con los dispositivos móviles y la nube actuales, el desarrollo de este tipo de tecnologías se remonta a la segunda mitad del siglo XX (Automatic Language Processing Advisory Committee, 1966; Hutchins, 2004). Después de la Segunda Guerra Mundial, la invención de los ordenadores y los avances en teoría de la información permitieron pensar que la TA era una herramienta plausible para su uso cotidiano (Brown et al., 1990). Asimismo, en la actualidad, el aumento del comercio y de la comunicación global ha sido otro factor muy importante en el impulso de las tecnologías de la traducción, pues las empresas quieren ofrecer sus productos y servicios en mercados extranjeros y, por lo tanto, la demanda de servicios lingüísticos crece. Según el informe “The language services market: 2018”, de Common Sense Advisory (2018), la industria de servicios lingüísticos ganó 46,52 miles de millones de dólares estadounidenses en 2018, y se esperaba que en el 2021 la cifra llegaría a los 56,18 miles de millones de dólares.

Así pues, los avances tecnológicos, la creciente tendencia hacia la globalización empresarial, la expansión del comercio electrónico y la multiplicación de la producción de contenidos web obligan a que el contenido sea traducido de manera más rápida y barata. Como consecuencia, la TA cobra una importancia creciente, al poder aumentar la productividad de los traductores y reducir costes mediante su posedición, y las grandes empresas tecnológicas están invirtiendo decididamente en su desarrollo (EUATC, 2020).

No obstante, para hablar de TA, primero hay que saber a qué nos referimos cuando utilizamos el término “traducción automática”. Según Ginestí y Forcada:

La traducción automática es el proceso de traducción mediante un sistema informático (compuesto por ordenadores y programas), de textos informatizados escritos en la lengua origen (LO) a textos informatizados escritos en la lengua meta (LM). Un texto informatizado es un fichero de un ordenador que contiene un texto en un formato conocido [TXT, PDF, etc.] (2009, p. 43; propuesta de traducción del autor).

Por lo tanto, la TA es una herramienta que, cuando se introduce un texto informatizado en un lenguaje natural, lo traduce de manera automática a otro lenguaje natural, produciendo lo que se llama “traducción en bruto”.

Históricamente, han existido dos grandes tipos de TA: la basada en reglas (TABR) y la basada en corpus (Nitzke, 2019).

La TABR fue el primer sistema de TA en desarrollarse y se centraba en traducir automáticamente palabra por palabra (Nitzke, 2019, pp. 6-8). Para conseguir esto, hacían falta dos actores imprescindibles: por una parte, una serie de lingüistas que definieran diccionarios y normas lingüísticas (gramaticales, sintácticas y estilísticas) de las características de la lengua origen (LO) y de la lengua meta (LM); y, por otra, expertos informáticos que desarrollaran programas informáticos capaces de leer, entender e interpretar las reglas creadas por los lingüistas para aplicarlas en la LM.

Un ejemplo de regla de un sistema de TABR es el siguiente:

<rule> <or> <match lemma="bed" tags="n.*”/> <match lemma="cotton" tags="adj"/> </or> <match lemma="sheet" tags="n.*"> <select lemma="sábana" tags="n.*"/> </match> </rule>

En este caso, la regla de traducción del término sheet en una combinación de inglés y español. Sheet no tiene una única traducción posible, ya que podría traducirse como hoja o sábana, en función del contexto. No obstante, en la regla anterior hay un condicionante que indica que si el término sheet va acompañado de bed o cotton, debería traducirse por sábana.

Los lenguajes son complejos y la ambigüedad léxica o sintáctica es uno de los problemas más difíciles de solventar en el campo de la lingüística computacional (Ginestí y Forcada, 2009), que se complica aún más en los lenguajes de especialidad como el jurídico, donde el anisomorfismo está presente (Borja, 2013). Como el proceso de elaboración de reglas es largo y arduo, la TABR fue abandonada a favor de nuevos sistemas de TA que han demostrado ser más potentes y eficaces, gracias a los nuevos avances en procesamiento computacional.

En cuanto al segundo tipo o aproximación a la TA, podemos hablar de la “TA basada en corpus”. Debido a la mejora de los procesadores informáticos, al desarrollo de Internet a finales del siglo XX y a la aparición de muchos corpus monolingües y bilingües disponibles en línea, los investigadores en TA pudieron desarrollar nuevos sistemas que no necesitaban la creación de diccionarios a partir de reglas lingüísticas, sino que utilizaban algoritmos matemáticos y aprendizaje profundo para aprender a traducir de manera automática a partir de traducciones existentes alineadas en forma de corpus (Hearne y Way, 2011). Dentro de este tipo de sistema de TA existen la traducción automática estadística (TAE) y la TAN.

Para desgranar y definir estos sistemas de TA de una manera sencilla, deben explicarse los dos procesos clave que llevan a la creación de estos motores de TA:

El entrenamiento: en este primer proceso, se produce una serie de iteraciones estadísticas automáticas, con el objetivo de extraer un modelo de traducción a partir de un corpus bilingüe paralelo.

¿Qué es un modelo de traducción? Por medio de las iteraciones estadísticas, se asocian las probabilidades de que una palabra en la LO se traduzca de manera determinada en la LM. Como hemos visto anteriormente, las palabras pueden tener diferentes traducciones correctas en función del contexto, así que las probabilidades de que sheet se traduzca por sábana u hoja dependerán del corpus que utilice la máquina para extraer el modelo de traducción y “aprender a traducir” durante el entrenamiento, al asignar las probabilidades de traducción.

Además, el entrenamiento también implica la obtención de un modelo de lengua a partir de un corpus monolingüe. Las iteraciones estadísticas para la creación del modelo de lengua son las mismas que en el proceso anterior, pero, al analizar un corpus monolingüe, se obtiene un diccionario probabilístico que permite estimar la fluidez de un texto en la LM (Brown et al., 1990).

Así pues, tras el entrenamiento, tenemos un modelo de traducción (que nos indica las probabilidades de que una palabra X se traduzca por Y o Z, gracias a un corpus bilingüe) y un modelo de lengua (que nos permite saber cuáles son las construcciones más fluidas y correctas en la LM, gracias a un corpus monolingüe).

El decoding: este segundo proceso afronta la traducción como un problema de búsqueda. Cuando se introduce una oración en la LO en el motor de TA, este busca todas las traducciones posibles según el modelo de traducción. A continuación, reordena estas traducciones de conformidad con el modelo de lengua y, para terminar, ofrece como traducción en bruto la oración en la LM que obtenga una puntuación superior al mezclar las probabilidades del modelo de traducción y el modelo de lengua. Es decir, la traducción propuesta será la “más probable” (Koehn, 2010).

Hasta hace poco, la TAE era el sistema más utilizado en la industria de la traducción, pero las mejoras en procesamiento computacional y la consiguiente adopción de redes neuronales han permitido adoptar con éxito la TAN (Bentivogli et al., 2016). Según Koehn (2017), los modelos de redes neuronales ya se habían propuesto de manera muy similar anteriormente (Castaño et al., 1997; Forcada y Ñeco, 1997), aunque ninguno se había podido entrenar con cantidades de texto como las que están disponibles actualmente y, además, la potencia de procesamiento de las máquinas y los ordenadores de entonces no era la de ahora. Por tanto, solo los avances en procesamiento actuales han permitido “resucitar” los antiguos modelos neuronales, que se han abierto hueco en el mundo de la TA.

Se ha demostrado que la TAN ofrece un rendimiento superior al sistema de TA anterior, la TAE (Bojar et al., 2016). Así pues, la industria se ha volcado a introducir y actualizar sus sistemas de TA, como, por ejemplo, Google (Wu et al., 2016) y la Organización Mundial de la Propiedad Intelectual (Junczys-Dowmunt y Grundkiewicz, 2016).

Sin embargo, una de las desventajas de la TAN son los requisitos para su funcionamiento. Según Forcada (2017), para ofrecer buenos resultados, la TAN necesita corpus lingüísticos mucho más grandes que la TAE (de millones de segmentos alineados), así como procesadores muy potentes llamados “unidades de procesamiento gráfico” (Graphics Processing Unit).

El entrenamiento, al ser un proceso muy exigente computacionalmente, puede tardar días o incluso meses. Lepikhin et al. (2020) indicaron que cada vez que entrenan su motor de TA en Google, el coste del entrenamiento se eleva a 400 000 €. Estos requisitos hacen que los sistemas de vanguardia de TA actuales estén en manos de muy pocos. No obstante, es posible crear motores de TA de código libre y que ofrezcan buenos resultados de calidad, como es el ejemplo del traductor neuronal inglés-catalán de Softcatalà (Briva-Iglesias, 2020).

3. El concepto calidad en traducción

Para definir el concepto calidad, primero es necesario enfatizar en el objetivo o fin de la traducción, en las necesidades del cliente, así como en la adecuación de la traducción para un fin determinado (Way, 2018).

Según Ginestí y Forcada (2009), normalmente se habla de dos posibles fines de la traducción:

1) asimilación -o comprensión-, un caso de uso en el que la traducción debe entenderse, pero no es necesaria una calidad impoluta; o 2) difusión -o publicación-, donde la calidad es un factor imprescindible del proceso de traducción.

Los requerimientos del cliente son claves en este punto, ya que no siempre es necesaria una traducción sin errores y con calidad profesional, como, por ejemplo, de las reseñas de una tienda en línea, que se traducen de manera automática para que un posible visitante de la web pueda entender qué opinan otros visitantes de determinado producto. En este caso, sería suficiente una traducción con fin de asimilación. En cambio, si hablamos de un documento jurídico con graves repercusiones legales, la calidad y los errores no pueden tolerarse. En este campo necesitaríamos una traducción con fin de difusión.

Asimismo, la situación descrita en las secciones anteriores, sumada a la demanda creciente de soluciones lingüísticas con plazos de entrega menores y con presupuestos más ajustados, ha provocado que la TA se utilice cada vez más en todos los ámbitos de especialidad (Guerberof-Arenas, 2008), incluso en traducción literaria, que se consideraba el bastión más seguro de la TH, al implicar altos niveles de creatividad (Guerberof-Arenas y Toral, 2020). Estos hechos hacen necesario determinar si las traducciones que la TA produce son útiles en un contexto de asimilación o difusión.

¶Históricamente, en la industria de la traducción, el concepto calidad se ha utilizado de dos maneras diferentes: en primer lugar, los proveedores de servicios lingüísticos necesitan corroborar que sus traducciones cumplen con los requisitos exigidos por los clientes y es aquí cuando el foco de atención recae sobre la calidad. Según Leiva (2018), los proveedores de servicios lingüísticos están recurriendo cada vez más a una serie de sistemas de gestión de calidad, mediante certificaciones y acreditaciones. Estas certificaciones las otorgan varios organismos o entidades que hacen un seguimiento de procesos como la viabilidad, la gestión y la entrega de los proyectos de traducción, así como el valor que se agrega a estos, entre otros elementos. Contar con una de estas certificaciones sirve para que los diferentes proveedores de servicios lingüísticos puedan demostrar que llevan a cabo una buena gestión y administración de sus encargos y proyectos, y les permite optimizar sus prestaciones.

Entre estas certificaciones, destacan la norma alemana DIN 2345 (Deutschen Institut für Normung, 1998), la estadounidense ASTM F2575 14 (ASTM F43 Committee, 2014), la china GB/T 19363 (General Administration of Quality Supervision, 2008) y las normas ISO 17100:2015 (International Organization for Standardization -ISO-, 2015) e ISO 18587:2017 (ISO, 2017). No obstante, aunque estas certificaciones tienen en consideración procesos acompañados de una traducción, no evalúan los textos, que es lo que nos atañe en el presente artículo.

En segundo lugar, el otro uso del concepto calidad es en el que nos centramos en este estudio. Para establecer una definición de este uso, me he basado en el volumen número 12 de la revista Tradumática, sobre traducción y calidad. En tres artículos de este número de la revista (Fields et al., 2014; Koby et al., 2014; Melby et al., 2014), los autores discrepan a la hora de dar una definición exacta de la expresión “traducción de calidad”, pero sí consiguen ofrecer dos definiciones de partida diferentes.

La primera definición, según una interpretación más amplia del término, es:

Una traducción de calidad demuestra la precisión y fluidez que la audiencia y el propósito requieren, y cumple con todas las otras especificaciones negociadas entre el solicitante de la traducción y el proveedor de la traducción, siempre teniendo en cuenta las necesidades del usuario final (Koby et al., 2014; propuesta de traducción del autor).

Uno de los motivos por los que varios de los autores del artículo no están totalmente de acuerdo con la interpretación anterior es porque, en ella, el término “traducción” podría englobar otras actividades del mundo lingüístico, como es la localización o la transcreación. Sin embargo, la segunda definición es mucho más acotada y restringida:

Una traducción de calidad es aquella en la que el mensaje plasmado en el texto de origen se transfiere por completo al texto de destino, incluyendo la denotación, la connotación, el matiz y el estilo. Además, el texto de destino está escrito en la lengua meta utilizando la gramática y el orden de las palabras correctos, lo que produce un texto culturalmente apropiado que, en la mayoría de los casos, se lee como si hubiera sido escrito originalmente por un hablante nativo de la lengua meta para los lectores de la cultura meta (Koby et al., 2014; propuesta de traducción del autor].

Por lo tanto, de estas definiciones se puede extraer que, aunque ofrecer una definición exacta del concepto calidad en traducción es complejo, los autores siempre mencionan los mismos actores: 1) un texto en la LM, correcto gramatical, sintáctica y estilísticamente; 2) fluido; 3) que respete el significado del texto origen (TO) completamente, y 4) que se adecúe o cumpla con las necesidades o los requisitos del usuario final.

¶La importancia de la calidad en la traducción está aceptada ampliamente y es un factor clave que debe tenerse en cuenta en función del fin y de la adecuación al propósito de la misma, ya sea de asimilación o difusión (Leiva, 2018; Sánchez-Gijón, 2014).

4. Evaluación de la calidad de la traducción

Como se ha comentado en las secciones anteriores, el interés en la TA reside en dos principios: el aumento de la productividad y la reducción de los costes. La rapidez y el ahorro son elementos y requerimientos de gran importancia en la actualidad. Por este motivo, al crear un motor de TA, el objetivo suele ser poder traducir más texto en menos tiempo y con menos costes.

Para saber si esto será posible, los desarrolladores y los informáticos que se encargan de estas tareas necesitan corroborar y comprobar si su motor rinde bien o no, así como si las modificaciones que se han introducido han mejorado el sistema. Esto debe hacerse de manera sencilla y rápida, que permita seguir el ritmo al que avanzan la sociedad, la industria y el mercado.

Tradicionalmente, la evaluación de la calidad de la traducción se ha basado en dos tipos de evaluaciones: la automática y la humana. La evaluación automática de la calidad se centra en la búsqueda de índices de calidad, al comparar la traducción en bruto de un motor de TA con una TH de referencia o Gold Standard (Martín-Mor et al., 2016).

En este tipo de evaluaciones, se mide de manera automática el número de ediciones (inserciones, eliminaciones y sustituciones) que son necesarias para convertir la propuesta en bruto de la TA en la traducción de referencia. Son ejemplos las métricas Position-Independent Word Error Rate (PER) (Tillmann et al., 1997), Word Error Rate (WER) (Wang et al., 2003) y Translation Edit Rate (TER) (Snover et al., 2016).

Otras métricas automáticas comparan el orden de las palabras o de los grupos de palabras de la TA con la traducción de referencia, como Bilingual Evaluation Understudy (BLEU) (Papineni et al., 2001), NIST (Doddington, 2002) o METEOR (Banerjee y Lavie, 2005).

El hecho de que sea una evaluación automática, sencilla y fácilmente replicable, hace que este tipo de evaluación sea muy atractiva para los desarrolladores de sistemas de TA. Sin embargo, las métricas automáticas de evaluación de la calidad de la TA muestran algunas limitaciones, ya que el lenguaje entraña obstáculos, complejidades y dificultades que no son fáciles de representar o calcular con métricas automáticas. Por ejemplo, no tienen en cuenta las coincidencias aproximadas como los sinónimos, ya que una métrica automática no puede considerar por completo las particularidades y complejidades del lenguaje.

Además, no debemos olvidar que un texto en la LO puede tener múltiples traducciones válidas y correctas en la LM y, mediante una evaluación automática, solo se puntuaría como correcta la traducción de referencia, penalizándose otras posibles traducciones igual de válidas y correctas. En los lenguajes de especialidad como el jurídico, estas limitaciones aún son más notables.

Así pues, aunque la evaluación y las métricas automáticas son útiles para los desarrolladores de motores de TA, Läubli et al. indican que

[…] la evaluación humana sigue siendo la norma, pero hay muchas decisiones metodológicas que pueden afectar potencialmente la validez de dicha evaluación humana [y que] hay un amplio consenso de que debe llevarse a cabo una evaluación humana (pese a sus costes elevados) (2020, pp. 1-2; propuestas de traducción del autor).

Por tanto, diseñar una buena metodología para evaluar la calidad de la TA ha sido uno de los objetivos principales en el sector de las tecnologías de la traducción en los últimos años. Se han propuesto múltiples métodos de evaluación humana de TA (Moorkens et al., 2018): puntuar los segmentos del 1 al 5 de conformidad con la calidad; hacer una clasificación relativa; analizar los errores mediante métricas MDM-DQF; por medio de pruebas de comprensión, o con posedición, etc.

En el presente estudio se utilizan las métricas MDM-DQF. Este tipo de evaluación no es nuevo, ya que, según Leiva (2018), los siguientes métodos de evaluación humana MQM se han utilizado ampliamente en el sector: 1) el LISA QA (DSS Resources, 2006), desarrollado por la Localization Industry Standards Association en 2006; 2) el SAE J2450 (SAE International, 2021), desarrollado con el objetivo de evaluar la calidad de las traducciones de publicaciones del mundo automovilístico, también del 2006; o 3) el BS EN15038 (Quality Standard, s. f.), reemplazado a partir del 2015 por la certificación ISO 17100.

Más recientemente, se han actualizado las métricas de evaluación basadas en tipología de errores (MQM) a un modelo MDM-DQF, añadiendo tipologías de errores que se adaptan al mercado actual, gracias a un proyecto de investigación, financiado por la UE, llamado QTLaunchPad (QT21 Consortium, 2018).

LISA QA y SAE J2450 no se han actualizado desde su creación y, por tanto, no se han adaptado a las nuevas necesidades del mercado y de la industria. Así pues, la evaluación de la calidad siguiendo una tipología de errores MDM-DQF, que evalúa los errores de lengua, terminología, precisión y estilo, es la norma en la industria de la traducción actual (Ye y Toral, 2020).

5. Particularidades de la traducción jurídica y su adecuación a la traducción automática

Las cuestiones jurídicas tienen una importancia clave en las sociedades actuales, y grandes potencias, como la UE, dedican mucha atención a las regulaciones y la creación de políticas que rijan y establezcan unos criterios y unas normas básicas. En el mundo globalizado actual, esto requiere un uso fundamentado de los lenguajes de especialidad y de una comunicación multilingüe profesional y especializada a la altura de la situación (Alcaraz, 2007; García Izquierdo, 2012).

Según Cao, la traducción jurídica es una de las ramas más complejas de la traducción, ya que requiere “habilidades, conocimientos y experiencias especiales […] que combinan la creatividad de la traducción literaria y la precisión terminológica de la traducción técnica” (2007, p. 3; propuesta de traducción del autor). Además, este tipo de traducción especializada permite que tanto personas con grandes conocimientos de la materia como legos puedan acceder a la información en distintos idiomas, ya sea en relaciones públicas con las administraciones o en relaciones privadas entre personas físicas o jurídicas (Borja, 2000; Trovato, 2018).

Todos los campos de la traducción especializada implican unas competencias intrínsecas propias y particulares, tanto desde el punto de vista del significado como de la terminología y de la fraseología (Monzó, 2008; Muñoz-Miquel, 2015). En el caso específico de la traducción jurídica, Martínez-Carrasco (2017) -en línea con las investigaciones de Gutiérrez (2010), Juste Vidal (2016) y Lobato (2007) - recoge las complejidades intrínsecas del lenguaje jurídico en español e inglés: 1) el nivel de fraseología, léxico y semántica -mediante nominalizaciones, terminología jurídica especializada, el uso de latinismos, etc.-; 2) el nivel gramatical y sintáctico -abundancia y abuso de frases subordinadas y elementos anafóricos, construcciones impersonales, estructuras fijas, repetitivas y establecidas, una sintaxis densa, entre otros elementos-; y 3) las características estilísticas particulares -con inclinación por un lenguaje arcaico y grandilocuente-. Estas complejidades se añaden a la opacidad y la dificultad del lenguaje jurídico (Alcaraz y Hughes, 2016). El inglés jurídico, como también representa una realidad reglamentaria y normativa similar a la del régimen jurídico español, comparte muchas de las características anteriores (Haigh, 2018; Prieto, 2013).

La complejidad del lenguaje jurídico es patente incluso dentro de la propia especialidad, ya que las diferentes ramas del derecho tienen peculiaridades distintas que se complican dentro del mismo sistema jurídico, y que se acentúan aún más al tratar diferentes ordenamientos, como el español y el británico, o incluso dentro de un mismo idioma, como el británico y el estadounidense (Borja, 2013). Como consecuencia, todas estas dificultades y particularidades deben tenerse en cuenta en la formación en traducción jurídica, ya que dificultarán la adquisición de competencias.

Aunque se han propuesto diversos modelos de adquisición de competencias de traducción especializadas y generales (Borja, 2005; Cao, 2007; Hurtado Albir, 1999; PACTE, 2003, 2011; Sarcevic, 1997), en el presente estudio se relacionan los resultados con las subcompetencias mencionadas en Hurtado Albir et al. (2020): el conocimiento del proceso de traducción, las especificaciones del proyecto de traducción, la identificación y la resolución de problemas traductológicos, la toma de decisiones, la eficacia del proceso de traducción y el uso de recursos instrumentales.

Todas estas complejidades y características del lenguaje jurídico tienen una relevancia muy grande a la hora de aplicar la TA a los textos jurídicos, ya que implican problemas que las máquinas deben solucionar (Mileto, 2019). Ya hay estudios sobre la aplicación de la TA en la formación de traductores, que arrojan beneficios prometedores para los estudiantes, incluso en lenguajes especializados como el que nos ocupa (Kenny y Doherty, 2014; Mellinger, 2017; Moorkens, 2018; Nitzke et al., 2019; Wiesmann, 2019). El presente estudio colabora de este modo en esta rama de las tecnologías de la traducción en lenguajes especializados e investiga la TA como herramienta para el aula de traducción jurídica, teniendo en cuenta el rumbo de la industria de la traducción actual.

6. Método

En el presente estudio se ha decidido utilizar una metodología mixta, descriptiva y empírica. La parte descriptiva ha consistido en una revisión de la bibliografía más reciente, a fin de establecer el marco teórico de los conceptos fundamentales de este trabajo: TA, calidad en traducción, evaluación de la calidad y complejidades de la traducción jurídica y su adecuación a la TA.

Por otro lado, desde la vertiente empírica, ha consistido en un análisis contrastivo de los errores de traducción identificados en una muestra de traducciones realizadas por alumnos del cuarto año del grado de TeI y se han comparado con los errores identificados en una TA generada con DeepL, uno de los sistemas de TAN de vanguardia en la combinación de idiomas inglés-español.

Esto permitirá establecer la base para una investigación futura más exhaustiva sobre este mismo tema en otros lenguajes de especialidad, pues la TA y sus aplicaciones en el sector de los traductores especializados ya es una realidad, y su conocimiento y uso parecen ser indispensables en un futuro próximo (EUATC, 2020). Todo esto teniendo en cuenta los objetivos mencionados en la introducción.

6.1. Elección y justificación del método

Actualmente, uno de los tipos de estudio sobre TA más frecuentes es el análisis de la posedición (Vieira, 2014). Este tipo de estudio se basa en comparar, por una parte, la productividad de los traductores (es decir, el número de palabras que traducen por hora) al traducir un texto con la única ayuda de una herramienta de traducción asistida por ordenador y, por otra, la productividad al poseditar una TA.

Según O’Brien (2012), la posedición es “la corrección que un traductor hace de traducciones en bruto generadas por un sistema de TA de conformidad con unas guías y unos criterios de calidad específicos” (propuesta de traducción del autor). Este tipo de estudios se ha hecho desde muchas vertientes y puntos de vista diferentes (Moorkens y O’Brien, 2017; Sánchez-Gijón et al., 2019). No obstante, el objetivo rector de este estudio no es ver con qué herramienta se es más productivo, sino más bien observar las implicaciones que puede tener la introducción de la TA en la formación de traductores especializados en textos jurídicos.

Por consiguiente, tras revisar la bibliografía más actualizada sobre el tema, en el presente estudio se aplica un método de evaluación ya testado, reconocido ampliamente, y que goza de cierto prestigio en el ámbito profesional y académico: el DQF de TAUS (Görög, 2014), una organización de la industria de la traducción que apuesta por la introducción de las nuevas tecnologías en el sector de la traducción. En el desarrollo del método DQF colaboraron más de 50 empresas y organizaciones relacionadas con la traducción (clientes, proveedores de servicios lingüísticos, instituciones académicas, etc.) (Görög, 2014).

Los motivos de esta elección son múltiples. Tiene un reconocimiento amplio en el mundo académico y la industria, y funciona como herramienta de normalización en evaluación de la calidad reconocida por todas las partes implicadas en el proceso de traducción (traductores, empresas de traducción, clientes finales).

Así pues, el presente método de evaluación consiste en una evaluación combinada (humana y manual), siguiendo las pautas de una plantilla establecida (disponible en formato Excel®) (TAUS, 2015), que contiene toda la información para realizar la evaluación mediante el sistema DQF de TAUS. Este sistema hace uso de una tipología de errores consensuada, que se divide en cuatro grandes grupos: lengua, terminología, precisión y estilo (véase Tabla 1). Estos tipos de errores se definen de manera clara y concisa, evitando ambigüedades, para sortear que las personas que hagan la evaluación apliquen interpretaciones diferentes, siguiendo las directrices de evaluación humana establecidas por Läubli et al. (2020).

Tabla 1

Tipología de errores del Dynamic Quality Framework (DQF) de Translation Automation User Society (TAUS)

Nivel observado y nomenclatura Errores
Lengua (LENG) Gramática/sintaxis: incumplimiento de las normas de la LM
Puntuación: incumplimiento de las normas de la LM o de la guía de estilo
Ortografía: errores, uso incorrecto de acentos y mayúsculas
Terminología (TER) Incumplimiento de la terminología del cliente
Incumplimiento de la terminología del producto
Terminología inconsistente
Precisión (PRE) Interpretación incorrecta del texto en LO, traducción errónea
Malentendido del concepto técnico
Traducción ambigua de un segmento claro del texto en LO
Omisión (elemento esencial del texto en LO que falta en la traducción)
Adición (elementos innecesarios en la traducción, no presentes en el texto en LO)
Un segmento con 100 % de coincidencia no se ha traducido bien o no es apropiado en el contexto
Texto no traducido
Estilo (EST) Incumplimiento de las guías de estilo de la empresa
Inconsistente con otro material de referencia
Inconsistencia dentro del texto
Traducción literal
Sintaxis inadecuada
Uso no idiomático de la LM
Malinterpretación del tono

[i]Fuente:Görög (2014). LM: lengua meta; LO: lengua origen (propuesta de traducción del autor).

A continuación se establecen cuatro niveles de gravedad: crítico, grave, leve y neutral (véase Tabla 2). Estos se atribuyen a los errores, dependiendo de su repercusión. Debe quedar también muy claro para el evaluador en qué momento aplicar cada nivel de gravedad, para que se haga un uso uniforme y homogéneo de los criterios de evaluación.

Tabla 2

Niveles de gravedad del Dynamic Quality Framework (DQF) de Translation Automation User Society (TAUS)

Niveles de gravedad y nomenclatura Descripción
Crítico (CRI) Errores que puedan tener implicaciones de salud, seguridad, legales o financieras, incumplir las pautas de uso geopolítico, dañar la reputación de la empresa, causar que la aplicación se bloquee o modificar/malinterpretar negativamente la funcionalidad de un producto o servicio, o que puedan ser considerados ofensivos
Grave (GRA) Errores que puedan confundir o inducir a error al usuario, u obstaculizar el uso correcto del producto/servicio, debido a un cambio significativo en el significado o porque aparecen errores en una parte visible o importante del contenido
Leve (LEV) Errores que no conducen a la pérdida de significado y no confundirían ni engañarían al usuario, sino que se notarían, disminuirían la calidad estilística, la fluidez o la claridad, o harían que el contenido fuera menos atractivo
Neutral (NEU) Se utilizan para registrar información adicional, problemas o cambios que se van a realizar y que cuentan como errores. Por ejemplo, reflejan la elección o un estilo preferido de un revisor; son errores repetidos o cambios de instrucciones o glosarios que aún no se han implementado, es decir, un cambio que el traductor no conoce

[i]Fuente:Görög (2014; propuesta de traducción del autor).

En este momento de la evaluación, el siguiente paso es establecer un número de puntos de penalización para cada nivel de gravedad. En el modelo que DQF de TAUS propone para la industria de la traducción actual, se utilizan penalizaciones de 10, 5 y 1 puntos para los errores de gravedad 1, 2 y 3, respectivamente. Estas penalizaciones se aplicarían a textos de 1000 palabras.

Para poder aplicar este baremo de evaluación en nuestro estudio, que tiene un TO de 355 palabras, se han modificado las penalizaciones, con el fin de delimitar el método a un texto con una longitud de 400 palabras. Por lo tanto, las penalizaciones quedarían como se muestra en la Tabla 3.

Tabla 3

Puntos de penalización según el nivel de gravedad del error

Nivel de gravedad del error TAUS DQF (1000 palabras) Gravedad adaptada al presente estudio (400 palabras)
Gravedad 1 10 4
Gravedad 2 5 2
Gravedad 3 1 0,4
Gravedad 4 0 0

6.2. Aplicación del baremo basado en DQF de TAUS al contexto de la prueba

Según Görög (2014), el hecho de que se puedan medir y asignar diferentes niveles de calidad hace que los proveedores de servicios lingüísticos puedan ofrecer traducciones con calidades dispares, a precios diferentes, para ajustarse a los presupuestos de los clientes. Por lo tanto, en la última etapa de este método de evaluación, debemos establecer cuál es la cantidad y la gravedad de los errores permitidos en una traducción de “X” palabras, para que esta quede “aprobada”. No se permitirán los mismos errores en una traducción con fines de asimilación (ya que solo basta con que la traducción se entienda a simple vista y sea inteligible, no haciendo falta que sea perfecta sintáctica y gramaticalmente), que en una traducción con fines de difusión, cuyo objetivo es publicarla y, por consiguiente, el número de errores permitidos será mucho menor (Ginestí y Forcada, 2009).

Según la bibliografía más reciente sobre el tema y de acuerdo con la propuesta del método DQF de TAUS, existe un límite de errores reconocido ampliamente para las traducciones de difusión, es decir, aquellas que requieren una calidad mayor: 20 puntos de penalización. Ergo, todas aquellas traducciones que, tras la evaluación, obtengan 20,01 puntos de penalización o más, se considerará que están suspendidas y que no tienen la calidad suficiente como para publicarse. En cambio, para adaptar esta valoración al presente estudio, se ha establecido una cantidad de puntos de penalización que cuenten como límite de puntos de penalización en el contexto de una asignatura del último curso de la carrera de TeI.

Debemos tomar en cuenta el escenario de nuestro estudio y los objetivos de aplicación didáctica que hemos planteado. Es evidente que no se puede esperar la misma calidad de una traducción profesional que de una traducción realizada por alumnado de TeI que está en el último curso del grado, justo antes de comenzar a cursar el itinerario de especialización en traducción jurídica. Por tanto, es necesario adaptar el criterio mínimo para aprobar las traducciones del alumnado.

Tras consensuar y deliberar con el profesorado de la asignatura de traducción jurídica la penalización máxima de una prueba de traducción aprobada, se ha decidido doblar los puntos de penalización máximos permitidos de 20 a 40. De este modo, las traducciones con menos de 40 puntos de penalización estarían aprobadas, mientras que aquellas con más de 40 puntos estarían suspendidas (véase Tabla 4).

Tabla 4

Puntos de penalización máximos permitidos para conseguir el aprobado

Aprobado en la industria Aprobado en el momento formativo específico de los estudiantes
Puntos de penalización máximos 20 40

6.3. Muestra

Para la realización del presente estudio, se han barajado múltiples escenarios, ya que el abanico de posibilidades que había era muy amplio y diverso.

¶En cuanto al nivel de formación de los traductores evaluados, se podría haber elegido, entre otras:

  • Una prueba de traducción de estudiantes de primer curso de grado sin ninguna formación en traducción jurídica.

  • Un examen final de grado de estudiantes que hubieran cursado y finalizado el itinerario de traducción jurídica.

  • Un examen final de estudiantes que hubieran cursado y finalizado un máster en traducción jurídica.

  • Una prueba de traducción de traductores jurídicos profesionales con un periodo de experiencia determinado.

  • Una prueba de traducción de juristas que traducen textos jurídicos, pero no tienen formación en traducción jurídica.

Finalmente, se ha decidido estudiar los resultados de las traducciones realizadas por estudiantes del último curso del grado de TeI en el momento de comenzar a cursar el itinerario de especialización en traducción jurídica y en el que se supone que ya deberían haber adquirido las competencias básicas de la traducción general. En colaboración con algunos docentes que imparten algunas materias de este itinerario en la Universitat Jaume I (Castellón de la Plana, España), elegimos este escenario, junto con la prueba de control inicial que suelen hacer los alumnos y que luego se utiliza como elemento de referencia al finalizar el itinerario, para comprobar si ha habido una evolución en la adquisición de las competencias específicas de la traducción jurídica (sintaxis compleja con subordinadas múltiples, terminología específica y que requiere gran nivel de precisión, estilo propio del discurso jurídico…).

Así pues, el TO contiene varias cláusulas de un fragmento de un contrato inglés-español. Este texto se realiza como “prueba inicial de referencia”, que es la primera que llevan a cabo los estudiantes del último curso como primera actividad en la asignatura. Son cláusulas de un contrato británico que ejemplifica las complejidades del lenguaje jurídico inglés, con oraciones subordinadas largas y difíciles, y vocabulario y léxico especializado. A estas dificultades se suman las diferencias de los ordenamientos jurídicos entre los dos países (el Reino Unido y el Estado español).

A partir de una muestra de veinte traducciones anonimizadas y con consentimiento de los estudiantes, se han seleccionado tres traducciones para someterlas al análisis. Como el rendimiento de los estudiantes varía dentro de un mismo grupo, la elección de estas tres traducciones ha sido aleatoria (véase Anexo 1, Anexo 2, Anexo 3 y Anexo 4), con el objetivo de obtener una muestra promedio del nivel de los estudiantes. Todos ellos pertenecen a una asignatura del último curso del grado en TeI, es decir, ya tienen conocimientos sobre traducción. En teoría, deberían estar ya formados en competencias y técnicas de traducción, y ya deberían conocer, en cierta medida, algunos aspectos del lenguaje jurídico, pues en el curso anterior ya hay una asignatura dedicada a este ámbito de especialidad. Tampoco cabe olvidar que son las más próximas incorporaciones al mundo laboral.

Como encargo, se les pidió que tradujeran el texto como si fuese para un cliente privado que necesita una traducción fiel, completa y exacta del original. Como ya se ha destacado anteriormente, la pequeña muestra seleccionada no es representativa para un estudio a gran escala, pero puede ser un estudio piloto que siente las bases de una investigación futura y más profunda.

Luego de ello, se ha obtenido una traducción del TO producida por DeepL (véase Anexo 5), uno de los motores de TAN más destacados en el momento de realización del estudio en la combinación de idiomas inglés-español.

7. Estudio

7.1. Procedimiento

Para aplicar la metodología con la mayor exactitud posible, es imprescindible leer con detenimiento la tipificación de errores que plantea el método de análisis seleccionado, MDM-DQF, así como los diferentes niveles de gravedad que asigna a las distintas categorizaciones de error. Es muy importante entender estos dos conceptos y clasificaciones, ya que es necesario realizar esta tarea de manera homogénea y equitativa entre las cuatro traducciones que se van a analizar: tres TH y una TA. Que haya un criterio único y unificado es clave para obtener resultados relevantes.

Una vez claros los criterios para la evaluación, tres traductores profesionales (formación en grado y máster en Traducción e Interpretación), con más de cinco años de experiencia en el campo de la traducción jurídica, han llevado a cabo la evaluación (en adelante, los “evaluadores”).

Inicialmente, los evaluadores han acordado una traducción al español del TO que se utilizará como Golden Standard (Anexo 6), es decir, una propuesta de traducción sin errores, que respeta la terminología y el estilo adecuados del texto en la LO, manteniendo la precisión requerida en una traducción profesional de un texto en la LM. Este Golden Standard se ha utilizado como referencia para la evaluación de las TH y la TA. Posteriormente, para poder justificar la evaluación de las traducciones y documentar que la puntuación se ha obtenido mediante una calificación justa y siguiendo un criterio de evaluación homogéneo, han acordado las correcciones, junto con su tipo de error y gravedad. Esta información puede encontrarse en los anexos, donde se recoge lo siguiente: las traducciones propuestas por los tres estudiantes y sus correspondientes revisiones; la traducción obtenida con el motor de TA y su revisión; y la Golden Standard propuesta por los evaluadores.

Para identificar los diferentes tipos de error, se han utilizado las nomenclaturas que se enuncian en la Tabla 1. Para asignar el nivel de gravedad a estos errores, se ha utilizado la nomenclatura de la Tabla 2.

El trabajo de revisión, asignación de tipo de error y gravedad ha sido una tarea compleja y ha requerido gran esfuerzo y tiempo de dedicación, así como una discusión posterior para acordar la corrección y el acuerdo entre los tres evaluadores.

7.2. Análisis y discusión de los resultados

Después de evaluar las traducciones y acordar los errores y las penalizaciones entre los evaluadores, se han volcado tanto el número de errores como su gravedad en la plantilla de Excel® que proporciona DQF de TAUS. La Tabla 5 muestra el número y tipos de errores -junto con su porcentaje por categoría- y la penalización total de las traducciones.

Tabla 5

Resultados de la evaluación humana

TH1 TH2 TH3 TA
Número de errores % Número de errores % Número de errores % Número de errores %
Tipos de errores Precisión 34 69,4 31 79,5 23 63,9 17 54,8
Lengua 10 20,4 6 15,4 7 19,5 8 25,8
Terminología 4 8,2 0 0 3 8,3 3 9,7
Estilo 1 2 2 5,1 3 8,3 3 9,7
Número de errores totales 49 100 39 100 36 100 31 100
Puntos de penalización total 71,6 66,8 49,6 30

[i]TH: Traducción humana; TA: Traducción automática.

En cuanto a los puntos de penalización, ni las TH ni la TA ofrecerían la calidad necesaria para aprobar de conformidad con los criterios de la industria de la traducción profesional, pues ninguna traducción obtendría una puntuación inferior a 20 puntos de penalización. Como es lógico, los estudiantes aún necesitan formación complementaria, porque están en el último curso del grado en TeI, y la TA es una herramienta en desarrollo que aún no alcanza el nivel de una traducción jurídica humana profesional. No obstante, podemos observar que la TA obtiene un resultado de 30 puntos de penalización y se acerca al aprobado en el mundo profesional; la mejor de las TH obtiene 49,6 puntos de penalización, significativamente por encima de la puntuación de la TA. Las dos TH restantes reciben 66,8 y 71,6 puntos de penalización, respectivamente, y se alejan de la calidad de la traducción de DeepL.

Según los criterios que hemos establecido para conseguir el aprobado en la asignatura de Traducción Jurídica durante el último año del grado en TeI, una traducción debe obtener como máximo 40 puntos de penalización. En este supuesto, solo la TA aprobaría y las tres TH suspenderían, quedándose la TH3 relativamente cerca del aprobado, con 49,6 puntos de penalización. Estos resultados son relevantes a la hora de analizar la utilidad de la TA como herramienta didáctica en el aula de Traducción Jurídica.

Si nos centramos ahora en el tipo de error de cada traducción, no puede observarse ninguna diferencia significativa entre las TH y la TA a simple vista, ya que la mayoría de errores se engloba en la categoría de precisión léxica. La precisión acumula más del 50 % de los errores totales en las diferentes formas de traducción. Esto se debe a malentendidos de conceptos jurídicos especializados y omisiones, interpretaciones incorrectas o traducciones ambiguas del TO. Ahora bien, si analizamos los tipos de error al observar en detalle las traducciones de los anexos, aunque los errores se enmarcan en la categoría de precisión, sí que podemos reconocer diferencias significativas.

Por lo que respecta a la precisión léxica, uno de los elementos destacables es la traducción de terminología técnica específica. El estudiantado desconoce la terminología jurídica en profundidad y hace traducciones más literales. En cambio, la TA sale reforzada en terminología, porque utiliza corpus bilingües muy potentes como base de datos. Un ejemplo sería la traducción del término inglés damages. La TH1 y la TH2 traducen el término de manera literal por daños, y la TA reconoce el concepto y lo traduce como daños y perjuicios, respetando el ordenamiento jurídico español. Podemos encontrar un ejemplo similar en terminate this Agreement. Las tres TH traducen el verbo terminate como terminar, concluir y finalizar el Contrato, colocaciones que podrían ser válidas en otros contextos jurídicos, pero no en el del presente estudio. La TA, en cambio, utiliza rescindir, un término jurídico que no es el más adecuado para el TO, pero que sí es más acertado que el propuesto por los estudiantes. Como consecuencia, los evaluadores penalizan la TA con un error leve, mientras que las TH obtienen un error grave.

En relación con la coherencia terminológica, se observan dos diferencias importantes: en primer lugar, el uso de mayúsculas y minúsculas. La TA conserva el estilo tipográfico del TO y, en consecuencia, si en la versión en inglés aparece Seller o Supplier en mayúscula, la máquina también ofrecerá estos términos en mayúsculas, como Vendedor o Proveedor en el texto traducido. Afortunadamente para la TA, el lenguaje jurídico español permite el uso de mayúsculas en este supuesto, aunque debe tenerse en cuenta que el empleo de mayúsculas en español difiere en gran medida respecto al del inglés en muchas otras situaciones. Las TH, en cambio, no presentan un uso coherente y vacilan en su uso. Los términos a veces aparecen en mayúsculas y otras en minúsculas. Ambas opciones son correctas, pero la coherencia en un mismo texto es clave, elemento que beneficia a la TA respecto a las TH.

En segundo lugar, como indican Läubli et al. (2020), las TH tienen una visión más global del texto, y aunque no utilicen siempre la misma tipografía, sí emplean siempre la misma palabra. El término Agreement puede traducirse de varias maneras y las TH han utilizado siempre la misma palabra en todo el texto, ya sea Contrato o Acuerdo. En cambio, la TA presenta vacilaciones en su uso y emplea ambas traducciones, que son correctas, pero no son coherentes en un mismo texto. De esto se puede extraer que el estudiantado sale beneficiado, porque tiene una visión más global del texto, mientras que la TAN funciona segmento por segmento, no teniendo en cuenta el significado global.

En cuanto a la LM y el estilo de las traducciones, también hay elementos destacables e interesantes. La TA produce traducciones más literales, calcando la estructura sintáctica de las oraciones e imitando los mismos signos de puntuación. Las oraciones largas y con muchas subordinadas tienen aproximadamente la misma longitud en la LO y la LM, como puede ser la cláusula número 4. En el TO, la cláusula es una sola oración de cinco líneas, mientras que la TH2 y la TH3 tienen diferentes signos de puntuación y presentan, como mínimo, dos oraciones diferentes, con lo que consiguen que la lectura sea más fluida. Cuando los estudiantes ven que la frase es demasiado larga y compleja, tienden a hacerla más sencilla, modificando la puntuación. Este procedimiento refleja la formación en competencias traductológicas generales que tiene el alumnado de traducción y que el motor de traducción no contempla.

No obstante, la TA tiene una mejor comprensión de la estructura semántica profunda de las oraciones complejas y de la función sintáctica de los elementos oracionales. También presenta una mejor capacidad de comprensión y traducción de la correlación temporal o consecutio temporum, que plantea muchas dificultades a los aprendices de traducción jurídica, por la profundidad de la subordinación que se aprecia en el discurso jurídico (multiple embedded clauses). Como la TA utiliza un modelo de lengua que le permite saber cuál es el orden correcto de las oraciones y la formación de las frases en la LM, no hay tantos errores de este tipo en la TA como en la TH de aprendices de traducción jurídica. Esta afirmación se puede observar en el uso erróneo del subjuntivo que puede encontrarse en las TH: los impagos que no se subsanaran*, en lugar de los impagos que no se subsanen. Al igual que en: cualquier otra causa […] de la parte cuyo cumplimiento se ve afectado*, en lugar de cualquier otra causa […] de la parte cuyo cumplimiento se vea afectado.

Las TH también presentan peores resultados en el reconocimiento de los elementos sintácticos y su función en la oración. En el TO aparece cancellation of any export or other necessary licence, y en las TH no se ha reconocido que export or other necessary modifican a licence, traduciéndose en la TH2 y TH3 por cancelación de cualquier exportación u otra licencia necesaria*, en lugar de cancelación de cualquier licencia de exportación o de otro tipo, como se ha traducido de manera correcta por la TA. La comprensión de la estructura sintáctica y semántica profundas que realiza la máquina automáticamente es, en el caso que hemos analizado, superior al del alumnado.

8. Conclusión

El presente trabajo tenía la motivación de demostrar que la TA no es un instrumento que amenaza al traductor, sino una herramienta que debe utilizarse para “aumentar” las competencias humanas. Por lo tanto, la solución no debe pasar por eliminar el factor humano del proceso de traducción profesional -que se ha demostrado necesario para obtener una traducción de calidad en dominios especializados y técnicos-, sino de potenciarlo y fortalecerlo, permitiendo que la habilidad y la productividad de los traductores aumenten con la ayuda de las máquinas, ya sea mediante memorias de traducción, herramientas de traducción asistida por ordenador o TA.

Los resultados del estudio demuestran que no se puede confiar en la TA, pues ofrece errores graves y que necesitan revisión humana. No obstante, se puede observar que la TA proporciona de manera instantánea una traducción cualitativamente superior a la que el alumnado del último curso del grado en TeI puede obtener en una hora y media. Esto sugiere varias implicaciones, que se explican a continuación.

Respecto al primer objetivo del estudio (Analizar las traducciones de un texto jurídico realizadas por estudiantes del último curso de TeI y compararlas con la traducción en bruto de un motor de TAN general), se ha hecho un estudio modesto sobre la calidad de la traducción de una muestra de traducciones jurídicas de estudiantes de TeI y se han comparado con una TA generada por DeepL, lo que nos ha permitido reflexionar acerca de los objetivos planteados. Se espera que este artículo pueda servir como base para estudios empíricos de mayor entidad. Los resultados sugieren que la TA podría ser una herramienta formativa muy beneficiosa al introducirla en el aula de Traducción Jurídica.

En cuanto al segundo objetivo (Analizar la conveniencia de incorporar la TA a la formación en traducción jurídica), el número y la gravedad de los errores nos permite pensar que la TA podría constituir una herramienta didáctica muy útil en la clase de Traducción Jurídica, ya que ayudaría a los estudiantes del curso a identificar la estructura profunda de las frases con sintaxis compleja, que resultan muy difíciles de identificar para los aprendices en este tipo de ámbitos especializados. La solidez de las reglas sintácticas y la gramática contrastiva que utilizan los sistemas de TAN contribuyen a desentrañar la complejidad que la subordinación múltiple imprime al lenguaje jurídico.

La TAN también podría ayudar a los estudiantes a mejorar su dominio de la consecutio temporum, así como a identificar los términos de especialidad precisos, gracias a los corpus que utiliza durante el entrenamiento. Todos estos ejemplos responderían al tercer objetivo (Identificar las competencias que podrían potenciarse con un enfoque de esta naturaleza), pues la incorporación de la TA en la formación de traductores jurídicos reforzaría su conocimiento del proceso de traducción, sus capacidades de identificación y resolución de problemas traductológicos, así como su toma de decisiones y su eficacia en el proceso de traducción y documentación, en línea con las competencias de Hurtado Albir et al. (2020).

En lo que atañe al cuarto objetivo (Proponer el modo de incorporar la TA a la formación en traducción jurídica), pensamos que su incorporación al aula sería sencilla y sin coste económico adicional. Como breve propuesta, se podrían proponer, en encargos de traducción ficticios, que el alumnado en traducción jurídica deba poseditar. De esta manera, el alumnado se beneficiaría de la solidez del análisis sintáctico de la TA para potenciar su comprensión del TO y practicaría, a la par, la posedición de TA, una competencia que cada día se utiliza más en el mercado profesional de la traducción, como hemos visto a lo largo del manuscrito.

El quinto objetivo (Identificar las ventajas que el objetivo 4 tendría [si las hubiera] sobre métodos de enseñanza-aprendizaje tradicionales) requeriría un estudio empírico más amplio y basado en el análisis de curvas de aprendizaje de los alumnos mediante un estudio longitudinal. La posibilidad de poseditar sin necesidad de ayuda docente para mejorar la comprensión y de forma autónoma constituye ya una ventaja en sí. Con la introducción de ejercicios de revisión y posedición de traducciones originadas por motores de TA, los estudiantes aprenderían más y mejor de forma autónoma.

Las traducciones de términos especializados y más complejos que la TA resuelve bien, gracias a sus corpus bilingües de millones de segmentos, pueden ayudar al estudiantado a no caer en errores como los que hemos visto en este estudio, como el caso de damages. Asimismo, les puede apoyar a interpretar qué elementos oracionales acompañan a cada mote de la oración, así como a no confundir sintagmas. Por lo tanto, se potenciaría la comprensión que el alumnado tiene de las estructuras sintácticas complejas del lenguaje jurídico inglés. Esto facilitaría el trabajo del profesorado y agilizaría las clases, ya que esta situación permite que el trabajo autónomo sea mayor y más fácil, pudiendo los estudiantes trabajar de manera individual y autónoma, y sin la necesidad de una supervisión estricta en una primera fase de aprendizaje. En consecuencia, es posible que la curva de aprendizaje se acelerara considerablemente. Sin embargo, esta última afirmación requiere de más estudios para su validación.

El uso de TA en la formación de traductores jurídicos no solo aportaría beneficios en aspectos lingüísticos o de formación traductológica, sino también en el de competencias tecnológicas. El hecho de trabajar con TA y sus traducciones en bruto aumentaría el conocimiento que el alumnado tiene de la misma y de su funcionamiento, y aprendería a poseditar, un servicio lingüístico que está perfilándose como una de las competencias fundamentales en un futuro próximo en el mundo de la traducción profesional. Esto podría ayudar a los estudiantes a desarrollar su competencia para programar herramientas de TA en el ámbito jurídico.

En el campo de las matemáticas, actualmente no se nos ocurriría exigirle a un matemático que hiciese cálculos complejos sin calculadora, ya que sigue siendo imprescindible que la persona conozca las fórmulas y las técnicas necesarias y adecuadas. La situación con la TA es idéntica. Los traductores humanos seguirán siendo imprescindibles, pero con perfiles formativos diferentes y, en mi opinión, podemos y debemos usar la tecnología para aprender, traducir de manera más rápida, aumentar nuestra productividad y ser capaces de participar en tareas de entrenamiento y desarrollo de motores de TA.

Referencias

Alcaraz, E., Mateo Martínez, J., Yus Ramos, F. (2007). Las lenguas profesionales y académicas. Ariel. https://dialnet.unirioja.es/servlet/libro?codigo=12006

E. Alcaraz J. Mateo Martínez F. Yus Ramos 2007Las lenguas profesionales y académicasArielhttps://dialnet.unirioja.es/servlet/libro?codigo=12006

Alcaraz, E. y Hughes, B. P. (2016). El español jurídico. Ariel.

E. Alcaraz B. P. Hughes 2016El español jurídicoAriel

Alvarez-Vidal, S., Oliver, A. y Badia, T. (2020). La postedició per als traductors professionals: Avantatge o desavantatge? Revista Tradumàtica, 0(18), 49-69. https://doi.org/10.5565/rev/tradumatica.275

S. Alvarez-Vidal A. Oliver T. Badia 2020postedició per als traductors professionals: Avantatge o desavantatge?Revista Tradumàtica0184969https://doi.org/10.5565/rev/tradumatica.275

ASTM F43 Committee. (2014). Standard guide for quality assurance in translation. ASTM International. https://doi.org/10.1520/F2575-14

ASTM F43 Committee 2014Standard guide for quality assurance in translationASTM Internationalhttps://doi.org/10.1520/F2575-14

Automatic Language Processing Advisory Committee (1966). Language and machines. Computers in translation and linguistics. National Academy of Sciences, National Research Council. https://www.nap.edu/resource/alpac_lm/ARC000005.pdf

Automatic Language Processing Advisory Committee 1966Language and machines. Computers in translation and linguisticsNational Academy of Sciences, National Research Councilhttps://www.nap.edu/resource/alpac_lm/ARC000005.pdf

Banerjee, S. y Lavie, A. (2005). METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization (pp. 65-72), Ann Arbor, Michigan. https://www.aclweb.org/antholo-gy/W05-0909.pdf

S. Banerjee A. Lavie 2005METEOR: An automatic metric for MT evaluation with improved correlation with human judgmentsProceedings of theACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization6572Ann Arbor, Michiganhttps://www.aclweb.org/antholo-gy/W05-0909.pdf

Bentivogli, L., Bisazza, A., Cettolo, M. y Federico, M. (2016). Neural versus phrase-based machine translation quality: A case study. arXiv:1608.04631 [cs.CL]. http://arxiv.org/abs/1608.04631

L. Bentivogli A. Bisazza M. Cettolo M. Federico 2016Neural versus phrase-based machine translation quality: A case studyarXiv:1608.04631 [cs.CL]http://arxiv.org/abs/1608.04631

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A.,… Zampieri, M. (2016). Findings of the 2016 Conference on Machine Translation [Conference session]. First Conference on Machine Translation (vol. 2, Shared Task Papers). https://doi.org/10.18653/v1/W16-2301

O. Bojar R. Chatterjee C. Federmann Y. Graham B. Haddow M. Huck A. Jimeno Yepes M. Zampieri 2016Findings of the 2016 Conference on Machine TranslationFirst Conference on Machine Translationhttps://doi.org/10.18653/v1/W16-2301

Borja, A. (2000). El texto jurídico inglés y su traducción al español. Grupo Planeta (GBS).

A. Borja 2000El texto jurídico inglés y su traducción al españolGrupo Planeta (GBS)

Borja, A. (2005). Organización del conocimiento para la traducción jurídica a través de sistemas expertos basados en el concepto de género textual. https://docplayer.es/8938947-Organizacion-del-conocimiento-para-la-traduccion-juridica-a-traves-de-sistemas-expertos-basados-en-el-concepto-de-genero-textual.html

A. Borja 2005Organización del conocimiento para la traducción jurídica a través de sistemas expertos basados en el concepto de género textualhttps://docplayer.es/8938947-Organizacion-del-conocimiento-para-la-traduccion-juridica-a-traves-de-sistemas-expertos-basados-en-el-concepto-de-genero-textual.html

Borja, A. (2013). A genre analysis approach to the study of the translation of court documents. Linguistica Antverpiensia, New Series - Themes in Translation Studies, (12), 33-53. https://lanstts.uantwerpen.be/index.php/LANS-TTS/ article/view/235

A. Borja 2013A genre analysis approach to the study of the translation of court documentsLinguistica Antverpiensia, New Series - Themes in Translation Studies123353https://lanstts.uantwerpen.be/index.php/LANS-TTS/ article/view/235

Borja, A. y Martínez-Carrasco, R. (2019). Future-proofing legal translation: A paradigm shift for an exponential era. En Legal Translation: Current Issues and Challenges in Research, Methods and Applications (pp. 187-206). Frank & Timme.

A. Borja R. Martínez-Carrasco 2019Future-proofing legal translation: A paradigm shift for an exponential eraLegal Translation: Current Issues and Challenges in Research, Methods and Applications187206Frank & Timme

Briva-Iglesias, V. (2020). A different, ethical machine translation is possible: English-Catalan free/open-source Neural Machine Translation. En Workshop on the impact of machine translation (iMpacT 2020). Association for Machine Translation in the Americas. https://www.aclweb.org/anthology/2020.amta-impact.3/

V. Briva-Iglesias 2020A different, ethical machine translation is possible: English-Catalan free/open-source Neural Machine TranslationWorkshop on the impact of machine translation (iMpacT 2020)Association for Machine Translation in the Americashttps://www.aclweb.org/anthology/2020.amta-impact.3/

Brown, P. F., Cocke, J., Della Pietra, S. A., Della Pietra, V. J., Jelinek, F., Lafferty, J. D., Mercer, R. L. y Roossin, P. S. (1990). A statistical approach to machine translation. Computational Linguistics, 16(2), 79-85. https://www.aclweb.org/anthology/J90-2002.pdf

P. F. Brown J. Cocke S. A. Della Pietra V. J. Della Pietra F. Jelinek J. D. Lafferty R. L. Mercer P. S. Roossin 1990A statistical approach to machine translationComputational Linguistics1627985https://www.aclweb.org/anthology/J90-2002.pdf

Cao, D. (2007). Translating law. Multilingual Matters.

D. Cao 2007Translating lawMultilingual Matters

Castaño, M. A., Casacuberta, F. y Vidal, E. (1997). Machine translation using neural networks and finite-state models. Proceedings of the Fitth European Conference on Speech Comunication and Technology (EUROSPEECH-97) (vol. 3, pp. 1439-1442). Rodas, Grecia. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.134.1431&rep=rep1&type=pdf

M. A. Castaño F. Casacuberta E. Vidal 1997Machine translation using neural networks and finite-state modelsProceedings of theFitth European Conference on Speech Comunication and Technology (EUROSPEECH-97)14391442http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.134.1431&rep=rep1&type=pdf

Castilho, S., Moorkens, J., Gaspari, F., Sennrich, R., Sosoni, V., Georgakopoulou, P., Lohar, P. y Way, A. (2017). A comparative quality evaluation of PBSMT and NMT using professional translators. MT Summit XVI, 18-22 Sept 2017, Nagoya, Japan. http://doras.dcu.ie/23083/

S. Castilho J. Moorkens F. Gaspari R. Sennrich V. Sosoni P. Georgakopoulou P. Lohar A. Way 2017A comparative quality evaluation of PBSMT and NMT using professional translatorsMT Summit XVI1822Sept 2017, Nagoya, Japanhttp://doras.dcu.ie/23083/

Common Sense Advisory (CSA) (2018). The language services market: 2018. Annual review of the services and technology industry that supports translation, localization, and interpreting. [report]. https://insights.csa-research.com/reportaction/48585/Marketing

Common Sense Advisory (CSA) 2018The language services market: 2018. Annual review of the services and technology industry that supports translation, localization, and interpretinghttps://insights.csa-research.com/reportaction/48585/Marketing

Deutschen Institut für Normung. (1998). DIN 2345:1998: Übersetzungsaufträge. [Normas para traductores y autores técnicos]. https://d-nb.info/956069045/04

Deutschen Institut für Normung 1998DIN 2345:1998: ÜbersetzungsaufträgeNormas para traductores y autores técnicoshttps://d-nb.info/956069045/04

Doddington, G. (2002). Automatic evaluation of machine translation quality using n-gram co-occurrence statistics [Conference session]. Second International Conference on Human Language Technology Research, 138. https://doi.org/10.3115/1289189.1289273

G. Doddington 2002Automatic evaluation of machine translation quality using n-gram co-occurrence statisticsSecond International Conference on Human Language Technology Research138https://doi.org/10.3115/1289189.1289273

DSS Resources (2006). LISA QA Model 3.1 - Assisting the localization development, production and quality control processes for global product distribution. http://dssresources.com/news/1558.php

DSS Resources 2006LISA QA Model 3.1 - Assisting the localization development, production and quality control processes for global product distributionhttp://dssresources.com/news/1558.php

European Union of Associations of Translation Companies (EUATC). (2017). European Language Industry Survey. https://ec.europa.eu/info/sites/info/files/2017_language_industry_survey_report_en.pdf

European Union of Associations of Translation Companies (EUATC) 2017European Language Industry Surveyhttps://ec.europa.eu/info/sites/info/files/2017_language_industry_survey_report_en.pdf

European Union of Associations of Translation Companies (EUATC). (2020). 2020 European Language Industry survey. https://ec.europa.eu/info/sites/default/files/2020_language_industry_survey_report.pdf

European Union of Associations of Translation Companies (EUATC) 20202020 European Language Industry surveyhttps://ec.europa.eu/info/sites/default/files/2020_language_industry_survey_report.pdf

Fields, P., Hague, D. R., Koby, G. S., Lommel, A. y Melby, A. (2014). What is quality? A management discipline and the translation industry get acquainted. Tradumàtica: Tecnologies de La Traducció, (12), 404-412. https://doi.org/10.5565/rev/tradumatica.75

P. Fields D. R. Hague G. S. Koby A. Lommel A. Melby 2014What is quality? A management discipline and the translation industry get acquaintedTradumàtica: Tecnologies de La Traducció12404412https://doi.org/10.5565/rev/tradumatica.75

Forcada, M. L. (2017). Making sense of neural machine translation. Translation Spaces, 6(2), 291-309. https://doi.org/10.1075/ts.6.2.06for

M. L. Forcada 2017Making sense of neural machine translationTranslation Spaces62291309https://doi.org/10.1075/ts.6.2.06for

Forcada, M. L. y Ñeco, R. P. (1997). Recursive Hetero-associative Memories for Translation. In J. Mira, R. Moreno-Díaz, J. Cabestany (Eds.) Biological and artificial computation: From neuroscience to technology. IWANN 1997. Lecture Notes in Computer Science (vol. 1240). Springer. https://doi.org/10.1007/BFb0032504

M. L. Forcada R. P. Ñeco 1997Recursive Hetero-associative Memories for Translation J. Mira R. Moreno-Díaz J. Cabestany Biological and artificial computation: From neuroscience to technology. IWANN 1997Lecture Notes in Computer Science (vol. 1240)Springerhttps://doi.org/10.1007/BFb0032504

García Izquierdo, I. (2012). La investigación cualitativa en traducción especializada. Una mirada a los ámbitos socioprofesionales. S. Cruces Colado, M. del Pozo Triviño, A. L. Alonso (ed. lit.), A. Álvarez Lugrís (Eds. lit.), Traducir en la frontera (pp. 603-618). Atrio.

I. García Izquierdo 2012La investigación cualitativa en traducción especializada. Una mirada a los ámbitos socioprofesionales S. Cruces Colado M. del Pozo Triviño A. L. Alonso Traducir en la frontera603618Atrio

General Administration of Quality Supervision. (2008). GB/T19363. [Norma privada].

General Administration of Quality Supervision 2008GB/T19363Norma privada

Ginestí, M. y Forcada, M. L. (2009). La traducció automàtica en la pràctica: aplicacions, dificultats i estratègies de desenvolupament. Caplletra, 46 (Primavera 2009), 43-60.

M. Ginestí M. L. Forcada 2009La traducció automàtica en la pràctica: aplicacions, dificultats i estratègies de desenvolupamentCaplletra46Primavera 20094360

Görög, A. (2014). Quantifying and benchmarking quality: The TAUS Dynamic Quality Framework. Revista tradumàtica: traducció i tecnologies de la informació i la comunicació, (12), 443-444.

A. Görög 2014Quantifying and benchmarking quality: The TAUS Dynamic Quality FrameworkRevista tradumàtica: traducció i tecnologies de la informació i la comunicació12443444

Guerberof-Arenas, A. (2008). Productivity and quality in the post-editing of outputs from translation memories and machine translation [Tesis doctoral] University of Surrey.

A. Guerberof-Arenas 2008Productivity and quality in the post-editing of outputs from translation memories and machine translationdoctoralUniversity of Surrey

Guerberof-Arenas, A. y Toral, A. (2020). The impact of post-editing and machine translation on creativity and reading experience. Translation Spaces, 9(2), 255-282. https://benjamins.com/catalog/ts.20035.gue

A. Guerberof-Arenas A. Toral 2020The impact of post-editing and machine translation on creativity and reading experienceTranslation Spaces92255282https://benjamins.com/catalog/ts.20035.gue

Gutiérrez, J. (2010). El español jurídico: Propuesta didáctica orientada a la acción como base para un curso. MarcoELE. Revista de Didáctica del Español como Lengua Extranjera, 11, 1-24. https://marcoele.com/descargas/11/gutierrez_espanol-juridico.pdf

J. Gutiérrez 2010El español jurídico: Propuesta didáctica orientada a la acción como base para un cursoMarcoELE. Revista de Didáctica del Español como Lengua Extranjera11124https://marcoele.com/descargas/11/gutierrez_espanol-juridico.pdf

Haigh, R. (2018). Legal English. Routledge.

R. Haigh 2018Legal EnglishRoutledge

Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., Huang, X., Junczys-Dowmunt, M., Lewis, W., Li, M., Liu, S., Liu, T.-Y., Luo, R., Menezes, A., Qin, T., Seide, F., Tan, X., Tian, F., Wu, L.,… Zhou, M. (2018). Achieving human parity on automatic Chinese to English news translation. arXiv:1803.05567 [cs. CL]. http://arxiv.org/abs/1803.05567

H. Hassan A. Aue C. Chen V. Chowdhary J. Clark C. Federmann X. Huang M. Junczys-Dowmunt W. Lewis M. Li S. Liu T.-Y. Liu R. Luo A. Menezes T. Qin F. Seide X. Tan F. Tian L. Wu M. Zhou 2018Achieving human parity on automatic Chinese to English news translationarXiv:1803.05567http://arxiv.org/abs/1803.05567

Hearne, M. y Way, A. (2011). Statistical Machine Translation: A guide for linguists and translators. Language and Linguistics Compass, 5(5), 205-226. https://doi.org/10.1111/j.1749818X.2011.00274.x

M. Hearne A. Way 2011Statistical Machine Translation: A guide for linguists and translatorsLanguage and Linguistics Compass55205226https://doi.org/10.1111/j.1749818X.2011.00274.x

Hurtado Albir, A. (1999). La competencia traductora y su adquisición. Un modelo holístico y dinámico. Perspectives, 7(2), 177-188. https://doi.org/10.1080/0907676X.1999.9961356

A. Hurtado Albir 1999La competencia traductora y su adquisición. Un modelo holístico y dinámicoPerspectives72177188https://doi.org/10.1080/0907676X.1999.9961356

Hurtado Albir, A., Galán-Mañas, A., Kuznik, A., Olalla-Soler, C., Rodríguez-Inés, P. y Romero, L. (2020). Translation competence acquisition. Design and results of the PACTE group’s experimental research. The Interpreter and Translator Trainer, 14(2), 95-233. https://doi.org/10.1080/1750399X.2020.1732601

A. Hurtado Albir A. Galán-Mañas A. Kuznik C. Olalla-Soler P. Rodríguez-Inés L. Romero 2020Translation competence acquisition. Design and results of the PACTE group’s experimental researchThe Interpreter and Translator Trainer14295233https://doi.org/10.1080/1750399X.2020.1732601

Hutchins, W. J. (2004). The Georgetown-IBM experiment demonstrated in January 1954. En R. E. on Frederking y K. B. on Taylor (Eds.), Machine Translation: From Real Users to Research. AMTA 2004. Lecture Notes in Computer Science (vol. 3265, pp. 102-114). Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-54030194-3_12

W. J. Hutchins 2004The Georgetown-IBM experiment demonstrated in January 1954 R. E. on Frederking K. B. on Taylor Machine Translation: From Real Users to Research. AMTA 2004. Lecture Notes in Computer Science102114SpringerBerlinhttps://doi.org/10.1007/978-3-54030194-3_12

International Organization for Standardization (ISO). (2015). ISO 17100:2015. Translation services-Requirements for translation services.

International Organization for Standardization (ISO) 2015ISO 17100:2015Translation services-Requirements for translation services

International Organization for Standardization (ISO). (2017). ISO 18587:2017. Translation services-Post-editing of machine translation output-Requirements.

International Organization for Standardization (ISO) 2017ISO 18587:2017Translation services-Post-editing of machine translation output-Requirements

Junczys-Dowmunt, M. y Grundkiewicz, R. (2016). Phrase-based machine translation is state-ofthe-art for automatic grammatical error correction [Conference session]. 2016 Conference on Empirical Methods in Natural Language Processing. https://doi.org/10.18653/v1/D161161

M. Junczys-Dowmunt R. Grundkiewicz 2016Phrase-based machine translation is state-ofthe-art for automatic grammatical error correction2016Conference on Empirical Methods in Natural Language Processinghttps://doi.org/10.18653/v1/D161161

Juste Vidal, N. (2016). Análisis empírico-descriptivo de los géneros notariales: el caso del “poder de representación” y su traducción. TDX (tesis doctorals en Xarxa). Universitat Jaume I https://doi.org/10.6035/40016.2016.4256

N. Juste Vidal 2016Análisis empírico-descriptivo de los géneros notariales: el caso del “poder de representación” y su traduccióndoctoralshttps://doi.org/10.6035/40016.2016.4256

Kenny, D. y Doherty, S. (2014). Statistical machine translation in the translation curriculum: Overcoming obstacles and empowering translators. The Interpreter and Translator Trainer, 8(2), 276-294. https://doi.org/10.1080/1750399X.2014.936112

D. Kenny S. Doherty 2014Statistical machine translation in the translation curriculum: Overcoming obstacles and empowering translatorsThe Interpreter and Translator Trainer82276294https://doi.org/10.1080/1750399X.2014.936112

Koby, G. S., Fields, P., Hague, D. R., Lommel, A. y Melby, A. (2014). Defining translation quality. Tradumàtica: Tecnologies de La Traducció, (12), 413-420. https://doi.org/10.5565/rev/ tradumatica.76

G. S. Koby P. Fields D. R. Hague A. Lommel A. Melby 2014Defining translation qualityTradumàtica: Tecnologies de La Traducció12413420https://doi.org/10.5565/rev/ tradumatica.76

Koehn, P. (2010). Statistical machine translation. Cambridge University Press.

P. Koehn 2010Statistical machine translationCambridge University Press

Koehn, P. (2017). Neural machine translation. ArXiv:1709.07809 [cs.CL]. http://arxiv.org/abs/1709.07809

P. Koehn 2017Neural machine translationArXiv:1709.07809http://arxiv.org/abs/1709.07809

Läubli, S., Castilho, S., Neubig, G., Sennrich, R., Shen, Q. y Toral, A. (2020). A set of recommendations for assessing human-machine parity in language translation. Journal of Artificial Intelligence Research, 67, 653-672. https://doi.org/10.1613/jair.1.11371

S. Läubli S. Castilho G. Neubig R. Sennrich Q. Shen A. Toral 2020A set of recommendations for assessing human-machine parity in language translationJournal of Artificial Intelligence Research67653672https://doi.org/10.1613/jair.1.11371

Läubli, S., Sennrich, R. y Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation [Conference session]. 2018 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics. https://doi.org/10.18653/v1/D18-1512

S. Läubli R. Sennrich M. Volk 2018Has machine translation achieved human parity? A case for document-level evaluation2018 Conference on Empirical Methods in Natural Language ProcessingAssociation for Computational Linguisticshttps://doi.org/10.18653/v1/D18-1512

Leiva, J. (2018). Aspects of human translation: The current situation and an emerging trend. Hermēneus. Revista de Traducción e Interpretación, (20), 257-294. https://doi.org/10.24197her.20.2018.257-294

J. Leiva 2018Aspects of human translation: The current situation and an emerging trendHermēneus. Revista de Traducción e Interpretación20257294https://doi.org/10.24197her.20.2018.257-294

Lepikhin, D., Lee, H., Xu, Y., Chen, D., Firat, O., Huang, Y., Krikun, M., Shazeer, N. y Chen, Z. (2020). GShard: Scaling giant models with conditional computation and automatic sharding. arXiv:2006.16668 [cs.CL]. http://arxiv.org/abs/2006.16668

D. Lepikhin H. Lee Y. Xu D. Chen O. Firat Y. Huang M. Krikun N. Shazeer Z. Chen 2020GShard: Scaling giant models with conditional computation and automatic shardingarXiv2006.16668 [cs.CL]http://arxiv.org/abs/2006.16668

Lobato, J. (2007). Aspectos deontológicos y profesionales de la traducción jurídica, jurada y judicial. Universidad de Málaga, Servicio de Publicaciones. https://riuma.uma.es/xmlui/handle/10630/2719

J. Lobato 2007Aspectos deontológicos y profesionales de la traducción jurídica, jurada y judicialUniversidad de Málaga, Servicio de Publicacioneshttps://riuma.uma.es/xmlui/handle/10630/2719

Martínez Carrasco, R. (2017). Epistemological approaches to legal translation education: A situated account [Ph. D. dissertation]. Universitat Jaume I. https://doi.org/10.6035/14110.2017.192521

R. Martínez Carrasco 2017Epistemological approaches to legal translation education: A situated accountPh. D.Universitat Jaume Ihttps://doi.org/10.6035/14110.2017.192521

Martín-Mor, A., Sánchez-Gijón, P. y Piqué, R. (2016). Tradumàtica: Tecnologies de La Traducció. Eumo Editorial.

A. Martín-Mor P. Sánchez-Gijón R. Piqué 2016Tradumàtica: Tecnologies de La TraduccióEumo Editorial

Melby, A., Fields, P., Hague, D. R., Koby, G. S. y Lommel, A. (2014). Defining the landscape of translation. Tradumàtica: Tecnologies de La Traducció, (12), 392. https://doi.org/10.5565/rev/tradumatica.74

A. Melby P. Fields D. R. Hague G. S. Koby A. Lommel 2014Defining the landscape of translationTradumàtica: Tecnologies de La Traducció12392https://doi.org/10.5565/rev/tradumatica.74

Mellinger, C. D. (2017). Translators and machine translation: Knowledge and skills gaps in translator pedagogy. The Interpreter and Translator Trainer, 11(4), 280-293. https://doi.org/10.1080/1750399X.2017.1359760

C. D. Mellinger 2017Translators and machine translation: Knowledge and skills gaps in translator pedagogyThe Interpreter and Translator Trainer114280293https://doi.org/10.1080/1750399X.2017.1359760

Mileto, F. (2019). Post-editing and legal translation. H2D Revista de Humanidades Digitais, 1(1). https://doi.org/10.21814/h2d.237

F. Mileto 2019Post-editing and legal translationH2D Revista de Humanidades Digitais11https://doi.org/10.21814/h2d.237

Monzó, E. (2008). Derecho y traductología en la formación del traductor jurídico: Una propuesta de formación virtual [Tesis doctoral]. Universitat Jaume I.

E. Monzó 2008Derecho y traductología en la formación del traductor jurídico: Una propuesta de formación virtualdoctoralUniversitat Jaume I

Moorkens, J. (2017). Under pressure: Translation in times of austerity. Perspectives, 25(3), 464-477. https://doi.org/10.1080/0907676X.2017.1285331

J. Moorkens 2017Under pressure: Translation in times of austerityPerspectives253464477https://doi.org/10.1080/0907676X.2017.1285331

Moorkens, J. (2018). What to expect from Neural Machine Translation: A practical in-class translation evaluation exercise. The Interpreter and Translator Trainer, 12(4), 375-387. https://doi.org/10.1080/1750399X.2018.1501639

J. Moorkens 2018What to expect from Neural Machine Translation: A practical in-class translation evaluation exerciseThe Interpreter and Translator Trainer124375387https://doi.org/10.1080/1750399X.2018.1501639

Moorkens, J., Castilho, S., Gaspari, F. y Doherty, S. (Eds.). (2018). Translation quality assessment. From principles to practice (vol. 1). Springer. https://doi.org/10.1007/978-3-319-91241-7

J. Moorkens S. Castilho F. Gaspari S. Doherty 2018Translation quality assessment. From principles to practicevol. 1Springerhttps://doi.org/10.1007/978-3-319-91241-7

Moorkens, J. y O’Brien, S. (2017). Assessing user interface needs of post-editors of machine translation. En Human issues in translation technology. Routledge.

J. Moorkens S. O’Brien 2017Assessing user interface needs of post-editors of machine translationHuman issues in translation technologyRoutledge

Muñoz-Miquel, A. (2015). El desarrollo de la competencia traductora socialización con el experto en la materia: Didáctica. The Journal of Specialised Translation: JoSTrans, (23), 333-351.

A. Muñoz-Miquel 2015El desarrollo de la competencia traductora socialización con el experto en la materia: DidácticaThe Journal of Specialised Translation: JoSTrans23333351

Nitzke, J. (2019). Problem solving activities in post-editing and translation from scratch. Zenodo. https://doi.org/10.5281/ZENODO.2546446

J. Nitzke 2019Problem solving activities in post-editing and translation from scratchZenodohttps://doi.org/10.5281/ZENODO.2546446

Nitzke, J., Tardel, A. y Hansen-Schirra, S. (2019). Training the modern translator -The acquisition of digital competencies through blended learning. The Interpreter and Translator Trainer, 13(3), 292-306. https://doi.org/10.1080/1750399X.2019.1656410

J. Nitzke A. Tardel S. Hansen-Schirra 2019Training the modern translator -The acquisition of digital competencies through blended learningThe Interpreter and Translator Trainer133292306https://doi.org/10.1080/1750399X.2019.1656410

O’Brien, S. (2012). Towards a dynamic quality evaluation model for translation. The Journal of Specialised Translation, (17), 55-77. https://www.jostrans.org/issue17/art_obrien.pdf

S. O’Brien 2012Towards a dynamic quality evaluation model for translationThe Journal of Specialised Translation175577https://www.jostrans.org/issue17/art_obrien.pdf

PACTE. (2003). Building a translation competence model. En F. Alves (Ed.), Benjamins translation library: Perspectives in process oriented research (vol. 45, pp. 43-66). John Benjamins. https://doi.org/10.1075/btl.45.06pac

PACTE 2003Building a translation competence model F. Alves Benjamins translation library: Perspectives in process oriented researchvol. 454366John Benjaminshttps://doi.org/10.1075/btl.45.06pac

PACTE. (2011). Results of the validation of the PACTE translation competence model: Translation project and dynamic translation index. S. O’Brien (Ed.), IATIS yearbook 2010. Continuum. https://grupsderecerca.uab.cat/pacte/sites/grupsderecerca.uab.cat.pacte/files/2011_PACTE_Continuum.pdf

PACTE 2011Results of the validation of the PACTE translation competence model: Translation project and dynamic translation index S. O’Brien IATIS yearbook 2010Continuumhttps://grupsderecerca.uab.cat/pacte/sites/grupsderecerca.uab.cat.pacte/files/2011_PACTE_Continuum.pdf

Papineni, K., Roukos, S., Ward, T. y Zhu, W.J. (2001). BLEU: A method for automatic evaluation of machine translation [Conference session]. 40th Annual Meeting on Association for Computational Linguistics ACL. https://doi. org/10.3115/1073083.1073135

K. Papineni S. Roukos T. Ward W.J. Zhu 2001BLEU: A method for automatic evaluation of machine translation40th Annual Meeting on Association for Computational Linguistics ACLhttps://doi. org/10.3115/1073083.1073135

Prieto, F. (2013). ¿Qué estrategias para qué traducción jurídica?: por una metodología integral para la práctica profesional. En I. Alonso Araguás, J. Baigorri Jalón y H. Campbell, Translating the law. Theoretical and methodological issues/ Traducir el derecho. Cuestiones teóricas y metodológicas (pp. 87-106). Comares. https://archive-ouverte.unige.ch/unige:28293

F. Prieto 2013¿Qué estrategias para qué traducción jurídica?: por una metodología integral para la práctica profesional I. Alonso Araguás J. Baigorri Jalón H. Campbell Translating the law. Theoretical and methodological issues/ Traducir el derecho. Cuestiones teóricas y metodológicas87106Comareshttps://archive-ouverte.unige.ch/unige:28293

QT21 Consortium (2018). QT21 - Quality Translation 21. http://www.qt21.eu/

QT21 Consortium 2018QT21 - Quality Translation 21http://www.qt21.eu/

Quality Standard (s. f.). European quality standard EN-15038:2006. http://qualitystandard.bs.en-15038.com/

Quality Standard European quality standard EN-15038:2006http://qualitystandard.bs.en-15038.com/

SAE International (2021). SAE J2450 Translation Quality metric task force. Quality metric for language translation of service information. https://www.sae.org/standardsdev/j2450p1.htm

SAE International 2021SAE J2450 Translation Quality metric task force. Quality metric for language translation of service informationhttps://www.sae.org/standardsdev/j2450p1.htm

Sánchez-Gijón, P. (2014). La investigación en traducción y calidad, cosa de dos. Revista Tradumática, (12), 437-442. https://doi.org/10.5565/rev/tradumatica.81

P. Sánchez-Gijón 2014La investigación en traducción y calidad, cosa de dosRevista Tradumática12437442https://doi.org/10.5565/rev/tradumatica.81

Sánchez-Gijón, P., Moorkens, J. y Way, A. (2019). Post-editing neural machine translation versus translation memory segments. Machine Translation, 33(1-2), 31-59. https://doi.org/10.1007/s10590-019-09232-x

P. Sánchez-Gijón J. Moorkens A. Way 2019Post-editing neural machine translation versus translation memory segmentsMachine Translation331-23159https://doi.org/10.1007/s10590-019-09232-x

Sarcevic, S. (1997). New approach to legal translation. Kluwer Law International B.V.

S. Sarcevic 1997New approach to legal translationKluwer Law International B.V.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L. y Makhoul, J. (2016). A study of translation edit rate with targeted human annotation. AMTA 2016. Proceedings of the 7th Conference of the Association for Machine Translation in the Americas. Cambridge, Massachusetts, EE.UU. http://us-ers.umiacs.umd.edu/~bonnie/Publications/ter_amta.pdf

M. Snover B. Dorr R. Schwartz L. Micciulla J. Makhoul 2016A study of translation edit rate with targeted human annotationAMTA 2016. Proceedings of the7Conference of the Association for Machine Translation in the AmericasCambridge, Massachusetts, EE.UU.http://us-ers.umiacs.umd.edu/~bonnie/Publications/ter_amta.pdf

Translation Automation User Society (TAUS). (2015). QT21 project. https://www.taus.net/ qt21-project#dqf-qt21

Translation Automation User Society (TAUS) 2015QT21 projecthttps://www.taus.net/ qt21-project#dqf-qt21

Tillmann, C., Vogel, S., Ney, H., Zubiaga, A. y Sawaf, H. (1997). Accelerated DP based search for statistical translation. EUROSPEECH’97. 5th European Conference on Speech Communication and Technology. Rhodes, Grecia. https://www.isca-speech.org/archive/archive_papers/eurospeech_1997/e97_2667.pdf

C. Tillmann S. Vogel H. Ney A. Zubiaga H. Sawaf 1997Accelerated DP based search for statistical translationEUROSPEECH’97. 5th European Conference on Speech Communication and TechnologyRhodes, Greciahttps://www.isca-speech.org/archive/archive_papers/eurospeech_1997/e97_2667.pdf

Toral, A. (2020). Reassessing claims of human parity and super-human performance in machine translation at WMT 2019 [Conference session]. 22nd Annual Conference of the European Association for Machine Translation. https://www.aclweb.org/anthology/2020.eamt-1.20

A. Toral 2020Reassessing claims of human parity and super-human performance in machine translation at WMT 201922nd Annual Conference of the European Association for Machine Translationhttps://www.aclweb.org/anthology/2020.eamt-1.20

Trovato, G. (2018). Lingüística española y traducción desde la contrastividad. Aracne.

G. Trovato 2018Lingüística española y traducción desde la contrastividadAracne

Vieira, L. N. (2014). Indices of cognitive effort in machine translation post-editing. Machine Translation, 28(3), 187-216. https://doi.org/10.1007/s10590-014-9156-x

L. N. Vieira 2014Indices of cognitive effort in machine translation post-editingMachine Translation283187216https://doi.org/10.1007/s10590-014-9156-x

Wang, Y-Y, Acero, A. y Chelba, C. (2003). Is word error rate a good indicator for spoken language understanding accuracy [Ponencia]. 20 03 IEEE Workshop on Automatic Speech Recognition and Understanding (IEEE Cat. No.03EX721). https://doi.org/10.1109/ASRU.2003.1318504

Y-Y Wang A. Acero C. Chelba 2003Is word error rate a good indicator for spoken language understanding accuracy2003 IEEE Workshop on Automatic Speech Recognition and Understandinghttps://doi.org/10.1109/ASRU.2003.1318504

Way, A. (2018). Quality expectations of machine translation. En J. Moorkens, S. Castilho, F. Gaspari y S. Doherty (Eds.), Translation quality assessment (vol. 1, pp. 159-178). Springer. https://doi.org/10.1007/978-3-319-91241-7_8

A. Way 2018Quality expectations of machine translation J. Moorkens S. Castilho F. Gaspari S. Doherty Translation quality assessment159178Springerhttps://doi.org/10.1007/978-3-319-91241-7_8

Wiesmann, E. (2019). Machine translation in the field of law: A study of the translation of Italian legal texts into German. Comparative Legilinguistics, 37(1), 117-153. https://doi.org/10.14746/cl.2019.37.4

E. Wiesmann 2019Machine translation in the field of law: A study of the translation of Italian legal texts into German.Comparative Legilinguistics371117153https://doi.org/10.14746/cl.2019.37.4

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., … Dean, J. (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation. ArXiv :1609.08144 [Cs]. http://arxiv.org/abs/1609.08144

Y. Wu M. Schuster Z. Chen Q. V. Le M. Norouzi W. Macherey M. Krikun Y. Cao Q. Gao K. Macherey J. Klingner A. Shah M. Johnson X. Liu Ł. Kaiser S. Gouws Y. Kato T. Kudo H. Kazawa J. … Dean 2016Google’s neural machine translation system: Bridging the gap between human and machine translationArXivhttp://arxiv.org/abs/1609.08144

Ye, Y. y Toral, A. (2020). Fine-grained human evaluation of transformer and recurrent approaches to neural machine translation for English-to-Chinese [Conference session]. 22nd Annual Conference of the European Association forMachine Translation. https://www.aclweb.org/anthology/2020.eamt-1.14

Y. Ye A. Toral 2020Fine-grained human evaluation of transformer and recurrent approaches to neural machine translation for English-to-Chinese22nd Annual Conference of the European Association forMachine Translationhttps://www.aclweb.org/anthology/2020.eamt-1.14

[4]El presente artículo se desprende del Trabajo de Fin de Grado del autor, homónimo, llevado a cabo en la Universitat Jaume I, de Castellón de la Plana, España.

[5]Cómo citar este artículo: Briva-Iglesias, V. (2021). Traducción humana vs. traducción automática: análisis contrastivo e implicaciones para la aplicación de la traducción automática en traducción jurídica. Mutatis Mutandis, Revista Latinoamericana de Traducción, 14(2), 571-600. https://doi.org/10.17533/udea.mut.v14n2a14

Appendices

Anexo 1. Texto original (TO) en inglés

2011-799x-mutatis-14-02-571-gch1.jpg

Anexo 2. Traducción humana 1 (TH1) del TO

2011-799x-mutatis-14-02-571-gch2.jpg

Anexo 3. Traducción humana 2 (TH2) del TO

2011-799x-mutatis-14-02-571-gch3.jpg

Anexo 4. Traducción humana 3 (TH3) del TO

2011-799x-mutatis-14-02-571-gch4.jpg

Anexo 5. Traducción automática (TA) del TO generada por DeepL

2011-799x-mutatis-14-02-571-gch5.jpg

Anexo 6. Traducción «Golden Standard» del TO

2011-799x-mutatis-14-02-571-gch6.jpg