¿Cómo se evalúa la calidad de la traducción automática?

En la creciente industria de las traducciones automáticas, existe la necesidad de garantizar la calidad del contenido traducido, ya que las máquinas por sí solas no son infalibles.

La estimación de la calidad de la traducción automática implica la evaluación de la calidad del texto que fue traducido previamente por una máquina. Los hablantes nativos examinan el contenido traducido y corrigen las discrepancias que encuentran. Estos traductores humanos son altamente calificados y corregirán cualquier error para obtener una traducción final precisa y sin errores.

Además de las palabras, los lingüistas también revisan los glosarios, el uso correcto de la voz y el tono general del idioma de destino. Exploremos la traducción automática y veamos las diversas formas en que la calidad de la traducción automática afecta a la industria.

¿Qué es la traducción automática?

La traducción automática ha aparecido en el mundo de la IA como aplicaciones como Google Translate, pero en un formato más grande, la industria de la traducción automática es mucho más grande y compleja. La traducción automática implica traducir texto y contenido de un idioma nativo a otro.

La traducción automática es una subcategoría de la lingüística computacional que toma prestado de la informática, la inteligencia artificial, la teoría de la información y las estadísticas. Durante mucho tiempo, se la consideró una ciencia defectuosa debido a la baja calidad de sus traducciones. Sin embargo, en las últimas décadas ha habido un progreso increíble en la calidad de la traducción automática, y su evolución ha creado una industria de miles de millones de dólares.

Si bien la traducción automática por sí sola no es perfecta, el uso de traductores humanos junto con el aprendizaje automático tiene muchas aplicaciones prácticas. Antes de la IA, las agencias de traducción manual y otros traductores profesionales eran los pilares de la industria, y las traducciones eran lentas y costosas debido a la increíble cantidad de trabajo que se requería para realizar una buena traducción.

Hoy en día, el mercado de la traducción automática prospera con la combinación de traducciones humanas y automáticas, un servicio más rápido y costos más bajos.

Leer más: Una breve historia de la traducción

Defectos en la traducción automática

Incluso con los florecientes mercados impulsados ​​por la tecnología, la traducción automática sigue siendo inferior a los lingüistas humanos. El sesgo de género, las palabras y frases distorsionadas y mal interpretadas, y la redacción de palabras extrañas son comunes, y esto es especialmente cierto con las aplicaciones de traducción en tiempo real.

Quizás el defecto más profundo es la incapacidad de una máquina para procesar el pensamiento y las emociones humanas. El emparejamiento de lingüistas humanos rectifica esto, ya que los traductores humanos pueden encontrar errores que las máquinas pasan por alto.

La traducción automática es ineficaz en muchos pares de idiomas, ya que los lenguajes morfológicamente ricos son un desafío para el cerebro de la IA, especialmente desde un lenguaje morfológicamente simple a uno morfológicamente más complejo.

En este desafío, las distinciones morfológicas ausentes en el idioma de origen deben generarse en el idioma de destino. Para resolver esto, se deben utilizar herramientas ricas en lenguaje, y esto a menudo está ausente en la traducción automática.

Muchas veces, falta información sobre el orden de las palabras objetivo de la oración o frases de origen, por lo que se utiliza un traductor humano para encontrar esta información importante.

Otro problema frecuente de los idiomas flexivos es una traducción inexacta de los pronombres y, en muchos casos, en los idiomas flexivos, el tema se abandona por completo (los idiomas eslavos representan una categoría de idiomas con muchas flexiones). Además, la traducción automática es problemática por las diferencias en la expresión de la negación y causa muchos problemas cuando se combina con lenguajes complejos.

Para resolver el problema de la traducción automática inexacta, la participación humana cierra las brechas del idioma, pero más que nada, la evaluación de la calidad de la traducción automática es vital a medida que crece la industria de la traducción.

Evaluación de la calidad de la traducción automática

Con el mercado global emergente, la demanda de traducciones de calidad es evidente y la precisión es cada vez más importante. Los nuevos mercados de blockchain, por ejemplo, tratan con clientes internacionales y los documentos financieros deben traducirse a cientos de idiomas diferentes.

Juzgar la calidad de la traducción automática se define como evaluación de la traducción automática, y discutiremos los dos tipos comunes, luego echaremos un vistazo a la posedición.

Evaluación manual

La forma más común de acceder y medir la calidad de la traducción automática es a través de la evaluación humana. En este método, la calidad del resultado de la traducción automática es examinada por profesionales lingüísticos desde dos perspectivas diferentes.

La primera perspectiva involucra la fluidez y analiza el grado de precisión en el texto de destino y los promedios del idioma de destino, la gramaticalidad y la claridad. Los profesionales solo tienen acceso a la traducción y no a los datos de origen, y la fluidez solo requiere un experto que domine el idioma de destino.

A continuación, se accede a la precisión del texto a través de los promedios y el significado del texto de origen, y qué tan bien el texto de destino representa el contenido del texto de origen. Al evaluar la precisión del texto, se considera el contexto de las oraciones. El profesional debe ser bilingüe tanto en el texto de origen como en los idiomas de destino.

Las evaluaciones de la calidad de la traducción manual o manual requieren mucho tiempo y son costosas, pero también son subjetivas. Para disminuir el tema de la subjetividad, más profesionales evalúan las traducciones en el mismo conjunto de evaluación, y estas se justifican estadísticamente.

Evaluación automática

La evaluación automática se identifica comúnmente con términos técnicos y se define como un algoritmo. Este algoritmo se codifica en un programa y lo ejecuta una computadora que calcula el puntaje de evaluación. Esta puntuación le informa al usuario qué tan buena es la traducción y evalúa el número de palabras, los errores de oración y el contexto general del idioma de destino.

La evaluación automática no es perfecta y las evaluaciones deben ejecutarse muchas veces para obtener datos precisos. Esta tecnología está mejorando rápidamente y los errores se corrigen a medida que se encuentran soluciones.

Las métricas de evaluación automática son posibilidades gratuitas para la evaluación humana y se utilizan para mejorar los sistemas de traducción automática. Las métricas automáticas se basan en el concepto de que la calidad de la traducción automática debe acercarse a la traducción humana. Este concepto depende de la disponibilidad de recursos humanos, ya que las métricas evalúan el resultado de los sistemas de traducción automática comparándolos con una traducción de referencia.

Debido a que la variabilidad es grande incluso con la traducción humana, es vital tener traducciones de referencia basadas en humanos para acceder a cada oración traducida por máquina. Luego, las métricas de evaluación evalúan las estadísticas de evaluación en función de la traducción de referencia más similar.

Post-edición de traducción automática como estimación de calidad

La traducción automática combinada con la posedición posterior es otro método popular en la industria de la traducción. También creó nuevas carreras para traductores al presentar una solución viable para editar traducciones. La posedición de servicios de traducción automática es otra forma de garantizar la precisión en el contenido, pero no deja de tener sus detractores.

En lugar de trabajar solo con el texto fuente, el traductor tiene tanto la fuente como una traducción llena de errores. El protocolo estándar es usar texto traducido automáticamente como una traducción sin procesar que es editada por un lingüista. La industria de la traducción está implementando herramientas y procedimientos de posedición, y los estudios informan que el 30 % de las empresas de traducción utilizan la traducción automática y el 70 % utiliza la posedición al menos una parte del tiempo.

La posedición, que ha demostrado ser más rápida que la traducción humana, es lucrativa para una industria centrada en la precisión. También es más rápido que la traducción desde contenido cero o la traducción asistida por memoria de traducción. Aparte de la velocidad, otros estudios demostraron que los esfuerzos cognitivos, temporales y técnicos mejoraron en las traducciones profesionales. El esfuerzo temporal se define como el tiempo requerido para posedición de un texto, y el esfuerzo cognitivo implica la activación de procesos cognitivos durante la posedición. El aspecto técnico son las operaciones durante la posedición, como eliminaciones e inserciones. Sin embargo, estas tres áreas están influenciadas por la calidad de la traducción.

Si bien aún no se sabe si la posedición mejora las traducciones o las empeora, se han desarrollado algunas métricas interesantes para probar la hipótesis.

Tasa de error de traducción de errores humanos (HTER)

La tasa de error de traducción mediada por humanos (HTER) es una variante humana de la tasa de error de traducción. HTER considere qué ediciones se realizan para convertir una traducción en su versión post-editada. Se calcula como la relación entre la cantidad de pasos de edición y la cantidad de palabras en la versión posedición. HTER también se puede utilizar como una medida del esfuerzo técnico de posedición. Cuantos menos cambios se requieran para convertir la traducción a su versión post-editada, menor será el esfuerzo necesario por parte del traductor. HTER se centra en la traducción final y no en el protocolo.

Tasa de edición real (AER)

La métrica llamada Tasa de edición real mide las operaciones de edición del traductor, y esto podría implicar procedimientos complejos como la edición de contenido previamente editado. Un estudio reciente sobre la posedición encontró una conexión entre el HTER y las cualidades de la traducción automática.

Se encontró un aumento en la tasa de errores de traducción mediada por humanos a medida que disminuía la calidad del sistema de traducción automática. Por el contrario, no encontró relación entre la tasa de edición real y la calidad de la traducción automática. También descubrió que la actividad del teclado no está correlacionada con la calidad de la traducción automática y el tiempo de posedición. Había una conexión lineal entre la calidad de la traducción automática y la velocidad de posedición.

El estudio también mostró una correlación entre la calidad de la traducción automática y la calidad después de la posedición. Confirmó que una mala traducción siempre resulta en un peor resultado después de la posedición.

El futuro de la estimación de la calidad de la traducción automática

La traducción automática es utilizada diariamente por millones de industrias en todo el mundo. Empresas como Tomedes ayudan a satisfacer esta demanda al brindar servicios de traducción precisos a una fuerza laboral global. Las tecnologías de traducción automática neuronal mejoran cada día para lograr una mayor precisión en las traducciones. Los científicos e investigadores continúan encontrando formas de resolver las ineficiencias en los servicios de traducción, con el objetivo final de lograr traducciones impecables.

A medida que la industria de la traducción continúa metamorfoseándose y aumenta el uso de flujos de trabajo de traducción automática y posedición, la demanda de experiencia en habilidades de posedición crecerá. Mientras lo hacen, seguirán siendo necesarios estudios como los comentados en este artículo para mejorar el mercado de la traducción. Las tecnologías de control de calidad de la traducción automática también deben seguir investigándose e implementándose para mejorar la precisión de las traducciones.