Анализ потенциала систем машинного перевода в русско-английском научном переводе - Журнал «Наука в мегаполисе Science in the Megapolis»

: Выпуск: №6(62) КОД науки: исследования молодых ученых; Раздел: Исследования языков мира; Опубликовано: 24 мая 2024

: Код уникальной десятичной классификации: 81-26'347.78.034

: Автор: Кузнецова Дарья Леонидовна; бакалавр 4 курса, Московский городской педагогический университет (МГПУ), г. Москва, e-mail: kuznetsova.daria.leo@gmail.com

: Научный руководитель: Тивьяева Ирина Владимировна; заместитель директора Института иностранных языков Московского городского педагогического университета (МГПУ); доктор филологических наук, профессор

Второе место конкурса «КОД науки» в номинации
«Исследования языков мира» (2024 г.)

Аннотация. В статье проводится анализ потенциала систем машинного перевода в русско-английском научном переводе, исследуются частотные типы ошибок, допускаемых системами машинного перевода. В качестве материала исследования используются русские и английские аннотации к русскоязычным научным статьям по лингвистике, опубликованные в ведущих научных журналах. Тестируемые системы машинного перевода включают DeepL Translate, Yandex Translate и Google Translate. Результаты исследования подтверждают эффективность использования данных систем для целей русско-английского научного перевода при условии профессионального постредактирования и научного редактирования текстов перевода.

Ключевые слова: машинный перевод, русско-английский перевод, научный перевод, научная аннотация, DeepL Translate, Yandex Translate, Google Translate, качество перевода.

Настоящая работа посвящена анализу потенциала систем машинного перевода при переводе научных текстов с русского языка на английский язык на материале английских переводов аннотаций к русскоязычным статьям по лингвистике.

Актуальность исследования заключается в необходимости изучения потенциала систем машинного перевода для оптимизации и упрощения процесса перевода научных текстов с русского языка на английский язык. Кроме того, в связи с невысокой степенью изученности переводческих трудностей при адаптации русскоязычных аннотаций на английский язык представляется возможным применять результаты исследования для улучшения качества машинного перевода и создания более четких рекомендаций для переводчиков-практиков.

Объектом исследования выступают практики машинного перевода русских научных текстов на английский язык с применением систем автоматизированного перевода DeepL Translate, Yandex Переводчик и Google Переводчик.

Целью исследования является изучение возможностей применения систем машинного перевода при осуществлении русско-английского перевода научных текстов, а также разработка методических рекомендаций для научных редакторов с точки зрения оценки точности и эффективности систем автоматизированного перевода DeepL Translate, Yandex Переводчик и Google Переводчик.

В современном научном сообществе активно обсуждаются вопросы применения машинного перевода в академической среде и его влияния на качество научных публикаций. Исследователи нередко погружают эту проблему в контекст межкультурной коммуникации, отмечая, что в академической среде выбор той или иной стратегии перевода во многом определяется культурной принадлежностью участников процесса коммуникации [4], [6], [13].

Лингвисты поднимают проблему корректности автоматического перевода научных работ, необходимости его последующей редактуры, а также акцентируют внимание на необходимости учета специфики предметной области и терминологии [3], [8], [12]. Л.Н. Беляева подчеркивает, что использование машинного перевода не должно заменять работу профессионального переводчика, а может лишь служить вспомогательным инструментом [1, c. 3]. М.А. Куниловская, Т.А. Ильющеня и М.А. Ковязина акцентируют внимание на важности изучения особенностей машинного перевода для выявления возможных лингвистических искажений и разработки методов их устранения [5, c. 2].

Особый вопрос в рамках изучения машинного перевода касается подготовки переводчиков для работы с системами машинного перевода и для осуществления дальнейшего постредактирования. Исследователи указывают на важность профессиональной подготовки переводчиков в области информационных технологий и машинного перевода, чтобы они могли использовать все возможности этих технологий для улучшения качества своей работы [2]; [9]; [10], [11]. В.А. Хасанова и М.А. Ивлева указывают на необходимость разработки эффективных методов и инструментов для постредактирования машинного перевода, которые будут включать оценку и корректировку результатов работы системы машинного перевода с учетом контекста и цели перевода [14, c. 7].

Таким образом, краткий обзор научных публикаций по теме показывает, что проблема машинного перевода актуальна для современной науки о языках и ожидает решения ряда теоретических и прикладных задач, что открывает перспективы для дальнейших исследований в данной области, направленных на повышение качества и эффективности машинного перевода.

В настоящей работе для анализа фактического языкового материала применялась комплексная методика, включающая процедуры автоматической обработки текста, метод сплошной выборки, а также методы автоматизированного перевода. В качестве источника языкового материала были рассмотрены и изучены 100 аннотаций к научным статьям по лингвистике из высокорейтинговых российских журналов «Russian Journal of Linguistics» и «Сибирского филологического журнала». Методом сплошной выборки из каждого журнала было выбрано по 50 аннотаций к статьям по лингвистике, которые входили в последние выпуски за 2021-2023 гг. Журналы, из которых были рассмотрены аннотации к англоязычным статьям, были отобраны на основании рейтинга научных журналов SCImago.

В качестве инструментов анализа выступили системы машинного перевода DeepL Translate, Yandex Переводчик и Google Переводчик.

Для определения качества перевода использовалась методика на основании «Правил оказания переводческих и особых видов лингвистических услуг» [7, c. 11]. Критерии оценки качества машинного перевода систематизированы в Таблице 1. В работе были учтены все критерии, на основании которых составлена типология ошибок, по которой оценивалась каждая аннотация, за исключением критерия – «машинный перевод».

Таблица 1. Типология ошибок письменного перевода

Малозначительные ошибки	Существенные ошибки	Грубые ошибки	Дополнительные ошибки
пунктуация – 0,3 балла	грамматические ошибки – 0,8 балла	искажение смысла – 1,5 балла	стиль – 0,3 балла
оформление нумерованных списков – 0,4 балла	добавления в переводе – 0,9 балла	недоперевод – 1,7 балла	отклонение от признанной отраслевой терминологии – 1 балл
орфография – 0,5 балла	лексика – 1 балл	пропуск – 2 балла	отсутствие терминологического единообразия – 0,75 балла
ошибки регионального (государственного) свойства – 0,6 балла	проектные требования – 1 балл	машинный перевод – 4 балла	ошибки оформления – 0,25 балла
ошибки в цифрах – 0,7 балла

При анализе машинного перевода, осуществляемого в системах автоматизированного перевода DeepL Translate, Yandex Переводчик, Google Переводчик на материале аннотаций к научным статьям из журнала «Russian Journal of Linguistics» и «Сибирского филологического журнала» используется формула для определения качества перевода:

TQI = (1 – EP/W) × 100 [10, c. 12], где:
TQI (Translation Quality Index) – это практический результат количественной оценки проверки качества перевода;
EP (Error Points) – суммарное количество баллов ошибок;
W – количество слов в образце.
Пороговым значением TQI считается коэффициент, равный 80-99.

Таким образом, были получены следующие результаты. Результаты вычислений TQI (Translation Quality Index) представлены в Таблицах 2 и 3.

Таблица 2. Количественная оценка проверки качества перевода систем машинного перевода на материале аннотаций к научным статьям по лингвистике из журнала Russian Journal of Linguistics

№	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода DeepL Translate	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода Yandex Переводчик	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода Google Translate
1.	TQI = (1–8,2/ 244) × 100 = 96.6 EP = 8,2 W = 244	TQI = (1–1,6/ 252) × 100 = 99.4 EP = 1,6 W = 252	TQI = (1–0,8/ 251) × 100 = 99.7 EP = 0,8 W = 251
2.	TQI = (1–5,6/ 333) × 100 = 98.3 EP = 5,6 W = 333	TQI = (1–5,4/ 339) × 100 = 98.4 EP = 5,4 W = 339	TQI = (1–7,8/ 343) × 100 = 97.7 EP = 7,8 W = 343
3.	TQI = (1–4,2/ 328) × 100 = 98.7 EP = 0,9 W = 328	TQI = (1–1,4/ 332) × 100 = 99.6 EP = 1,4 W = 332	TQI = (1–1,6/ 331) × 100 = 99.5 EP = 1,6 W = 331
4.	TQI = (1–4,2/ 290) × 100 = 98.6 EP = 4,2 W = 290	TQI = (1–4,9/ 321) × 100 = 98.5 EP = 4,9 W = 321	TQI = (1–2,3/ 302) × 100 = 99.2 EP = 2,3 W = 302
5.	TQI = (1–1,3/ 265) × 100 = 99.5 EP = 1,3 W = 265	TQI = (1–0,3/ 269) × 100 = 99.8 EP = 0,3 W = 269	TQI = (1–0,3/ 264) × 100 = 99.9 EP = 0,3 W = 264
6.	TQI = (1–2,7/ 274) × 100 = 99 EP = 2,7 W = 274	TQI = (1–0,7/ 305) × 100 = 99.8 EP = 0,7 W = 305	TQI = (1–1,7/ 301) × 100 = 99.4 EP = 1,7 W = 301
7.	TQI = (1–2,8/ 322) × 100 = 99.1 EP = 2,8 W = 322	TQI = (1–1,5/ 369) × 100 = 99.6 EP = 1,5 W = 369	TQI = (1–0,5/ 354) × 100 = 99.9 EP = 0,5 W = 354
8.	TQI = (1–1,2/ 344) × 100 = 99.7 EP = 1,2 W = 344	TQI = (1–0,5/ 363) × 100 = 99.9 EP = 0,5 W = 363	TQI = (1–1,5/ 354) × 100 = 99.6 EP = 1,5 W = 354
9.	TQI = (1–5,5/ 404) × 100 = 98.6 EP = 5,5 W = 404	TQI = (1–5,5/ 397) × 100 = 98.6 EP = 5,5 W = 397	TQI = (1–5,5/ 384) × 100 = 98.6 EP = 5,5 W = 384
10.	TQI = (1–0/ 326) × 100 = 100 EP = 0 W = 326	TQI = (1–0/ 329) × 100 = 100 EP = 0 W = 329	TQI = (1–0,6/ 322) × 100 = 99.8 EP = 0,6 W = 322

Таблица 3. Количественная оценка проверки качества перевода систем машинного перевода на материале аннотаций к научным статьям по лингвистике из Сибирского Филологического Журнала

№	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода DeepL Translate	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода Yandex Переводчик	TQI (Translation Quality Index) – практический результат количественной оценки проверки качества перевода Google Translate
1.	TQI = (1–8,2/ 244) × 100 = 96.6 EP = 8,2 W = 244	TQI = (1–1,6/ 252) × 100 = 99.4 EP = 1,6 W = 252	TQI = (1–0,8/ 251) × 100 = 99.7 EP = 0,8 W = 251
2.	TQI = (1–5,6/ 333) × 100 = 98.3 EP = 5,6 W = 333	TQI = (1–5,4/ 339) × 100 = 98.4 EP = 5,4 W = 339	TQI = (1–7,8/ 343) × 100 = 97.7 EP = 7,8 W = 343
3.	TQI = (1–4,2/ 328) × 100 = 98.7 EP = 0,9 W = 328	TQI = (1–1,4/ 332) × 100 = 99.6 EP = 1,4 W = 332	TQI = (1–1,6/ 331) × 100 = 99.5 EP = 1,6 W = 331
4.	TQI = (1–4,2/ 290) × 100 = 98.6 EP = 4,2 W = 290	TQI = (1–4,9/ 321) × 100 = 98.5 EP = 4,9 W = 321	TQI = (1–2,3/ 302) × 100 = 99.2 EP = 2,3 W = 302
5.	TQI = (1–1,3/ 265) × 100 = 99.5 EP = 1,3 W = 265	TQI = (1–0,3/ 269) × 100 = 99.8 EP = 0,3 W = 269	TQI = (1–0,3/ 264) × 100 = 99.9 EP = 0,3 W = 264
6.	TQI = (1–2,7/ 274) × 100 = 99 EP = 2,7 W = 274	TQI = (1–0,7/ 305) × 100 = 99.8 EP = 0,7 W = 305	TQI = (1–1,7/ 301) × 100 = 99.4 EP = 1,7 W = 301
7.	TQI = (1–2,8/ 322) × 100 = 99.1 EP = 2,8 W = 322	TQI = (1–1,5/ 369) × 100 = 99.6 EP = 1,5 W = 369	TQI = (1–0,5/ 354) × 100 = 99.9 EP = 0,5 W = 354
8.	TQI = (1–1,2/ 344) × 100 = 99.7 EP = 1,2 W = 344	TQI = (1–0,5/ 363) × 100 = 99.9 EP = 0,5 W = 363	TQI = (1–1,5/ 354) × 100 = 99.6 EP = 1,5 W = 354
9.	TQI = (1–5,5/ 404) × 100 = 98.6 EP = 5,5 W = 404	TQI = (1–5,5/ 397) × 100 = 98.6 EP = 5,5 W = 397	TQI = (1–5,5/ 384) × 100 = 98.6 EP = 5,5 W = 384
10.	TQI = (1–0/ 326) × 100 = 100 EP = 0 W = 326	TQI = (1–0/ 329) × 100 = 100 EP = 0 W = 329	TQI = (1–0,6/ 322) × 100 = 99.8 EP = 0,6 W = 322
11.	TQI = (1–8,2/ 244) × 100 = 96.6 EP = 8,2 W = 244	TQI = (1–1,6/ 252) × 100 = 99.4 EP = 1,6 W = 252	TQI = (1–0,8/ 251) × 100 = 99.7 EP = 0,8 W = 251
12.	TQI = (1–5,6/ 333) × 100 = 98.3 EP = 5,6 W = 333	TQI = (1–5,4/ 339) × 100 = 98.4 EP = 5,4 W = 339	TQI = (1–7,8/ 343) × 100 = 97.7 EP = 7,8 W = 343
13.	TQI = (1–4,2/ 328) × 100 = 98.7 EP = 0,9 W = 328	TQI = (1–1,4/ 332) × 100 = 99.6 EP = 1,4 W = 332	TQI = (1–1,6/ 331) × 100 = 99.5 EP = 1,6 W = 331
14.	TQI = (1–4,2/ 290) × 100 = 98.6 EP = 4,2 W = 290	TQI = (1–4,9/ 321) × 100 = 98.5 EP = 4,9 W = 321	TQI = (1–2,3/ 302) × 100 = 99.2 EP = 2,3 W = 302
15.	TQI = (1–1,3/ 265) × 100 = 99.5 EP = 1,3 W = 265	TQI = (1–0,3/ 269) × 100 = 99.8 EP = 0,3 W = 269	TQI = (1–0,3/ 264) × 100 = 99.9 EP = 0,3 W = 264
16.	TQI = (1–2,7/ 274) × 100 = 99 EP = 2,7 W = 274	TQI = (1–0,7/ 305) × 100 = 99.8 EP = 0,7 W = 305	TQI = (1–1,7/ 301) × 100 = 99.4 EP = 1,7 W = 301
17.	TQI = (1–2,8/ 322) × 100 = 99.1 EP = 2,8 W = 322	TQI = (1–1,5/ 369) × 100 = 99.6 EP = 1,5 W = 369	TQI = (1–0,5/ 354) × 100 = 99.9 EP = 0,5 W = 354
18.	TQI = (1–1,2/ 344) × 100 = 99.7 EP = 1,2 W = 344	TQI = (1–0,5/ 363) × 100 = 99.9 EP = 0,5 W = 363	TQI = (1–1,5/ 354) × 100 = 99.6 EP = 1,5 W = 354
19.	TQI = (1–5,5/ 404) × 100 = 98.6 EP = 5,5 W = 404	TQI = (1–5,5/ 397) × 100 = 98.6 EP = 5,5 W = 397	TQI = (1–5,5/ 384) × 100 = 98.6 EP = 5,5 W = 384
20.	TQI = (1–0/ 326) × 100 = 100 EP = 0 W = 326	TQI = (1–0/ 329) × 100 = 100 EP = 0 W = 329	TQI = (1–0,6/ 322) × 100 = 99.8 EP = 0,6 W = 322

В ходе исследования установлено, что наиболее частотными ошибками машинного перевода являются лексические, стилистические и орфографические ошибки. Следует также отметить отклонение от признанной отраслевой терминологии и отсутствие терминологического единообразия в переводе.

Однако, при проверке качества машинного перевода не было выявлено ошибок в цифрах, пропусков, искажения смысла и ошибок оформления. Вышеперечисленные требования были учтены системами машинного перевода DeepL Translate, Yandex Translate и Google Translate, что свидетельствует о том, что данные машинные переводчики могут быть использованы при переводе научных текстов с русского языка на английский язык.

На основе полученных данных было установлено, что системы машинного перевода могут быть полезным инструментом для перевода научных текстов, однако применение данных инструментов не исключает необходимости тщательной проверки текста, постредактирования и научного редактирования. Системы машинного перевода, такие как DeepL Translate, Yandex Translate и Google Translate, способны учитывать большинство требований, являющихся индикаторами качественного перевода научных текстов. Использование машинного перевода для целей научного перевода может сократить время и затраты на перевод, однако качество перевода в обязательном порядке требует контроля со стороны профессионального переводчика и редактора.

Список литературы:

Беляева Л.Н. Машинный перевод в работе переводчика: практический аспект // Вестник ПНИПУ. Проблемы языкознания и педагогики. 2019. №2. С. 8-20.
Гулиянц А.Б., Гулиянц С.Б. Применение интегративного подхода в профессиональной подготовке переводчиков в вузе // Интеграция в образовании: проблемы и пути решения, Чебоксары, 24 сентября 2017 года. Чебоксары : Чувашский государственный педагогический университет им. И.Я. Яковлева, 2017. С. 71-75.
Добрынина О.Л. Академическое письмо для публикационных целей и машинный перевод: возможен ли симбиоз? // Высшее образование в России. 2021. Т. 30, №12. С. 87-101.
Карданова-Бирюкова К.С. Особенности коммуникативного поведения носителей русского языка в межличностном общении (экспериментальное исследование) // Вестник Волгоградского государственного университета. Серия 2: Языкознание. 2018. Т. 17, №1. С. 85-97.
Куниловская М.А., Ильющеня Т.А., Ковязина, М.А. Перспективы исследования лингвистических признаков русскоязычного переводного дискурса // Вестник ПНИПУ. Проблемы языкознания и педагогики. 2017. №2. С. 17-27.
Межкультурная коммуникация в современном мире / А.В. Жукоцкая, С.В. Черненькая, С.Б. Кожевников [и др.]. М.: Московский городской педагогический университет, 2018. 100 с.
Правила оказания переводческих и особых видов лингвистических услуг // gostinfo.ru (сайт). (дата обращения: 09.01.2024).
Сулейманова О.А. К вопросу о нормативности письменного академического дискурса // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование. 2017. №2(26). С. 52-61.
Сулейманова О.А. Технологический аспект подготовки современного переводчика / О.А. Сулейманова, Э.В. Нерсесова, Е.М. Вишневская // Филологические науки. Вопросы теории и практики. 2019. Т. 12, №7. С. 313-317.
Сулейманова О.А. Тивьяева И.В. Личность Другого в академическом дискурсе // Вестник РГГУ. Серия: Литературоведение. Языкознание. Культурология. 2022. №8-2. С. 207-223.
Тивьяева И.В., Сеничкина Н.С., Локализция, перевод сопроводительной документации к программному обеспечению и подготовка технических переводчиков // Вестник Тульского государственного университета. Серия: Лингвистика и лингводидактика. 2016. №1. С. 209-218.
Тивьяева И.В., Кузнецова Д.Л. Компаративный анализ структурно-содержательной организации аннотаций к русскоязычным и англоязычным научным статьям // Актуальные проблемы филологии и педагогической лингвистики. 2020. №3. С. 139-152.
Тивьяева И.В., Семина О.Ю. Лингвистическое сопровождение научно-исследовательской деятельности: переводческий и методологический аспекты // Актуальные проблемы филологии и педагогической лингвистики. 2022. №2. С. 83-93.
Хасанова В.А., Ивлева М.А. Анализ требований к постредакторам машинного перевода // Наука. Технологии. Инновации: сб. науч. тр.: в 9 ч. Новосибирск: Изд-во НГТУ, 2019. Ч. 8. С. 695-698.

Analyzing the potential of machine translation systems in Russian-to-English scientific translation

Kuznetsova D. L.,
bachelor of 4 course of the Moscow City University, Moscow

Research supervisor:
Tivyaeva Irina Vladimirovna,
Deputy Director of the Institute of Foreign Languages of the Moscow City University, Doctor of Philology, Professor

Abstract. The article focuses on the potential of machine translation systems in Russian-to-English scientific translation and investigates the frequent types of errors made by machine translation systems. Empirical data includes Russian and English abstracts to Russian-language scientific articles in linguistics published in high-ranking academic journals. The machine translation systems under test include DeepL Translate, Yandex Translate and Google Translate. The results of the study confirm the effectiveness of using these systems for the purposes of Russian-English scientific translation provided that resulting texts undergo professional post-editing and scientific editing.
Keywords: machine translation, Russian-to-English translation, scientific translation, research paper abstract, DeepL Translate, Yandex Translate, Google Translate, translation quality.

References:

Belyaeva L.N. Machine translation in the work of a translator: a practical aspect // Bulletin of PNRPU. Problems of linguistics and pedagogy. 2019. №2.: 8-20.
Guliyants A.B., Guliyants S.B. Use of integrative approach in professional translator training at university // Integration in education: problems and solutions, Cheboksary, September 24, 2017. Cheboksary: Chuvash State Pedagogical University named after I.Ya. Yakovlev, 2017.: 71-75.
Dobrynina O. L. Academic writing for publication purposes and machine translation: is symbiosis possible? // Higher education in Russia. 2021. Vol. 30, №12.: 87-101.
Kardanova-Biryukova K.S. Specifics of Russian speakers’ communicative behavior in interpersonal communication (based on the findings of experimental research) // Bulletin of Volgograd State University, 2018. Series 2: Linguistics. Vol. 17 (1).: 85-97.
Kunilovskaya M.A., Ilyushenya T.A., Kovyazina M.A. Prospects for the study of linguistic features of Russian-language translated discourse // Bulletin of PNRPU. Problems of linguistics and pedagogy. 2017. №2.: 17-27.
Intercultural communication in contemporary world / A.V. Zhukockaja, S.V. Chernen'kaja, S.B. Kozhevnikov [et al.]. Moscow: Moscow City University, 2018. 100 p.
Rules for the provision of translation and special types of linguistic services // gostinfo.ru (website). (date of the address: 09.01.2024).
Suleimanova O.A. Guidelines towards academic writing // MCU Journal of Philology. Theory of Linguistics. Linguistic Education. 2017. Vol. 2(26).: 52-61.
Suleimanova O.A., Nersesova E.V., Vishnevskaya E.M. Technological aspect of modern translator’s training // Philological Sciences. Theoretical and practical issues. 2019. Vol. 12(7).: 313-317.
Suleimanova O.A., Tivyaeva I.V. Figure of Other in academic discourse // Bulletin of the Russian State Humanitarian University. Series: Literary criticism. Linguistics. Cultural science. 2022. №8-2.: 207-223.
Tivyaeva I.V., Senichkina N.S. Lcoalization, translation of software documentation and technical translators training // Bulletin of Tula State University. Series: Linguistics and Linguodidactics. 2016. №1.: 209-218.
Tivyaeva I.V., Kuznetsova D.L. Comparative analysis of abstract content and structure in Russian and English research papers // Current issues in philology and pedagogical linguistics. 2020. Vol. 3.: 139-152.
Tivyaeva I.V., Syomina O.Yu. Language mediation in Russian academe: translation and methodological aspects // Current issues in philology and pedagogical linguistics. 2022. Vol. 3.: 139-152.
Khasanova V.A., Ivleva M.A. Analysis of requirements for post-editors of machine translation // Science. Technologies. Innovations: sat. scientific tr. Novosibirsk: Publishing House of NSTU, 2019. Part 8.: 695-698.