Приложение 17 О приемах формализированной оценки качества перевода

ПРИЛОЖЕНИЕ 17

О ПРИЕМАХ ФОРМАЛИЗИРОВАННОЙ ОЦЕНКИ КАЧЕСТВА ПЕРЕВОДА

Материал подготовлен Д. Тишиным,

генеральным директором бюро переводов «Окей» (Самара)

САМОПРОВЕРКА

Поскольку перевод часто выполняется в условиях дефицита времени, вероятность присутствия в конечном тексте различных ошибок достаточно высока. Для выявления и устранения таких ошибок переводчику рекомендуется проверять свою работу перед сдачей заказчику по проверочному листу[1], один из вариантов которого приводится в Приложении 16 «Проверочный лист переводчика».

ОЦЕНКА КАЧЕСТВА ПЕРЕВОДА И РАЗРЕШЕНИЕ СПОРОВ

В переводческой практике нередки споры между заказчиком и исполнителем о качестве перевода, разрешить которые без применения апробированной методики оценки оказывается затруднительным.

Изложенные в этом приложении рекомендации адресованы переводчикам, работа которых подвергается внешней оценке, и заказчикам (в особенности переводческим компаниям), которые выполняют оценку переводов.

Результатом оценки качества перевода переводческими компаниями, как правило, является суждение о пригодности его к использованию, либо суждение о соответствии отдельных параметров требованиям конечного пользователя, либо числовой показатель в пределах от 0 до 1 – так называемый индекс качества перевода (Translation Quality Index, или TQI).

Независимо от цели, которой служит результат оценки, его получают, как правило, путем тотального маркирования ошибок специально обученным специалистом[2], хотя экспертное заключение теоретически возможно и без такой маркировки[3]. Чтобы результаты оценки считались объективными, эксперт должен обладать безусловным авторитетом в профессиональном сообществе. Однако таких экспертов немного и услуги их дороги. Оценка же качества – рутинная ежедневная задача для сотен людей, поэтому в данном приложении рассматриваются только методики, включающие маркировку ошибок.

Объективность[4] оценки качества перевода не зависит от того, в каком виде представлен результат оценки (TQI, заключение «пригоден – непригоден» и т.д.). Объективность определяется шестью основными факторами, любой из которых может оказаться решающим.

1. Уровень компетентности экспертов

В идеале эксперт должен обладать высокой переводческой компетентностью, глубокими знаниями в предметной области и опытом перевода текстов в данной области, а также знать региональные и отраслевые стандарты редакционно-издательского оформления. Если эксперт не обладает всеми компетенциями на нужном уровне (например, не является специалистом в предметной области), к оценке следует привлечь дополнительного специалиста.

2. Количество экспертов

Разные эксперты находят в переводе различные ошибки, поэтому для ответственных случаев (разрешение споров) рекомендуется привлекать к оценке не менее двух специалистов. Это позволит более точно оценить число ошибок в переводе (путем применения эмпирического способа, при котором число ошибок, найденных экспертом А, умножаются на число ошибок, найденных в том же тексте экспертом В, и делится на число совпавших у А и В ошибок).

3. Степень независимости экспертов от исполнителя или заказчика

Оценка перевода, выполняемая сотрудником исполнителя (переводческой компании) или заказчика (обычно – редактором), при прочих равных условиях менее надежна, чем оценка стороннего эксперта. Однако из-за высокой стоимости таких услуг к третьей стороне для оценки качества обращаются нечасто, хотя подобная практика более продуктивна при разрешении споров между сторонами[5].

4. Четкость критериев при маркировании ошибок

Критерии должны быть однозначными – это нужно для воспроизводимости результатов (т.е. два эксперта, независимо друг от друга изучив один фрагмент текста, должны прийти к одному и тому же мнению). Формальные критерии (опущение, добавление, орфографическая или грамматическая ошибка, несоответствие глоссарию), как правило, не вызывают расхождений в оценках, зато эмоционально-оценочные критерии (такие, как «звучит не по-русски», «awkward wording», «not user-friendly style») спорны. Таким образом, критерии стилистических ошибок всегда необходимо конкретизировать (например, «неоправданный повтор однокоренного слова в пределах предложения», «неоправданное разрушение фразеологического оборота», «нанизывание одинаковых падежных форм») либо вообще исключать из оценки качества перевода (что сделано, например, в стандарте SAE J2450 “Translation Quality Metric”[6]).

Также необходимо помнить, что для разных языков один и тот же критерий может работать по-разному. Например, правила пунктуации в английском языке менее строги, чем в русском, поэтому в английском тексте ошибочной может быть признана лишь такая пунктуация, которая противоречит всем существующим авторитетным справочникам (например, – Chicago Manual of Style, European Commission Style Guide, World Bank Translation Style Guide, Microsoft Style Guide и др.).

Из общедоступных классификаторов ошибок наиболее удобным с точки зрения критериев является SAE J2450, к тому же в нем всего 7 классов ошибок, однако он имеет крайне узкую область применения – инструкции по обслуживанию транспортных средств. Достаточно четкие критерии ошибок приводятся в классификаторе LISA QA Model 3.1., но пользоваться им удобно только в программной оболочке, т.к. большое количество классов и видов ошибок сложно удержать в памяти. Классификатор американской системы аттестации переводчиков ATA Framework for Standard Error Marking[7] является наименее удобным, поскольку 16 классов ошибок из 24 имеют нечеткие определения и могут быть перепутаны экспертами без специальной методической подготовки в ATA.

5. Проработанность спецификации (технического задания) на перевод

Разные критерии качества перевода могут вступать друг с другом в противоречия, поэтому объективная оценка качества невозможна без подробной спецификации[8], которая должна определить, какой критерий является приоритетным.

Например, если согласно спецификации научный текст в переводе должен быть адаптирован для широкой читательской аудитории, некоторые подробности будут опущены, и точная передача фактов оригинала окажется невозможной.

Аналогичным образом, спецификация может потребовать адаптации и ненаучного текста под уровень фоновых знаний конечного читателя, что приведет к искажению фактов оригинала (например, при локализации компьютерной игры оправдан перевод реалии «Durendal» как «меч Роланда», поскольку для среднестатистического пользователя в возрасте 15-25 лет название «Дюрандаль» ничего не говорит).

При локализации программного обеспечения спецификация обычно включает технические ограничения на количество печатных знаков в строке, в результате чего исполнитель вынужден нарушать правила орфографии (например, при локализации автомобильного тестера: «EnvirTemp» вместо «environmenttemperature» и «ТемпСидПас» вместо «температура пассажирского сиденья»).

Спецификация должна пояснять, как решать противоречия в области терминологии – требования заказчика могут нарушать терминологию, принятую в специальной области (например, в оригинале читаем: “The isotropic hardening law area appears”; глоссарий заказчика требует переводить "hardening" как «затвердевание» во всех случаях, однако в русском языке в данном контексте используется термин «упрочнение» – «закон изотропного упрочнения»).

Замечания заказчика могут быть оспорены, если они базируются на нечетких критериях ошибки или если отклонения от его предпочтений допускаются спецификацией (или вызваны ее отсутствием).

6. Представительность проверяемой выборки текста

На крупных заказах целесообразно выполнять выборочную, а не тотальную оценку качества. Если предположить, что допустимая погрешность оценки не должна превышать 0,5%, а количество ошибок не должно превышать 1 на 100 слов, то при объеме всего текста до 10 000 слов выборочной проверке подлежит приблизительно 100-80% текста, от 10 000 до 100 000 слов – 80-25% текста, от 100 000 до 1 000 000 слов – 25-5% текста.[9] Для выборочной оценки качества рекомендуется брать случайные (но при этом связные) фрагменты текста. Рекомендуемый размер каждого отрывка составляет 250-1000 слов: меньший объем не позволит оценить связность и логичность текста, больший помешает проверить достаточное количество фрагментов для получения целостной картины.

ПРОЦЕДУРА ФОРМАЛИЗОВАННОЙ ОЦЕНКИ КАЧЕСТВА ПЕРЕВОДА

1. Внимательно прочитайте оригинал от начала до конца. Убедитесь, что вам понятен смысл как всего текста, так и отдельных фрагментов и терминов. Если вы не до конца понимаете смысл оригинала, оценку качества выполнять не следует.

1. Определите важность каждого из основных компонентов качества перевода (в таблице ниже это – «Фактическое содержание», «Язык и стиль», «Внешний вид») по шкале 1-3[10].

Например, для веб-сайта важность компонентов можно определить как «3-3-3», для перевода технической документации – «3-1-2», а для деловой переписки – «3-2-1». Занесите выбранные значения в таблицу, например:

1. Абзац за абзацем сравните перевод с оригиналом, отмечая ошибки. Найденные ошибки привяжите к фрагментам текста, которые их содержат (с помощью примечаний текстового редактора MS Word и т.п.). Это облегчит повторную проверку и принятие решения о качестве перевода в спорном случае.

• Следует различать ошибки и стилистические предпочтения переводчика. Почти для любого оригинала может существовать не один хороший вариант перевода, поэтому следует маркировать только явные ошибки.
• Если исполнитель повторяет ошибку в одном и том же термине или имени собственном, ошибку рекомендуется пометить в тексте, но засчитать только один раз.
• Если требование к качеству (например, правило грамматики или пунктуации) на формальном уровне представлено несколькими элементами, засчитывается только одна ошибка. Например, оформление цитаты в русском тексте с помощью открывающей и закрывающей кавычки формата “ ” вместо «» считается за одну ошибку, а не две.
• В случаях, когда нет уверенности, имеет ли место ошибка (или каков ее вес), рекомендуется: при оценке собственной работы – считать, что ошибка есть (или выбирать ошибку с бóльшим весом), а при оценке чужой работы – считать, что ошибки нет (или выбирать ошибку с меньшим весом). Это позволяет снизить риски и ускорить процесс разрешения спора о качестве.

1. На основании найденных ошибок вынесите отдельные суждения о каждом из основных компонентов качества перевода  и присвойте им оценку по шкале 1-5. Результаты занесите в таблицу, например:

1. Рассчитайте упрощенный индекс качества перевода (TQI): разделите итоговое количество баллов на максимально возможное количество баллов.
   В примере выше показатель качества равняется 24 : 30 = 80%.
   Данный метод достаточно прост, поскольку (в отличие от обыкновенного TQI) не требует взвешивания каждой ошибки отдельно.

1. Если вы все же хотите рассчитать обыкновенный индекс качества перевода (TQI), вам понадобится методика, в которой каждой найденной ошибке присваивается свой вес (например, SAE J2450, LISA QA Model или ATA Framework for Standard Error Marking). В этом случае TQI обычно рассчитывается так:

или

Примечание: для вычисления TQI при переводе с языка, который не использует латинский или кириллический алфавит, подсчет количества слов следует выполнять по тексту перевода, а не по тексту оригинала.