Электронные словари и их применимость для традиционного машинного перевода

словнике целиком. С другой стороны, оно не может быть правильно переведено

и по частям. Логичнее всего искать это выражение в статье "election"

(выборы). Однако, чтобы оно там оказалось, нужно желание разработчиков

словаря его туда поместить.

Чтобы Писатель смог почувствовать оттенки слова, необходимо привести в

словаре максимально возможное количество синонимов — слов, близких по

смыслу. Например, английский глагол break означает, в частности: 1) ломать,

разрушать, разбивать и 2) рвать, разрывать, отрывать. Для первого случая

синонимами будут слова crush (давить, дробить) и smash (разбиваться

вдребезги). Второму значению близки слова separate (отделять, разделять —

более деликатный смысл) и tear off (отрывать, срывать). Через общую "карту"

синонимов становится яснее, как перевести на иностранный язык слово с тем

или иным смысловым оттенком. Очень полезны иллюстрирующие примеры, особенно

на использование слов с предлогами или в устойчивых словосочетаниях.

Например: "уехать отсюда", "уехать куда-то", "уехать за чем-то", "уехать" в

значении "отсутствовать".

Информацию о синонимах, словосочетаниях и случаях употребления

правильнее всего предоставить на родном языке пишущего: если Писатель

русский - то в русско-английском словаре, если он англичанин — то в англо-

русском. Ни для кого не секрет, насколько лучше помогают толковые

английские словари при решении мучительной проблемы, какое слово

употребить. А вот жесткая ориентация словаря на перевод, а не на ОПИСАНИЕ

языка делает его использование Писателем непростым и неочевидным. Таким

образом, в современных электронных словарях отражено пионерское достижение

российской лексикографии - двуязычный словарь во многом становится

толковым. Кроме того, такой электронный словарь, как Lingvo, строит

нажатием нужной клавиши парадигму, то есть совокупность всех форм слова.

Новые мехи требуют нового вина.

Итак, мы видим новое противоречие: между новыми языковыми компьютерными

технологиями и старым традиционным словарным содержанием, не позволяющим

воспользоваться этими технологиями в полном объеме. Иными словами, новые

мехи требуют нового вина!

Источник этого противоречия тоже ясен: словарь представляет собой модель

языка, устроенную на совершенно иных принципах, чем те формальные модели,

которые лежат в основе этих технологий. И если в области морфологии

противоречие еще не очень существенно, то в области синтаксиса и семантики

оно становится почти непреодолимым.

Действительно, технология морфологического анализа всего лишь позволяет

установить соответствие между исходной формой слова из текста и множеством

лексем (словарных входов), для которой такая форма возможна. Синтаксический

анализ позволяет сделать то же самое для словосочетаний, являющихся

отдельными словарными входами.

Однако, для всех этих технологий само словарное содержание является

"непрозрачным", полностью ими игнорируется. Заглянуть "внутрь" словарной

статьи позволяет только полнотекстовый поиск. Однако, этот мощный

инструмент работает со словарным содержимым как с текстом на естественном

языке, что резко ограничивает его возможности.

Первый и очевидный шаг, на который уже идут создатели электронных

словарей, это первичная разметка словарной статьи, формализация той

внутренней структуры, которая в той или иной мере имеется в хороших

бумажных словарях. В результате полнотекстовый поиск может различать, к

примеру, переводы, примеры использования и комментарии, что принципиально

усиливает его возможности с точки зрения пользователя.

Однако все эти меры являются поверхностными. Ясно, что задача состоит в

том, чтобы единицей описания было отдельное лексическое значение, и

технологии анализа могли бы устанавливать соответствие между исходным

запросом и теми лексическими значениями, которые релевантны для этого

запроса по синтаксическим и семантическим критериям.

В качестве иллюстрирующего примера можно привести практически любой

глагол, принадлежащий ядру языка. Например, глагол "развести" может

встретиться в таких контекстах:

разводить руками;

разводить спирт водой;

разводить супругов;

разводить мосты;

разводить баранов;

разводить дерущихся;

разводить пилу;

разводить/разбивать сады

(английские эквиваленты: bring; conduct; part, separate; mix;

dissolve; divorce; breed; plant, etc...)

Задача создания такого словарного содержания, которое позволило бы

сделать единицей анализа отдельное лексическое значение, а не

морфологическую лексему, является, вероятно, наиболее перспективным

направлением в компьютерной лексикографии. Ясно, что для ее решения

требуется "синхронизация" словарных описаний и формальных моделей,

используемых технологиями анализа. В пределе это должно быть единое

интегральное лексико-синтактико-семантическое описание.

Читатели и писатели

Интегральный подход к лексическим описаниям позволяет также решить и

проблему "монофункциональности" бумажных словарей.

К примеру, особенностью большинства бумажных переводных словарей

является ориентация описания структуры лексического значения в исходном

языке на лексическую систему языка перевода и на реализацию ровно одной

функции - собственно перевода с языка А на язык Б в предположении, что язык

А является иностранным, а язык Б - родным. Нечего и говорить, что такое

ограничение делает словарь исключительно неудобным при необходимости

перехода от пользовательской модели Читатель к модели Писатель.

Фактически сегодня такие модели реализуются разными типами словарей, что

достаточно неудобно читателю. Поэтому интегральный подход к лексическим

описаниям оправдан не только методически (и, что немаловажно,

экономически), но и с точки зрения учета интересов пользователя.

Проблема актуальности

Коснемся проблемы актуальности словарного содержания. Как уже

указывалось, фундаментальные (лучшие!) бумажные словари - неизбежно

словари устаревшие.

Особенно это характерно для разговорной лексики, в частности,

ненормативной. В этой области отечественные классические словари предстают

не только устаревшими, но попросту ханжескими.

Функции фиксации текущего состояния языка берут на себя растущие, как

грибы после дождя, небольшие словарики, обычно весьма конъюнктурные и

поверхностные. Новые значения в них оторваны от своих языковых корней,

плохо или произвольно объяснены.

Для массовых программных продуктов, каковыми являются электронные

словари, характерны частая смена версий и наличие постоянной обратной

связи с тысячами пользователями. Поэтому компьютерная лексикография - это

неизбежно актуальная лексикография.

Жизнь электронного словаря должна быть похожа на нелегкую жизнь других

программных систем: с маниакальным стремлением особо вредных пользователей

обнаружить очередную ошибку или лакуну, и, с другой стороны, с возможностью

и необходимостью поправить дело сейчас, а не через десятилетия.

Такой подход всего лишь фиксирует естественное положение дел:

коллективное авторство на словарное содержание принадлежит всем носителям

языка; задача лексикографа - фиксация языковых фактов и их методически

правильное описание.

Соответствие уровню достижений лингвистической науки

Отрыв лексикографической теории от лексикографической практики велик.

Это должно быть особенно обидно для российской лингвистической науки, в

которой лексическая семантика занимает особое место. Достаточно назвать

такие имена, как Мельчук, Апресян, Падучева и многие другие.

Разумеется, существуют особые "концептуальные" словари, в которых

лексика представлена интегрально и систематически. Например толковые и

синонимические словари группы Апресяна.

При этом в массовых бумажных словарях эти идеи не воплощены в жизнь. А

ведь именно в развитии этих идей будущее практической компьютерной

лексикографии. Не углубляясь в подробный анализ теоретических концепций,

являющихся одновременно и практически полезными, укажем следующие из них:

- Понятие "лексической функции", позволяющее систематически описывать

несвободную сочетаемость слов. Например, то, что "войну ведут", а "экзамен

- держат", что "теории выдвигают", а "мысли подают" и т.п.

- Описание семантики и практической реализации грамматического

словоизменения и словообразования. Каждый язык имеет свои собственные

способы грамматического кодирования смысла. И эти способы никогда не

описывается в массовых словарях систематически. Например, как передать по-

английски смысл "довыпендриваться", даже если знаешь как передать

"выпендриваться"?

- Синтаксические описания. Здесь ситуация наиболее печальна, поскольку в

массовых словарях не существует даже системы понятий, с помощью которой

синтаксическая информация могла бы быть доведена до обычного читателя.

Идея, что за составление предложения ответственна грамматика, изложенная в

справочнике, а словарь обеспечивает перевод отдельных слов, не выдерживает

критики с точки зрения современных представлений о центральной роли слова в

синтаксисе.

Выход из этой печальной ситуации уже указан. Будущее лексикографии за

интегральными словарными описаниями, основанными на формальных моделях,

учитывающих упомянутые научные результаты. На этих же моделях будут

основываться технологии доступа к словарному содержанию.

Глава III. МАШИННЫЙ ПЕРЕВОД

Немного истории.

Осуществление перевода компьютером – сложная, но интересная научная

задача. Основная ее сложность состоит в том, что естественные языки плохо

поддаются формализации. Отсюда и невысокое качество получаемого с помощью

систем МП текста, содержание и форма которого служит неизменным объектом

шуток. Однако идея машинного перевода уходит корнями далеко в прошлое.

Впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж,

разработавший в 1836-1848 гг. проект цифровой аналитической машины. Идея Ч.

Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных

чисел (по 50 зубчатых колес в каждом регистре) можно использовать для

хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для

запроса у английского правительства средств, необходимых для физического

воплощения аналитической машины, которую ему так и не удалось построить.

А через 100 лет, в 1947 году, У. Уивер (директор отделения естественных

наук Рокфеллеровского фонда) написал письмо Норберту Винеру. В этом письме

он предлагал использовать технику дешифрования для перевода текстов. Этот

год считается годом рождения машинного перевода. В этом же году был

разработан алгоритм осуществления пословного перевода, а в 1948 году Р.

Риченс предложил правило разбиения слова на основу и окончание. В

последующие два десятилетия системы машинного перевода бурно развивались. В

январе 1954 года на машине IBM – 701 была продемонстрирована первая система

машинного перевода IBM Mark II. Но в 1967 году специально созданная

Комиссия Национальной Академии Наук США признала машинный перевод

нерентабельным, что существенно затормозило исследования в этой области.

Новый подъем машинный перевод переживает в 70-е годы, а в 80-е становится

экономически выгодным за счет сравнительной дешевизны машинного времени.

Однако в СССР исследования в области машинного перевода продолжались.

После демонстрации системы IBM Mark II группа ученых ВИНИТИ начала

разработку системы машинного перевода для машины БЭСМ. Первый образец

перевода с английского на русский язык был получен к концу 1955 года.

Другое направление работ возникло в Отделении прикладной математики

Математического института АН СССР (ныне ИПМ им. М. В. Келдыша РАН) по

инициативе А. А. Ляпунова. Первые программы машинного перевода,

разработанные этим коллективом, были реализованы на машине "Стрела".

Благодаря работе над созданием систем МП оформилось такое направление, как

прикладная лингвистика.

В 70-е годы над созданием систем МП трудилась группа разработчиков

ВИНИТИ РАН под руководством проф. Г.Г. Белоногова. Первая их система МП

была разработана в 1993 году, а в 1996 году после ряда доработок была

зарегистрирована в РОСАПО под названием Retrans. Эта система использовалась

министерствами обороны, путей сообщения, науки и технологии.

Параллельные исследования велись в лаборатории Инженерной Лингвистики

ЛГПИ им. А. И. Герцена (ныне Педагогический Университет). Именно они и

легли в основу наиболее популярной сейчас системы МП “PROMT”. Последние

версии этого программного продукта используют наукоемкие технологии и

построены на основе технологии расширенных сетей переходов и формализма

нейронных сетей.

Классификация систем машинного перевода по Лари Чайлду

Новые члены форума по иностранным языкам компании CompuServe зачастую

задают вопрос о том, не мог ли бы кто-нибудь посоветовать им хорошую

программу машинного перевода за умеренную цену.

Ответом на этот вопрос неизменно является "нет". В зависимости от

отвечающего, ответ может содержать два основных аргумента: либо о том, что

машинам перевод не под силу, либо, что машинный перевод стоит слишком

дорого.

Оба эти аргумента в определенной степени справедливы. Однако ответ

далеко не так прост. Изучая проблему машинного перевода (МП), следует

рассмотреть отдельно различные подразделы этой проблемы. Следующее

разделение основано на лекциях Лари Чайлдса, проведенных в рамках

Международной Конференции по Техническим Коммуникациям 1990 года:

- полностью автоматический перевод;

- автоматизированный машинный перевод при участии человека;

- перевод, осуществляемый человеком с использованием компьютера.

Полностью автоматизированный машинный перевод. Этот вид машинного

перевода и подразумевается большинством людей, когда они говорят о машинном

переводе. Смысл здесь прост: в компьютер вводится текст на одном языке,

этот текст обрабатывается и компьютер выводит этот же текст на другом

языке. К сожалению, реализация такого вида автоматического перевода

сталкивается с определенными препятствиями, которые еще предстоит

преодолеть.

Основной проблемой является сложность языка как такового. Возьмем, к

примеру, значения слова "can". Помимо основного значения модального

вспомогательного глагола, у слова "can" имеется несколько официальных и

жаргонных значений в качестве существительного: "банка", "отхожее место",

"тюрьма". Кроме этого, существует архаичное значение этого слова - "знать

или понимать". Если предположить, что у выходного языка для каждого из этих

значений имеется отдельное слово, каким образом может компьютер их

различить?

Как оказалось, определенные успехи были достигнуты в сфере разработки

программ перевода, различающих смысл основываясь на контексте. Более

поздние исследования при анализе текстов опираются больше на теории

вероятности. Тем не менее, полностью автоматизированный машинный перевод

текстов с обширной тематикой все еще является невыполнимой задачей.

Автоматизированный машинный перевод при участии человека. Этот вид

машинного перевода теперь вполне осуществим. Говоря о машинном переводе при

участии человека, обычно подразумевают редактирование текстов как до, так и

после их обработки компьютером. Люди-переводчики изменяют тексты так, чтобы

они были понятны машинам. После того, как компьютер сделал перевод, люди

опять-таки редактируют грубый машинный перевод, делая текст на выходном

языке правильным. Помимо такого порядка работы, существуют системы МП, во

время перевода требующие постоянного присутствия человека-переводчика,

помогающего компьютеру делать перевод особенно сложных или неоднозначных

конструкций.

Машинный перевод с помощью человека применим в большей степени к текстам

с ограниченным вокабуляром узко-ограниченной тематики.

Экономичность использования машинного перевода с помощью человека -

вопрос все еще спорный. Сами программы обычно достаточно дорогостоящи, а

для работы некоторых из них требуется специальное оборудование.

Предварительному и последующему редактированию необходимо обучаться, да и

работа эта не из приятных. Создание и поддержание в рабочем состоянии баз

данных слов - процесс трудоемкий и зачастую требует специальных навыков.

Однако для организации, переводящей большие объемы текстов в четко-

определенной тематической сфере, машинный перевод с помощью человека может

оказаться достаточно экономичной альтернативой традиционному человеческому

переводу.

Перевод, осуществляемый человеком с использованием компьютера. При этом

подходе человек-переводчик ставится в центр процесса перевода, в то время

как программа компьютера расценивается в качестве инструмента, делающего

процесс перевода более эффективным, а перевод - точным. Это обычные

электронные словари, которые обеспечивают перевод требуемого слова,

возлагая на человека ответственность за выбор нужного варианта и смысл

переведенного текста. Такие словари значительно облегчают процесс перевода,

но требуют от пользователя определенного знания языка и затрат времени на

его осуществление. И все же сам процесс перевода значительно ускоряется и

облегчается.

Среди систем, помогающих переводчику в работе, важнейшее место занимают

так называемые системы Translation Memory (TM). Системы ТМ представляют

собой интерактивный инструмент для накопления в базе данных пар

эквивалентных сегментов текста на языке оригинала и перевода с возможностью

их последующего поиска и редактирования. Эти программные продукты не имеют

целью применение высокоинтеллектуальных информационных технологий, а

наоборот, основаны на использовании творческого потенциала переводчика.

Переводчик в процессе работы сам формирует базу данных (или же получает ее

от других переводчиков или от заказчика), и чем больше единиц она содержит,

тем больше отдача от ее использования.

Вот список наиболее известных систем ТМ:

- Transit швейцарской фирмы Star,

- Trados (США),

- Translation Manager от IBM,

- Eurolang Optimizer французской фирмы LANT,

- DejaVu от ATRIL (США),

- WordFisher (Венгрия).

Системы ТМ позволяют исключить повторный перевод идентичных фрагментов

текста. Перевод сегмента осуществляется переводчиком только один раз, а

затем каждый следующий сегмент проверяется на совпадение (полное или

нечеткое) с базой данных, и, если найден идентичный или похожий сегмент, то

он предлагается в качестве варианта перевода.

В настоящее время ведутся разработки по усовершенствованию систем ТМ.

Например, ядро системы Transit фирмы Star реализовано на основе технологии

нейронных сетей.

Несмотря на широкий ассортимент систем TM, они имеют несколько общих

функций:

- Функция сопоставления (Alignment). Одно из преимуществ систем ТМ – это

возможность использования уже переведенных материалов по данной тематике.

База данных ТМ может быть получена путем посегментного сопоставления файлов

оригинала и перевода.

- Наличие фильтров импорта – экспорта. Это свойство обеспечивает

совместимость систем ТМ с множеством текстовых процессоров и издательских

систем и дает переводчику относительную независимость от заказчика.

- Механизм поиска нечетких или полных совпадений. Именно этот механизм и

представляет собой основное достоинство систем ТМ. Если при переводе текста

система встречает сегмент, идентичный или близкий к переведенному ранее, то

уже переведенный сегмент предлагается переводчику как вариант перевода

текущего сегмента, который может быть подкорректирован. Степень нечеткого

совпадения задается пользователем.

- Поддержка тематических словарей. Эта функция помогает переводчику

придерживаться глоссария. Как правило, если в переводимом сегменте

встречается слово или словосочетание из тематического словаря, то оно

выделяется цветом и предлагается его перевод, который можно вставить в

переводимый текст автоматически.

- Средства поиска фрагментов текста. Этот инструмент очень удобен при

редактировании перевода. Если в процессе работы был найден более удачный

вариант перевода какого-либо фрагмента текста, то этот фрагмент может быть

найден во всех сегментах ТМ, после чего в сегменты ТМ последовательно

вносятся необходимые изменения.

Конечно, как и любой программный продукт, системы ТМ имеют свои

достоинства и недостатки, и свою область применения. Однако в отношении

систем TM, основным недостатком является их дороговизна.

Особенно удобно использовать системы ТМ при переводе таких документов,

как руководства пользователя, инструкции по эксплуатации, конструкторская и

деловая документация, каталоги продукции и другой однотипной документации с

большим количеством совпадений.

Системы машинного перевода (МП)

В соответствии с указанной выше классификацией, целью данной работы

является исследование и анализ систем МП второй группы, поскольку систем МП

первой группы еще не существует в природе, а системы третьей группы в

сущности не являются системами МП, а более напоминают электронные словари.

Системы МП осуществляют автоматизированный перевод текста. Единицами

перевода при этом служат слова или словосочетания, причем последние

разработки позволяют учитывать морфологию переводимого слова. Развитые

системы МП осуществляют перевод по заданным разработчиком и/или

корректируемым пользователем алгоритмам перевода.

Для осуществления машинного перевода в компьютер вводится специальная

программа, реализующая алгоритм перевода, под которым понимается

Страницы: 1, 2, 3, 4, 5, 6