«Компьютерный анализ языка: успехи, разочарования, перспективы»

Мы публикуем текст лекции , прочитанной директором по лингвистическим исследованиям компании ABBYY, заведующим кафедрами компьютерной лингвистики РГГУ и МФТИ, председатель оргкомитета ведущей российской конференции по компьютерной лингвистике «Диалог» Владимиром Селегеем 6 сентября 2012 года в в рамках празднования 20-летия Высшей школы экономики и открытия сезона «Публичных лекций «Полит.ру» 2012-2013 гг. в парке им. Горького. 

«Публичные лекции "Полит.ру"» проводятся при поддержке:

Владимир Селегей: На самом деле я не уверен, что это должен быть монолог. Надо сказать, что в лингвистике монологи вообще не очень популярны. Всегда интересен как раз диалог, потому что это структура общения. Взаимная осведомленность в диалоге – это все очень важные вещи для изучения, в том числе и в компьютерной лингвистике. Надо всегда хорошо понимать, кто находится перед тобой в аудитории. Я бы хотел, чтобы подняли руки те, кто имеет хотя бы какое-то отношение к лингвистике. Замечательно, это уже не мало. Остальные – это скорее филологи или люди точного знания?

Борис Долгин: Еще могут быть люди социального знания, например.

Владимир Селегей: Хорошо, понятно. Это на самом деле очень правильное соотношение для рассказа о компьютерной лингвистике, потому что, несмотря на то, что эта наука была названа Борисом горячей, у нас в стране она пока еще не слишком популярна. Об этом свидетельствует то, что до этого года в России не было ни одной кафедры компьютерной лингвистики. Если есть наука, по идее, должны быть места, где этой науке учат. Но так получилось, что только в этом году такие места появились. В частности, оно появилось и в Вышке, где есть теперь  специализация «компьютерная лингвистика» на филологическом факультете. Сейчас в Москве есть несколько мест, где начинают учить компьютерной лингвистике. У вас есть возможность оказаться в сфере этой науки.

Теперь, когда мы с вами немножко познакомились, я попробую рассказать о том, что из себя представляет, на мой взгляд, деятельность людей, которые занимаются компьютерной лингвистикой. Я немножко испугался давать в названии лекции «компьютерная лингвистика», потому что не был уверен, что все  понимают, что это такое. Например, можно предположить, что компьютерная лингвистика – это когда людей обучают иностранному языку с помощью компьютера. Почему бы нет? Очевидно, что ясного понимания нет, поэтому я употребил другое сочетание - «автоматический анализ естественного языка» в названии лекции для того, чтобы, может быть, это было чуть понятнее.

Борис Долгин: Это если бы все знали термин «естественный язык».

Владимир Селегей: Да,  видите, как все сложно. Но мне кажется, интуиция подсказывает, что такое естественный язык. Для того, чтобы с чего-то начать, нужно попытаться разобрать тот самый неупомянутый в названии термин «компьютерная лингвистика» и решить, с чем же мы имеем дело.

Компьютерная лингвистика включает в себя слово «лингвистика», и я думаю, что, к сожалению, относительно ее предмета в обществе тоже нет ясного понимания.  Несмотря на то, что лингвистика как наука сформировалась очень давно, и у нее есть очевидный объект изучения – человеческий язык. Человеческий язык вообще. Лингвистика отличается от русистики, германистики и чего угодно, что тоже называют эти словом тем, что она предполагает существование такой  особой структуры, такой способности человека, которая называется владение естественным языком – и ее можно изучать в предположении, что каждый конкретный язык является просто одним из способов реализации этой структуры.  Это то, что называется типологическим подходом.  Универсализм в постановке задачи и отличает ту лингвистику, о которой я сегодня буду говорить с добавлением слова «компьютерная», от того, чем сегодня обычно называют лингвистикой на просторах нашей страны. Сейчас существует огромное количество лингвистических университетов. У изучавшего перевод в дипломе будет написано, что он лингвист.  Если выпускник будет  учить языкам, тоже будет написано что он - лингвист.  Здесь единого понимания нет.

Та лингвистика, которая имеет отношение к теме сегодняшней беседы – это наука, которая изучает, как вообще функционирует человеческий язык. При этом универсальный подход требует таких методов, которые отличаются от тех методов, которые можно применять при изучении одного языка. Например, существует богатейшая традиция изучения китайского языка, но она очень далека от того понимания лингвистики на Западе, о которой я сейчас говорю. Это такой остров, абсолютно независимый от других традиций. Это скорее филологический подход. Тут могут быть глубокие озарения относительно того, как устроен китайский язык, но в целом  это знание не масштабируется , его нельзя включить в универсальную систему.

Борис Долгин: Знания трудно переводятся и не из-за разницы языков.

Владимир Селегей:  Таким образом, нам с вами интересна наука, которая пытается изучать разные языки с единых позиций – и ясно, что такое изучение должно опираться на какие-то серьезные формальные модели.  Лингвистика в таком понимании  начала формироваться с появлением структурализма в начале ΧΧ века. Она стала опираться на точные модели: такие модели, которые можно было бы успешно применять к разным языкам. Это своего рода математика. Я не думаю, что каждый математик согласится, что структурная лингвистика – это ее раздел, но это не так важно. Важно стремление к точному, масштабируемому знанию.

Теперь можем перейти к компьютерной лингвистике. Что же это такое? И здесь существуют разные способы понимания,  я бы сейчас сконцентрировался на том, которое наиболее  «функционально».  Компьютерная лингвистика – это совокупность задач (и методов их решения), возникших оттого, что мы хотели бы моделировать каким-то образом человеческую способность владения языком -применительно к тем потребностями, которые возникли в связи с наличием компьютера.

Первой такой естественно возникшей задачей,  и далеко не самой простой, стал еще в 50-ые годы машинный перевод,  но с тех пор возникло много других задач, которые входят в сферу этой лингвистики. Я думаю, что если вас спросить, встречаетесь ли вы с какими-то плодами компьютерной лингвистики каждый день, то вы, если вы внимательны, должны честно ответить «да». Самый простой пример – если у вас есть телефон и вы набираете смс. Этот тот замечательный Т9, которым вы пользуетесь, когда набираете сообщение.

Борис Долгин: Или который упорно пытаетесь отключить.