71. Пословная обработка теста. Пример работы лингвистического процессора. Пословная обработка текста

Рассмотрим блок пословной обработки текста (рис.). На входе этого блока может быть уже не весь текст или фраза, а отдельное слово, так как в нем осуществляется обработка отдельных слов. Операции, выполняемые данным блоком, рассмотрены ниже. 1. Первое, что происходит, это осуществляется расстановка словесных ударений. Известно, что для русского языка это нетривиальная задача, потому что ударение в русском языке свободное, оно может находиться на любом слоге, в отличие, например, от французского языка, где ударение всегда падает на последний слог слова, чешского языка, где ударение всегда бывает на первом слоге, польского языка, где ударение всегда на предпоследнем слоге. В русском языке таких четких правил нет, поэтому, для того чтобы проставить ударения, необходимо иметь словарь ударений. Это означает, что нужно иметь полный словарь ударений, если система претендует быть системой синтеза речи по тексту неограниченного словаря, т.е. нужно хранить в словаре порядка 100 тысяч основных словоформ, а также их модификаций. Таким образом, словарь ударений может содержать до миллиона различных словоформ русского языка. В настоящий момент эта задача вполне разрешимая. Уже сейчас имеются такие словари, в частности, в компьютерных системах проверки правильности правописания и исправления грамматических ошибок. 2. После того как будут проставлены ударения в каждом слове текста, эти ударения нужно промаркировать. Маркировка ударений необходима, потому что некоторые слова могут иметь полное (сильное) ударение, некоторые – слабое (частичное) ударение (например, в сложносоставных словах), а некоторые слова, например, предлоги и частицы, вообще не имеют ударений. Поэтому, опираясь на тот же словарь, нужно промаркировать отдельные слова тем или иным типом ударений. В простейшем случае будем выделять полное ударение, частичное и отсутствие ударения (безударные слова). 3. После маркировки ударений можно приступить к объединению слов в фонетические слова, т.е. осуществить членение на фонетические слова. Эта процедура заключается в объединении безударных слов со словами, у которых есть ударение, т.е. в объединении значащих слов с их предлогами, частицами и союзами. 4. После того как получены фонетические слова, идет последний этап – это фонемное транскрибирование. Оно поддерживается своими правилами. Правила транскрибирования иначе называются правилами преобразования «буква – фонема» или алгоритмом преобразования орфографического текста в фонемный. Очевидно, что эти правила зависят от конкретного языка, так как произношение слов, а также алфавит букв и фонем в разных языках – разные. Вкратце рассмотрим эти правила ниже на примере русского языка.

Как известно, в русском языке имеется 33 буквы и 42 фонемы. Задача фонемного транскрибирования заключается в том, чтобы преобразовать буквенную запись слова в фонемную запись. В фонетике существуют правила, по которым буквы преобразуются в фонемы в соответствии с их положением по отношению к другим буквам. Начнем рассмотрение этих правил с правил преобразования гласных. В русском языке 10 гласных букв: У, О, А, Э, Ы, И, Ю, Ё, Я, Е. Десяти гласным буквам ставятся в соответствие 6 гласных фонем: [У], [О], [А], [Э], [Ы], [И]. Получается, что 4 гласные буквы Ю, Ё, Я и Е как бы "лишние". Они превращаются либо в пары фонем, либо в отдельные фонемы следующим образом:

При этом используются следующие правила транскрибирования (Печенева Т.А.2004сост-Виды_Я_Р): 1. «Превращение гласной буквы Ю, Ё, Я или Е в пару фонем [Й] и [У], [О], [А] или [Э] соответственно происходит в тех случаях, когда эти буквы в слове стоят в одном из следующих положений: • в начале транскрибируемого слова; • после мягкого знака; • после твердого знака; • после гласной буквы». Например: вьюга -> [в й у г а], объём -> [а б й о м], яма -> [й а м а], поёт-> [п а й о т]. 2. «В остальных случаях после согласных гласные Ю, Ё, Я или Е преобразуются в фонемы [У], [О], [А] или [Э] соответственно и при этом смягчают стоящие перед ними согласные». Например: тюк -> [т' у к], лёд -> [л' о т], пять -> [п' а т'], семь -> [с' э м']. Имеются также исключения из этих правил, в частности, в тех случаях, когда рассматриваемая гласная является безударной. Например, безударная буква Я может быть преобразована в звук [И]: тянуть -> [т' и н у т’]. В русском языке есть правило о том, что безударная гласная буква О преобразуется в фонему [А], а безударная Е – в [И]. Например: молоко -> [м а л а к о], дерево -> [д’ э р и в а]. Еще правило: «Буква И после согласных Ж и Ш преобразуется в звук [Ы]». Например: жить -> [ж ы т’], шить -> [ш ы т’]. Как видно из формулировок, указанные правила хорошо описываются алгоритмически. Имеются различные правила преобразования согласных. Рассмотрим некоторые из них: 1. Правило образования звука [Щ] имеет следующий вид:

2. Фонема [Ц] образуется одним из следующих двух способов:

3. Правило оглушения: звонкая согласная перед глухой согласной или в конце слова преобразуется в парную ей глухую. Например: лёд -> [л’ о т], буг -> [б у к]. 4. Правило озвончения: если глухая согласная стоит перед звонкой, то звук преобразуется в звонкий. Например: косьба -> [к а з' б а], просьба -> [п р о з' б а]. 5. Для некоторых пар согласных работает явление уподобления. Например: сшить -> [ш ы т’]. 6. Смягчение парных согласных: если после согласной стоит мягкая согласная, то и эта согласная также смягчается. Например: хвостик -> [х в о с’ т’ и к]. Есть также исключения, например слово «бог» преобразуется в транскрипцию [б о х], а не в [б о к], слово «что» преобразуется в [ш т о]. Все эти правила хорошо известны из фонетики (Зиндер Л.Р.1979кн-Общая_Ф) и легко поддаются алгоритмизации.