Структура синтезатора речи по тексту Ключевые понятия:
структура фонемного синтезатора речи по тексту, лингвистический процессор, лингвистическая база данных и знаний, просодический процессор, фонетический процессор, акустический процессор.
Рассмотрим эту структуру более детально, выделив в ней все значимые компоненты, соответствующие задачам, решаемым в процессе синтеза речи. На рис. представлена структура фонемного синтезатора речи по тексту, основными компонентами в которой являются: • лингвистический процессор; • фонетический процессор • просодический процессор; • акустический процессор. Как видно из данной структуры, синтезатор речи состоит из ряда процессоров (обработчиков), основная задача которых заключается в поступенной обработке входного орфографического текста. Эта обработка представляет собой разметку текста с целью его преобразования в последовательность параметров, описывающих речевой сигнал. Результирующая последовательность параметров должна быть «воспринята» акустическим процессором, задачей которого является непосредственное воспроизведение звука, т.е. собственно синтез речи. Особенности функционирования каждого из перечисленных компонентов синтезатора речи зависят от выбранной модели синтеза. При этом некоторые из указанных компонентов могут исчезнуть, некоторые объединиться в один, некоторые преобразоваться в другой. В данном учебном пособии будем говорить о некоторой «усредненной» структуре синтезатора речи и учитывать особенности отдельных моделей синтеза речи при рассмотрении тех компонентов, в которых решение соответствующих задач будет уместна.
|
Рисунок. Структура фонемного синтезатора речи по тексту |
Рассмотрим кратко представленные на рис. компоненты синтезатора речи. Первый компонент называется лингвистическим процессором. Иногда его называют еще текстовым процессором. Лингвистический процессор предназначен для преобразования входного орфографического текста в фонемный текст. Указанный фонемный текст попадает в память ЭВМ одним из двух способов: либо его вводит пользователь, либо он является результатом работы системы, автоматически синтезирующей естественно-языковые тексты. Лингвистическим процессором используется лингвистическая база данных и знаний, включающая словарь естественного языка, а также знания морфологии, синтаксиса и семантики. В результате на выходе лингвистического процессора мы имеем вместо орфографического текста размеченный фонемный текст. Под разметкой понимается разбиение текста на отдельные элементы в следующей иерархии: 1) фонетический период; 2) фразы; 3) синтагмы. Кроме того, лингвистический процессор осуществляет: 1) расстановку ударений; 2) интонационную маркировку. Это основные 5 функций лингвистического процессора. Размеченный фонемный текст поступает на вход двух следующих процессоров: просодического и фонетического. На выходе просодического процессора получается просодически размеченный фонемный текст. На выходе фонетического процессора получается либо последовательность акустических параметров, либо формантные параметры, либо аллофонный текст. Это зависит от выбранного метода реализации синтезатора речи. Просодический процессор работает со специальной просодической базой данных (БД) и правил, фонетический процессор – с фонетическими правилами.
В результате работы просодического процессора фонемный текст делится на акцентные группы (АГ). Далее осуществляется разметка АГ на элементы акцентных групп (ЭАГ): интонационные предъядро, ядро и заядро. И наконец, последняя функция просодического процессора – это установка значений интенсивности или амплитуды (А), длительности фонем (Т) и частоты основного тона или мелодики (F0) для каждого ЭАГ. Задача фонетического процессора заключается либо в генерации последовательности акустических параметров речи, либо в выработке формантных параметров фонем, либо в подстановке позиционных и комбинаторных аллофонов Полученная таким образом информация, т.е. просодически размеченный фонемный текст и параметры, сформированные фонетическим процессором, объединяются в одном процессоре, который называется акустическим процессором. Акустический процессор на основании информации о том, какие аллофоны требуется синтезировать, а также какие лингвистические характеристики должны быть приписаны каждому аллофону, синтезирует речевой сигнал. Акустический процессор использует соответствующую БД, в которой хранятся акустические эталоны аллофонов, правила модификации аллофонов и правила модификации синтезируемого голоса.
- 1. Фонетическое членение речи.
- 2. Звуки. Артикуляционный аспект звуков речи.
- 3. Артикуляционная характеристика звуков.
- 4. Гласные звуки. Классификация гласных звуков.
- 5. Согласные звуки. Классификация согласных звуков.
- 6. Акустический аспект звуков речи. Качественные характеристики звуков.
- 7. Функциональный аспект звуков речи (фонология). Понятие о фонеме.
- 8. Система фонем в современном русском языке.
- 9. Фонологические позиции. Сильные и слабые фонемы.
- 10. Позиционные чередования гласных фонем. Количественная и качественная редукция гласных фонем.
- 11. Позиционные чередования согласных фонем. Ассимиляция и диссимиляция по глухости/звонкости и по твердости/мягкости.
- 12. Исторические чередования фонем.
- 13. Падение редуцированных гласных фонем и последствия этого явления.
- 14. Чередования, связанные с историей носовых звуков в древнерусском языке.
- 15. Палатализация заднеязычных.
- 17. Фонетическая транскрипция. Фонематическая транскрипция
- 18. Слог. Слогораздел. Типы слогов.
- 19. Фонетическое слово. Ударение
- 20. Речевой такт. Интонация
- 21. Ударение. Интонационные конструкции
- 21. Фраза. Интонация
- 22. Понятие об орфоэпии
- 23. Основные правила русского литературного произношения.
- 24. Произношение гласных под ударением. Произношение безударных гласных.
- 25. Произношение отдельных согласных звуков.
- 26. Произношение групп согласных.
- 27. Произношение некоторых грамматических форм.
- 28. Произношение некоторых аббревиатур. Особенности произношения иноязычных слов.
- 29. Трудные случаи усвоения ударения в русском языке.
- 30. Развитие русского литературного произношения.
- 31. Грамматическое кодирование
- 32. Семантическое кодирование. Двухаргументные (временные признаки): причинность.
- 33. Семантическое кодирование. Двухаргументные (временные признаки): следствие, результат, цель.
- 34. Семантическое кодирование. Двухаргументные (временные признаки): превращение, изменение
- 35. Семантическое кодирование. Двухаргументные (временные признаки): взаимодействие, группировка, общность, объединение
- 36. Семантическое кодирование. Двухаргументные (временные признаки): разделение, влияние, условие, вхождение.
- 37. Семантическое кодирование. Двухаргументные (временные признаки): соответствие, управление, подчинение, зависимость.
- 38. Семантическое кодирование. Одноаргументные (постоянные признаки):свойство, необходимость, возможность, вероятность, есть, нет.
- 39. Семантическое кодирование. Одноаргументные (постоянные признаки): истинность, ложность.
- Семантический код. Его цели. Предназначение. Принцип построения. Возможности.
- Предназначение семантического кода. Термин «смысл».
- Предназначение семантического кода. Текст. Информация. Гипертекст в освоении информации.
- 43. Грамматический и семантический анализ при семантическом кодировании.
- 44. Русский семантический словарь сочетаемости и ассоциативный словарь при семантическом кодировании.
- Предназначение семантического кода. Системный изоморфизм.
- Предназначение семантического кода. Принцип необходимого и достаточного.
- Предназначение семантического кода. Связность классов и подклассов
- 48. Предназначение семантического кода. Принцип иерархичности/ неиерархичности.
- 49. Предназначение семантического кода. Системная метафоричность.
- 50. Ситуативный (ситуационный) семантический код.
- 51. Семантическое кодирование. Выравнивающе-толковательный код. Матрешный код.
- 52. Основные задачи и ключевые понятия речевого интерфейса.
- 53. Исторический обзор проблемы распознавания и синтеза речи.
- 54. Системы автоматического синтеза речи. Практические приложения речевого интерфейса.
- 55. Системы автоматического распознавания речи. Практические приложения речевого интерфейса.
- 56. Лингвистические основы речевого интерфейса. Использование лингвистики в реализации речевых систем.
- 57. Структура речевого сигнала. Анализ и синтез. Спектрально-временные характеристики речевого сигнала.
- 58. Информационная и модуляционная структура речевого сигнала.
- 59. Методы синтеза речевого сигнала. Обобщенные математические модели описания речевых сигналов.
- 60. Методы синтеза речевого сигнала. Геометрическая модель речевого тракта.
- 61. Методы синтеза речевого сигнала. Формантная модель.
- 62. Компиляционные методы синтеза речевого сигнала.
- 63. Методы анализа речевого сигнала.
- 64. Метод цифровой фильтрации речевого сигнала. Спектральный анализ с использованием алгоритмов бпф. Метод цифровой фильтрации
- Спектральный анализ с использованием алгоритмов бпф
- 65. Спектральный анализ на основе линейного предсказания. Формантно-параметрическое описание речевого сигнала. Спектральный анализ на основе линейного предсказания
- Формантно-параметрическое описание речевого сигнала
- 66. Метод кепстральных коэффициентов. Особенности восприятия речи. Свойства рецептивного восприятия речи человеком. Метод кепстральных коэффициентов
- 67. Свойства рецептивного восприятия речевых сигналов. Природа слуховых (фонетических) признаков речевого сигнала. Свойства рецептивного восприятия речевых сигналов
- Природа слуховых (фонетических) признаков речевого сигнала
- 68. Свойства восприятия минимальных смыслоразличительных элементов речи
- 69. Синтез речи по тексту. Структура синтезатора речи по тексту.
- Структура синтезатора речи по тексту Ключевые понятия:
- 70. Лингвистический процессор. Предварительная обработка текста. Пофразовая обработка текста.
- Предварительная обработка текста
- Пофразовая обработка текста
- 71. Пословная обработка теста. Пример работы лингвистического процессора. Пословная обработка текста
- Пример работы лингвистического процессора
- 72. Просодический процессор
- 73.Фонетический процессор. Артикуляторно-фонетический процессор. Формантный фонетический процессор.
- 74. Аллофонный фонетический процессор. Акустический процессор.
- 75. Аппроксимация геометрии речевого такта. Акустический процессор, основанный на компиляционных методах синтеза речи.
- 76. Классификация систем автоматического распознавания речи. Методы автоматического распознавания речи.
- 77. Классификация методов распознавания речи.
- 78. Метод динамического программирования.
- 79. Метод скрытых марковских моделей.
- 80. Структурно-экспертные методы распознавания речи. Экспертный подход к фонемному распознаванию речи.
- 81. Проблемы обучения в распознавании речи и методы создания эталонных слов. Метод создания многокластерных эталонов речи.
- 82.Проблема плотных упаковок. Формульное представление знаний как вариант плотных упаковок.