61. Методы синтеза речевого сигнала. Формантная модель.
Формантная модель является наиболее распространенной и чаще всего используется в реализации систем автоматического синтеза речи. В рамках формантной модели описываются частотные характеристики речи, которые содержат основную информацию о произносимых фонемах. Акустические характеристики фонем тесно связаны с артикуляционными особенностями их образования – местом и способом. Речевой аппарат человека представляется в виде двух параллельных каналов – ротового и носового, образующих единую акустическую систему, возбуждаемую периодическими колебаниями голосовых связок либо турбулентным шумом. Распространение акустических волн в такой системе описывается уравнением Вебстера:
Решение этого уравнения для речевого тракта различных конфигурация, соответствующих различным звукам речи, является основным предметом исследования акустической теории речеобразования. В результате решения получается аналитическое выражение для передаточной функции речевого тракта H(p). В общем случае при достаточно малых потерях (что вполне справедливо для реального речевого тракта):
На практике передаточная функция аппроксимируется ограниченным числом формант (до четырех) с помощью последовательно соединенных формантных фильтров.
Под формантой в общем случае понимают полосы передаточной функции речевого тракта, характеризующиеся частотой Fi, амплитудой Ai и полосой пропускания Bi.
На амплитудно-частотном спектре форманты проявляются в виде заметных максимумов (рис. 3.18). Однако не всякий максимум является формантой. Обычно в диапазоне частот первых четырех формант ряд побочных максимумов не является формантами (рис. 3.19).
|
Рисунок 3.18. Выделение формант в спектре речевого сигнала |
|
Рисунок 3.19. Выделение формант в спектре речевого сигнала для фонемы [ а ] |
Анализ вида передаточных функций речевого тракта для различных групп звуков показал, что достаточно полно описать их акустические характеристики можно, используя формантную модель (рис. 3.20).
|
Рисунок 3.20. Формантная модель акустики речевого тракта |
Управляющими параметрами модели являются следующие 10 формантных параметров: • Aр, Aн – амплитуды голосового возбуждения ротовых и носовых формант; • Aф – амплитуда шумового возбуждения фрикативных формант; • Aа – амплитуда аспиративного возбуждения ротовой форманты; • F0 – частота основного тона; • F1, F2, F3 – частоты первой, второй и третье формант; • Fф – частота фрикативных формант; • Bф – полоса пропускания фрикативных формант. Различия в способе образования фонем определяются амплитудой голосового возбуждения ротовых формант Aр, носовых формант Aн, амплитудой шумового возбуждения фрикативных формант Aф, амплитудой аспиративного возбуждения ротовых формант Aа, а также частотой основного тона F0. Причем очень важной является временная организация этих параметров. Группа гласных отличается от согласных тем, что для них Aр = 1, а Aф = Aн = Aа = 0. Кроме того, внутри группы гласных фонем, т.е. по месту образования, гласные отличаются значениями формантных частот F1, F2 и F3, причем основную роль играют F1 и F2. На рис. 3.21 приведен пример распределения формантных частот гласных для мужских и женских голосов. Приведенные здесь зависимости значений первой и второй формант для одного голоса образуют так называемые формантные треугольники, в рамках которых распределяются формантные частоты гласных большинства дикторов. Данные на рисунке значения являются усредненными и могут варьироваться в рамках допустимых диапазонов частот формант для разных голосов.
|
Рисунок 3.21. Распределение формантных частот гласных для мужских и женских голосов |
При внимательном рассмотрении данных формантных треугольников можно сделать определенные выводы о близости (схожести) различных фонем. Например, хорошо видно, что фонемы [ы] и [и] очень незначительно различаются по значению первой форманты. При этом фонемы [у] и [о] близки по значению второй форманты. Еще один немаловажный вывод заключается в том, что диапазон частот формант женского голоса значительно выше и более разбросан по сравнению с данными для мужского голоса. Этим объясняется то, что большинство систем автоматического синтеза речи «умеют говорить» только мужскими голосами. Кроме того, этот факт привносит дополнительные трудности в решение задачи распознавания речи женского голоса. Наибольшую роль в разделении согласных по месту образования играет формантная частота F2. Причем вследствие коартикуляции F2 зависит от места образования не только согласного, но и окружающих его гласных (рис. 3.22). Как видно из рисунка, наибольшему коартикуляционному воздействию подвергается группа небных твердых согласных [к], [г], [х], а наименьшему – мягкие согласные.
По способу образования фонемы подразделяются на следующие виды:
|
Рисунок 3.22. Зависимость частоты второй форманты согласных от частоты гласных в слоге |
- 1. Фонетическое членение речи.
- 2. Звуки. Артикуляционный аспект звуков речи.
- 3. Артикуляционная характеристика звуков.
- 4. Гласные звуки. Классификация гласных звуков.
- 5. Согласные звуки. Классификация согласных звуков.
- 6. Акустический аспект звуков речи. Качественные характеристики звуков.
- 7. Функциональный аспект звуков речи (фонология). Понятие о фонеме.
- 8. Система фонем в современном русском языке.
- 9. Фонологические позиции. Сильные и слабые фонемы.
- 10. Позиционные чередования гласных фонем. Количественная и качественная редукция гласных фонем.
- 11. Позиционные чередования согласных фонем. Ассимиляция и диссимиляция по глухости/звонкости и по твердости/мягкости.
- 12. Исторические чередования фонем.
- 13. Падение редуцированных гласных фонем и последствия этого явления.
- 14. Чередования, связанные с историей носовых звуков в древнерусском языке.
- 15. Палатализация заднеязычных.
- 17. Фонетическая транскрипция. Фонематическая транскрипция
- 18. Слог. Слогораздел. Типы слогов.
- 19. Фонетическое слово. Ударение
- 20. Речевой такт. Интонация
- 21. Ударение. Интонационные конструкции
- 21. Фраза. Интонация
- 22. Понятие об орфоэпии
- 23. Основные правила русского литературного произношения.
- 24. Произношение гласных под ударением. Произношение безударных гласных.
- 25. Произношение отдельных согласных звуков.
- 26. Произношение групп согласных.
- 27. Произношение некоторых грамматических форм.
- 28. Произношение некоторых аббревиатур. Особенности произношения иноязычных слов.
- 29. Трудные случаи усвоения ударения в русском языке.
- 30. Развитие русского литературного произношения.
- 31. Грамматическое кодирование
- 32. Семантическое кодирование. Двухаргументные (временные признаки): причинность.
- 33. Семантическое кодирование. Двухаргументные (временные признаки): следствие, результат, цель.
- 34. Семантическое кодирование. Двухаргументные (временные признаки): превращение, изменение
- 35. Семантическое кодирование. Двухаргументные (временные признаки): взаимодействие, группировка, общность, объединение
- 36. Семантическое кодирование. Двухаргументные (временные признаки): разделение, влияние, условие, вхождение.
- 37. Семантическое кодирование. Двухаргументные (временные признаки): соответствие, управление, подчинение, зависимость.
- 38. Семантическое кодирование. Одноаргументные (постоянные признаки):свойство, необходимость, возможность, вероятность, есть, нет.
- 39. Семантическое кодирование. Одноаргументные (постоянные признаки): истинность, ложность.
- Семантический код. Его цели. Предназначение. Принцип построения. Возможности.
- Предназначение семантического кода. Термин «смысл».
- Предназначение семантического кода. Текст. Информация. Гипертекст в освоении информации.
- 43. Грамматический и семантический анализ при семантическом кодировании.
- 44. Русский семантический словарь сочетаемости и ассоциативный словарь при семантическом кодировании.
- Предназначение семантического кода. Системный изоморфизм.
- Предназначение семантического кода. Принцип необходимого и достаточного.
- Предназначение семантического кода. Связность классов и подклассов
- 48. Предназначение семантического кода. Принцип иерархичности/ неиерархичности.
- 49. Предназначение семантического кода. Системная метафоричность.
- 50. Ситуативный (ситуационный) семантический код.
- 51. Семантическое кодирование. Выравнивающе-толковательный код. Матрешный код.
- 52. Основные задачи и ключевые понятия речевого интерфейса.
- 53. Исторический обзор проблемы распознавания и синтеза речи.
- 54. Системы автоматического синтеза речи. Практические приложения речевого интерфейса.
- 55. Системы автоматического распознавания речи. Практические приложения речевого интерфейса.
- 56. Лингвистические основы речевого интерфейса. Использование лингвистики в реализации речевых систем.
- 57. Структура речевого сигнала. Анализ и синтез. Спектрально-временные характеристики речевого сигнала.
- 58. Информационная и модуляционная структура речевого сигнала.
- 59. Методы синтеза речевого сигнала. Обобщенные математические модели описания речевых сигналов.
- 60. Методы синтеза речевого сигнала. Геометрическая модель речевого тракта.
- 61. Методы синтеза речевого сигнала. Формантная модель.
- 62. Компиляционные методы синтеза речевого сигнала.
- 63. Методы анализа речевого сигнала.
- 64. Метод цифровой фильтрации речевого сигнала. Спектральный анализ с использованием алгоритмов бпф. Метод цифровой фильтрации
- Спектральный анализ с использованием алгоритмов бпф
- 65. Спектральный анализ на основе линейного предсказания. Формантно-параметрическое описание речевого сигнала. Спектральный анализ на основе линейного предсказания
- Формантно-параметрическое описание речевого сигнала
- 66. Метод кепстральных коэффициентов. Особенности восприятия речи. Свойства рецептивного восприятия речи человеком. Метод кепстральных коэффициентов
- 67. Свойства рецептивного восприятия речевых сигналов. Природа слуховых (фонетических) признаков речевого сигнала. Свойства рецептивного восприятия речевых сигналов
- Природа слуховых (фонетических) признаков речевого сигнала
- 68. Свойства восприятия минимальных смыслоразличительных элементов речи
- 69. Синтез речи по тексту. Структура синтезатора речи по тексту.
- Структура синтезатора речи по тексту Ключевые понятия:
- 70. Лингвистический процессор. Предварительная обработка текста. Пофразовая обработка текста.
- Предварительная обработка текста
- Пофразовая обработка текста
- 71. Пословная обработка теста. Пример работы лингвистического процессора. Пословная обработка текста
- Пример работы лингвистического процессора
- 72. Просодический процессор
- 73.Фонетический процессор. Артикуляторно-фонетический процессор. Формантный фонетический процессор.
- 74. Аллофонный фонетический процессор. Акустический процессор.
- 75. Аппроксимация геометрии речевого такта. Акустический процессор, основанный на компиляционных методах синтеза речи.
- 76. Классификация систем автоматического распознавания речи. Методы автоматического распознавания речи.
- 77. Классификация методов распознавания речи.
- 78. Метод динамического программирования.
- 79. Метод скрытых марковских моделей.
- 80. Структурно-экспертные методы распознавания речи. Экспертный подход к фонемному распознаванию речи.
- 81. Проблемы обучения в распознавании речи и методы создания эталонных слов. Метод создания многокластерных эталонов речи.
- 82.Проблема плотных упаковок. Формульное представление знаний как вариант плотных упаковок.