78. Метод динамического программирования.
Рассмотрим более подробно алгоритм динамического программирования для выравнивания по времени. Данный метод впервые был предложен в СССР. В основе ДП-метода распознавания речи лежит предположение, что реализации одного и того же слова более сходны с акустическим эталоном данного слова, чем с эталонами других слов. К достоинствам этого метода относятся простота реализации, легкая обучаемость и универсальность модели. В настоящее время существуют различные модификации ДП-метода, которые используют различного рода ограничения, накладываемые на функцию деформации оси времени, весовые функции параметров, отражающие значимость отдельных сегментов, и другие фонетические знания.Предложенные позже модификации ДП-метода позволяют определить вероятность присутствия искомых элементов речи (звукосочетаний, слов) в текущем речевом потоке, осуществить в процессе распознавания динамическое выравнивание временных шкал эталонных описаний искомых элементов речи и их реализаций и оценить их временное местоположение в реальных условиях наличия разного рода акустических помех. Надежность распознавания существенно повышается учете вариативностей на стыках слов в слитной речи вследствие эффекта коартикуляции. Рассмотрим сначала схему работы ДП-метода на примере.Пусть необходимо распознать и отличить друг от друга два слова «ноль» и «два». Предположим, мы используем предварительное фонемное распознавание, в результате которого слово «ноль» записано как два сегмента [но] и [л’] или [нноолл'] (длительность звуков при произнесении оказалась одинаковой). В слове «два» произнесли по одному элементу на фонему: [д], [в], [а]. Необходимо узнать взаимные расстояния между звуками. Выше была представлена таблица признаков фонем и по ней определены расстояния между фонемами. Восстановим фрагмент этой таблицы (табл. 5.3).
Проведем следующие эксперименты по произношению заданных слов: 1) произнесение слова «ноль» с искажением во времени: [ннооол’]; 2) другое искажение произнесения – [ноол'л'л']; 3) произносим слово «два». Матрица расстояний до фонем слова «два» представлена в табл. 5.4.
Рассмотрим работу алгоритма для первого произнесения. Результаты сравнения представим в таблице, по одной оси которой записан эталон, а по другой – реализация (произнесение слова диктором). Для всех временных отсчётов эталонов и реализаций в данной таблице заполняются расстояния. В результате получаем матрицу локальных расстояний (табл. 5.5).
Далее вычисляется интегральное расстояние по следующей итеративной формуле:
где Lij – интегральное расстояние между эталоном и реализацией в точке ( i, j ); dij – локальное расстояние в этой же точке. Чтобы рассчитать расстояние в точке ( i, j ), нужно знать расстояние до 3-х соседних точек. Алгоритм начинается с точки (0,0). По осям локальные расстояния считаются равными бесконечности, а L0,0 = 0. Сначала считаем по первому столбцу, потом по второму и т.д. В результате получим табл. 5.6.
Если рассчитать аналогичную таблицу для слова «два», то получим гораздо большую интегральную величину.Если возьмем слово «ноль» с любыми деформациями, то все равно в конце траектории получим «ноль». В этом и есть замечательная особенность алгоритма ДП-метода.Вычислительная сложность ДП-алгоритма и затраты памяти линейно зависят от длительности речевых выражений и размера словаря. Как показано выше, данный алгоритм выполняет единый поиск в матрице векторов признаков при определении локально оптимизированных сегментов общего пути выравнивания.
- 1. Фонетическое членение речи.
- 2. Звуки. Артикуляционный аспект звуков речи.
- 3. Артикуляционная характеристика звуков.
- 4. Гласные звуки. Классификация гласных звуков.
- 5. Согласные звуки. Классификация согласных звуков.
- 6. Акустический аспект звуков речи. Качественные характеристики звуков.
- 7. Функциональный аспект звуков речи (фонология). Понятие о фонеме.
- 8. Система фонем в современном русском языке.
- 9. Фонологические позиции. Сильные и слабые фонемы.
- 10. Позиционные чередования гласных фонем. Количественная и качественная редукция гласных фонем.
- 11. Позиционные чередования согласных фонем. Ассимиляция и диссимиляция по глухости/звонкости и по твердости/мягкости.
- 12. Исторические чередования фонем.
- 13. Падение редуцированных гласных фонем и последствия этого явления.
- 14. Чередования, связанные с историей носовых звуков в древнерусском языке.
- 15. Палатализация заднеязычных.
- 17. Фонетическая транскрипция. Фонематическая транскрипция
- 18. Слог. Слогораздел. Типы слогов.
- 19. Фонетическое слово. Ударение
- 20. Речевой такт. Интонация
- 21. Ударение. Интонационные конструкции
- 21. Фраза. Интонация
- 22. Понятие об орфоэпии
- 23. Основные правила русского литературного произношения.
- 24. Произношение гласных под ударением. Произношение безударных гласных.
- 25. Произношение отдельных согласных звуков.
- 26. Произношение групп согласных.
- 27. Произношение некоторых грамматических форм.
- 28. Произношение некоторых аббревиатур. Особенности произношения иноязычных слов.
- 29. Трудные случаи усвоения ударения в русском языке.
- 30. Развитие русского литературного произношения.
- 31. Грамматическое кодирование
- 32. Семантическое кодирование. Двухаргументные (временные признаки): причинность.
- 33. Семантическое кодирование. Двухаргументные (временные признаки): следствие, результат, цель.
- 34. Семантическое кодирование. Двухаргументные (временные признаки): превращение, изменение
- 35. Семантическое кодирование. Двухаргументные (временные признаки): взаимодействие, группировка, общность, объединение
- 36. Семантическое кодирование. Двухаргументные (временные признаки): разделение, влияние, условие, вхождение.
- 37. Семантическое кодирование. Двухаргументные (временные признаки): соответствие, управление, подчинение, зависимость.
- 38. Семантическое кодирование. Одноаргументные (постоянные признаки):свойство, необходимость, возможность, вероятность, есть, нет.
- 39. Семантическое кодирование. Одноаргументные (постоянные признаки): истинность, ложность.
- Семантический код. Его цели. Предназначение. Принцип построения. Возможности.
- Предназначение семантического кода. Термин «смысл».
- Предназначение семантического кода. Текст. Информация. Гипертекст в освоении информации.
- 43. Грамматический и семантический анализ при семантическом кодировании.
- 44. Русский семантический словарь сочетаемости и ассоциативный словарь при семантическом кодировании.
- Предназначение семантического кода. Системный изоморфизм.
- Предназначение семантического кода. Принцип необходимого и достаточного.
- Предназначение семантического кода. Связность классов и подклассов
- 48. Предназначение семантического кода. Принцип иерархичности/ неиерархичности.
- 49. Предназначение семантического кода. Системная метафоричность.
- 50. Ситуативный (ситуационный) семантический код.
- 51. Семантическое кодирование. Выравнивающе-толковательный код. Матрешный код.
- 52. Основные задачи и ключевые понятия речевого интерфейса.
- 53. Исторический обзор проблемы распознавания и синтеза речи.
- 54. Системы автоматического синтеза речи. Практические приложения речевого интерфейса.
- 55. Системы автоматического распознавания речи. Практические приложения речевого интерфейса.
- 56. Лингвистические основы речевого интерфейса. Использование лингвистики в реализации речевых систем.
- 57. Структура речевого сигнала. Анализ и синтез. Спектрально-временные характеристики речевого сигнала.
- 58. Информационная и модуляционная структура речевого сигнала.
- 59. Методы синтеза речевого сигнала. Обобщенные математические модели описания речевых сигналов.
- 60. Методы синтеза речевого сигнала. Геометрическая модель речевого тракта.
- 61. Методы синтеза речевого сигнала. Формантная модель.
- 62. Компиляционные методы синтеза речевого сигнала.
- 63. Методы анализа речевого сигнала.
- 64. Метод цифровой фильтрации речевого сигнала. Спектральный анализ с использованием алгоритмов бпф. Метод цифровой фильтрации
- Спектральный анализ с использованием алгоритмов бпф
- 65. Спектральный анализ на основе линейного предсказания. Формантно-параметрическое описание речевого сигнала. Спектральный анализ на основе линейного предсказания
- Формантно-параметрическое описание речевого сигнала
- 66. Метод кепстральных коэффициентов. Особенности восприятия речи. Свойства рецептивного восприятия речи человеком. Метод кепстральных коэффициентов
- 67. Свойства рецептивного восприятия речевых сигналов. Природа слуховых (фонетических) признаков речевого сигнала. Свойства рецептивного восприятия речевых сигналов
- Природа слуховых (фонетических) признаков речевого сигнала
- 68. Свойства восприятия минимальных смыслоразличительных элементов речи
- 69. Синтез речи по тексту. Структура синтезатора речи по тексту.
- Структура синтезатора речи по тексту Ключевые понятия:
- 70. Лингвистический процессор. Предварительная обработка текста. Пофразовая обработка текста.
- Предварительная обработка текста
- Пофразовая обработка текста
- 71. Пословная обработка теста. Пример работы лингвистического процессора. Пословная обработка текста
- Пример работы лингвистического процессора
- 72. Просодический процессор
- 73.Фонетический процессор. Артикуляторно-фонетический процессор. Формантный фонетический процессор.
- 74. Аллофонный фонетический процессор. Акустический процессор.
- 75. Аппроксимация геометрии речевого такта. Акустический процессор, основанный на компиляционных методах синтеза речи.
- 76. Классификация систем автоматического распознавания речи. Методы автоматического распознавания речи.
- 77. Классификация методов распознавания речи.
- 78. Метод динамического программирования.
- 79. Метод скрытых марковских моделей.
- 80. Структурно-экспертные методы распознавания речи. Экспертный подход к фонемному распознаванию речи.
- 81. Проблемы обучения в распознавании речи и методы создания эталонных слов. Метод создания многокластерных эталонов речи.
- 82.Проблема плотных упаковок. Формульное представление знаний как вариант плотных упаковок.