63. Методы анализа речевого сигнала.
Существует несколько методов анализа речевого сигнала. Каждый из методов предназначен для выделения в сплошном потоке речи некоторого определенного набора параметров, в которых заключается основная (смысловая) информация, а также отделения набора параметров, описывающих дополнительную информацию.
Для формирования параметрического описания речевых сигналов в современных системах распознавания речи широко используются, как правило, три основных метода спектрального анализа: • метод цифровой фильтрации; • метод быстрых алгоритмов преобразования Фурье; • метод, основанный на линейном предсказании речевого сигнала.
Метод цифровой фильтрации
В этом методе реализуется наиболее простой и понятный подход к спектральному разложению сигналов. Анализаторы, основанные на данном подходе, состоят из набора параллельно включенных цифровых полосовых фильтров, спектральные характеристики которых представляют собой узкие примыкающие друг к другу полосы, перекрывающие необходимый диапазон частот. Для получения спектра сигнала достаточно измерить значение мощности на выходе каждого фильтра и рассматривать их как точки спектра, соответствующие центральным частотам полос пропускания. Практически формирование вектора параметров в задачах распознавания речи осуществляется на основе способа «кадр-за-кадром» с их пошаговым перекрытием. Поскольку с каждым новым шагом изменяется только часть данных, такой способ сегментирования гарантирует отслеживание всех акустических явлений в речевом сигнале, обеспечивая в то же время достаточно плавное изменение параметров от выборки к выборке. Поэтому на выходе каждого канала «кадр-за-кадром» вычисляются оценки значений мощности, которые используются в качестве компонент вектора спектральных параметров описания речевых сигналов.
Спектральный анализ с использованием алгоритмов БПФ
Быстрое преобразование Фурье (БПФ) - это название целого ряда эффективных алгоритмов, предназначенных для вычисления дискретно-временного ряда Фурье. Основы построения таких алгоритмов, аппаратурная и программная реализация, а также принципы их применения для спектрального анализа подробно освещены в ряде работ. Поскольку, как правило, спектр дискретизируется с достаточно тонким разрешением, большое количество отсчетов спектра, получаемых с помощью алгоритмов БПФ, не позволяет использовать их напрямую в качестве параметров описания речевых сигналов и требует некоторой процедуры сглаживания, к примеру, в виде взвешенной суммы полученных значений спектральных плотностей мощности, лежащих внутри заданного «канального» диапазона частот. Поэтому на основе спектрального анализа через алгоритмы БПФ для формирования вектора параметров описания речевых сигналов обычно используют взвешенные поканальные значения мощности. Использование в распознавании речи гомоморфных параметров, к числу которых можно отнести кепстральные коэффициенты позволяет отделить сигнал возбуждения от формы голосового тракта. Кепстр преобразования Фурье представляет собой обратное преобразование Фурье от логарифма спектра.
Спектральный анализ на основе линейного предсказания
Рассмотрим метод коэффициентов линейного предсказания (КЛП или LPС). В этом методе анализа речевого сигнала используется мощная математическая теория, решающая задачу описания нуль-полюсной модели речевого сигнала. Основная идея – описание речевого спектра с помощью информации о нулях и полюсах, для этого используется аппарат дифференциальных уравнений и др. математика. Реальный алгоритм получения параметров описания на основе модели линейного предсказания коротко состоит в следующем. Предположим, что анализируемый случайный процесс является выходом фильтра, на вход которого поступает белый шум. Этот фильтр задается как рекурсивный фильтр с импульсной характеристикой бесконечной протяженности. В той мере, насколько справедлива эта модель, энергетический спектр сигнала описывается выражением
где T - частота дискретизации. Коэффициенты p, a[1], a[2], ..., a[m] определяются из решения уравнений Юла-Уолкера при помощи рекурсивного алгоритма Левинсона . Уравнения Юла-Уолкера для коэффициентов a[k], k=1,...,m совпадают с уравнениями, возникающими при постановке задачи линейного. Коэффициенты a[k], k=1,...,m называют коэффициентами линейного предсказания, а спектр, полученный методом авторегрессии, называется спектром линейного предсказания. Спектр линейного предсказания, также как и спектр БПФ, в явном виде при обработке речи не используется. Обычно диапазон частот спектра линейного предсказания разбивается на заданное число каналов. Для каждого канала рассчитывается средняя мощность. Эти значения мощности используются как коэффициенты вектора параметров. Коэффициенты линейного предсказания используются также для расчета кепстральных коэффициентов линейного предсказания.
- 1. Фонетическое членение речи.
- 2. Звуки. Артикуляционный аспект звуков речи.
- 3. Артикуляционная характеристика звуков.
- 4. Гласные звуки. Классификация гласных звуков.
- 5. Согласные звуки. Классификация согласных звуков.
- 6. Акустический аспект звуков речи. Качественные характеристики звуков.
- 7. Функциональный аспект звуков речи (фонология). Понятие о фонеме.
- 8. Система фонем в современном русском языке.
- 9. Фонологические позиции. Сильные и слабые фонемы.
- 10. Позиционные чередования гласных фонем. Количественная и качественная редукция гласных фонем.
- 11. Позиционные чередования согласных фонем. Ассимиляция и диссимиляция по глухости/звонкости и по твердости/мягкости.
- 12. Исторические чередования фонем.
- 13. Падение редуцированных гласных фонем и последствия этого явления.
- 14. Чередования, связанные с историей носовых звуков в древнерусском языке.
- 15. Палатализация заднеязычных.
- 17. Фонетическая транскрипция. Фонематическая транскрипция
- 18. Слог. Слогораздел. Типы слогов.
- 19. Фонетическое слово. Ударение
- 20. Речевой такт. Интонация
- 21. Ударение. Интонационные конструкции
- 21. Фраза. Интонация
- 22. Понятие об орфоэпии
- 23. Основные правила русского литературного произношения.
- 24. Произношение гласных под ударением. Произношение безударных гласных.
- 25. Произношение отдельных согласных звуков.
- 26. Произношение групп согласных.
- 27. Произношение некоторых грамматических форм.
- 28. Произношение некоторых аббревиатур. Особенности произношения иноязычных слов.
- 29. Трудные случаи усвоения ударения в русском языке.
- 30. Развитие русского литературного произношения.
- 31. Грамматическое кодирование
- 32. Семантическое кодирование. Двухаргументные (временные признаки): причинность.
- 33. Семантическое кодирование. Двухаргументные (временные признаки): следствие, результат, цель.
- 34. Семантическое кодирование. Двухаргументные (временные признаки): превращение, изменение
- 35. Семантическое кодирование. Двухаргументные (временные признаки): взаимодействие, группировка, общность, объединение
- 36. Семантическое кодирование. Двухаргументные (временные признаки): разделение, влияние, условие, вхождение.
- 37. Семантическое кодирование. Двухаргументные (временные признаки): соответствие, управление, подчинение, зависимость.
- 38. Семантическое кодирование. Одноаргументные (постоянные признаки):свойство, необходимость, возможность, вероятность, есть, нет.
- 39. Семантическое кодирование. Одноаргументные (постоянные признаки): истинность, ложность.
- Семантический код. Его цели. Предназначение. Принцип построения. Возможности.
- Предназначение семантического кода. Термин «смысл».
- Предназначение семантического кода. Текст. Информация. Гипертекст в освоении информации.
- 43. Грамматический и семантический анализ при семантическом кодировании.
- 44. Русский семантический словарь сочетаемости и ассоциативный словарь при семантическом кодировании.
- Предназначение семантического кода. Системный изоморфизм.
- Предназначение семантического кода. Принцип необходимого и достаточного.
- Предназначение семантического кода. Связность классов и подклассов
- 48. Предназначение семантического кода. Принцип иерархичности/ неиерархичности.
- 49. Предназначение семантического кода. Системная метафоричность.
- 50. Ситуативный (ситуационный) семантический код.
- 51. Семантическое кодирование. Выравнивающе-толковательный код. Матрешный код.
- 52. Основные задачи и ключевые понятия речевого интерфейса.
- 53. Исторический обзор проблемы распознавания и синтеза речи.
- 54. Системы автоматического синтеза речи. Практические приложения речевого интерфейса.
- 55. Системы автоматического распознавания речи. Практические приложения речевого интерфейса.
- 56. Лингвистические основы речевого интерфейса. Использование лингвистики в реализации речевых систем.
- 57. Структура речевого сигнала. Анализ и синтез. Спектрально-временные характеристики речевого сигнала.
- 58. Информационная и модуляционная структура речевого сигнала.
- 59. Методы синтеза речевого сигнала. Обобщенные математические модели описания речевых сигналов.
- 60. Методы синтеза речевого сигнала. Геометрическая модель речевого тракта.
- 61. Методы синтеза речевого сигнала. Формантная модель.
- 62. Компиляционные методы синтеза речевого сигнала.
- 63. Методы анализа речевого сигнала.
- 64. Метод цифровой фильтрации речевого сигнала. Спектральный анализ с использованием алгоритмов бпф. Метод цифровой фильтрации
- Спектральный анализ с использованием алгоритмов бпф
- 65. Спектральный анализ на основе линейного предсказания. Формантно-параметрическое описание речевого сигнала. Спектральный анализ на основе линейного предсказания
- Формантно-параметрическое описание речевого сигнала
- 66. Метод кепстральных коэффициентов. Особенности восприятия речи. Свойства рецептивного восприятия речи человеком. Метод кепстральных коэффициентов
- 67. Свойства рецептивного восприятия речевых сигналов. Природа слуховых (фонетических) признаков речевого сигнала. Свойства рецептивного восприятия речевых сигналов
- Природа слуховых (фонетических) признаков речевого сигнала
- 68. Свойства восприятия минимальных смыслоразличительных элементов речи
- 69. Синтез речи по тексту. Структура синтезатора речи по тексту.
- Структура синтезатора речи по тексту Ключевые понятия:
- 70. Лингвистический процессор. Предварительная обработка текста. Пофразовая обработка текста.
- Предварительная обработка текста
- Пофразовая обработка текста
- 71. Пословная обработка теста. Пример работы лингвистического процессора. Пословная обработка текста
- Пример работы лингвистического процессора
- 72. Просодический процессор
- 73.Фонетический процессор. Артикуляторно-фонетический процессор. Формантный фонетический процессор.
- 74. Аллофонный фонетический процессор. Акустический процессор.
- 75. Аппроксимация геометрии речевого такта. Акустический процессор, основанный на компиляционных методах синтеза речи.
- 76. Классификация систем автоматического распознавания речи. Методы автоматического распознавания речи.
- 77. Классификация методов распознавания речи.
- 78. Метод динамического программирования.
- 79. Метод скрытых марковских моделей.
- 80. Структурно-экспертные методы распознавания речи. Экспертный подход к фонемному распознаванию речи.
- 81. Проблемы обучения в распознавании речи и методы создания эталонных слов. Метод создания многокластерных эталонов речи.
- 82.Проблема плотных упаковок. Формульное представление знаний как вариант плотных упаковок.