2.3. Статистический анализ текстов. Закон Ципфа

Начальным этапом любого метода индексирования является отбор из документов терминов, которые бы наилучшим образом характеризовали их содержимое. Такая необходимость вызвана тем, что непосредственное сканирование текстов документов во время поиска занимает слишком много времени, особенно в поисковых системах сети Интернет. С другой стороны, хранение полных текстов документов в базах данных поисковых систем привело бы, во-первых, к резкому росту их объема, и, во-вторых, поставило бы проблему соблюдения авторских прав.

Для выделения из документа индексационных терминов используются главным образом статистические закономерности распределения частоты появления различных слов в текстах. В частности, в теории индексирования особый интерес представляют явления, поведение которых носит гиперболический характер. Другими словами, произведение фиксированных степеней переменных остается для таких явлений постоянным.

Наиболее известный гиперболический закон, относящийся к статистической обработке текстов, сформулирован Дж. Ципфом. Он касается распределения слов в достаточно больших выборках текста и используется для решения задачи выделения ключевых слов (терминов) произвольного документа. Основываясь на общем "принципе наименьшего усилия", Дж. Ципф вывел универсальный закон, который применим ко всем созданным человеком текстам [, , ].

Рассмотрим некоторый текст, количество слов в котором обозначим как T , а число вхождений каждого слова t_i в этот текст обозначим как n_i. Частота появления словаt_i в таком случае будет определяться формулой:

(TF)_i = n_i/T.

Если расположить слова текста в порядке убывания частоты их появления, начиная с наиболее часто встречающихся, то произведение частоты слова (TF)_I на порядковый номер частоты будет постоянным для любого данного слова t_i:

(TF)_i* r_i = C, (1)

где C – некоторая константа, r_i – порядковый номер (ранг) частоты слова.

Наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними – 2 и т. д. Если несколько слов имеет одинаковую частоту, то ранг присваивается только одному значению из каждой группы.

Выражение (1) описывает функцию вида y = k\xи её график – гипербола, или прямая в логарифмических координатах (рис. 5).

Рис. 5. Закон Ципфа.

Эксперименты показывают, что частота (TF)_iи количество словn_i, входящих в текст с этой частотой (другими словами, количество слов, имеющих одинаковый ранг частоты), также связаны между собой. Обозначим это количество как. Форма кривой зависимости сохраняет свои параметры для всех текстов в пределах одного языка. Вид такой зависимости представлен на рис.6.

Рис.6. Зависимость числа слов от каждого ранга от частоты их встречаемости.

Вероятность P_i встретить произвольно выбранное словоt_i , очевидно, будет равна частоте встречаемости этого слова в тексте:

Таким образом, согласно закону Ципфа, если самое распространенное слово встречается в тексте, например 50 раз, то следующее по частоте слово с высокой долей вероятности встретится 25 раз.

Связь, задаваемая зависимостью (2.2), описывает реальные данные приближенно. Более точное совпадение с экспериментом дает несколько измененное уравнение

(2)

Здесь Cиs– параметры распределения, аB– малая константа, называемая поправкой Мандельброта. Она улучшает совпадение для общеупотребительных слов, имеющих низкий ранг, а параметрs– для слов, имеющих высокий ранг. Значение константыCв разных языках различно, но внутри одной языковой группы оно остается неизменным вне зависимости от анализируемого текста.

Выражение (2) называется каноническим законом Ципфа. Оно используется для составления поискового образа документа, то есть для извлечения из текста документа слов, наиболее адекватно отражающих его смысл.

Практика показывает, что наиболее значимые слова лежат в средней части графика зависимости (рис. 7). Иными словами, самыми ценными для представления содержания документов являются термины не слишком редкие и не слишком частые. Слова, которые попадаются слишком часто, в основном оказываются предлогами, союзами и т. д. Редко встречающиеся слова также не имеют решающего смыслового значения в большинстве случаев.

Рис.7. Выделение ключевых слов по закону Ципфа.

Границы выделения ключевых слов определяют качество поиска в ИПС. Высокочастотные термины хоть и не являются специфическими, но все же дают большое число совпадений при сравнении терминов запроса и документа. Тем самым обеспечивается выдача многих релевантных документов, то есть увеличивается полнота поиска. С другой стороны, низкочастотные термины вносят относительно небольшой вклад в поиск нужных документов, так как редкие термины дают малое число совпадений образов запроса и документа. Но если они все же совпадают, то соответствующий найденный документ почти наверняка является релевантным .

Ширина и границы диапазона частот зависят от используемых механизмов поиска, а также от анализируемых документов, и отличаются друг от друга в разных ИПС.

Во всех существующих методах индексирования применяется процедура исключения некоторых высокочастотных терминов, которые заведомо не являются ценными для отражения содержания документа . Для исключения общеупотребительных слов, к которым относятся предлоги, союзы, артикли, вспомогательные глаголы, частицы, местоимения и т. п., используются стоп-словари. Стоп-словарь (стоп-лист, стоп-список, отрицательный словарь) – это словарь служебных и неинформативных терминов, которые не должны входить в число терминов индексации.

Число служебных слов в отрицательном словаре составляет обычно несколько сотен, в зависимости от системы.