Вторая идея нашего подхода заключается в использовании для обнаружения моментов «разладок» семейства статистик вида
где 0 ≤ δ ≤ 1, 1 ≤ n ≤ N—1, Х = {хк}Nk=1 — исследуемая реализация, и некоторых производных от этих статистик.
Семейство (1) представляет собой обобщенный вариант статистики Колмогорова-Смирнова, которая используется для проверки совпадения или различия функций распределения у двух выборок (при фиксированном n). Можно показать, что статистики вида (1) асимптотически (при N → и сохранении соотношения между объемами «склеенных» реализаций) минимаксны (т. е. минимизируют максимально возможную вероятность ошибки оценивания момента «разладки») по порядку.
Указанные идеи — подробнее см. [1051] — воплощены в комплексе прикладных программ VERDIA для персональной ЭВМ типа IBM-PC. Этот комплекс позволяет в диалоговом режиме обнаруживать «разладки» произвольной случайной последовательности. При помощи комплекса VERDIA нами был проведен анализ ряда конкретных исторических текстов. Результаты этого анализа изложены в следующем Дополнении 2 к настоящей книге.
Дополнение 2
Выявление однородных и неоднородных фрагментов внутри русских летописей, римских и греческих хроник, в Библии
В данном разделе цитируются фрагменты работы Б.Е. Бродского, Б.С. Дарховского, Г.В. Носовского, А.Т. Фоменко.
1. Введение
В современной математической статистике большое применение нашел важный метод разладки, созданный А.Н. Ширяевым. В настоящей работе кратко описываются результаты интересного численного эксперимента, идея которого впервые предложена А.Н. Ширяевым и А.Т. Фоменко. Эта идея и эксперимент обсуждались на научно-исследовательском семинаре «Геометрия и статистика», несколько лет работавшем под руководством А.Т. Фоменко и А.Н. Ширяева в математическом ин-те им. В.А. Стеклова АН СССР. Цель эксперимента — применить метод разладки к важной задаче выявления, распознавания «однородных кусков» внутри достаточно больших исторических текстов. К таким текстам относятся, в частности, исторические хроники, летописи и т. п. Теоретические основы метода разладки см. в статье Б.Е. Бродского и B.C. Дарховского, помещенного в настоящей книге как Дополнение 1.
Выявление информативных количественных характеристик текстов и предварительная обработка исторических текстов, в частности, русских летописей и исторических книг Библии, были выполнены Г.В. Носовским и А.Т. Фоменко. Статистический анализ и компьютерный эксперимент затем проведены Б.С. Дарховским и Б.Е. Бродским. Большую помощь при этом нам оказали Т. Толозова, А. Громова и Л. Мищенко.
Напомним постановку задачи. Многие исторические источники составлены из фрагментов разной природы. Эти отдельные куски могли быть написаны в разное время разными авторами и вообще в разных странах. Затем отдельные фрагменты были объединены каким-то более поздним летописцем в одну книгу. Они начинали существовать, «спаянные» в единое целое внутри какой-то одной поздней летописи. При многократной ее переписке, при редакторских изменениях, внешние различия, существовавшие первоначально между старыми фрагментами, составляющими «новый большой текст», постепенно стирались. Сегодня такие составные тексты часто воспринимаются как единое целое, поскольку предыстория их возникновения давно забыта.
Возникает вопрос: можно ли, опираясь на численный, статистический анализ различных частотных характеристик, выявить сегодня внутри единой большой летописи эти первичные составные ее части, куски.
В основу излагаемого метода положена идея, согласно которой каждый первичный, древний фрагмент был более или менее «однородным». Например, он мог быть написан одним автором, а потому несет на себе характерный отпечаток одной индивидуальности. Единый стиль, манера и т. п. Поскольку эта гипотетическая индивидуальность, по-видимому, «мало менялась» в процессе написания одного текста, то можно сформулировать естественную гипотезу, модель о «первичной однородности» фрагментов, написанных одним автором, в одно время, или в одной и той же исторической школе летописцев.
Эта на первый взгляд простая идея, сформулированная А.Н. Ширяевым и А.Т. Фоменко, оказалась полезной при анализе конкретных исторических текстов. Более того, оказалось, что результаты, полученные на основе применения этой идеи и статистического исследования B.C. Дарховского, Б.Е. Бродского и Г.В. Носовского, применительно к конкретным историческим текстам, хорошо согласуются с независимыми результатами, полученными применением совсем других методов, тоже статистического характера.