Программирование

Под опасными мы подразумеваем ошибки, которые могут иметь самые ужасные последствия. В целом это понятие носит неопределенный характер, но для конкретных программ его можно уточнить. Например, если рассматривать бинарный поиск изолированно от других задач, то все ошибки могут быть одинаково опасными. Но если мы используем функцию binary_search в программе, где все ответы проверяются дважды, то получить неправильный ответ от функции binary_search может быть более приемлемым вариантом, чем не получить никакого, поскольку во втором случае возникает бесконечный цикл. В таком случае мы могли бы приложить больше усилий, чтобы найти трюк, провоцирующий бесконечный (или очень длинный) цикл в функции binary_search, по сравнению с исследованием вариантов, в которых она дает неправильный ответ. Отметьте в данном контексте слово “трюк”. Помимо всего прочего, тестирование — это занятие, требующее изобретательного подхода к задаче “как заставить код работать неправильно”.

Лучшие тестировщики не только методичные, но и изворотливые люди (в хорошем смысле, конечно).

26.3.2.1. Стратегия тестирования

 С чего мы начинаем испытание функции binary_search? Мы смотрим на ее требования, т.е. на предположения о ее входных данных. К сожалению для тестировщиков, в требованиях явно указано, что диапазон [first,last] должен быть упорядоченной последовательностью. Другими словами, именно вызывающий модуль должен это гарантировать, поэтому мы не имеем права испытывать функцию binary_search, подавая на ее вход неупорядоченную последовательность или диапазон [first,last], в котором выполняется условие last. Обратите внимание на то, что в требованиях функции binary_search не указано, что она должна делать, если мы нарушим эти условия. В любом другом фрагменте стандарта говорится, что в этих случаях функция может генерировать исключение, но она не обязана это делать. И все же во время тестирования функции binary_search такие вещи следует твердо помнить, потому что, если вызывающий модуль нарушает требования функции, такой как binary_search, скорее всего, возникнут ошибки.

Для функции binary_search можно себе представить следующие виды ошибок.

• Функция ничего не возвращает (например, из-за бесконечного цикла).

• Сбой (например, неправильное разыменование, бесконечная рекурсия).

• Значение не найдено, несмотря на то, что оно находится в указанной последовательности.

• Значение найдено, несмотря на то, что оно не находится в указанной последовательности.

Кроме того, необходимо помнить о следующих возможностях для пользовательских ошибок.

• Последовательность не упорядочена (например, {2,1,5,–7,2,10}).

• Последовательность не корректна (например, binary_search(&a[100],&a[50],77)).

Какую ошибку (с точки зрения тестировщиков) может сделать программист, создающий реализацию функции, при простом вызове функции binary_search(p1,p2,v)? Ошибки часто возникают в особых ситуациях. В частности, при анализе последовательностей (любого вида) мы всегда ищем их начало и конец. Кроме того, всегда следует проверять, не пуста ли последовательность. Рассмотрим несколько массивов целых чисел, которые упорядочены так, как требуется.

{ 1,2,3,5,8,13,21 }      // "обычная последовательность"

{ }

{ 1 }                    // только один элемент

{ 1,2,3,4 }              // четное количество элементов

{ 1,2,3,4,5 }            // нечетное количество элементов

{ 1, 1, 1, 1, 1, 1, 1 }  // все элементы равны друг другу

{ 0,1,1,1,1,1,1,1,1,1,1,1,1 }  // другой элемент в начале

{ 0,0,0,0,0,0,0,0,0,0,0,0,0,1 } // другой элемент в конце

Некоторые тестовые последовательности лучше генерировать программой.

• vector v1; // очень длинная последовательность

 for (int i=0; i<100000000; ++i) v.push_back(i);

• Последовательности со случайным количеством элементов.

• Последовательности со случайными элементами (по-прежнему упорядоченные).