Идентификация объектов тестирования

План тестирования системы

Версия 1.1

1 Введение
1.1 Цель

Цель документа “План тестирования системы” - координация усилий участников проекта в части контроля качества.

Документ предназначен руководству проекта, проектному офису и руководству департамента для согласования планов и оценки затрат.

Документ предназначен группе тестирования для ознакомления с характером предстоящих работ, анализа и разбиения на подзадачи.

1.2 Нотации, аббревиатуры и определения принятые в документе

Дефект - поведение программы, затрудняющее или делающее невозможным достижение целей пользователя или удовлетворение интересов участников. Подразумевает возможность исправления. При невозможности исправления переходит в разряд “ограничения технологии”. “Интересы участников” - следует понимать в значении А. Коберна.

Тестирование - процессная деятельность, состоящая в поиске дефектов путем прогона программы и/или ее части. Другой вариант: это все виды деятельности, направленные на поиск значимых расхождений с заранее заданными метриками качества, связанными с исполняемым кодом, с целью дальнейшего исправления”.

Метрика программного обеспечения (англ. software metric) - это мера, позволяющая получить численное значение некоторого свойства программного обеспечения или его спецификаций.

Тестирование методом свободного поиска (exploratory testing) - также называется тестированием на основе сеансов. Не предполагает жестко заданных, формализованных сценариев тестирования. Часто, проводится в парах.

1.4 Комплексные показатели качества по ГОСТ Р ИСО/МЭК 9126-93
А.2.1 Функциональные возможности (Functionality)
А.2.1.1 Пригодность (Suitability)
Атрибут программного обеспечения, относящийся к наличию и соответствию набора функций конкретным задачам.
Примечание - Примерами соответствия является состав функций, ориентированных на задачу, из входящих в него подфункций и объемы таблиц.

А.2.1.2 Правильность (Accuracy)
Атрибуты программного обеспечения, относящиеся к обеспечению правильности или соответствия результатов или эффектов.
Примечание - Например, она включает необходимую степень точности вычисленных значений.

А.2.1.3 Способность к взаимодействию (Interoperability)
Атрибуты программного обеспечения, относящиеся к способности его взаимодействовать с конкретными системами.
Примечание - Способность к взаимодействию используется вместо совместимости для того, чтобы избежать возможной путаницы с взаимозаменяемостью (см. А.2.6.4).

А.2.1.4 Согласованность (Compliance)
А.2.1.5 Защищенность (Security)
Атрибуты программного обеспечения, относящиеся к его способности предотвращать несанкционированный доступ, случайный или преднамеренный, к программам и данным.

А.2.2 Надежность (Reliability)
А.2.2.1 Стабильность (Maturity)
Атрибуты программного обеспечения, относящиеся к частоте отказов при ошибках в программном обеспечении.

А.2.2.2 Устойчивость к ошибке (Fault tolerance)
Атрибуты программного обеспечения, относящиеся к его способности поддерживать определенный уровень качества функционирования в случаях программных ошибок или нарушения определенного интерфейса.
Примечание - Определенный уровень качества функционирования включает возможность отказобезопасности.

А.2.2.3 Восстанавливаемость (Recoverability)
Атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно поврежденные в случае отказа, а также к времени и усилиям, необходимым для этого.

А.2.3 Практичность (Usability)

А.2.3.1 Понятность (Understandability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя по пониманию общей логической концепции и ее применимости.

А.2.3.2 Обучаемость (Learnability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя по обучению его применению (например оперативному управлению, вводу, выводу).

А.2.3.3 Простота использования (Operability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя но эксплуатации и оперативному управлению.

А.2.4 Эффективность (Efficiency)

А.2.4.1 Характер изменения во времени (Time behavior)
Атрибуты программного обеспечения, относящиеся к временам отклика и обработки и к скоростям выполнения его функций.

А.2.4.2 Характер изменения ресурсов (Resource behavior)
Атрибуты программного обеспечения, относящиеся к объему используемых ресурсов и продолжительности такого использования при выполнении функции.

А.2.5 Сопровождаемость (Maintainability)

А.2.5.1 Анализируемость (Analysability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для диагностики недостатков или случаев отказов или определения составных частей для модернизации.

А.2.5.2 Изменяемость (Changeability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для модификации, устранению отказа или для изменения условий эксплуатации.

А.2.5.3 Устойчивость (Stability)
Атрибуты программного обеспечения, относящиеся к риску от непредвиденных эффектов модификации.

А.2.5.4 Тестируемость (Testability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для проверки модифицированного программного обеспечения.
Примечание - Значения этой подхарактеристики могут быть изменены рассматриваемыми модификациями.

А.2.6 Мобильность (Portability)

А.2.6.1 Адаптируемость (Adaptability)
Атрибуты программного обеспечения, относящиеся к удобству его адаптации к различным конкретным условиям эксплуатации, без применения других действий или способов, кроме тех, что предназначены для этого в рассматриваемом программное обеспечении.

А.2.6.2 Простота внедрения (Installability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для внедрения программного обеспечения в конкретное окружение.

А.2.6.3 Соответствие (Conformance)
Атрибуты программного обеспечения, которые заставляют программу подчиняться стандартам или соглашениям, относящимся к мобильности.

А.2.6.4 Взаимозаменяемость (Replaceabilily)
Атрибуты программного обеспечения, относящиеся к простоте и трудоемкости его применения вместо другого конкретного программного средства в среде этого средства.

Идентификация объектов тестирования

Контролю качества должны быть подвергнут программно-аппаратный комплекс в целом, а также его отдельные части. Так в частности, должно быть проведено тестирование:

· Приложения в целом, развернутое в промышленной среде

· Отдельные компоненты программы на тестовом стенде (4 компьютера)

· База данных приложения

· Пользовательские данные

 

Стратегия тестирования

Текущий подход к контролю качества подразумевает следующие вехи проекта:

· Подсистема готова к демонстрации заказчику

· Подсистема готова к промышленной эксплуатации

Приоритеты комплексных показателей качества в классификации ГОСТ 9126 в зависимости от вех проекта, приведены в таблице ниже:

Группа	Подгруппа	Приоритет для прототипа	Приоритет для эксплуатации	Метод проверки
Функциональные возможности	Пригодность	Критично	Критично	Т
Правильность	Важно	Критично	Т
Согласованность	Не важно	Критично	Т
Безопасность	Не важно	Критично	Т
Надежность	Стабильность	Не важно	Важно	Т, АТ
Устойчивость к ошибке	Не важно	Важно	Т
Восстанавливаемость	Не важно	Важно	Т
Практичность	Понятность	Не важно	Важно	Т
Эффективность	Характер изменения ресурсов	Не важно	Важно	Т пр.
Характер изменения во времени	Не важно	Важно	Т пр
Сопровождаемость	Изменяемость	Не важно	Важно	Т
Устойчивость	Не важно	Критично	Т
Мобильность	Адаптируемость	Не важно	Важно	Т
Соответствие	Не важно	Не важно	Т

Т – тестирование, АТ – автоматизированные тесты, Т пр – тестирование произваодительности.

Для проверки готовности прототипа служат приемо-сдаточные испытания. Критерий готовности - акт сдачи прототипа подписанный приемо-сдаточной комиссией. Приемо-сдаточные испытания описываются в отдельном документе.

4 Виды проводимых тестов
4.1 Функциональное тестирование

Используется для контроля качества “Функциональных возможностей” в части “Пригодности”, “Правильности”.

Функциональное тестирование является основным видом тестирования. Проводится вручную через интерфейс пользователя.

При подготовке прототипа рекомендуется использовать тестирование методом свободного поиска (exploratory testing).

При подготовке системы (подсистемы) к промышленной эксплуатации рекомендуется использовать стандартное промышленное тестирование.

Тестирование бизнес цикла

Используется для контроля качества “Функциональных возможностей” в части “Пригодности”, “Правильности”. В первую очередь применяется для оценки готовности прототипа и оценки полноты функциональных требований.

Подготовка к этому виду тестирования проводится в рамках команды разработки, а само тестирование проводится в присутствии заказчика.

4.3 Конфигурационное тестирование
Используется для контроля качества “Мобильности” в части “Адаптируемости”
Должна быть проверена работоспособность приложения для:

Различных видов ОС:

· WinXP – обязательно(SP2 и старше)

· Win7 – желательно

· Для сервера Windows Server 2008R2 – обязательно.

Различных БД:

· MSSQL 2008 (R2)

· MSSQL 2012

Различных разрешениях монитора рабочего места

· 1280х1024 - обязательно

· 1600х900 - обязательно

· 1024х768 - желательно

· 1680х1050 - желательно

Рекомендованный метод - объединение с функциональным тестированием. В этом случае на каждом рабочем месте тестировщика рекомендуется установка своей конфигурации.