Обзор сред автоматизации тестирования.
Рассмотрим некоторые понятия, которые используются в современных средах автоматизации тестирования.
Требование - это формализованное описание свойств системы.
Виды требований:
Бизнес-требования
Функциональные требования
Нефункциональные требования
Тестовые требования
Тестовое требование - это формализованное описание свойств системы, которые необходимо протестировать.
Критерии к тестовым требованиям:
• Корректность;
• Недвусмысленность;
• Полнота;
• Непротиворечивость;
• Упорядоченность по важности и стабильности;
• Проверяемость (верифицируемость или тестопригодность);
• Модифицируемость;
• Трассируемость;
• Понятность.
Тестовый сценарий - это последовательность ДЕЙСТВИЙ для достижения фактического результата.
Состав тестового сценария
• Название
• Предварительные условия
• Необходимые действия
• Ожидаемый результат
• Полученные результаты
• Отметка о прохождении
• Сценарий должен быть прост и понятен всем: неопытному тестировщику, программисту, бизнес-пользователю.
Тестовый набор - набор тестов, которые принадлежат к одной функциональности.
Дефект - отклонение от фактического результата от ожидаемого результата.
Минимальные данные о дефекте:
• краткое описание
• дата
• автор (обнаруживший дефект)
• ссылка на систему и ее версию (build)
• приоритет (Priority)
• серьезность проблемы (Severity)
• описание (предусловия, шаги для воспроизведения, ожидаемый результат, действительный результат)
• состояние, статус
Классификация по типу: Ошибки в функциональности
• ошибки эргономики модуля или бизнес-процесса
• ошибки документирования
• ошибки производительности
• ошибки локализации
• ошибки совместимости
• ошибки безопасности
Степени критичности:
• Максимальная критичность
• Высокая критичность
• Нормальная критичность
• Низкая критичность
Жизненный цикл дефектов.
|
Система трекинга багов — это инфраструктура, позволяющая:
• создавать,
• хранить,
• просматривать и
• модифицировать информацию
Каждый баг, занесенный в СТБ, представляет собой виртуальную учетную карточку.
Обычно
Рассмотрим несколько известных баг-трекинговых систем:
• BUGS
• Bugzilla
• JIRA
• Trac
• Track Studio
• Продукты HP
BUGS - the Bug Genie
www.thebuggenie.com
Это свободная система отслеживания ошибок. Для управления предоставляется веб-интерфейс. Система кроссплатформенная, написана на PHP.
BUGS предоставляет базовый набор инструментов для регистрации ошибок, расстановки приоритетов, формировании задач для разработчиков.
Система позволяет:
• оповещать всех, кто может быть связан с ошибкой.
• отслеживать ошибки в зависимости от версии и конфигурации ПО.
• сохранять ошибки в единую БД, представляющую собой базу знаний об ошибках в проекте. Далее по этой БД можно формировать подробные отчеты.
• устанавливать blocker bugs - ошибки, которые могут блокировать выпуск релиза.
В последних версиях разработчики BUGS улучшили формат отчетов. Что особенно приятно: BUGS обладает user-friendly интерфейсом. Для работы с этой BTS вам не потребуется копаться в горах мануалов.
Недостаток BUGS - отсутствие распределенной многопользовательской работы. Невозможно работать удаленно с несколькими серверами или несколькими БД. В силу этого можно рекомендовать, BUGS для небольших команд разработчиков.
Bugzilla
www.bugzilla.org
Bugzilla - это одна из наиболее популярных систем багтрэкинга. Bugzilla является свободным ПО и распространяется по Mozilla Public License.
Bugzilla пользуются более 800 (!) компаний по всему миру.
Система позволяет:
• отслеживать ошибки и изменения кода
общаться с членами команды
• размещать и описывать патчи
• производить контроль качества продуктов
Система предоставляет отличную базу знаний для ошибок, по которой можно весьма легко формировать отчеты. Bugzilla имеет стандартный веб- интерфейс.
Bugzilla можно интегрировать с другими программами, для управления проектами:
• CVS
• Perforce SCM
• Subversion
• Tinderbox/Tinderbox2
К недостаткам Bugzilla можно отнести сложность установки, зависимость от модулей Perl, сложность администрирования и несколько неприглядный интерфейс
JIRA
www. atlassian. com/software/j ira/
JIRA обладает на сегодняшний день наиболее широкой функциональностью среди систем отслеживания ошибок. В целом JIRA повторяет архитектуру Bugzilla.
Процесс баг трэкинга следующий:
• Создаваясь, сообщение обязательно имеет Assignie - ответственного, адресата
• Каждому Issue можно поставить приоритет важности, адресовать на себя, добавить комментарий.
• Сообщения можно установить статус IN PROGRESS - в начале работы над ним, и соответственно указав, когда работы над ним закончены.
Аккаунты пользователей управляются как администратором, так и самим пользователем. Пользователи могут быть объединены в группы. При чём как отдельному пользователю так и группе можно запретить/разрешить одно вполне конкретное действие.
JIRA идеально подходит для крупных проектов, с большим штатом тестировщиков. Используя JIRA можно работать под различными ОС, создавать и вести «схемы безопасности» для каждого из проектов.
Эта BTS обладает одним существенным недостатком: она платная.
Trac
trac.edgewall.org
Trac - это открытое ПО, являющиеся одновременно инструментом для управления проектом и системой отслеживания ошибок.
Интерфейс Trac фактически представляет wiki. Система использует в работе SVN репозиторий, так что использовать его имеет смысл только вместе с svn.
Возможности системы:
• разделение проекта на этапы (milestones)
• контроль выполнения (roadmap)
• все изменения по проекту заносятся на временную шкалу (timeline)
• поддержка RSS
Отчеты об ошибках можно заносить в тикеты. Среди прочего Trac позволяет: учет ошибок, замечаний, пожеланий с возможностью фильтрации и занесение соответственно в milestone, roadmap.
Trac является кроссплатформенной системой. Эту систему можно рекомендовать широкому кругу разработчиков, которые хотят внедрить комплексную систему управления проектами, включающую отслеживание ошибок.
Track Studio является отечественным продуктом и разработан российской компанией «ГРАН»
В отличие от JIRA, оптимизированной для работы с внешними клиентами, Track Studio позволяет эффективно организовать работу внутри компании (например, обработку обращений клиентов). Track Studio позволяет эффективно управлять тысячами проектов: проекты можно организовывать в иерархию, можно делать поиск проектов по параметрам, к проектам можно прикладывать файлы, для проектов можно создавать пользовательские поля (дата релиза, клиент, номер договора) и многое другое. Одно из преимуществ состоит в том, что Track Studio хорошо поддерживает БД Oracle.
В Track Studio сложно осуществлять интеграцию с другими средами разработки. Кроме того у программы достаточно сложный интерфейс.
Цены на Track Studio начинаются от $500, что является существенным преимуществом по сравнению с JIRA.
HP LoadRunner, HP QuickTest Professional, HP Quality Center
На рынке ПО для тестировщиков также существует и решение от НР(Компания HP совершила крупнейшую сделку по приобретению Mercury Interactive Corp., в результате которой их детище - HP Software - интегрирует возможности Mercury в сфере управления и тестирования приложений с обширным портфелем решений HP для управления ИТ). В состав ПО входит
• HP Quality Center
• HP QuickTest Professional
• HP LoadRunner
HP Quality Center представляет собой законченную интегрированную систему для обеспечения управления процессами контроля качества на всех этапах разработки ПО.
В HP Quality Center включены средства организации и проведения тестирования (ручного).
HP Quality Center содержит пять модулей, тесно интегрированных между собой и обеспечивающих непрерывность процесса тестирования:
1. Management — в данном модуле
регистрируются релизы программного обеспечения, подлежащие тестированию. Сущность «Release» может иметь дочернюю сущность «Cycle», означающую цикл тестирования.
2. Requirements management — в данном модуле описываются требования. Как правило, каждому требованию
соответствует одна сущность «Requirement». Допускается многократная вложенность требований, а также различные типы требований (в том числе, создаваемые пользователями).
3. Test Plan — в данном модуле создаются планы тестирования. Есть возможность генерации иерархии тестов напрямую из иерархии требований. Тесты могут быть описаны вплоть до шагов, в которых определяется ожидаемое состояние системы.
4. Test Lab — в данном модуле отдельные тесты объединяются в последовательности, задаются условия запуска тестов в зависимости от успешности запуска предыдущих, создаётся расписание запуска тестов, осуществляется запуск тестов вручную.
5. Defects management — данный модуль представляет собой систему отслеживания ошибок, интегрированную со всеми другими модулями. То есть, возможно зарегистрировать ошибку как в требовании (модуль Requirements), так и в тесте или шаге теста (Test Plan), так и в конкретном запуске теста (Test Lab).
HP QuickTest Professional (QTP) — один из ведущих инструментов автоматизации функционального тестирования, является флагманским продуктом компании HP в своей линейке. Для разработки автоматизированных тестов QTP использует язык VBScript, и поддерживает следующие технологии: Windows® Presentation Foundation, Web services, Macromedia Flex, Ajax, Delphi, .NET, J2EEWeb, Visual Basic, ActiveX, Java, Oracle, SAP Solution, TE, PowerBuilder, Siebel, PeopleSoft, VisualAge, Stingray.
Компания HP рекомендует использование QTP в интеграции с HP Quality Center для установления связи тестов с требованиями, хранения тестов, управления их запуском, формирования отчётов.
В отличие от ряда других продуктов для автоматизации функционального тестирования (например, IBM Rational Robot), QTP позволяет контролировать генерируемый текст скрипта в процессе записи действий пользователя, за счёт чего снижается время, необходимое для разработки теста.
В QTP информация обо всех объектах экранного интерфейса сохраняется в специальный репозиторий (Object Repository), что новому пользователю может показаться непрозрачным. Умолчания по выбору существенных свойств каждого типа объектов экранного интерфейса могут быть настроены отдельно, например, окно может определяться заголовком, а столбец таблицы — шириной и порядковым номером в таблице.
Существует встроенный механизм сравнения текстовых данных с использованием регулярных выражений.
Так же существует возможность записи теста, и последуюшим воспроизведением, редактированием как уже было сказано на языке VBScript.
HP LoadRunner — утилита для автоматизированного нагрузочного тестирования. Программа может выполнять как тестирование различных приложений, так и тестирование сайтов различного уровня сложности. Подключая виртуальных пользователей выполняющих различные скрипты (действия), по различным сценариям. Программа имеет соответствующие наборы инструментов для проведения тестирования. Так же в состав HP LoadRunner входит набор инструментов для работы по различным протоколам с приложением (удаленно, через прокси-сервер и т.п.)
HP LoadRunner состоит из следующих приложений:
■ Virtual User Generator (VuGen) — служит для разработки нагрузочных скриптов.
■ Load Generator — служит для генерации нагрузки (генерации виртуальных пользователей).
■ Controller — служит для разработки и запуска сценариев нагрузки.
■ Analysis — служит для анализа результатов нагрузочного тестирования.
Основной недостаток у такого решения - цена.
Выводы
Мы рассмотрели несколько решений для автоматизации процесса тестирования (и автоматизированного тестирования). Отметим, что тестирование проектов можно и проводить и без помощи специальных средств(например, редактировать тестовые случаи в блокноте, а тест - сьюиты хранить в папках). Но это неудобно для тестирования больших проектов, при работе а команде более двух человек.
Все рассмотренные продукты предназначены для тестирования функциональности(регрессионное тестирование, тестирование нового функционала), так же выполняют коммуникативную функию(тестировщик - разработчик).
Так же решения, такие как HP Software предполагают взаимодействие разработчиков и различных тестировщиков обычных, ручных(не автоматических, которые обычно тестируют функционал(регрессионное тестирование, тестирование нового функционала)), автоматизаторов тестирования(разрабатывают автоматизированные скрипты), нагрузочных, тестировщиков и, наконец, самих разработчиков.
Выводы
В этой работе были рассмотрены основные виды тестирования, классификация видов тестирования, история тестирования, некоторые инструменты для тестирования
Литература:
1) wikipedia.ru
2) Р. Савин - тестированиеdot-com М. «Дело» 2007. 312
3) М. Маран - Лекции МЭИ.