Номенклатура показателей качества 10 страница
5. стандартизация оценивания технологических процессов жизненного цикла и характеристик качества программных средств
5.1. Оценивание уровня зрелости процессов жизненного цикла и обеспечения качества программных средств
Качество комплексов программ определяется не только величиной общих затрат на достижение требуемого значения каждой характеристики качества, но и тем, как распределяются и как используются эти ресурсы. Достижение высоких значений характеристик качества программ существенно зависит от качества технологии и инструментальных средств, используемых разработчиками для обеспечения ЖЦ ПС, а также от технологии и средств, применяемых при оценивании достигнутых характеристик качества программ.
Таким образом, можно выделить следующие составляющие технологических затрат в ЖЦ ПС:
· на приобретение или создание технологии и инструментальных средств, применяемых для обеспечения требуемого качества всего ЖЦ ПС;
· на эксплуатацию и непосредственное применение технологии в процессе обеспечения ЖЦ ПС;
· на создание технологии и инструментальных средств для испытаний и оценивания требуемых характеристик качества ПС;
· на выполнение измерений и оценивания достигнутых значений характеристик качества ПС.
Оценивание качества технологической базы ЖЦ позволяет прогнозировать возможное качество ПС и ориентировать заказчика и пользователей при выборе разработчика и поставщика для определенного проекта с требуемыми характеристиками качества. Очевидно, что низкий уровень технологии и средств разработки программ не может обеспечить их высокое качество и достоверное его оценивание. Поэтому определение уровня зрелости технологической поддержки процессов ЖЦ, организационного и инструментального обеспечения качества ПС непосредственно связано с выбором и оцениванием реальных или возможных характеристик качества конкретного комплекса программ.
Значительные достижения в организации, планировании, развитии и применении современных методов и технологии обеспечения крупномасштабных проектов ПС сосредоточены в методологиях и стандартах СММ/CMMI:2003 (Capability Maturity Model – Система и модель для оценки зрелости/ Capability Maturity Model Integration – Интегрированная модель оценивания зрелости программной инженерии) комплекса технологических процессов ЖЦ ПС.
Они основаны на формализации и использовании уровней зрелости технологий поддержки ЖЦ ПС, которые также определяют потенциально возможное качество создаваемых на предприятии комплексов программ. Чем выше уровень зрелости, тем выше статус предприятия среди поставщиков, доверие к его продукции, его конкурентоспособность, а также возможное качество ПС. Тем самым при выборе требований к характеристикам качества ПС можно в соответствующей степени доверять поставщику и предприятию разработчика, что они смогут полностью реализовать требования заказчика.
Эти уровни зрелости характеризуются:
· степенью формализации;
· адекватностью измерения и документирования процессов и продуктов в ЖЦ ПС;
· полнотой применения стандартов и инструментальных средств автоматизации работ;
· наличием системы качества технологических процессов.
Назначение методологии СММ/CMMI – системы и модели оценки зрелости – состоит в предоставлении необходимых общих рекомендаций и инструкций предприятиям, производящим ПС, по выбору стратегии совершенствования качества, процессов и продуктов путем анализа степени их производственной зрелости и оценивания факторов, в наибольшей степени влияющих на качество ЖЦ ПС, а также посредством выделения процессов, требующих модернизации.
В методологии СММ выделены пять уровней зрелости, раскрываемые в стандарте (рис.5.1).
Виды деятельности для высоких уровней зрелости в соответствии с СММ в стандарте делятся на базовые и общие. Базовые виды деятельности являются обязательными и сгруппированы в пять категорий: контрактная; инженерная; управленческая; вспомогательная; организационная (табл.2.2).
Общие виды деятельности приложимы к любому процессу и необходимы для управления им и улучшения характеристик его выполнения. Они включаются в группы и уровни производственной зрелости.
Рис.5.1. Уровни зрелости процессов по методологии CMM
Эти уровни зрелости характеризуются степенью формализации, адекватностью измерения и документирования процессов и продуктов ЖЦ ПС, широтой применения стандартов и инструментальных средств автоматизации работ, наличием и полнотой реализации функций системы обеспечения качества технологических процессов и их результатов.
Описание процессов ЖЦ ПС в СММ сфокусировано на поэтапном определении реально достигаемых результатов и на оценивании качества их выполнения. Качество процессов зависит от технологической среды, в которой они выполняются.
Зрелость процессов – это степень их управляемости, возможность поэтапной количественной оценки качества, контролируемость и эффективность результатов (рис.5.1). Модель зрелости предприятия представляет собой методический нормативный материал, определяющий правила создания и функционирования системы управления ЖЦ ПС, методы и стандарты постепенного повышения культуры и качества производства. Рост зрелости обеспечивает потенциальную возможность возрастания эффективности и согласованности использования процессов создания, сопровождения и оценивания качества компонентов и ПС в целом.
Реальное использование регламентированных процессов предполагает их документирование и поэтапный контроль характеристик качества ПС. На предприятиях, достигших высокого уровня зрелости, формализованные процессы ЖЦ ПС должны принимать статус стандарта, фиксироваться в организационных структурах и определять производственную тактику и стратегию корпоративной культуры производства и системы обеспечения качества ПС.
Уровень 1 – начальный. Массовые разработки проектов ПС характеризуются относительно небольшими объемами программ в несколько тысяч строк, создаваемых несколькими специалистами. Они применяют простейшие неформализованные технологии с использованием типовых инструментальных компонентов операционных систем. Основные процессы ЖЦ ПС на этом уровне не регламентированы, выполняются не совсем упорядоченно и зависят от некоординированных индивидуальных усилий и свойств специалистов. Успех проекта, как правило, зависит от энергичности, таланта и опыта нескольких руководителей и исполнителей. Процессы на первом уровне характеризуются своей непредсказуемостью по срокам в связи с тем, что их состав, назначение и последовательность выполнения могут меняться случайным образом в зависимости от текущей ситуации.
Уровень 2 – управляемый – базовое управление. Для сложных проектов ПС объемом в десятки и сотни тысяч строк, в которых участвуют десятки специалистов разной квалификации, необходимы организация, регламентирование технологии и унификация процессов деятельности каждого из них. Процессы на этом уровне заранее планируются, их выполнение контролируется. Этим достигается предсказуемость результатов и времени выполнения этапов, компонентов и проекта в целом. Основной особенностью уровня является наличие формализованных и документированных процессов управления проектами, которые пригодны для модернизации, а их результаты поддаются количественной оценке. На этом уровне акценты управления сосредоточиваются на предварительном упорядочении и регламентировании процессов создания, сопровождения и оценивания качества ПС. Однако для крупномасштабных проектов ПС с гарантированным качеством, риск провала может оставаться еще достаточно большим.
Уровень 3 – определенный – стандартизация процессов. При высоких требованиях заказчика и пользователей к конкретным характеристикам качества сложного ПС и к выполнению ограничений по использованию ресурсов, необходимо дальнейшее совершенствование и повышение уровня зрелости процессов ЖЦ ПС. Процессы ЖЦ ПС на этом уровне должны быть стандартизированы, и представлять собой единую технологическую систему, обязательную для всех подразделений. На основе единой технологии поддержки и обеспечения качества ЖЦ ПС, для каждого проекта могут разрабатываться дополнительные процессы последовательного оценивания качества продуктов с учетом их особенностей. Описание каждого процесса должно включать условия его выполнения, входные данные, рекомендации стандартов и процедуры выполнения, механизмы проверки качества результатов, выходные данные, условия и документы завершения процессов. В описания процессов включаются сведения об инструментальных средствах, необходимых для их выполнения, роль, ответственность и квалификация специалистов.
Уровень 4 – предсказуемый – количественное управление. Для реализации проектов сложных крупномасштабных ПС в жестко ограниченные сроки и с высоким гарантированным качеством необходимы активные меры для предотвращения и выявления дефектов и ошибок на всех этапах ЖЦ ПС. Управление должно обеспечивать выполнение процессов в соответствии с текущими требованиями к характеристикам качества компонентов и ПС в целом. На этом уровне должна применяться система детального поэтапного оценивания характеристик качества, как технологических процессов ЖЦ, так и самого создаваемого программного продукта и его компонентов. Должны разрабатываться и применяться универсальные методики количественной оценки реализации процессов и их качества. Одновременно с повышением сложности и требований к качеству ПС, следует совершенствовать управление проектами за счет сокращения текущих корректировок и исправлений дефектов при выполнении процессов. Результаты процессов становятся предсказуемыми по срокам и качеству в связи с тем, что они измеряются в ходе их выполнения и реализуются в рамках заданных ресурсных ограничений.
Уровень 5 – оптимизационный – непрерывное совершенствование и улучшение. Дальнейшее последовательное совершенствование и модернизация технологических процессов ЖЦ ПС для повышения качества их выполнения и расширение глубины контроля за их реализацией. Одна из основных целей этого уровня – сокращение проявлений и потерь от случайных дефектов и ошибок путем выявления сильных и слабых сторон используемых процессов. При этом приоритетным является анализ рисков, дефектов и отклонений от заданных требований заказчика. Эти данные также используются для снижения себестоимости ЖЦ особо сложных ПС в результате внедрения новых технологий и инструментария, а также для планирования и осуществления модернизации всех видов процессов. Технологические нововведения, которые могут принести наибольшую выгоду, должны стандартизироваться и адаптироваться в комплексную технологию обеспечения и оценивания системы качества предприятия и его продукции.
В 2002 году американский институт программной инженерии (SEI) опубликовал новую модель CMMI, уточняющую и совершенствующую предшествовавшие модели CMM, а также учитывающую основные требования существующих международных стандартов в области менеджмента ПС. Внедрение этой модели акцентировано на улучшении процессов управления проектами ПС, обеспечении их высокого качества и конкурентоспособности с основной целью – сделать процессы проектов более управляемыми, а результаты – предсказуемыми. Значительное внимание в CMMI уделяется процессам разработки и учету итераций требований заказчиков, их прослеживанию к функциям, компонентам, тестам и документам проекта.
Модель базируется на сохранении концепции пяти уровней зрелости CMM. Первый и пятый уровни отличаются значительной нестабильностью и неопределенностью процессов в различных проектах, поэтому при уточнении и детализации содержания процессов целесообразно ограничиваться тремя основными, средними уровнями (рис.5.1):
второй уровень – формализует базовое управление проектами: управление требованиями; планирование; мониторинг и контроль; измерение и анализ; обеспечение качества; управление конфигурацией;
третий уровень – содержит стандартизацию процессов: разработка требований; интеграция продукта; верификация; валидация; обеспечение стандартного процесса; обучение; интегрированное управление; управление рисками; анализ и разрешение проблем (устранение дефектов);
четвертый уровень – определяет количественное управление качеством процессов; количественное управление всем проектом и ресурсами.
Рекомендуется на каждом более высоком уровне зрелости применять все процессы предыдущих нижних уровней. Упорядочение и оценка используемых процессов в соответствии с уровнями, позволяет устанавливать производственный потенциал предприятий – разработчиков программных продуктов по прогнозируемому качеству результатов их деятельности и возможности сертификации. Это уменьшает зависимость заказчиков и пользователей от возможных недостатков исполнителей проектов и позволяет их выбирать с учетом прогнозируемого качества продуктов.
Практически все перечисленные процессы и требования, конкретизированные на трех выделенных уровнях модели CMMI, соответствуют регламентированным и детализированным в стандартах ISO 9001:2000, ISO/IEC 12207 и основных компонентах профиля стандартов ЖЦ сложных ПС (рис.2.2). Стандарты CMMI и ISO 9001:2000 во многом подобны по структуре и содержанию требований к организации и планированию ЖЦ ПС.
Требованиям в функциональных разделах 4–8 стандарта ISO 9001 могут быть сопоставлены подобные по содержанию разделы в модели CMMI (на рис.5.2 зона перекрытия содержания).
Общность процессов и требований CMMI и ISO 9001 состоит в подобии терминологии, структуры, рекомендуемых процессов управления, планирования, учета доступных ресурсов, оценивания организации специалистов. Некоторые требования в ISO 9001 и тем более положения и рекомендации почти всего профиля стандартов не покрываются содержанием требований в моделях CMMI. Требования ISO 9001 развиваются и детально комментируются процессами их реализации в стандарте ISO 9004:2000 и в представленном профиле, включающем около 40 стандартов (рис.2.2), что не предусмотрено в рекомендациях CMMI.
Таким образом, при практической реализации и обеспечении всего ЖЦ сложных ПС разработчикам и поставщикам целесообразно использовать полный профиль стандартов, а для оценивания заказчиками уровня менеджмента, организационного и технологического обеспечения проектов ПС применять конкретные рекомендации CMMI или ISO 9001:2000. Эти рекомендации могут эффективно использоваться при сертификации качества процессов на предприятиях, обеспечивающих ЖЦ ПС, как альтернатива или наряду с сертификацией по комплексу стандартов менеджмента ISO 9000 в зависимости от особенностей проекта и требований заявителя на сертификацию программного продукта и/или технологии обеспечения его ЖЦ.
 |
Рис.5.2. Общность процессов и требований стандартов и моделей зрелости
5.2. Оценивание жизненного цикла программных средств по стандарту ISO 15504
На базе концепций методологии CMM/CMMI в стандарте ISO 15504:1–9:2003 подробно представлены основы оценивания и аттестации зрелости процессов создания и сопровождения ПС и информационных систем. Стандарт предоставляет базу для аттестации, поддержки и реализации на предприятии процессов ЖЦ ПС, регламентированных стандартом
 |
ISO/IEC 12207 (рис.5.3).
Рис.5.3. Оценивание процессов ЖЦ ПС по стандарту ISO 15504
Стандарт предоставляет структурный подход к аттестации качества процессов ЖЦ ПС, проводящейся предприятием или от его имени с целью:
· выяснения состояния и качества его собственных процессов для их усовершенствования;
· определения пригодности процессов для выполнения требований заказчика к качеству ПС;
· определения качества и пригодности процессов другой организации для определенного договора или класса договоров на ЖЦ ПС.
Аттестация ПС направлена на обеспечение адекватности управления процессами и должна принимать во внимание внешнюю среду, в которой выполняются аттестуемые процессы. Использование аттестации процессов внутри предприятия должно способствовать выработке культуры постоянного совершенствования и повышения характеристик качества ПС, соответствующих механизмов поддержания этой культуры и оптимизации использования ресурсов (рис.5.3). Это приводит к появлению зрелых организаций, максимально восприимчивых к возрастающим требованиям потребителя и рынка, имеющих минимальную стоимость полного ЖЦ своей продукции и, как результат, максимально удовлетворяющих конечного пользователя по характеристикам качества.
Покупателям и заказчикам ПС выгодно использование аттестации процессов ЖЦ при определении зрелости, что:
· уменьшит неопределенность при выборе поставщиков программных комплексов за счет того, что риски, связанные с реальной зрелостью подрядчика, выявляются еще до заключения договора;
· позволит заранее предусмотреть необходимые меры на случай возникновения рискового события;
· предоставит количественные критерии выбора при сопоставлении потребностей бизнеса, требований и оценочной стоимости проекта с реальной зрелостью конкурирующих поставщиков;
· приведет к общему пониманию необходимости использования результатов аттестации для усовершенствования процессов и оценки зрелости при прогнозировании характеристик ЖЦ ПС.
Стандарт ISO 15504 связан с другими международными стандартами. Этот стандарт преследует ту же цель, что и серия стандартов ISO 9000 – формализации процессов сертификации и обеспечение уверенности в системе управления качеством поставщика. Одновременно предоставляется потребителям основа для оценки того, обладают ли потенциальные поставщики производственными возможностями, отвечающими потребностям заказчика.
5.3. Оценивание качества готового программного продукта по стандарту ISO 14598
Методологии и процессам оценивания характеристик качества ПС и их компонентов на различных этапах ЖЦ посвящен базовый международный стандарт ISO 14598:1–6:1998–2000.
В первой части изложена концепция и методология применения стандарта и его частей. Отмечается и иллюстрируется глубокая связь его положений со стандартами ISO/IEC 12207 и ISO 9126:1–4. Описана общая схема процессов оценивания характеристик качества программ (П.7 – П.10 на рис.5.4).
В этом стандарте, так же как и в ISO 9126:1–4, классифицируются характеристики качества: для пользователей; внешние и внутренние метрики, а также представлена схема взаимосвязи этих метрик качества и их атрибутов с процессами оценивания. Для каждой характеристики и атрибута качества рекомендуется формировать шкалу мер с выделением требуемых, допустимых и неудовлетворительных значений.
 |
Рис.5.4. Общая схема процессов оценивания характеристик качества ПС
Во второй части изложена концепция планирования и управления процессами оценивания качества ПС, а также их связь с процессами управления ЖЦ по ISO/IEC 12207. Представлены общие рекомендации по организации, технологии, управлению, инструментальному оснащению и проведению испытаний качества сложных комплексов программ. Для управления проектами предложены методы поддержки процессов выполнения плана оценивания качества и анализа результатов его реализации, а также сохранения и использования отчетов о планировании и управлении качеством. Приводится шаблон плана проведения оценивания характеристик качества программных продуктов.
Третья, четвертая и пятая части стандарта содержат рекомендации для реализации процессов оценивания программного продукта с позиции разных потребителей результатов соответственно:
· разработчиков – оценивание внутренних и внешних характеристик качества;
· оперативных пользователей – измерение внешних метрик и метрик в использовании;
· заказчиков и испытателей – определение метрик в использовании.
Результаты оценки характеристик качества предлагается отражать с позиции: процессов ЖЦ; продуктов и компонентов; функционирования и применения ПС.
Требования к процессам оценивания рекомендуется структурировать на главные (функциональные), организационные, проектные, а также выделять внутренние и внешние метрики качества и их измерение, ориентируясь на субхарактеристики и их атрибуты в соответствующей части стандарта ISO 9126:1–4.
Рекомендуемая технология выполнения оценивания качества программ включает четыре шага:
· формализацию общих требований к организации оценивания и к характеристикам качества проекта ПС;
· специфицирование требований к субхарактеристикам и атрибутам выделяемых характеристик качества и к методам их оценивания;
· планирование и проектирование процессов оценивания выделенных атрибутов качества;
· реализацию процессов оценивания выделенных атрибутов характеристик качества ПС, анализ результатов и обобщение в отчете выводов о качестве программного продукта.
Реализация процессов оценивания должна быть дастаточно автономной и независимой от специалистов и процессов создания ПС и его компонентов, однако, коррелированной с этапами ЖЦ конкретного проекта в соответствии со стандартом ISO/IEC 12207. Характеристики и атрибуты качества рекомендуется использовать в терминах и понятиях стандарта ISO 9126:1–4, а также применять шкалы количественных и/или бальных оценок свойств или уровней качества с несколькими градациями.
В пятой части приводится шаблон типового отчета о результатах выполненных испытаний качества.
Шестая часть посвящена оформлению документации при оценке качества программных модулей и компонентов. Приведен типовой фрагмент рекомендуемой структуры и содержание подразделов для описания и оценки качества модулей.
В целом стандарт ISO 14598 предлагается применять для оценки качества ПС на различных этапах ЖЦ: на предприятиях подразделениям и специалистам по тестированию комплексов программ и их компонентов, поставщикам, потребителям, пользователям и сертификационным организациям.
5.4. Организация и средства для оценивания качества комплексов программ
5.4.1. Модель внешней среды
Характеристики качества функционирования ПС зависят не только от их внутренних свойств, но и от свойств среды, в которой они применяются (ISO 12119). Для сокращения неопределенностей и прямых ошибок при оценивании качества ПС необходимо до начала испытаний определить основные параметры внешней среды, при которых должен функционировать комплекс программ с требуемыми характеристиками при оценивании его качества. Для этого заказчик и разработчик совместно должны структурировать и описать модель внешней среды и ее параметры в среднем типовом режиме применения ПС, а также в наиболее вероятных или критических режимах. Такая модель должна фиксировать характеристики:
· внешних потоков информации, в том числе их распределение по видам источников и возможности дефектов;
· интенсивность и структуру типовых сообщений от пользователей и их необходимую квалификацию;
· возможных негативных и несанкционированных воздействий от внешней среды при применении ПС;
· вычислительных средств, на которых предназначено функционировать ПС с требуемым качеством.
При сопоставлении результатов оценивания характеристик качества с требованиями ТЗ разработчик или поставщик обязан удовлетворять требования только в пределах согласованных параметров модели внешней среды. Оценивание качества ПС за этими пределами должно дополнительно согласовываться испытателями с разработчиком. При этом невыполнение требований может квалифицироваться как их расширение за пределы контракта и не учитываться при оценивании заказчиком характеристик качества ПС.
5.4.2. Испытания программного продукта
Внутренние квалификационные испытания качества ПС (испытания главного конструктора), которые зачастую совмещаются с завершением комплексной отладки, должны оформляться документально. Они являются основанием для предъявления ПС заказчику на квалификационные испытания для завершающего оценивания характеристик качества программного продукта (ISO/IEC 12207, ISO 16326).
Любые испытания ограничены допустимым количеством и объемом проверок, а также длительностью работы комиссии испытателей, поэтому не могут гарантировать абсолютную проверку качества программного продукта. Для повышения достоверности определения и улучшения оценивания характеристик ПС после внутренних испытаний программы целесообразно передавать некоторым пользователям на опытную эксплуатацию в типовых условиях. Это позволяет более глубоко оценить эксплуатационные характеристики созданного комплекса и устранить некоторые дефекты и ошибки. Опытную эксплуатацию целесообразно проводить разработчиками с участием испытателей и некоторых пользователей, назначаемых заказчиком.
Оценивание качества программного продукта при квалификационных приемо-сдаточных испытаниях проводятся аттестованной сертификационной лабораторией или комиссией заказчика, в которой участвует руководитель (главный конструктор) разработки и некоторые ведущие разработчики (ISO 10006:1997, ГОСТ 34.603–92).
Комиссия при испытаниях должна руководствоваться следующими документами:
· утвержденными заказчиком и согласованными с разработчиком контрактом, ТЗ и спецификациями требований на ПС;
· действующими государственными и ведомственными стандартами на ЖЦ и испытания программ, на технологическую и эксплуатационную документацию, а также согласованными для использования с заказчиком стандартами де-факто;
· программой испытаний по всем требованиям контракта, ТЗ и спецификаций;
· методиками испытаний, охватывающими каждый раздел требований ТЗ и спецификаций;
· комплектом эксплуатационной документации на комплекс программ.
Программа испытаний является планом проведения серии экспериментов и должна разрабатываться с позиции минимизации объема тестирования в процессе проведения испытаний для оценивания выполнения требований ТЗ и соответствия предъявленной документации (см. п.5.3).
Программа испытаний, методики их проведения и оценки результатов, разработанные совместно заказчиком и разработчиком, должны быть согласованы и утверждены. Они должны содержать уточнения и детализацию требований ТЗ для данного ПС, гарантировать корректную проверку всех заданных характеристик качества.
Программа испытаний должна содержать следующие четко сформулированные разделы:
· объект испытаний, его назначение и перечень основных документов, определивших его разработку;
· цель испытаний с указанием всех требований контракта, ТЗ и характеристик ПС, подлежащих оцениванию, и ограничений на проведение испытаний;
· собственно программу испытаний, содержащую проверку комплектности и характеристик ПС на соответствие ТЗ, и план тестирования для оценивания по всем разделам ТЗ;
· методики испытаний, однозначно определяющие все понятия проверяемых характеристик, исходные данные, условия и сценарии тестирования, аппаратные и программные средства, используемые для оценивания;
· методики обработки, оценивания и обобщения результатов тестирования по каждому разделу программы испытаний.
Большой объем разнородных данных, получаемых при испытаниях крупномасштабных ПС, и разнообразие возможных способов их обработки, интерпретации и оценивания приводят к тому, что важнейшими факторами достоверного оценивания качества становятся методики обработки и оценки результатов, а также протоколы проверки по пунктам программы испытаний.
В соответствии с методиками испытаний средства автоматизации должны обеспечивать полноту и необходимую достоверность проверок характеристик по каждому разделу методик. Результаты испытаний фиксируются в протоколах (ISO 12119:1994), которые обычно содержат следующие разделы:
· идентификация тестируемого ПС или компонента;
· назначение тестирования и раздел требований ТЗ, по которому проводились испытания;
· использованные исходные документы;
· указания методик, в соответствии с которыми проводились испытания, обработка и оценивание результатов;
· план, условия и сценарии тестирования и характеристики исходных данных;
· обобщенные результаты испытаний с оценкой полученных характеристик, их соответствия требованиям ТЗ и другим руководящим документам, а также технической документации;
· перечень и содержание несоответствий результатов требованиям и документам;
· выводы о результатах испытаний и соответствии характеристик созданного ПС определенному разделу ТЗ и эксплуатационной документации.
Протоколы по всей программе испытаний обобщаются в акте, в результате чего делается заключение о степени соответствия ПС требованиям заказчика и о завершении работы с положительным или отрицательным итогом.
Наиболее полным и разносторонним испытаниям должны подвергаться первая базовая версия ПС. При испытаниях очередных модернизированных версий ПС возможны сокращения объемов тестирования повторно используемых компонентов. Однако комплексные и завершающие испытания каждой новой версии ПС проводятся в полном объеме, гарантирующем проверку выполнения всех требований измененного ТЗ.