Расчет научно-технического уровня проекта
Количественная оценка уровня качества научно-технического результата рассчитывается по формуле [12]:
,
где Кк – комплексный показатель достигнутого уровня (качества) результата выполненных исследований;
Кнзi – нормированный коэффициент значимости i-го критерия, используемого для оценки (должно выполняться условие 
);
Бдi – достигнутый уровень по i-му критерию;
n – количество критериев (признаков) научной (научно-технической) прогрессивности и полезности результатов, полученных в проекте.
При оценке научной (научно-технической) результативности НИОКР используют различные критерии (признаки). Важнейшими из них являются новизна, значимость для науки и практики, объективность, доказательность, точность. Практически по любой теме в качестве основных целей (цели) и задач приводятся соответствующие характеристики указанных признаков.
Примерные перечни показателей и признаков-критериев в зависимости от сфер и видов научной деятельности, утверждены совместным приказом председателя Государственного комитета по науке и технологиям Республики Беларусь и президентом Национальной академии наук Беларуси от 9 сентября 1997 г. № 84/187 «Об утверждении примерных перечней результатов научной деятельности, показателей и критериев их оценки».
Новизна. Основным содержанием этого признака-критерия является наличие в результатах научной деятельности новых научных знаний (новой научной информации), которые могут характеризоваться значениями в пределах от уже известного до абсолютной новизны.
Высшая степень новизны (абсолютная новизна, принципиально новая научная информация) соответствует в фундаментальных исследованиях открытиям, подтвержденным общественным признанием в форме экспертных заключений высококвалифицированных ученых в соответствующих областях знаний, а в прикладных исследованиях – изобретениям, промышленным образцам, полезным моделям, товарным знакам и другим объектам, на которые получены патенты.
Все остальные степени (уровни) новизны определяются путем соотнесения полученных значений с абсолютной новизной и выражаются с помощью конкретных систем показателей.
Значимость для науки и практики. Основными сущностными чертами этого признака-критерия являются масштабы влияния результатов научных исследований на науку, экономику, социальную сферу, экологию, которые могут характеризоваться:
· в фундаментальных исследованиях – значениями в пределах от распространения уже известных знаний и передового опыта до коренных преобразований в науке, технике, экономике, социальной и иной сфере;
· в прикладных исследованиях – от использования на отдельном предприятии до применения в масштабе всего народного хозяйства;
· в инновационной сфере – от реализации отдельных изделий или мелких партий на местном рынке до выхода на мировой рынок.
Объективность. Сущностью этого критерия является степень обоснованности результата научного исследования, которая может изменяться в пределах от несоответствия до полного соответствия оценки результату. Степень объективности может выявляться посредством учета квалификации и компетентности разработчиков и экспертов и по формам признания результатов.
Доказательность. Сущностью этого признака-критерия являются характер используемой информации, способы ее получения и обработки (использование научной литературы, опыта, экспериментов, испытаний, математических методов). Степень доказательности результатов может изменяться в пределах от неопределенности до возможности воспроизведения и применения на практике. Степень доказательности результатов, как правило, определяется экспертным путем.
Точность. По признаку-критерию точности классифицируют, как правило, результаты прикладных исследований при создании действующих моделей и образцов новой техники и новых технологий, а также результаты исследований, включенных в инновационный процесс.
Основным содержанием этого признака-критерия является соответствие модели (образца) стандартам (техническим условиям, техническому заданию, основным показателям бизнес-плана), которое может характеризоваться степенью несоответствия до полного соответствия.
Таким образом, признаки-критерии выражаются с помощью показателей, отражающих степени проявления (ожидаемый или достигнутый уровень) используемых признаков-критериев при оценке результатов научной деятельности. Показатели могут быть количественными (количество изобретений, патентов, лицензий и т.д.) и качественными (принципиально новая информация, соответствие мировому научно-техническому уровню и т.д.).
Количество и состав показателей определяются также сферами научной деятельности (естественные, технические и общественные науки) и видами научных исследований (фундаментальные, прикладные, включенные в инновационный процесс).
Примерные перечни показателей в разрезе рассмотренных выше универсальных приведены в прил. 7.
Показатели каждого признака-критерия классифицируются по 5 уровням качества. По каждому показателю дается развернутая характеристика и количественное выражение в баллах (от 1 до 5 в виде дискретных величин). Балл, равный 1, соответствует самому низкому уровню (степени проявления) признака-критерия. Чем больше балл, тем выше результат научных исследований по признаку-критерию. Балл, равный 5, соответствует высшей степени проявления признака-критерия.
Для экспертной оценки значимости критериев рекомендуется процедура последовательных сравнений. Сущность ее состоит в выполнении следующей последовательности работ.
1. Эксперт производит ранжирование учитываемых критериев и их важности для оценки уровня данного результата НИОКР.
2. Наиболее важному признаку-критерию дается оценка, равная 1 (вес V1), а остальным – другие оценки между 0 и 1 в порядке их относительной важности (веса Vi).
Затем эксперт определяет, является ли признак-критерий с оценкой 1 более важным, чем комбинация остальных признаков-критериев. Если это так, то он увеличивает оценку V1, чтобы она была больше, чем сумма всех остальных оценок, т.е.
.
Если нет, то эксперт корректирует оценку V1 (если необходимо) так, чтобы она была меньше суммы всех остальных оценок, т.е.
.
3. Далее определяется, является ли второй в ранжированном ряде признак-критерий с оценкой V2, более важным, чем все остальные признаки-критерии, получившие более низкие оценки. Повторяется та же процедура, что и для V1.
4. Процедура последовательных сравнений продолжается до четвертого (в общем случае (n–1)-го) признака-критерия включительно. Таким образом, изложенная здесь процедура состоит в систематической проверке оценок значимости на базе их последовательного сравнения.
5. Полученные количественные оценки значимостей учитываемых критериев нормируются так, чтобы сумма всех коэффициентов значимости по всем критериям была равна 1,0. Для нормирования выполняются расчеты по формуле
, i = 1, 2, …, 5.
Варианты ранжированных наиболее вероятных характеристик результатов по каждому критерию приведены в прил. 5.6. Самому низкому уровню результата присвоен балл, равный 1. Чем выше качество результата по критерию, тем выше балл.
Максимально возможное значение комплексного коэффициента качества (достигнутого уровня результата проекта), взвешенного по всем учитываемым критериям, равно 5, а в общем случае равно Кк ≤ 5). Чем ближе значение Кк к 5, тем выше научная (научно-техническая) результативность проекта.
Если Кк ≥ 3, то можно считать, что полученные в проекте результаты соответствуют современным требованиям. Если Кк < 3, то можно считать, что выполненный проект не удовлетворяет по уровню качества разработок современным требованиям.