Лекція 2. Теоретичні основи оцінювання соціальної роботи

У міжнародній практиці оцінці проблем ефективності конкретних соціальних проектів приділяється велике значення. Найбільш загальне визначення стосовно оцінювання програми подано в Оксфордському словнику: “Оцінити – значить встановити значення або якість програми» [36]. Відділ пропаганди здорового способу життя Міністерства охорони здоров’я провінції Онтаріо (Канада) схвалив таке визначення: «Оцінювання програми - це систематичне збирання, аналіз та подання звіту про інформацію щодо програми задля прийняття рішень про її подальший розвиток» [39].

Американський спеціаліст з оцінки соціальних проектів Т.Тімрек зазначає: «...успішний проект, що має перспективи, слід повсякчас перевіряти, щоб упевнитися, що він на правильному шляху і що потрібні удосконалення робляться» [33]. Взагалі "оцінюванням називається систематична оцінка операцій та\або результатів програми чи політики у порівнянні з комплексом явних та неявних стандартів, з метою вдосконалення програми чи політики" [3].

Оцінювання соціальних послуг, програм, проектів проводяться з метою визначення того, наскільки вони є ефективними. Частіше це робиться для подальшого якісного поліпшення суті соціального проекту, програми, іншими словами, для того, щоб визначити, що можна зробити для поліпшення її ефективності, і що треба змінити. На думку американської вченої Керол Г. Вайс [3] зміст поняття оцінювання має п'ять ключових елементів. Перший з них - систематична оцінка, акцент на систематичності свідчить про науково-дослідницьку природу процедур оцінювання. Другий і третій елементи визначають, на що саме спрямоване дослідження: на операції та результати програми. Четвертим елементом визначення є стандарти (норми), згідно з якими здійснюється порівняння. П'ятий елемент - це мета, задля досягнення якої провадиться оцінювання: вдосконалення програми. Ми вважаємо, що оцінювання - це практичний інструмент, розроблений для того, щоб поліпшити функціонування соціального проекту, програми або перерозподілити ресурси на користь кращих програм.

Існують різні завдання оцінювання, які залежать від характеру соціальної роботи, джерел її фінансування, ступеня актуальності, стадії впровадження. Науковці відрізняють таки види оцінювання [3, 10].

1. Оцінювання ефективності конкретного соціального проекту.

Аргументація ефективності програми є необхідною на практиці, коли виникає потреба у підтвердженні доцільності її продовження чи поширення. Наприклад, у місті створені дружні для молоді клініки, плануються поширювати цю форму медичних послуг. Для прийняття рішення щодо відкриття нових дружніх для молоді клініки потребується підтвердження ефективності тих, яки вже функціонують.

2. Збір та аналіз даних для звітності перед засновниками, спонсорами, донорами тощо.

На сьогодні така форма оцінювання найбільш поширена в Україні. Як правило, це пов’язано з отриманням грантів різних міжнародних організацій, у практиці яких обов’язково враховується етап оцінювання або моніторинг програми.

3. Пошук шляхів покращання проекту.

Така форма оцінювання в основному проводиться самими організаторами проекту. Самі соціальні працівники мають на меті покращити свою роботу. Для цього провадиться оцінювання і визначаються шляхи удосконалення роботи.

4. Порівняння різних проектів з метою визначення кращого.

Таке оцінювання відбувається здебільшого під час тендеру на фінансування проектів різними організаціями.

5. Оцінка економічної ефективності проектів.

Це новий для України вид оцінювання проектів, який поєднує економічний аналіз та аналіз результатів і досягнень. Проведення такої оцінки потребує ретельного збору інформації щодо всіх ресурсів на різних етапах реалізації проекту. Накопичення досвіду з проведення оцінки економічної ефективності дозволить шукати економічно оптимальні соціальні стратегії, орієнтовані на досягнення максимальних результатів.

6. Оцінювання у процесі надання соціальної допомоги клієнтам.

Цій вид оцінювання є складової технології надання індивідуальних послуг клієнту чи клієнтам, якщо ця допомога певної категорії об’єднується в роботу спеціалізованої соціальної служби.

В даної книзі автори фокусують свою увагу на оцінюванні у процесі надання соціальної допомоги клієнтам та оцінюванні ефективності конкретних соціальних проектів, що орієнтовані на надання послуг.

Існують три види оцінювання соціальної роботи – формуюче або базове оцінювання, процесуальне чи поточне, за результатами. Вид оцінювання залежить від того, коли проводиться оцінювання, та передбачає різний характер зібраної інформації та широкий спектр методів її збирання.

І. Формуюче (базове) оцінювання.Такий вид оцінювання зосереджується на соціальних проектах[1] у стадії розвитку. Воно застосовується при плануванні етапів проекту, щоб бути упевненим, що він розвивається з урахуванням інтересів, можливостей учасників, ефективно, з відповідними матеріалами та процедурами.

Формуюче оцінювання передбачає:

а) вивчення ситуації - етап, необхідний для розробки будь-якого соціального проекту і який забезпечує його подальшу ефективність, а іноді й доцільність;

б) можливість оцінювання проекту. Оцінювання будь-якого соціального проекту передбачає наявність критеріїв, за якими воно здійснюється. Більш розробленими є критерії для оцінювання результатів проектів, разом з тим, процес реалізації будь-якого проекту оцінювати значно важче. Існують проекти, діяльність яких орієнтована на процес. Так, діяльність окремих центрів соціальних служб для сім’ї, дітей і молоді багато в чому орієнтована на масові заходи. Їх мета - привернути увагу громадськості і тих, хто приймає рішення, до тієї чи іншої проблеми. Оцінити ж вплив заходу безпосередньо на конкретну молоду людину досить важко;

в) вивчення логічної моделі програми (завдань, методів досягнення мети, шляхів реалізації тощо). Оцінювання можливе лише за умови чіткого визначення мети проекту. У кожному проекті мають бути чітко сформульовані завдання. Проте під час реалізації проекту тактичні завдання можуть змінюватися. Дуже важливо також правильно вибрати метод реалізації проекту стосовно конкретного об’єкта.

Ефективність соціальної роботи багато в чому залежить від правильності вибору шляхів її реалізації. Наприклад, соціальні програми, спрямовані на поширення інформації про застосування контрацептивних засобів, досить ефективні для молоді. Але використовувати їх треба дуже обережно насамперед у роботі з підлітковою аудиторією, щоб не виник підвищений інтерес до сексуального життя.

г) аналіз досвіду реалізації аналогічних проектів.Для вибору оптимальних складових соціальної програми дуже важливо використовувати аналіз результатів, досягнутих під час реалізації аналогічних проектів. Це дає змогу досягти більшої ефективності при мінімальних витратах.

ІІ. Процесуальне (поточне) оцінювання.Такий видоцінювання соціальних проектів проводиться під час їх реалізації. Метою такого оцінювання є вивчення ефективності застосованих конкретних методів соціальної роботи, результативність проектів, визначення необхідності змін та шляхів поліпшення діяльності проекту. У процесуальному оцінюванні використовується аналіз кількісних характеристик ефективності проекту і потреб клієнтів – користувачів соціальних послуг. Процесуальне оцінювання є більш ефективним за умови попереднього проведення формуючого оцінювання.

Під час поточного оцінювання ефективності проекту можуть бути використані як показники змін у поведінці підлітків, так і показники їхньої обізнаності щодо досліджуваної проблеми, ставлення до неї тощо. Процесуальне оцінювання передбачає кількісні характеристики послуг і характеристики клієнтів, які включені до програми; вивчення механізмів надання послуг; визначення якості послуг, що надаються; відпрацювання методики оцінювання.

Поточне оцінювання передбачає вивчення всіх складових та широкого кола соціальних акторів, які мають відношення до реалізації проекту, а також взаємодії елементів: “виконавці” – “клієнти” – “оточуюче середовище” – “ті, хто приймає рішення”.

ІІІ. Оцінювання за результатами.Оцінювання за результатами застосовується щодо програм, які вже активно реалізуються і пройшли певні етапи становлення або уже завершені. Вивчаються як передбачені, так і непередбачені результати програми. Шукаються відповіді на запитання: “Чи дала програма щось нове?” (оцінка досягнень) і “Чи досягнуто наміченої мета і завдань за програмою?” (оцінка якісних наслідків). Оцінювання якісних наслідків може стосуватися як короткострокових якісних наслідків, термінових змін індивідів чи учасників, скажімо, ступеня участі, поінформованості, знань або поведінки підлітків, так і довготермінових (що іноді відносяться до оцінювання досягнень), які мають триваліший вплив програми на громаду.

Оцінюванням якісних наслідків може бути й аналіз результатів з огляду на витрати програми (оцінювання ефективності). Оцінювання за результатами включає: зміни у ставленні, знаннях чи поведінці підлітків; кількість учасників чи тих, кому надані послуги; аналіз ефективності; аналіз рентабельності; зміни в політиці; оцінку досягнень.

Оцінювання за результатами передбачає такі аспекти:

а) оцінка змін щодо ставлення до проблеми, знань чи поведінки.

Наприклад, у процесі реалізації проекту по боротьбі з палінням значно збільшилася кількість підлітків - учасників проекту, які свідомо проявляють негативне ставлення до паління. Крім того, підлітки розширили свої знання про шкідливість паління. І, нарешті, змінилася їхня поведінка, що проявляється у тому, що певна кількість (хоч і зовсім невелика) кинули палити, інші намагаються палити набагато менше, а у тих, що не палили - не виникає бажання спробувати. Це найважливіший показник ефективності проекту, але досягти його дуже важко у разі відсутності змін у ставленні підлітків до проблеми та у їхніх знаннях.

б) кількісна оцінка учасників проекту чи тих, кому надані послуги.Участь у реалізації соціальних проектів відбувається на добровільних засадах, тому кількість учасників, безперечно, є одним із позитивних показників ефективності проекту. Наприклад, якщо на початку у роботі проекту «Молодіжні клуби-кафе» брали участь 22 особи, а у травні наступного року залишилося 14, то, безумовно, це негативний показник ефективності проекту. У випадку якщо кількість молодих людей – членів клубу не змінилася або збільшилася, мова може йти про позитивний показник ефективності проекту.

в) аналіз ефективності. Висновки щодо кількісних та якісних змін показників ефективності реалізації проекту повинні ґрунтуватися на наукових методах вимірювання (анкетування, спостереження, фокус-групи, глибинні інтерв’ю). Аналіз ефективності передбачає відповіді на запитання: чи досягнуті поставлені цілі, які були перешкоди, які позитивні наслідки матиме реалізація проекту.

г) аналіз рентабельності. Цей вид оцінювання стосується лише вигоди програми у грошовому вираженні. Вигода оцінюється з урахуванням досягнень або якісних результатів, у тому числі їх грошової вартості. Такий вид аналізу має допомогти організаторам вирішити, наскільки отримана вигода відповідає витратам на програму, чи, можливо, існують дешевші програми, що можуть дати таку саму або навіть більшу вигоду.

д) аналіз змін у політиці.Інколи реалізація конкретних соціальних проектів може привести до змін у соціальній політиці. Це можна простежити на такому прикладі: проведення навчальних семінарів для заступників голів з гуманітарних питань м. Києва виявило високу зацікавленість і розуміння проблем підлітків та молоді. І як наслідок - ініціювання та практична підтримка соціальних проектів, пов’язаних із здоровим способом життя підлітків та молоді.

е) оцінка досягнень.Оцінювання досягнень за змістом передбачає дещо більше, ніж якісні результати. Тут визначаються не лише якість дії програми, а й те, які зміни у підлітках, соціумі вони спричинили, який досвід набуто для майбутньої роботи.

Однією з вимог щодо оцінюваних проектів є стабільність програм, методик і об’єкта. Під стабільністю об’єкта мається на увазі наявність одних і тих же осіб, на яких спрямований проект. Але у випадку непостійного об’єкта важливі ті ж самі характеристики об’єкта, наприклад підлітки конкретного мікрорайону чи групи неформальних і формальних об’єднань тощо. При цьому стабільність проекту (методик і об’єкта) не суперечить процесу розвитку та зміни проекту, а наголошує на стабільності процесу, дій у часі, на безперервності та систематичності реалізації.

Для отримання об’єктивної та всебічної оцінки важливим є застосування як внутрішньої так і зовнішньої оцінок. Внутрішня оцінка передбачає, що ефективність дії проекту оцінюють самі його учасники. Зовнішня оцінка проводиться спеціалістами та експертами, незалежними від виконавців проекту. У внутрішній та зовнішній оцінці принципово змінюється роль оцінюючих.

Внутрішня оцінка. Внутрішня оцінка програми, яка має бути постійним процесом рефлексії щодо впровадження та реалізації проекту. Внутрішня оцінка характеризується тим, що її здійснюють учасники команди, яка реалізує соціальний проект. При цьому оцінка спрямована на удосконалення процесу реалізації. Методи дослідження найрізноманітніші: фокус-групи, глибіні інтерв’ю, анкетування тощо. Досвід показує, що процес внутрішньої оцінки підвищує відповідальність керівників за процес та підсумки оцінки.

Зовнішня оцінка характеризується тим, що її проводять спеціалісти в галузі науково-дослідної роботи, які займають незалежну позицію щодо керівників програми. Це забезпечує об’єктивний погляд на оцінку ефективності програми. Методика проведення зовнішньої оцінки залежить від мети оцінювання, характеристики проекту, етапу реалізації проекту. При зовнішній оцінці використовуються, як правило, точні методи дослідження: анкетування, кількісна база даних тощо.

 

[1] Соціальні послуги клієнту автори розглядають як соціальний проект, об’єктом якого є конкретна особо чи група осіб