Оценка эффективности НКО: методология и результаты исследования

Андрей Мозолин

Оценка эффективности НКО: методология и результаты исследования

Методология исследования

ОБЩИЕ ПОЛОЖЕНИЯ

ЦЕЛЬ И ГЕОГРАФИЯ ПРОЕКТА

Цель проекта – определить адекватные современной российской ситуации критерии оценки социально-экономической эффективности некоммерческих организаций, работающих в сфере профилактики потребления ПАВ и реабилитации лиц, страдающих химическими зависимостями (далее – НКО).

1. Исследование реально существующей практики оценки НКО своей социально-экономической эффективности.

2. Исследование моделей оценки социально-экономической эффективности НКО различными общественными группами:

– представителями власти;

– представителями СМИ;

– представителями бизнеса;

– получателями услуг НКО;

– лидерами НКО;

– экспертами в сфере деятельности НКО.

3. Анализ отечественных и зарубежных моделей оценки социально-экономической эффективности НКО в аспекте применимости в современной российской практике.

4. Разработка проекта методики оценки социально-экономической эффективности НКО в современной российской ситуации и процесса ее публичной презентации.

5. Распространение информации о результатах проекта для всех заинтересованных сторон с целью дальнейшей апробации методики.

География проекта включает в себя Свердловскую, Тюменскую, Пермскую и Челябинскую области. В рамках исследования будут выяснены мнения различных групп общественности (объект) относительно критериев оценки эффективности деятельности НКО (предмет). Поскольку перед нами стоит задача разработки комплексной методики, нам необходимо учитывать мнение всех представителей всех социальных групп, прямо или опосредованно взаимодействующих с некоммерческими организациями.

В нашем проекте, при определении набора данных групп, мы исходили из следующей логики. В связи с тем, что основной характеристикой выступает качество взаимодействия, то здесь, первую очередь, нас интересовало мнение тех, с кем взаимодействуют – это лидеры и сотрудники НКО.

Во-вторых, это получатели услуг, предоставляемых некоммерческими организациями. Поскольку деятельность НКО взаимосвязана со всеми субъектами гражданского общества, то следующими объектами нашего исследования являются представители органов власти различного уровня, бизнеса и средств массовой информации. Естественно, что, в конечном счете, работа НКО должна находить резонанс в том социуме, где организации осуществляют свою работу, то в качестве отдельного объекта мы выделили изучение содержания общественного мнения обычных людей, проживающих на территории выбранных нами областей.

Последней группой, чье мнение нам также необходимо для получения комплексной оценки – это представители экспертного сообщества. В данном случае, на наш взгляд, целесообразно привлечь в качестве экспертов членов Общественных Палат субъектов федерации.

В заключении, нам хотелось бы прояснить еще ряд аспектов концепции нашего исследования.

1.) При осуществлении проекта мы будем опираться на деятельность реабилитационных центров, находящихся на территории указанных выше областей. На сегодняшний день их число составляет: Свердловская область – 10, Тюменская область -10, Челябинская область – 10 и Пермская область – 5. На наш взгляд, такой выбор обоснован тем, что позволяет выявить специфику не только собственно деятельности НКО, но и учесть особенности различных регионов.

2.) Поскольку предмет исследования является одинаковым для всех опрошенных (принципиальная разница состоит только в том, что каждая группа респондентов формулирует критерии оценки работы НКО исходя из уровня своего взаимодействия), ниже мы опишем только объекты и методы сбора информации по каждому из них.

КОНТРОЛЬ ДОСТИЖЕНИЯ ПОСТАВЛЕННЫХ ЦЕЛЕЙ

В данном проекте нами будут использованы количественные и качественные методы сбора информации. Это обусловлено как спецификой объектов исследования, так и глубиной данных, которые нам необходимо получить.

Обработка и контроль результатов

Обработка анкет по количественным исследованиям осуществляется в программе Vortex 7, позволяющей обмениваться исходными данными с Microsoft Excel; SPSS; ДА; Microsoft ACCESS. Все результаты анализа в виде таблиц, текста, графиков и диаграмм могут быть перенесены в Microsoft Word или скопированы в Microsoft Excel или другие приложения Windows.

Контроль процесса обработки данных осуществляется научным руководителем проекта на основе выборочной проверки качества работы операторов ввода данных. Итоговыми параметрами проверки является электронная база данных по каждому исследованию, полностью отражающая характеристики выборочных совокупностей, что обеспечивается 100% внесением данных всех анкет. Базы данных сохраняются в форматах SPSS.

Методика обработки результатов качественных исследований включает в себя несколько основных этапов:

1. Транскрибирование аудио- и видеозаписей экспертных интервью и фокус групп.

2. Формирование списка кодировочных категорий.

3. Группировка данных.

Верификация результатов

Верификация результатов осуществляется следующими процедурами:

1. проведением «пилотажного» исследования для тестирования инструмента по каждому исследованию. В рамках «пилотажа» по каждому объекту будет опрошено до 15 респондентов. По итогам «пилотажных» исследований подготавливается методологическое заключение об инструменте и, при необходимости, проводится его корректировка.

2. включением в анкеты вопросов (не более 2-х), по которым уже проводились опросы на данных территориях. Источники вопросов: открытые данные на сайтах ВЦИОМа и Госкомстата. Результаты, полученные в ходе опросов не должны отличаться от результатов ВЦИОМ и/или Госкомстата больше статистической ошибки +5%.

Характеристика итоговых результатов

Итогом исследований являются аналитические отчеты, отражающие в себе структуру параметров оценки эффективности деятельности некоммерческих организаций с точки зрения перечисленных выше групп, взаимодействующих с НКО.

ТЕОРЕТИЧЕСКАЯ ОСНОВА ПРОЕКТА

Центральная методологическая проблема, как уже говорилось ранее, состоит в отсутствии адекватных подходов для оценки эффективности НКО. В коммерческом секторе основным критерием подобной оценки является рентабельность (прибыльность) компании, что не применимо для НКО, осуществляющих коммерческую деятельность только для достижения уставных целей.

Тем не менее, функционирование и коммерческих компаний, и НКО во многом строится на основе общих принципов, что позволит нам использовать уже имеющиеся инструменты (напр., SWOT-анализ) для достижения поставленной цели. К сожалению, это не приближает нас к решению ключевой проблемы – интерпретации «эффективности» для НКО.

Анализ различных подходов к диагностике эффективности организаций особых результатов не дал, хотя позволил нам определиться с теоретическими рамками нашей работы.

Цель любой НКО состоит в решении социальной проблемы. Это предполагает, что организация, используя внутренний потенциал, воздействует на свою социальную среду для достижения (краткосрочных и долгосрочных) последствий, ведущих к исчезновению проблемы. При этом, возможность реализации данной цели будет зависеть как от внутренней устойчивости организации, так и от наличия сбалансированной системы ее отношений с внешней средой. При этом, сбалансированность проявляется в адекватной реакции менеджмента организации на постоянное изменение внешнего окружения.

Насколько оптимально организация управляет внутренними элементами, насколько гибко реагирует на внешнее окружение в решении социальных проблем, настолько она устойчива и эффективна.

Во многом описанная логика совпадает с концепцией устойчивого развития, под которым «понимается оптимизация возможных последствий (краткосрочных и долгосрочных) деятельности организации как для собственных сотрудников, так в широкой социальной среде».1

Данный подход позволяет нам еще больше конкретизировать предметное поле исследования и (на самом общем уровне) трактовать эффективность НКО с позиций устойчивого развития. Эффективная некоммерческая организация – устойчиво развивающаяся (т.е. оптимально управляющая внутренними элементами и системой внешнего взаимодействия) и позитивно влияющая на социальную среду для решения общественно значимых проблем.

Однако, помимо собственно системных характеристик, обуславливающих устойчивость организации, необходимо сформулировать еще одну группу параметров. Поскольку любая организация (как мы уже сказали) создается для достижения конкретных целей, то нам для анализа потребуется введение понятия «результативность». Результативность обследуемых НКО определяется решением значимой социальной проблемы – противодействия распространению наркомании.

При этом, пытаясь достичь поставленной цели, НКО выполняют определенные функции. В частности, мы можем выделить следующие:

– производство общественных благ и услуг в сфере противодействия распространению наркомании;

– поддержка гражданских инициатив и коллективных действий по противодействию распространению наркомании.

Выделенные функции позволят нам не только более детально рассмотреть взаимосвязи между различными элементами организации, но и (что для нас в данном случае важнее) определить содержание и качественные изменения, которые должна вызывать организация в ходе достижения поставленных целей.

Таким образом, методологическими основаниями для определения как исследовательских задач, так и выделения параметров для эмпирической интерпретации, в нашем проекте будут являться:

– устойчивость (внешняя и внутренняя) развития НКО;

– результативность НКО.

В свою очередь, это позволяет сформулировать следующие исследовательские задачи.

ИССЛЕДОВАТЕЛЬСКИЕ ЗАДАЧИ

Выявить основные характеристики НКО, свидетельствующие об ее результативности и устойчивом функционировании.

Это предполагает:

описание факторов внутренней устойчивости организации и выявление степени их значимости для эффективного функционирования НКО

Определение степени воздействия и взаимодействия НКО с группами (проблемами), составляющими внешнюю среду организации.

Таким образом, цель данного исследования состоит в описании (по возможности) всех факторов, влияющих на эффективность работы НКО в данной сфере и обуславливающих необходимые краткосрочные и долгосрочные позитивные следствия их (НКО) деятельности. А также в выявлении влияния (значимости) каждого из этих факторов на устойчивое функционирование НКО.

СИСТЕМА ОБЪЕКТОВ И ФАКТОРОВ

Проведенная конкретизация основных понятий и исследовательских задач позволяет более четко определить точку зрения на объекты нашего проекта (см. Схему 1.). Для каждого объекта характерен свой набор факторов, содержание и значимость которых нам необходимо выявить. Ниже мы рассмотрим их более подробно, поскольку данные факторы являются эмпирической основой для разработки инструментария проекта.

Добавим к этому, что группы от «получателей услуг» до представителей СМИ, власти и бизнеса, составляют по отношению к НКО внешнюю среду. Логика выделения этих групп основывается на интенсивности их контактов и степени близости к деятельности НКО.

ТРЕБОВАНИЯ К МЕТОДИКЕ

Схема 1. Система объектов и факторов

В заключение этого раздела сформулируем основные требования к методике оценки НКО, которую мы должны получить.

1.) Методологические требования

Результатом исследований должна стать модель «идеальной» (устойчивой и результативной) некоммерческой организации, работающей в сфере реабилитации и профилактики наркомании. Эта модель должна представлять собой совокупный профиль НКО, сформированный на основе выделенной в ходе исследования значимости различных параметров ее деятельности и взаимодействий. При этом, профиль «идеала» должен а.) обладать интервальным характером («минимально допустимое значение параметра» – «максимально допустимое значение»2) и б.) являться основой для интерпретации результатов, которые будут собираться при использовании методики оценки эффективности НКО.

2.) Требования к содержанию и контролируемости методики

1. Простота (понятность) позиций отчета о состоянии организации

2. Документальная подтверждаемость – не менее 90% позиций отчета

3. Возможность выработки рекомендаций по итогам анализа организации

ПРОГРАММЫ ИССЛЕДОВАНИЙ

ВНЕШНЯЯ СРЕДА

Основные понятия исследований

На наш взгляд, основным параметром, характеризующим связь НКО с различными представителями внешней среды, является понятие «взаимодействие». Поскольку главная цель некоммерческой организации состоит в решении значимых социальных проблем, мы можем говорить о невозможности ее достижения без взаимодействия с различными группами общественности. В свою очередь, это предполагает необходимость анализа как форм, так и содержания возможных видов взаимодействия, которые осуществляет и/или могла бы осуществлять НКО.

Существует достаточно много определений «взаимодействия». Исходя из целей нашего проекта, мы остановились на следующем: «процесс непосредственного или опосредованного воздействия объектов (субъектов) друг на друга, порождающий их взаимную обусловленность и связь»3. Данное определение позволяет нам рассмотреть «взаимодействие» в нескольких плоскостях:

1. поскольку взаимодействие – это процесс, то мы можем говорить о следующих его характеристиках

1.1. длительность (продолжительность контактов между субъектами процесса);

1.2. интенсивность (частота контактов);

1.3. содержание процесса (с одной стороны, речь идет об информационном обмене между субъектами, а это предполагает выяснение тематики этого обмена, с другой – сюда мы можем отнести и причинность процесса, которая также определяет содержание взаимодействия);

1.4. формы осуществления процесса (напр., непосредственное – опосредованное взаимодействие);

1.5. масштаб процесса (территория, количественный охват участников процесса и пр.).

2. Результатом эффективного (результативного) взаимодействия является возникновение (создание) определенной связи, которая в конечном счете должна способствовать образованию структур (если брать наше предметное поле, то примером этого может являться появление различных комитетов и комиссий по профилактике наркомании, в которые бы входили представители СМИ, власти и НКО).

3. Говоря о социальном взаимодействии, необходимо отметить, что для него характерно наличие определенных критериев (ожиданий) субъектов перед началом взаимодействия. Эти ожидания во многом будут определять, как возможность данного процесса, так и его конечную эффективность.

К числу подобных критериев в нашем случае можно отнести, например, репутацию, уровень известности НКО среди представителей целевых групп и т.д.

В заключении добавим, что данные характеристики (которые, на наш взгляд, достаточно полно описывают «взаимодействие») будут скорректированы под специфику каждого объекта внешней среды.

Следующим понятием, которое нам необходимо рассмотреть для построения эмпирической модели исследований, является «наркомания».

В нашем проекте мы будем исходить из следующего определения.

Наркомания – хроническое прогредиентное заболевание, вызванное употреблением веществ-наркотиков, характеризующееся фазным течением и наличием в своей структуре нескольких поэтапно формирующихся синдромов: 1) синдром изменённой реактивности, 2) синдром психической зависимости, 3) синдром физической зависимости, эти три синдрома объединяются в общий наркотический синдром, 4) синдром последствий хронической наркотизации.

В быту и в юридической практике, однако, в понятие наркомании включают любое употребление запрещённых психоактивных веществ, в том числе и не вызывающих зависимости (например, конопля или ЛСД). В то же время употребление алкоголя и табака обычно не причисляют к наркомании, так как это не запрещено, хотя они и являются наркотиками4.

И еще одна позиция, которая требует предварительного пояснения – это услуги НКО в сфере профилактики потребления ПАВ и реабилитации лиц, страдающих химической зависимостью. Выше, говоря о результативности НКО в данной сфере, мы уже немного коснулись этого вопроса. Теперь конкретизируем его более подробно.

Предварительное обсуждение содержания деятельности НКО с руководителями организаций, занятых в данной сфере, позволило нам выявить два основных направления их работы.

1. реабилитация (медицинская, психологическая, социальная) лиц, зависимых от потребления ПАВ и других химических веществ;

2. информирование (в т.ч. пропаганда здорового образа жизни, распространение информации о вреде потребления наркотиков и т.п.) о проблеме наркомании.

Исходя из данных трактовок, перейдем уже собственно к исследовательским программа нашего проекта.

Как мы уже отмечали, внешнюю среду НКО формируют представители различных социальных групп и институтов, которые, в том или ином виде могут влиять на деятельность некоммерческих организаций. Представленные ниже программы как раз и призваны выявить содержание и значимость данного (взаимо)влияния. Начнем мы с самого массового объекта, чье влияние на результативность и эффективность работы НКО носит максимально опосредованный характер.

Программа № 1. «Соцзависимые»

Объект: Представители социальных групп, находящихся в непосредственной близости (и\или взаимодействующие) с наркозависимыми

География: Жители (соцзависимые) Екатеринбурга, Челябинска, Тюмени, Перми

Основные задачи Программы № 1.

Задачи состоят в выявлении содержания общественного мнения о деятельности НКО. В данном случае мы должны получить список параметров, значимых для оценки деятельности некоммерческих организаций со стороны людей, не имеющих постоянной (либо вообще никакой) практики взаимодействия с ними, но обладающих знанием о проблеме.

Метод сбора информации

Полуформализованное интервьюирование.

Конструкция выборки

Используется многоступенчатая территориальная случайная выборка.

Первая ступень отбора

Единицами отбора первой ступени являются столицы областей, на территории которых сосредоточена деятельность реабилитационных центров, работающих в области профилактики потребления ПАВ и реабилитации лиц, страдающих химической зависимостью. На этом этапе отбора в выборку попали следующие города: Екатеринбург, Челябинск, Пермь и Тюмень.

Вторая ступень отбора

В каждом городе на основе данных медицинской статистики и Территориальных управлений ФСКН России отбираются неблагополучные с точки зрения распространения наркотиков районы.

Третья ступень отбора

В каждом районе случайным образом формируется список «точек» для включения в опрос. В качестве «точек» отбираются школы, училища, колледжи и вузы. На основе данного отбора формируется маршрут интервьюера. Номера «точек» отбираются интервьюером произвольно.

Отбор респондента

Попадая на «точку» интервьюер отбирает на основе скрининговой анкеты (см. Приложение № 3.) респондентов для участия в основном опросе. В результате скрининга отбираются респонденты, которым а.) знакомы люди, регулярно употребляющие наркотики и б.) известны общественные организации, работающие в сфере противодействия распространению наркотиков. Размер выборки планировался из расчета, чтобы среди опрошенных оказалось не менее 400 респондентов.

Общие параметры выборки для одного города

Характеристика интервьюеров

Перед началом работы со всеми интервьюерами и супервайзерами проводится инструктаж по анкете и пилотажные интервью, направленные на ознакомление интервьюеров с вопросником, выявление возможных проблемных мест в анкете и определения степени подготовленности интервьюеров к полевым работам. К работе будет допущен лишь тот, кто имеет опыт работы с вопросниками и владеет надежными базисными знаниями в области ведения интервью.

Каждый интервьюер получает комплект полевых документов: точки опроса; маршрутный лист; анкеты; визитные карточки СООО АНЦ «Спасение» с указанием ФИО интервьюера.

Контроль полевого этапа

В ходе опроса в каждом городе контроль полевого этапа будет осуществляться супервайзерами, в функции которых входит:

1. проверка заполняемости анкет (запланированная и внезапная проверка процесса опроса),

2. проверка полноты заполняемых анкет (проверяется каждая анкета),

3. контроль сроков проведения опроса,

4. контроль выборки (проверка всех точек, попавших в опрос)

5. проверка правильности прохождения маршрута и заполнения маршрутного листа.

Итогом работы супервайзеров являются проверенные, полностью заполненные анкеты на 100% отражающие выборочную совокупность и отчет контроля качества выполнения полевых работ.

Эмпирическая интерпретация

Программа № 2. «Эксперты»

Объект: Представители различных социальных институтов, с которыми взаимодействуют НКО.

К их числу в рамках данного исследования относятся:

Представители органов власти (уровни субъекта федерации, муниципалитетов столичного города и города в области).

Представители социально-ответственного бизнеса.

Представители экспертного сообщества.

Лидеры некоммерческих организаций.

Журналисты, специализирующиеся на социальной тематике.

География: эксперты, осуществляющие свою деятельность на территории Свердловской, Тюменской, Челябинской и Пермской областей.

Основные задачи Программы № 2.

Аналитические задачи исследования направлены на выяснение специфики параметров оценки эффективности деятельности НКО представителями различных социальных групп.

Концепция анализа

Основная методологическая задача анализа данного исследования – это выделение аналитических категорий и создание в соответствии с ними массивов сгруппированных высказываний, которые позволят нам сформировать системное видение респондентами параметров эффективности деятельности НКО.

Итогом экспертного опроса является аналитический отчет, отражающий в себе структуру параметров оценки эффективности деятельности некоммерческих организаций с точки зрения основных социальных институтов, с которыми взаимодействуют НКО.

Метод сбора информации

Экспертный опрос методом глубинного интервьюирования

Обоснование метода

Использование данного метода обусловлено, с одной стороны, спецификой объектов нашего исследования, а с другой – возможностью получения необходимой глубины информации.

Специфика качественных методов состоит том, что, в отличие от количественных они дают более глубокую и детальную информацию (что люди думают, представляют или как воспринимают то или иное событие). Помимо этого, с методологической точки зрения, данные методы обладают определенной гибкостью и дают возможность в ходе их использования не только осуществлять проверку собственных выводов, но и расширять список аспектов, нюансов. Естественно, в сочетании с количественными методами, это позволит нам максимально приблизиться к получению комплексной картины.

Выборка и ее характеристики

Согласно методологии экспертных опросов, экспертная группа не может быть слишком многочисленной. Опыт показал, что за известными пределами увеличение числа экспертов не даст существенного прироста новой информации ни в деталях, ни, главное, по качеству. Необходимость ограничения численности экспертной группы выдвигает дополнительные методические требования к подбору экспертов. (На практике численность экспертной группы большей частью составляет примерно 5-7, максимально 10-15 человек при очных опросах.)