Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

Редакция журнала "Позитивные изменения"

Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

От редакции

Когда заходит речь об оценке социального воздействия проектов и программ – в бизнесе или некоммерческом секторе – возникает вопрос о том, кто же те «судьи», готовые определить, какой проект действительно меняет этот мир, а какой дает ложные надежды на такие изменения. И что это должны быть за специалисты, если им удается находить ответы на такие сложные вопросы?

Сфера оценки социальных проектов и программ в разных ее проявлениях – в виде экспертной или эмпирической, оценки непосредственных результатов или оценки импакта, основанной на выявлении причинно-следственных связей или определении вклада проекта в изменение жизни благополучателей, и многих других – объединяет широкий круг специалистов. Наборы диагностических инструментов таких специалистов часто индивидуальны и сильно отличаются: от «разговора по душам» до сложных методов эконометрического моделирования. Да и названия у этих специалистов тоже разные – это аналитики, социологи, психологи, методисты, независимые консультанты и многие другие. Объединяет это сложноорганизованное сообщество идея того, что «проектная рефлексия», направленная на вынесение суждений об эффективности, устойчивости и адекватности проекта или программы, является важным элементом в реализации проектной деятельности, способным значимо ее улучшить.

Обсуждению вопросов, связанных с такой важной, интересной, и еще только зарождающейся областью профессиональной деятельности – оценки социальных проектов и программ – посвящен первый выпуск 2023 года журнала «Позитивные изменения». Мы пригласили ведущих российских и зарубежных экспертов к обсуждению широкого спектра вопросов – о методах, видах оценки, об импакте самой профессии, а также о том, является ли вообще оценка проектов и программ областью профессиональной деятельности.

Нам кажется, что оценка – это во многом про осознанность и ответственность. Если даже взмах крыла бабочки способен вызвать изменения на соседних континентах, что уж говорить о целенаправленной деятельности. Оценка – про то, что ты всегда включен в систему отношений с людьми и природой и влияешь на нее, вплоть до масштабов всей планеты. И каждый человек, а тем более проектная команда, способны внести позитивные изменения в жизни не только благополучателей, но и сообществ, а также общества и мира в целом.

From the Editor

When it comes to evaluating the social impact of projects and programs – be it in a commercial company or in the non-profit sector – one wonders who the “judges” are that are there to determine which project is truly changing the world and which one is merely providing false hope for such change. And what kind of training do they have to receive, to be able to find answers to such difficult questions?

The field of evaluation of social projects and programs, in its various manifestations – in the form of expert or empirical review, direct evaluation of the results or impact evaluation based on identifying causal relationships or determining the project’s contribution to changing the beneficiaries’ lives, and many others – brings together a wide range of specialists. These specialists often have highly customized and very diverse diagnostic toolkits: from informal “heart-to-heart” conversations to complex econometric modeling methods. These specialists also come under different names: analysts, sociologists, psychologists, methodologists, independent consultants, and many others. What unites this complexly organized community is the idea of “project reflection”, that is, making judgments about the effectiveness, sustainability, and adequacy of a project or program, which makes it an important element in implementing project activities, one that can meaningfully improve them.

The first issue of the Positive Changes Journal in 2023 is devoted to the discussion of issues related to an important, interesting, and still nascent area of professional activity – evaluation of social projects and programs. We invited leading Russian and foreign experts to talk on a wide range of questions – about methods, types of evaluation, the impact of the profession itself, and whether project and program evaluation is even an actual area of professional activity.

It seems to us that evaluation is largely about awareness and responsibility. Even the flutter of a butterfly's wings can ultimately cause a typhoon halfway around the world, let alone targeted activity. Evaluation is about being permanently included in the relations with people and nature and influencing it, up to the scale of the whole planet. And every person, more so a project team, can bring a positive change not only in the lives of the beneficiaries, but also in the lives of communities, the society and the entire world.

Гость номера / Special Guest

«Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном

Наталья Гладких

DOI 10.55140/2782–5817–2023–3–1–4–15

Майкл Куинн Пэттон – один из наиболее известных экспертов в мире в области оценки проектов и программ[1]. В этой сфере он работает с 1970-х годов, когда оценка в некоммерческом секторе была относительно новым явлением. Доктор Пэттон – автор известных концепций оценки, которые используют специалисты по всему миру, обладатель нескольких международных премий за выдающийся вклад в развитие этой области, автор 18 книг по различным вопросам практического использования оценки[2]. В интервью главному редактору журнала Майкл Пэттон рассказал о взглядах на профессию оценщика[3], импакте профессии, трендах развития сферы оценки, «золотом стандарте» методологии проведения оценки, а также о том, какое будущее ждет эту сферу.

Майкл Пэттон

Наталья Гладких

к. психол. н., ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ

Какие наиболее значимые изменения в сфере оценки проектов и программ вы можете отметить за свой долгий путь в профессии?

Я уже больше 50 лет в оценке. За эти годы данная сфера стала очень разнообразной. Подобно тому, как существует множество программ, существует множество видов оценки. И самая сложная задача – согласовать их между собой.

Изменилось ли за это время восприятие профессии специалиста по оценке проектов и программ?

Я надеюсь, что в общественном восприятии эта область стала более профессиональной, ведь сейчас существует более 100 национальных организаций, таких как сообщество оценщиков в России, Европейская ассоциация оценщиков и другие. У них есть стандарты, программы обучения, публикации. По нашим данным, в мире сейчас насчитывается около 75 000 специалистов по оценке программ. Конечно, все это говорит о том, что сфера профессионализируется.

А изменились ли требования к специалистам по оценке?

Каковы сейчас требования к профессиональным оценщикам?

В большинстве стран отсутствует сертификация специалистов по оценке. В Канаде существует программа сертификации через Канадское общество оценки. В Новой Зеландии и Японии есть ряд сертификационных программ. Американская ассоциация оценки не имеет официальной программы сертификации.

Проверять квалификацию и определять, обладает ли оценщик необходимыми навыками, приходится тем, кто нанимает оценщиков.

Если брать пример Канады, есть ли в этой стране программа высшего образования (например, магистратуры) или это сертификация профессиональной ассоциации? Каков процесс получения сертификата?

Канадское общество оценки организует тренинги. Люди участвуют в них, завершают обучение, представляют примеры сделанных ими работ по оценке. Получая сертификат Канадского общества оценки, они становятся так называемыми сертифицированными оценщиками.

Не существует «золотого стандарта» оценки. Главное – это адаптивность, уместность, соответствие потребностям конкретной программы.

По вашему мнению, какой вариант лучше – сертификация или отсутствие сертификации, когда заказчик решает, является ли конкретный оценщик наилучшим специалистом для этого конкретного проекта?

Я думаю, что иметь сертификат полезно, потому что это позволяет людям, которые не очень глубоко разбираются в оценке, понимать, что перед ними человек, прошедший подготовку. Однако область оценки в США и в Европе настолько разнообразна, что до сих пор не удалось прийти к общему пониманию, в чем заключаются азы профессии. В Канаде смогли договориться о базовых понятиях, которые оценщик обязан знать, поэтому там возможна сертификация оценщиков. Маловероятно, что это случится в США, потому что там эта сфера слишком разнообразна.

Поговорим о методологии оценки. Произошли ли какие-то изменения в этой сфере?

Конечно. Появился искусственный интеллект (ИИ), большие данные и их источники. Пандемия принесла с собой большие перемены: благодаря онлайн-ресурсам стало возможным проводить интервью и фокус-группы онлайн. По-новому стали использоваться спутниковые снимки. Например, благодаря спутникам теперь не нужно ехать куда-то в поля, чтобы проверить, используется ли там новая сельскохозяйственная техника. Если мы хотим узнать, сколько детей находится в школе в развивающейся стране, опять же можно использовать спутниковые снимки.

Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.

Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?

Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.

Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность – это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.

Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?

Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.

Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?

Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу – насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.

Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.

Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?

К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам – с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.

Сегодня оценка – это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами.

Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?

Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.

А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.

Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка – это не только методики, но еще и межличностные отношения.

В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?

Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.

Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.

То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.

Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.

В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?

Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.

В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.

Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.

Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.

Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?

Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.

Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.

Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.

В так называемом мире постправды или антинауки оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней.

Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?

Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц – мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи – это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?

Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.

Голубые фишки – это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.

Недооцененная акция – это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации – это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.

Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.

Теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями.

У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке – если опять же, исходить из концепции оценки, ориентированной на использование.

Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.

Здесь много о чем нужно договариваться и многое адаптировать, даже при общем критерии инвестирования в социальные проекты. Еще нужно определить, что означает инвестирование в социальные проекты и эффективность таких инвестиций в конкретной ситуации. И здесь как раз нужна оценка с упором на использование, потому что она обеспечивает диалог с клиентами и помогает им сформулировать сроки, критерии, степень риска, которую они готовы принять, и требуемый уровень отдачи инвестиций.

Использование логики оценки финансовых инструментов помогает инвесторам социальных проектов понять логику оценки программ.

Следующий вопрос касается теории трансформации. В чем разница между предложенным вами термином «теория трансформации» и теорией изменений?

Отличный вопрос. Идею теории изменений предложила в 1995 году социолог Кэрол Вайс, которая наблюдала, как фонды начали реализовывать программы, не зная, какие данные об эффективности показывали исследования. Они не знали о достижениях социальных наук, о том, как бороться с бедностью или с наркозависимостью.