Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

• Развитие оценочного потенциала грантополучателей

Донорские организации будут стремиться к созданию условий для усиления оценочного потенциала грантополучателей. В случае недостаточности ресурсов последних донорская организация будет стараться предоставить им доступ к недостающим ресурсам через дополнительное финансирование, обучение и консультации, и привлечение профильных специалистов по оценке.

• Соблюдение и продвижение профессиональных принципов и стандартов

Организации, внедряющие у себя систему оценки, должны руководствоваться профессиональными принципами и стандартами, среди которых: открытость процесса оценки, обеспечение безопасности ее участников, уважение их достоинства и особенностей.

• Развитие и обмен знаний об использовании результатов проведенных оценок и практиках оценки

Для формирования культуры обмена знаниями и повышения синергетического эффекта от проведения оценки донорские организации будут стремиться сделать информацию открытой, доступной и понятной широкому кругу заинтересованных сторон. Также важно организовать обмен опытом с донорским сообществом, грантополучателями и профессиональными тематическими сообществами.

Безусловно, культура оценки должна быть сонастроена с миссией организации и более широкой организационной культурой, поэтому к работе по ее продвижению предполагается привлекать всех ключевых стейкхолдеров благотворительности и социальных инвестиций, включая учредителей, сотрудников, грантополучателей и партнеров по реализации социальных и экологических программ и проектов.

ЗОНЫ РОСТА В 2023 ГОДУ

Сегодня буквально на наших глазах в российском и в международном донорских сообществах формируется тренд на повышение внимания к качеству управления воздействием. Фонды и социально ответственный бизнес, инвестирующие в снижение уровня бедности, улучшение доступа к услугам и ресурсам, сохранение и защиту окружающей среды, заинтересованы в оценке эффективности своей работы. Подобный анализ дает понимание, достигаются ли поставленные цели, какие механизмы и технологии максимально эффективны, каковы критерии достижения запланированного воздействия.

Также наблюдается тренд использования прогностической оценки, для разработки инструментов которой доноры работают в партнерстве с экспертным сообществом. Решения, разрабатываемые специалистами, используются не только для оценки фактически достигнутого результата, но и для анализа потенциала организаций и проектов, желающих снизить риски и гарантировать высокую эффективность инвестиций.

К примеру, проводится анализ потенциального воздействия не только на уровне проекта непосредственно для его заинтересованных сторон, но и на уровне рынка в целом. Оцениваются вклад проекта в создание системных рыночных эффектов, показатель уровня интенсивности – иными словами то, как проект способен устранить обозначенную проблему. Анализируется ситуация, которая имела бы место, если бы проект не был реализован (фактор контрфактуальности), оценивается потенциальный негативный эффект.

Безусловно, такие методики и решения нельзя отнести к категории простых, их использование потребует отдельных инвестиций, но потенциальная польза и эффект от их внедрения гарантируют достойный возврат на эти инвестиции.

Еще один аспект, которому доноры в настоящее время стали уделять все больше внимания, – использование принципов справедливой оценки (equitable evaluation). Подход позволяет осознавать и учитывать всю сложность человеческого опыта, накопленного в процессе преобразований, инициированных деятельностью донорских организаций. Соблюдение этих принципов, их сонастроенность с российской действительностью дает возможность максимально вовлечь благополучателей и другие заинтересованные стороны в процесс анализа эффективности потенциального и фактически произведенного воздействия. Это необходимо, чтобы учитывать их ценности и видение, а также свое временно включать их в дизайн проектов и стратегию работы фондов и социально ответственных компаний.

The Present and the Future of Evaluation: The Donors’ View

Irina Efremova-Garth, Tatiana Pechegina

DOI 10.55140/2782–5817–2023–3–1–28–33

What significant changes have taken place in 2022 in the field of evaluation in general and in the practice of evaluation in donor organizations? What issues should the professional community pay attention to in 2023? The Positive Changes Journal editors asked these questions to the participants of the Donors Forum, a association of major donor organizations that systematically engage in charitable activities and whose work is aimed at improving the transparency of foundations and non-profit organizations.

Irina Efremova-Garth

First Deputy Director of the Donors Forum

Tatiana Pechegina

Journalist

THE TRENDS OF 2022

The contemporary society is experiencing a transformation of the social sphere in recent years, as more and more people are talking about social impact, qualitative societal changes and effective implementation of relevant projects and programs.

2022 has shown that evaluation is a very useful instrument with high potential. Donors currently see it as a tool enabling them to draw conclusions about the effectiveness of the project activities being supported or independently implemented. At the same time, most already have an understanding that evaluation is primarily a source of information for further strategy development: deciding whether to continue or stop project activities, adjusting to the changes in the environment, managing the sustainability of existing positive changes and the possibility of replicating the technologies that have successfully passed the piloting stage.

The number of donors who are able to describe expected program results in measurable and specific terms, with a specific timeframe, is steadily growing. Another qualitative change is the practice of developing a chain of results: from immediate to long-term, which makes it possible to track the sequence of positive changes that occur in the external environment thanks to that donor’s support.

A hybrid approach to the evaluation process is becoming increasingly common, with outside experts participating in the methodology development, data analysis and providing recommendations, leaving it up to the client to collect information, interpret data, present the results to colleagues, and manage their implementation. Previously, external specialists were mainly engaged for the full cycle.

As for the use of evaluation results by donors, these are most often aimed at improving the effectiveness of program activities. They are used less often to revise program goals or activities set forth in program portfolios. The most dramatic leap of the past few years is related to the use of evaluation results to refine strategic priorities. Today it is used for this purpose by the overwhelming majority of large donor organizations; that is, it becomes a tool not just for day-to-day steering, but also for strategic management of charitable activities and social investment.

Another trend that took shape during 2022 was the donors’ focus on evaluating the institutional development of nonprofits. Increasingly they are willing to invest in building and developing the organizational capacity of the nonprofits rather than merely in project activities, since it is obvious that a weak organization is not in the position to do strong projects. But donors have also started to pay attention to the organizational maturity of prospective partners and grantees from non-profit organizations when it comes to financing projects. It is extremely important to see how the strategic planning and operations management processes, fundraising, external and internal communications, human resource management and development are built up. Evaluation can be carried out by the donor directly, by third-party experts hired by the donor, or by the actual non-profit organization applying for funding. This not only contributes to the development of an evaluation culture in the world of nonprofits, but also helps the organizations to identify priorities of their organizational development.

It is important to note that many organizations still mistakenly consider the social effect of their programs to be synonymous with the evaluation of social results. These concepts are certainly interrelated. Social effect is the change in the community and the quality of life of the beneficiaries that can occur thanks to the achievement of planned social outcomes. In this regard, it is particularly important to be able to decompose the goals of charitable initiatives from the strategic realm to the project detail. Another important feature of social impact evaluation is the ability to attribute changes to the program. Unfortunately, only a few organizations are actually using the data collection methodology that can convincingly prove this.

The number of donors who are able to describe expected program results in measurable and specific terms, with a specific timeframe, is steadily growing. Another qualitative change is the practice of developing a chain of results.

UPDATING THE POLICY STATEMENT ON DEVELOPING THE EVALUATION CULTURE

As a result of the trends that emerged in 2022, as well as the challenges faced by the donor community that require an immediate response, we have updated our Policy Statement on Developing the Evaluation Culture in the Donor Community. This is a document developed and adopted by the members of the Donors Forum in 2015, the International Year of Evaluation, when it was the subject of an annual conference and the first study in Russia on its place and role in foundations was conducted. This role is great, given that for donor organizations evaluation is a continuous process of gaining new knowledge about ongoing programs and projects and an opportunity to improve their charitable activities and social investment.

The Policy Statement reflects the donors’ efforts to build and promote an evaluation culture among themselves and the organizations they support. In just a few years, evaluation has gone from being a one-time, isolated initiative to a management tool, not just for individual programs and projects, but for the entire portfolio.

The donors’ focus on evaluating the institutional development of nonprofits is growing. Increasingly they are willing to invest in building and developing the organizational capacity of the nonprofits.

In the time since the document was adopted, evaluation has ceased to be perceived as just a “check”, and has become an integral element of project design. The employees’ expertise level has grown significantly, and new growth areas have emerged. Based on the importance of building and promoting an evaluation culture and the importance of developing its potential among both donor organizations and their grantees, members of the Donors Forum decided to update the provisions of the Policy Statement on key areas of critical importance[22].

Namely:

• Integrating evaluation into the activities of donor organizations

Foundations or companies engaged in philanthropy and social investment will strive to make evaluation an integral and natural part of their activities, develop and implement evaluation practices and systems tailored to their specific activities, and promote evaluation among their partners and grantees.

• Improving the effectiveness of evaluation and ensuring practical use of its results

Evaluation only makes sense if it is used to guide decision-making and reinforce the effects achieved. Its results should be of maximum benefit to all stakeholders in the program, including the donor, grantees, beneficiaries, and other partners.

• Creating opportunities for the growth of evaluation competence

The staff responsible for implementing programs must acquire and develop the knowledge and skills necessary for quality planning and evaluation. It is in the interest of the organization to create the prerequisites for this growth.

A new trend is appearing right before our eyes, as both Russian and international donor communities are starting to focus more on the quality of impact management.

• Developing the grantees’ evaluation capacity

Donor organizations will seek to create conditions to enhance the grantees’ evaluation capacity. If the latter do not have sufficient resources for that, the donor organization will try to provide them with access to the missing resources through additional funding, training and consultations, and the involvement of specialist evaluators.

• Adherence to and promotion of professional principles and standards

Organizations that implement an evaluation system must be guided by professional principles and standards, including: openness of the evaluation process, ensuring the safety of its participants, and respect for their dignity and distinctions.

• Developing and sharing knowledge about the use of evaluations and evaluation practices To build a culture of knowledge-sharing and enhance synergies in evaluation, donor organizations will strive to make information open, accessible, and easily digestible for a wide range of stakeholders. It is also important to share experiences with the donor community, the grantees, and professional specialist communities.

Definitely, an evaluation culture must be aligned with the organization’s mission and the overall organizational culture, so all key stakeholders of charity and social investment, including founders, employees, grantees and partners in social and environmental programs and projects, are expected to be working to promote it.

GROWTH AREAS IN 2023

Today, a new trend is appearing right before our eyes, as both Russian and international donor communities are starting to focus more on the quality of impact management. Foundations and socially responsible businesses that invest in reducing poverty, improving access to services and resources, and preserving and protecting the environment are all interested in evaluating their performance. Such an analysis provides an understanding of whether there is a progress towards achieving the goals, what mechanisms and technologies are most effective, and what the criteria are for achieving the planned impact.

There is also a trend toward the use of predictive evaluation, with donors working in partnership with the expert community to develop new tools for it. The solutions developed by specialists are used not only to evaluate the actual results achieved, but also to analyze the potential of organizations and projects seeking to mitigate risks and guarantee high investment efficiency.

For example, potential impact is analyzed not only at the project level, specifically for its stakeholders, but also at the level of the market as a whole. The evaluation looks at the project’s contribution to developing systemic market effects, to the intensity level indicator – in other words, how the project is able to address the problem identified. The evaluation looks at what the situation would have been if the project had not been implemented (counterfactual factor) and considers the potential adverse effects.

Of course, such methods and solutions cannot be classified as simple, and their use will require separate investments; however, the potential benefits and effects of their implementation guarantee a decent return on this investment.

Another aspect the donors are now increasingly focusing on is the use of equitable evaluation principles. The approach makes it possible to recognize and account for the complexity of human experience accumulated in the process of transformations initiated by the activities of donor organizations. Adherence to these principles and their alignment with the Russian reality provides an opportunity to maximize the involvement of beneficiaries and other stakeholders in the process of analyzing the potential and actual impact. This is necessary in order to take account of their values and vision, as well as to incorporate them promptly into the project design and strategy of foundations and socially responsible companies.

Экспертные статьи / Expert Publications

«Сделай сам»: как НКО оценивать проекты своими силами

Алексей Кузьмин

DOI 10.55140/2782–5817–2023–3–1–34–43

Многие эксперты считают, что самооценивание – одна из ключевых тенденций развития оценки. Между внешней оценкой и самооцениванием есть и сходство, и существенные различия. В статье обсуждается значение принципов для проведения оценки, а также даются рекомендации для ситуации само оценивания НКО.

Алексей Кузьмин

PhD, генеральный директор ООО «Компания «Процесс Консалтинг», Член Совета Международной Академии оценки

ИСТОРИЯ ОДНОГО ПРЕДСКАЗАНИЯ

В 2012 году американский специалист по оценке Джон Гаргани, который чуть позже стал президентом Американской ассоциации оценки, назвал в своем блоге 10 предсказаний относительно будущего оценки программ и проектов. Первое из них звучало так: «Оценки, по большей части, станут внутренними» (Gargani, 2012).

О чем здесь шла речь?

Начнем с того, что оценка программы (проекта) состоит в «систематическом сборе информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 2008).

Предположим, что некая организация выполняет проект. Оценка этого проекта может проводиться силами внешних по отношению к организации специалистов. Такую оценку называют внешней. Оценка проекта также может быть произведена силами специалистов самой организации. В этом случае её принято называть внутренней. Иногда во внутренней оценке особо выделяют самооценивание, когда проект оценивают те же люди, которые его реализуют.

Оценка проектов и программ социальной направленности начала активно развиваться в США в 60-е годы прошлого века. Требование проводить оценку было «спущено» сверху поначалу в учреждения образования, а затем и в другие сферы. Это было нововведением, и проведение оценки было исключительно уделом внешних консультантов, обладавших соответствующими компетенциями.

Вскоре стало понятно, что организациям следует развивать собственный потенциал в области оценки. В течение 10–15 лет накопился соответствующий практический опыт. На конференции Американской ассоциации оценки 1982 года развитие практики внутренней оценки стало одной из центральных тем (McClintock, 1983).

Канадец Арнольд Лав (A. J. Love, 1983) отмечал, что внутренняя оценка выполняет две основные функции: во-первых, она позволяет получить релевантную и своевременную информацию для принятия управленческих решений; а во-вторых, сам процесс проведения внутренней оценки положительно влияет и на принятие решений, и на качество работы организации. Лав предполагал, что «в течение следующих нескольких лет мы можем ожидать продолжения роста и изменений во внутренней функции оценки» (A. J. Love, 1983). Кстати, этот прогноз был опубликован за 30 лет до предсказания Джона Гаргани.

Примерно в то же время Эрнест Хаус (House, 1986) заметил, что в практике государственных организаций в США происходит переход от внешних оценок, которые проводились преимущественно университетами и частными компаниями, к внутренним оценкам, проводимым специально созданными для этого подразделениями. При этом большая часть имевшихся на тот момент публикаций относилась именно к внешней оценке. Потому выход в свет книги А. Лава «Внутренняя оценка: построение организаций изнутри» (A. J. Love, 1991) стал заметным событием. Автор этой книги является одним из самых цитируемых и по сей день, когда речь идет о внутренней оценке.

Таблица 1. Преимущества и ограничения внешней и внутренней оценки

Прошло 20 лет, и в серии «Новые направления в оценке»[23] вышел сборник под названием «Внутренняя оценка в 21 веке». Такое вот новое старое направление…

В интервью с редактором сборника (Volkov, 2011) Арнольд Лав вспоминает, что в 90-е годы до 60 % оценок, проводившихся в США, были внутренними. При этом в разных странах внутренняя оценка развивалась по-разному. В частности, в Канаде федеральное правительство еще в конце 70-х приняло решение о том, что оценки государственных программ должны быть преимущественно внутренними, а Японское общество оценивания в 2006 году сообщило, что в их стране 99 % оценок – внутренние.

Несмотря на то, что внутренняя оценка активно внедряется во всем мире, число исследований и публикаций на эту тему и во второй декаде 21 века по-прежнему весьма ограничено (Volkov & Baron, 2011). Однако вопросы развития внутренней оценки в небольших организациях с ограниченными ресурсами обсуждаются все чаще (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Практика показывает, что внутренняя оценка благополучно сосуществует с внешней оценкой, и большинство специалистов сегодня сходится во мнении, что это не взаимоисключающие, а взаимодополняющие подходы (см. Таблицу 1).

Теперь вернемся к предсказанию Джона Гаргани (Gargani, 2012). Он предположил, что внутренняя оценка в США в течение 10 лет должна в значительной мере вытеснить внешнюю оценку. Таким образом, в 2022 году оценки программ и проектов в США по большей части должны были бы стать внутренними. Судя по всему, этого пока не произошло, но можно определенно констатировать, что внутренняя оценка развивается и в государственных, и в негосударственных организациях США, Канады, Японии и многих других стран. Не стала исключением и Россия.

ВНУТРЕННЯЯ ОЦЕНКА В РОССИИ

Не вдаваясь в исторические детали, отметим, что, в России всё началось с внешней оценки, которую «импортировали» к нам в начале 90-х вместе с программами международной помощи многочисленные зарубежные организации (Kuzmin et al., 2007). Постепенно оценку стали осваивать и российские специалисты. При этом развитие оценки шло по двум направлениям: формировался рынок услуг по проведению внешней оценки и развивалась функция внутренней оценки.

Необходимость развития собственного потенциала российских НКО в сфере оценки была продиктована, как минимум, двумя факторами: 1) требованиями финансирующих организаций и 2) необходимостью выстраивания систем управленческого контроля в связи с усложнением деятельности НКО и расширением ее масштабов (Кузьмин, 2020). Однако развитие компетенций в сфере оценки на протяжении длительного времени не было приоритетом для большинства российских НКО. Ситуация стала меняться лишь в последние годы:

• заметно вырос спрос на обучение руководителей и сотрудников НКО в сфере оценки;

• НКО научились намного эффективнее собирать и обрабатывать данные;

• в целом ряде НКО появился успешный опыт проведения внутренней оценки;

• финансирующие организации все чаще требуют от НКО предоставления аналитических отчетов;

• на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП)[24] заметен рост числа выступлений об опыте развития внутренней оценки и ее значении для качественного управления организацией.

Шесть лет тому назад, наблюдая эти процессы и сравнивая их с происходящим за рубежом, я предположил, что к 2026 году в России будет отмечаться «рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания» (Кузьмин, 2016). Похоже, что этот прогноз сбывается. Еще одно подтверждение тому – создание в 2021 году Альянса PROОЦЕНКУ[25] и открытие одноименного онлайнового клуба, ориентированного преимущественно на развитие внутренней оценки и самооценивания: