Позитивные изменения. Том 1, №1 (2021). Positive changes. Volume 1, Issue 1 (2021)

Since outcomes refer to changes in society, they are determined by the impact of a wide audience, as well as the influence of external conditions that could contribute to them. Organizations can play a key role in driving change, but their contributions should not be overstated. For this reason, the concept of social impact refers to that proportion of the total result that has been achieved as a result of the organization activities, in addition to what would have happened in any case [Grieco, 2015].

An example of possible areas for measuring social impact is given in the following table [Ibid.] (Table 1).

Table 1. Areas of possible measurements of social impact (according to Greco)

Figure 1. Chain of project results (according to A. I. Kuzmin)

Another important aspect of determining immediate results is to separate them from the characteristics of the activities performed. A. I. Kuzmin draws the attention on this aspect in one of his publications in the professional blog. The author provides the following diagram to illustrate this thesis.

Kuzmin notes that “in social design, outputs are the direct consequences of a series of actions within a project. It would seem that everything is simple: if you performed an action, you got an output. However, strange as it may seem, in both foreign and Russian publications, opinions on what should be considered an immediate result (output) differ radically. And it seems that our erroneous position is becoming more and more popular. It consists in the fact that the characteristics of the activity performed are referred to the immediate results. The author gives the following example: “Suppose a project is training. Training itself is a project activity. Nobody has any questions here. Now attention! The immediate results of training are called the following: how many training courses were organized, how many hours the classes lasted, how many people took part in the training. But all of the above refers to the activity itself, describes its scale, and answers the question of how much we have done. All these are characteristics (indicators) of the activity performed, but in no way its immediate results. What is the immediate result of training, its direct consequence? What happens to the trainees: changes in their knowledge, skills, and attitudes towards something?"

It is worth noting that the above-described problem of interpreting the concept of immediate results in terms of activity characteristics is quite common. Moreover, we can say that most of the sources considered during this analysis state that immediate results are understood exactly as activity characteristics.

Thus, the recommended position on this issue is the one that takes into account, on the one hand, the need to assess the results at the level of correlation with the stated objectives of the project, but on the other hand includes a component of the scale of these results, and therefore, an indication of the characteristics of the activity itself (the number of services provided, the audience covered, etc.).

If we try to analyze the present day Russian representations of key concepts related to valuation, it is worth quoting the position of experts from one of the associations of evaluation market players actively working towards the development of systemic solutions in the field of state programs and projects – the Accounts Chamber of the Russian Federation, as well as the Center for Advanced Management Decisions. In the manual on the theory of change, prepared in partnership by experts of these organizations, the following definitions are given [A. I. Kim et al., 2020]:

• immediate results (outputs) – specific products formed as a result of direct state influence and possible for use by target audiences (charity recipients);

• response (react) – the reaction of charity recipients to the use of immediate results (including in the form of behavior change);

• final results (outcomes) – a set of significant changes that the charity recipients experience after the use of immediate results;

• final impacts – desired medium- and long-term social and economic changes.

Outputs are the results that organizations can directly measure or evaluate, while outcomes are broader changes, benefits, and knowledge that can be gained in the medium to long term.

We cannot but mention in this context the approach of the Global Impact Investing Network (GIIN) in connection with the publication by this organization in November 2020 of a new evaluation methodology, presented as the first of its kind recommendation that allows the use of unified approaches and comparison of any projects with each other (Methodology for Standardizing and Comparing Impact Performance). It is worth noting, however, that this methodology is applicable to use by social investors, in order to select investment projects. Within this methodological guide, it is proposed to distinguish the following levels of evaluation: “outputs – short term outcomes – long terms outcomes". Outcomes analysis within this methodology should be built at several levels:

• Scale: number/coverage of stakeholders who received a result (outcome).

• Depth of impact: the degree of change obtained by stakeholders.

• Exposure time: the period of time during which the stakeholder continues to experience the result.

• Volatility: the degree of variability (change) of results over time.

Table 2. Basic terms and definitions related to impact and evaluation

It is worth paying attention to the removal of the “impact" category beyond the limits of the impact chain evaluation in the GIIN approach described above. We can say that such a position is common and represents a trend in the modern sense of the term. This, in particular, is noted by one of the leading international experts in the field of academic research for project and program evaluation, the author of the concept of 4 Strategies, Alnur Ebrahim [Ebrahim, 2019].

Thus, if we proceed from the global modern trends in this concept definition, we can say that the impact concept is becoming more and more “common noun", defining in general the whole range of concepts related to the project results description, with the exception of only immediate results. We also recommend using this understanding in the language corpora to develop a model for evaluation the social and economic impact of social projects. This is the definition used in this paper.

THE THEORY OF CHANGES AS THE BASIC PROBABLE COMPONENT OF THE MODEL FOR SOCIAL PROJECTS ASSESSMENT

One of the most researched and described in the scientific literature basic constructs and bases of evaluation is the concept of the Theory of Change (ToC) of the project, which is a clear and precise description of the alleged relationships between the causes (actions) and the expected effects (results) that are planned to be achieved under project, indicating the conditions for achieving each of the levels of results. The Theory of Change explains the reasons why certain approaches to solving the problem are used, as well as how these approaches will lead to the desired changes.

As noted by A. I. Kuzmin, the author of the first Russian-language publication on the Theory of Changes, ToC can be used as a tool for solving a whole range of problems [A. I. Kuzmin, N. A. Kosheleva, 2014]:

• As a project results describing tool;

• Design tool (project design intent development);

• A way to visualize the project intent;

• A way to justify the causal relationship between project activities and their results;

• A way to define project impact boundaries;

• Basis for the formation of a project monitoring system;

• Basis for project evaluation;

• A way to “archive" good practices in a generalized form.

Traditionally and in its most general form, the Theory of Change is most often presented in the form of a map of expected results, showing how the actions under project will lead to the achievement of the project goal, and a list of assumptions or conditions under which this “theory" will work, which the authors of the project expect to comply with and which, at the same time, are beyond their influence.

The Theory of Change is one of the most common tools used to describe the social technology of a project, for the purpose of its subsequent evaluation. In other words terminology wise, it can be attributed specifically to the field of projects and programs evaluation. It has been actively studied in this area. So, you can find various classifications of types of ToC, approaches to its development, including specialized software, author developed approaches to assessment based on ToC, etc.

The Theory of Change development can be called one of the universal tools used in project evaluation.

EVIDENCE-BASED APPROACH IN SOCIAL PROJECTS ASSESSMENT

Another fundamental term is closely related to the Theory of Change theme. It is the evidence based approach of the social technology applied in a particular case. Generally speaking, the evidence-based approach is an approach based on the application of research methods, on the search and study of arguments that confirm that the set of actions carried out within approach does indeed lead to the desired change.

The evidence-based approach to social design is actively developed and implemented nowadays. This is evidenced by both the increase in the number of scientific publications and outside academic discussions and even the creation of educational programs in line with the evidence-based approach (an example of such initiative is the master’s program Evidence-Based Design and Evaluation of Programs in Social Risk Management in Childhood, opened five years ago at MSUPE (Moscow State University of Psychology and Education)).

As a justification of importance of evidence-based approach in the social sphere, we can quote two expert heuristics: illusions of “pure field" and “absolute wealth". The first is when starting a social project and proposing a new (own) solution to a social problem, authors often ignore the existing experience in solving this problem. Such a heuristic is impossible in a case, for example of a commercial project, where an important condition for its effectiveness is taking into account the market context. But it is quite possible in the public sector and the likelihood of its occurrence is high. Market research, analysis of the target audience needs, highlighting of the leading players and existing technologies, analysis of the effectiveness of existing solutions are often not considered as mandatory when developing a social project.

The Theory of Change is most often presented in the form of a map of expected results, showing how the actions under project will lead to the achievement of the project goal.

The essence of the second heuristic is that “whatever social service we provide it is definitely a good and right thing to do." Hence the widespread, humorous concept of “doing good" arose. If the service is not of high quality, does not correspond to modern ideas (including scientific ones) regarding reasons and possible approaches to solving a social problem, etc., it cannot be said that the project really contributes to the solution of this problem.

This issue becomes especially acute in a situation where the project charity recipients are vulnerable groups who, for various reasons, cannot express their opinion regarding the quality of the social services provided to them and their general attitude to the project intervention. These are, in particular, children, people with mental disabilities, homeless people, etc. In this regard, it is reasonable that the topic of practice certification in Russia has been developed in the context of children’s programs. It is worth considering ways of its possible development and application of this cited standard as an example [Practice certification standard in the field of childhood (Version No. 2. 31 August, 2018)].

REFERENCES

1. Courtney Paul Conceptualising Social Value for the Third Sector and Developing Methods for Its Assessment [Magazine]. – [s.l.]: International Society for Third-Sector Research Voluntas, 2018 – https://doi.org/10.1007/s11266–017–9908–3: Vol. 29.

2. Ebrahim Alnoor Measuring Social Change: Performance and Accountability in a Complex World – [Book]. – 2019.

3. Grieco Cecilia Assessing Social Impact of Social Enterprises. Does One Size Really Fit All? [Book]. – [s.l.]: Springer, 2015.

4. Takyi Stephen Appiah REVIEW OF SOCIAL IMPACTS ASSESSMENT (SIA): APPROACH, IMPORTANCE, CHALLENGES AND POLICY IMPLICATIONS [Magazine]. – [s.l.]: International Journal of Arts & Sciences, 2014 – Vl. 07(05):217–234 (2014).

5. A. I. Kim, V. K. Kopytok, Yu.A. Filippova, M. V. Tsygankov The Theory of Change application for strategic audit and strategic planning in Russia / Accounts Chamber of the Russian Federation, Center for Advanced Management Decisions – М., 2020. – p. 28.

6. A. I. Kuzmin Evaluation of programs: methodology and practice. /Ed. A. I. Kuzmin, R. O'Sullivan, N. A. Kosheleva // M.: Presto-RK publishing house – 2009.

7. A. I. Kuzmin Local problems in development of evaluation (https://evaluationconsulting.blogspot. com/2020/10/blog-post.html).

8. A. I. Kuzmin, N. A. Kosheleva Theory of Change: general recommendations for use (from the experience of the Victoria BDF) // M.: Prospect publishing house. – 2014.

9. N. V. Rozhdestvenskaya, S. B. Boguslavskaya, O. S. Bobrova. Evaluation of the effectiveness of non-profit organizations projects, social entrepreneurship and civic initiatives [Book]. – SPb: Publishing house of the Polytechnic University, 2016.

10. Practice certification standard in the field of childhood (Version No. 2. 31 August, 2018) [In Internet]. – http://www.ozenka.info/about/dokazatelniy_podhod/standart_dokazatelnosti_praktik/402_file_2.pdf.

CONCLUSION

This review provides a very brief analysis of a number of key terms included in the language corpus of the subject area of social projects and programs assessment. We hope that the analysis presented will contribute to the development of common approaches and a unified conceptual framework in the field of impact investments and contribute to both the formation of standards and wider general implementation of the charitable projects and social impact assessment system.

Нобелевская премия–2021 по экономике: новый шаг в оценке социального воздействия

Елена Авраменко

Мы давно привыкли к присутствию сложных научных открытий в нашей повседневной жизни. Глубокая ассимиляция бытовых привычек и высоких технологий – наша привычная среда.

Елена Авраменко,

эксперт проекта «Разработка модели оценки социально-экономического воздействия НКО» фонда Gladway, мастер Lean 6 Sigma уровня Green Belt

Переводя многие процессы и сферы жизни в цифру, мы задумываемся о том, чья очередь дальше? Как оценить успешность новых процессов? И можем ли мы с помощью современных технологий и канонов математики оцифровать, оценить, сравнить, спрогнозировать не охваченные еще процессы?

Оценка социального воздействия современного бизнеса – одна из актуальных задач текущего времени. Импакт-бизнес, безусловно, должен быть успешен в двух сферах – как в экономике, так и в реализации своей социальной миссии. И если с оценкой экономической эффективности бизнеса все достаточно понятно, как оценить, стала ли жизнь в обществе лучше в результате реализации импакт-миссии? Перед оценивающим всегда стоит непростая задача – выбрать верный метод и базироваться на достоверных данных, которые в процессе импакт-влияния нужно еще выявить и правильно собрать.

Лауреаты Нобелевской премии 2021 года в области экономики Дэвид Кард, Хидо Имбенс и Джошуа Ангрист – трое ученых из американских университетов – сделали важный шаг в этом направлении, показав миру способы того, как можно сделать научные выводы на материале, казалось бы, ненаучных экспериментов. Эту методологию можно использовать для оценки сложных общественных процессов и получать, как показали авторы, достоверные результаты.

Основной проблемой исследований в социальных процессах является сложность организации контролируемого эксперимента. Нельзя сделать строгую выборку подходящих нам для эксперимента людей и подвергнуть их целенаправленно влиянию, например перевести на здоровое питание. Мы можем оценивать только тех, чей осознанный выбор привел их к такому питанию. Но какие факторы повлияли на выбор этих людей? Можем ли мы полноценно их соотносить с теми, кто к такому выбору не пришел? И каково наше влияние на такой выбор, если мы ведем регулярную пропаганду здорового образа жизни? Вот тут-то и поможет нам созданная нобелевскими лауреатами методология оценки результатов естественных экспериментов. Ученые смогли ввести научно-доказательную базу в эксперименты, которые строит сама жизнь. Если в одном городе или одной стране вдруг повышают минимальную зарплату, сокращают рабочую неделю или расширяют наем мигрантов, а в соседних – нет, то по замеру результатов уже можно сказать, как это влияет на благосостояние людей и общества в целом. Другими словами, ученые предложили искать две разные группы людей, одна из которых случайным образом столкнулась с влиянием социального фактора, а вторая случайно его избежала.

Оценка социального воздействия современного бизнеса – одна из актуальных задач текущего времени. Импакт-бизнес, безусловно, должен быть успешен как в экономике, так и в реализации своей социальной миссии.

Дэвид Кард, используя метод естественных экспериментов, проанализировал влияние минимальной заработной платы, уровня иммиграции и образования на формирование рынка труда. Он выявил, что повышение минимальной заработной платы не всегда ведет к сокращению числа рабочих мест, а среднее образование имеет более высокую ценность, чем считалось раньше. В своих исследованиях Кард показал, что базовые модели экономической теории, если их воспринимать как догму и не проверять эмпирически, приводят к неверным выводам. В теории предполагается, что на рынке зарплата сотрудника равна его максимальной производительности: с одной стороны, организация не может больше платить сотруднику, ориентируясь на предел расходов, с другой стороны, сотрудник за меньшее не согласится работать, перейдет в другую организацию. Отсюда вредны любые попытки государства установить минимальную зарплату выше рынка. Такая парадигма часто транслируется теми, кто против повышения минимального размера оплаты труда.

Если в одном городе или одной стране вдруг повышают минимальную зарплату, сокращают рабочую неделю или расширяют наем мигрантов, а в соседних – нет, то по замеру результатов уже можно сказать, как это влияет на благосостояние людей и общества в целом.

Вторая догма, которую развенчал Кард, – это влияние притока мигрантов на занятость коренного населения. Об этом говорила классическая модель баланса спроса и предложения на рынке. Любое увеличение населения в этой модели (в том числе из-за миграции) приводит к увеличению числа работников на рынке и при фиксированном количестве рабочих мест дает снижение заработной платы и рост безработицы. Дэвид Кард опубликовал две крупные работы по этой теме. Первая была результатом исследования того, как более 120 000 мигрантов-кубинцев в 80-м году повлияли на рынок труда Майами. Просто сравнить безработицу и заработную плату в Майами в режиме «до и после» притока мигрантов было невозможно, экономика США переживала рост в 1979 году и падение в 1981 году по причинам, не имеющим ничего общего с этими мигрантами. Но Кард сделал анализ средних изменений в заработной плате и безработице с конца 1970-х по 1980-е годы в Атланте, Хьюстоне, Лос-Анджелесе, Тампе и Санкт-Петербурге. Затем он вычел это изменение из изменения результатов рынка труда в Майами и получил влияние притока иммигрантов на заработную плату и безработицу в городе. Кард обнаружил, что этот приток практически не повлиял на заработную плату неквалифицированных некубинцев в Майами, а также не увеличил безработицу среди чернокожих или некубинцев.

Методологическим основанием исследования Карда стал метод «разности разностей». Данный метод можно широко использовать для исследования факторов влияния в естественных экспериментах. Суть метода в простейшей реализации выглядит так: наблюдаются некоторые исходы для двух групп и двух временных периодов. Одна из групп подвержена воздействию или участвует в некоторой программе в одном из периодов, а вторая группа не подвержена воздействию ни в одном из периодов. В случае, когда одни и те же объекты внутри групп наблюдаются в каждом периоде, среднее изменение исхода во второй (контрольной) группе вычитается из среднего изменения исхода в первой (опытной) группе. Это устраняет смещение при сравнении исходов в опытной и контрольной группах только во втором периоде, которое может быть следствием постоянных различий между группами, а также смещение при сравнении во времени, которое может быть вызвано временными трендами, никак не связанными с программой.

Более подробно возможности и потенциал данной методологии можно рассмотреть на примере, приведенном Джеффри Вулдриджом в публикации «Оценивание методом «разность разностей»: предположим, что один из штатов США осуществляет программу в области здравоохранения для пожилых людей в возрасте 65 лет и старше, и зависимая переменная у – это некий показатель здоровья. Одна из возможностей состоит в том, чтобы использовать данные только по жителям штата, в котором реализуется программа, как до, так и после ее внедрения и в качестве контрольной группы взять жителей в возрасте до 65 лет (или в возрасте от 55 до 64 лет), а в качестве опытной группы – жителей в возрасте 65 лет и старше. Потенциальная проблема такого анализа состоит в том, что другие факторы, не связанные с новой программой штата, могут повлиять на уровень здоровья пожилых людей по сравнению с молодыми, например изменения политики в области здравоохранения на федеральном уровне. Иная стратегия анализа заключается в использовании другого штата для формирования контрольной группы, то есть в рассмотрении пожилых жителей штата, в котором программа отсутствует, в качестве контрольной группы. Тем самым накладывается постоянное изменение между этими двумя группами, и в дальнейшем измеряется влияние непосредственно самой программы на исследуемый показатель.

При наличии повторяющихся выборок за два периода времени модель, тестируемая с помощью данного метода, записывается следующим образом: y = b0 + b1db + 0d2 + 1d2dB + u, где y – представляющий интерес исход, d2 – фиктивная переменная для второго периода, dB – фиктивная переменная для опытной группы.

Итак, вернемся к математической постановке данного метода.

При наличии повторяющихся выборок за два периода времени модель, тестируемая с помощью данного метода, записывается следующим образом:

у = в0 + BldB + 0d2 + 1d2dB + u, (1)

где y – представляющий интерес исход, d2 – фиктивная переменная для второго периода,

dB – фиктивная переменная для опытной группы.

Фиктивная переменная d2 улавливает факторы, которые бы вызвали изменения у даже при отсутствии воздействия или программы. Фиктивная переменная dB улавливает возможные различия между опытной и контрольной группами соответственно. Представляющий собой интерес коэффициент 1 находится при переменной взаимодействия d2dB, которая совпадает с фиктивной переменной, равной единице, для наблюдений в опытной группе во втором периоде. Оценка 1 методом «разность разностей» (РР-оценка) – это обычная оценка метода наименьших квадратов для уравнения (1) на основе случайной выборки по исследуемым группам. Ее можно записать в виде