影响力慈善研究院
李劲VS史耀疆:当我们谈论影响力评估时,我们在讨论什么?

中国慈善家 · 2024-04-24

  近日,《中国慈善家》影响力慈善研究院举办第20期影响力慈善沙龙,主题为“回到初心:慈善影响力及其评估”。陕西师范大学教育实验经济研究所(CEEE)的史耀疆教授与《中国慈善家》影响力慈善研究院首席专家李劲,共同探讨了慈善影响力评估的重要性与挑战。

  影响力慈善研究院2022年3月成立,首提“影响力慈善”概念,将慈善影响力定义为慈善活动对社会带来的长期、大规模和深刻的正向改变,代表着慈善成果的最高层面;倡导以成果为导向的慈善方法论和实践论——慈善公益行动应以解决社会问题、推动社会进步和社会创新为目标。史耀疆教授团队经过二十年的研究,发展出一套“影响评估”的理论和方法,专注于评估具体项目或政策的净影响,并分析其背后的作用机制。在“婴幼儿早期发展”,“营养、健康与教育”,“农村现代信息技术应用”,“教学与教法”,“健康与人力资本”等领域开展了六十多项行动实验研究。

  什么是慈善影响力?

《中国慈善家》影响力慈善研究院首席专家李劲
《中国慈善家》影响力慈善研究院首席专家李劲

  李劲:我们在影响力慈善研究院的LOGO上可以看到,“影响力”对应的英文是Impact。我们将慈善活动的成果分为三个层面:首先是直接产出,其次是活动的效果,最后是影响力。

  慈善影响力,是作为慈善活动给社会带来的长期的、大规模的和深刻的正向变革,是慈善活动最高层面的成果。

  慈善影响力不是什么?我们理解的影响力不是“品牌影响力”。通常当我们提到影响力时,可能会想到媒体,因为媒体的传播可以让更多人了解,为个人或组织带来名誉。但“品牌影响力”不是我们所说的慈善影响力,也不符合“Impact”一词的本意。

  慈善影响力也不等同于Influence,即影响他人的能力。尽管影响他人的能力有助于提升慈善影响力,这是我们在研究中的一个重要发现。中国的慈善家和企业家尤其善于利用自己的影响力来推动慈善事业,提高慈善行为的效果。但是,我们认为影响他人的能力并不等同于慈善影响力本身。

引自/李劲,《我们如何理解慈善影响力》
引自/李劲,《我们如何理解慈善影响力》

  讨论影响力为什么是必要的?

  李劲:理论上,慈善影响力的形成通常遵循一个简单的路径:首先开展试点项目,然后逐步扩大规模,最终达到影响政策改变的目的。

引自/李劲,《我们如何理解慈善影响力》
引自/李劲,《我们如何理解慈善影响力》

  这一模式得到了许多人的认可,当然也有人持不同看法。这一路径起源于国外的理论,在中国,虽然有些项目沿着这一路径取得了成功,但真正能够影响政策的例子并不多见。除了一些有官方背景的大型基金会可能对政策产生了一定影响外,其他慈善组织在政策层面的影响力还相当有限。

  慈善活动是否真正以成果为导向,还是仅仅追求表面的光鲜或短期的改善?我们所追求的成果应该具有哪些层面?是简单的直接产出,如为孩子们提供食物和书包,或是修建学校?

  还是更深远的影响,比如提升教育水平和改变他们的人生轨迹?许多慈善家在过去二十年里进行了大规模的捐赠,投入了大量资金和资源,但在成效、影响力方面,他们所投入的慈善活动是否真正解决了社会问题?这些慈善解决方案是否从根本上带来了改变?如果没有实现预期的成果,责任应该由谁来承担?如果长期大规模的投入并未带来预期的显著成效,慈善家们应该如何应对?

  值得关注的是,国内有些慈善项目,如中国发展研究基金会的“营养午餐”项目,已经成为推动政策解决儿童发展问题、实现慈善影响力的典范,展示了慈善活动在推动深远社会变革方面的价值。

引自/李劲,《我们如何理解慈善影响力》
引自/李劲,《我们如何理解慈善影响力》

  “影响力评估”是什么?

  李劲:尽管不同的人对影响力评估的看法、使用的方法和理解可能各不相同,但我们至少可以看到,存在三种不同的影响(力)评估思路。

  从研究院的角度来看,评估的重点在于慈善活动在影响力层面所取得的成果,这也是不少国际发展机构的观点。

  此外还有一种观点认为,除了慈善活动本身直接产生的成果外,还应该考虑其间接成果(也就是溢出效应),例如经济扶贫活动对受益人健康状况和社会资本增长等方面的影响,这些都可以被视为间接成果。

  第三,还有一种观点认为,影响评估必须探讨成果或变化的归因问题,我们需要问自己:这些成果的取得是否真正源于我们的干预措施或项目?项目是否是导致这些成果的直接原因?归因问题是一个复杂且独立的议题,它对我们来说是一个重要的挑战,我们将在后续的讨论中详细探讨这个问题。

  需要注意的是,这些思路仅仅是影响(力)评估的总体思路,并不是具体的评估框架或者方法。在进行影响(力)评估时,还需要考虑评估的维度和层面等。这些问题的复杂性意味着我们在后续的讨论中可能会提出不同的观点和解释。

陕西师范大学教育实验经济研究所(CEEE)的史耀疆教授
陕西师范大学教育实验经济研究所(CEEE)的史耀疆教授

  史耀疆:影响评估的方法起源于循证医学领域,特别是2001年纽约州立大学提出的医学证据等级金字塔模型。

  根据这个模型,证据等级从低到高依次为:体外实验、动物实验、专家意见和评论、病例报告、病例系列、病例对照研究。在病例对照研究之上,是更高等级的证据:队列研究,而最高等级的证据则来自随机双盲实验。影响评估在慈善和社会项目中的应用,借鉴了循证医学中随机双盲对照研究的宝贵经验。

引自/史耀疆,《科学影响评估方法与随机干预实验》
引自/史耀疆,《科学影响评估方法与随机干预实验》

  社会科学领域也在采纳类似的系统化方法,证据等级金字塔通常由三个层级构成:首先是观察性研究,其次是实证性研究,最后是严格总结前人经验的高等级证据系列。我曾戏称,最低等级的证据可能就是所谓的“某某专家如是说”,这仅代表个人观点,而非基于严谨研究的证据。

  在低等级证据之上,是案例分析。我们曾被提醒,不能简单地将一个案例的结论推广应用到更广泛的情境中。例如,过去的经验告诉我们,不能将一个地方的农业模式不加区别地应用到全国。在社会科学领域,更高等级的证据包括准实验方法,如断点回归、工具变量的方法、匹配方法和差分方法。

  而在社会科学领域中,最高等级的证据是随机干预实验,这与医学领域的随机双盲实验相似。随机干预实验要求我们找到一个反事实,通过对照组来衡量项目的真实影响力。这就像是医学中治疗疾病一样,社会科学和慈善项目也致力于解决社会的“疾病”。通过随机干预实验,我们可以准确评估社会干预措施的成效,从而更好地“治疗”社会问题。

引自/史耀疆,《科学影响评估方法与随机干预实验》
引自/史耀疆,《科学影响评估方法与随机干预实验》

  影响评估的核心挑战在于构建一个反事实,即模拟如果没有实施项目或干预,情况将会如何。随机干预对照实验被认为是黄金准则,它通过比较干预组和对照组的变化来评估项目的影响。此外还有其他多种方法来构建反事实,如倍差法、双重差分法和断点回归法等。

  在实际操作中,根据不同项目的特点和可用数据来选择方法,目的都是准确衡量项目的净影响,即排除所有其他干扰因素后,项目本身对结果变量的贡献。这也是评估工作的价值所在。

  史耀疆:我们可以通过一个具体的例子来阐述影响评估。假设一个学生在没有营养餐之前身高为1.2米,而在享受了一年的营养餐之后,身高增长到了1.25米。这一变化很容易让人直接认为是营养餐带来的积极影响,毕竟营养餐政策的初衷是为了促进孩子们的身体健康和成长。

  然而,我们不能简单地将身高的增长完全归功于营养餐的实施。因为即使没有营养餐,孩子们也会因为自然生长发育而长高。因此,要准确评估营养餐项目的影响,我们必须排除其他因素,如自然生长发育的影响。

  为了做到这一点,我们需要找到一个“反事实”——即假设没有实施营养餐项目的情况下,孩子们的身高会如何变化。这在现实中是不可能的,因为同一个孩子不可能同时处于既接受营养餐和不接受营养餐的状态。因此,我们需要通过科学的方法建立一个反事实,这通常通过设立对照组来实现。

  在一个随机控制试验中,我们将孩子们随机分配到营养餐组和对照组。一段时间后,我们比较两组孩子的身高变化。假设对照组孩子的身高从1.2米增长到了1.23米,而营养餐组孩子的身高从1.2米增长到了1.25米,那么营养餐项目可能对孩子们的身高增长贡献了额外的2厘米(1.25米-1.23米),而剩余的3厘米增长则是自然生长发育的结果。

  通过这种方法,我们可以更准确地评估营养餐项目的实际影响,即在排除了自然生长发育等其他因素后,项目本身对孩子们身高增长的贡献。这就是影响评估的核心——通过建立对照组和进行随机控制试验,找到项目实施的真正效果,从而为项目的改进和决策提供科学依据。

  影响力评估为什么是必要的?

  李劲:当我们探讨慈善活动的影响力时,不可避免地需要讨论到评估问题。如果声称某项慈善活动具有影响力,并产生了一定的成果,那么支持这一说法的依据是什么呢?

  我们推广慈善影响力的根本目的是证实慈善事业具有重要价值,并能够明确阐述这一价值的具体含义。为此,我们依赖于评估来揭示慈善的价值所在。

  普遍认为,慈善的价值在于传递温暖和奉献爱心。在今天的讨论中,我们与史老师达成了许多共识,其中包括一个关键点:归因的重要性,即确定某个具体的影响是慈善行动及其干预措施带来的。

  我们成立影响力慈善研究院时,提出了一个观点,即不以影响力为导向的慈善行为是不负责任的。慈善行动所追求的不仅仅是表面的献爱心,而是更深层次的、解决社会问题的成果。

  史耀疆:我们说影响力评估必要,原因有三点。

  一是提供证据基础:当下国际上普遍认同,没有证据就没有改善。影响力评估提供了决策的依据,帮助后续项目学习和改进。

  二在于引领创新:作为行业内的领先组织,基金会应承担起进行影响力评估的责任,以推动行业进步,提升中国慈善公益在国际舞台上的话语权。

  三是政策决策:影响力评估可以为政策制定提供参考,帮助确保有限的资源更有效地用于帮助目标群体,特别是困境人群。

  要解决社会问题,我们必须知道我们所采取的政策或措施,能把“病”治好多少,能将社会问题解决到一个什么样的程度,这要求我们在人文社会科学领域进行严谨的研究。

  我认为,并非每一个公益慈善项目都必须进行影响评估。然而,对于涉及政策倡导和大规模推广的项目,进行影响评估是非常必要的。虽然前期投入一定的资金进行评估似乎增加开销,但它能够帮助我们理解政策实施后可能带来的正向收益和潜在的负面后果,从而为决策提供依据。

  影响力评估难在哪里?

  李劲:我们必须回到核心问题——我们是否真正解决了问题?这是评估慈善影响力的关键。目前,对于公益慈善的价值存在多种不同的观点和理解,我们推广慈善影响力的概念,旨在明确表达慈善在解决社会问题方面所具有的独特价值。

  史耀疆:影响力评估不应仅仅关注条件和投入,而应深入到问题解决的程度。它需要能够清晰地归因,阐明哪些因素起了作用,哪些没有,以及作用的机制是什么。这意味着我们需要能够解开项目每个环节的因果链,清晰地解释其作用机制。

  影响力评估的目的是了解问题解决的实际程度,并能够打开所有解决过程和机制的“黑匣子”,进行清晰的归因。因为人和社会问题都是极其复杂的,解决社会问题的措施并不一定总是产生积极的结果,就像药物治疗也可能带来副作用。因此,进行影响力评估是为了确切地知道我们的慈善公益活动在多大程度上解决了问题,以及这些解决方案是如何起作用的。

引自/史耀疆,《科学影响评估方法与随机干预实验》
引自/史耀疆,《科学影响评估方法与随机干预实验》

  真正的影响力评估应该衡量的是项目带来的实际变化和长期影响,而不仅仅是投入的多少。目前的很多评估报告,报告了项目的投入和一些产出成果,但并没有深入探讨这些投入如何转化为实际的社会影响,以及这些影响的具体程度和效果如何。因此,我们需要区分真正的影响力评估与仅仅是对项目投入产出的描述。

  真正的影响力评估报告为什么罕见?

  史耀疆:严格意义上的影响力评估报告并不多见。

  李劲:是的,刚才公益评估支持平台介绍,中国9500多家基金会能从公开渠道获取的完整评估报告只有130份,其中涉及项目影响力分析的只有不到5%,较为完整的影响力评估报告只有4份。我们两年前对34个中国样本慈善家的慈善成果进行分析时,也只发现大约两到三份影响力评估报告。

  史耀疆:我觉得有六大原因。

  一是资金问题:一些组织认为进行影响力评估需要额外花费。实际上,通过评估可以避免无效投入,从而节省资源。

  二是时间问题:社会创新项目往往需要较长时间来实施和评估,而一些组织期望项目能迅速产生效果,半年或一年就要看到成果,这与影响力评估所需的时间周期不匹配。

  三是政策影响:一些基金会认为,如果项目不能转化为政策,那么影响力评估的价值就不大。他们认为,只有当评估结果能够影响政策制定,从而让更广泛的群体受益时,评估才有意义。

  四是项目条件限制:某些项目由于其特定的条件和性质,可能不适合进行影响力评估,或者评估的实施存在难度。

  五是捐赠者信念:一些基金会的捐赠者由于在其他领域的成功经验,对自己的方法充满信心,认为无需通过评估来证明其有效性。

  六在于价值观:一些组织更关注短期成效和名声,而不是慈善活动对目标群体带来的实际改变。

陕西师范大学教育实验经济研究所(CEEE)的史耀疆教授
陕西师范大学教育实验经济研究所(CEEE)的史耀疆教授

  影响力评估如何回到初心?

  李劲:我们面临着一个问题:为什么大量的慈善活动评价往往只停留在投入、产出层面,而未能进一步展现其成果影响力?从行业发展的角度看,我们尚未具备在影响力层面充分展现自身能力的实力。

  影响力慈善研究院的初心是引导和支持慈善家们实现他们的慈善影响力,解决社会问题、推动社会进步,这些同样应该是慈善家们的初心。我们期待今天的讨论能够带来新的思考和期待,促使慈善家们回归到他们从事慈善工作的最根本的初衷——不仅仅是为了捐赠,而是为了取得实质性的成果影响力。

  史耀疆:在推动中国的发展过程中,我们始终要坚持问题导向,聚焦于解决真正的问题。这是慈善事业的核心任务,也是我们作为探路者的重要角色。由于许多问题在初期可能未受到政府的足够重视,我们需要通过合作,集结医学、心理学、认知科学和脑科学等多个领域的专家共同探索解决方案。

  项目设计的干预方法必须简单明了,便于理解和实施。复杂的方案虽在理论上可行,但难以在现实世界中广泛推广。因此,我们的方案需要简化,再简化,以确保其可操作性和有效性。如果我们的方案像多种药物混合一样复杂,那么在实际操作中,我们将难以确定哪种“药物”真正有效。

引自/史耀疆,《科学影响评估方法与随机干预实验》
引自/史耀疆,《科学影响评估方法与随机干预实验》

  此外,慈善事业作为先行者,其目标是探索出可由政府采纳并推广的模式。鉴于中国的广阔和多样性,我们希望政府能够认可并资助这些经过验证的解决方案,以便让更多人受益。这就涉及到慈善机构如何与政府合作,如何从探路者的角色转变为技术支持者,以及如何逐步将有效的模式引入到更广泛的社会实践中。

引自/史耀疆,《科学影响评估方法与随机干预实验》
引自/史耀疆,《科学影响评估方法与随机干预实验》

  当前,一个新的科学领域——实施科学,正在发展中。它强调将经过随机对照试验(RCT)验证有效的方法,在推广到不同地区时,根据当地实际情况进行再评估和调整。这种做法最初在公共卫生领域提出,目前经济学和社会政策领域也开始采纳。我们的慈善项目和政策制定应当借鉴实施科学的原则,确保我们的解决方案既有科学依据,又具有适应性和可持续性。

撰文|鲍安琪

图片、视频制作|燕   飞

编辑|安然

京ICP备2023001163号 京公网安备 11010202009386

COPYRIGHT ©1999-2023 ZGCSJ.COM. ALL RIGHTS RESERVED