跳到主要内容

派生机器学习与人工智能

通过对现有验证框架进行有针对性的修改,可以减轻由机器学习模型的复杂性带来的附加风险。

机器学习与人工智能它们将改变银行业,利用大量数据建立模型,以改进决策、定制服务和改进风险管理。根据麦肯锡全球研究所(McKins亚搏平台登录ey Global Institute)的数据,这可能为银行业创造超过2500亿美元的价值。

但也有缺点,因为机器学习模型放大了模型风险的一些因素。尽管许多银行,特别是那些在有严格监管要求的司法管辖区内运营的银行,都有验证框架和实践来评估和减轻与传统模式相关的风险这些往往不足以应对与机器学习模型相关的风险。

意识到这一问题,许多银行都在谨慎行事,将机器学习模型的使用局限于低风险应用,如数字营销。考虑到潜在的财务、声誉和监管风险,他们的谨慎是可以理解的。例如,银行可能会发现自己违反了反歧视法,并招致巨额罚款——这一担忧迫使一家银行禁止其人力资源部门使用机器学习简历筛选器。然而,一个更好的方法,也是最终唯一可持续的方法,如果银行要获得机器学习模型的全部好处,就是加强模型风险管理。

监管机构尚未就如何做到这一点发布具体指示。在美国,他们规定银行负责确保机器学习模型相关的风险得到适当的管理,同时指出现有的监管准则,如美联储的“模型风险管理指南”(SR11-7),足够广泛,可以作为指导。

加强模型风险管理以应对机器学习模型的风险,将需要对模型清单中应包括的内容做出政策决定,并确定风险偏好、风险分层、角色和责任以及模型生命周期控制,更不用说相关的模型验证实践了。好消息是,许多银行将不需要全新的模型验证框架。现有的可用于目标的一些有针对性的增强。

新风险、新政策选择、新做法

不乏新闻头条披露新机器学习模式的意外后果。例如,2016年英镑的“闪电相撞”被指责为造成负反馈回路的算法占6%,据报道,一辆自动驾驶汽车不幸未能正确识别一名在街上骑自行车的行人。

在这些机器学习模型中出现的风险的原因与所有机器学习模型中存在的放大风险的原因相同,无论是工业和应用:增加模型复杂度。机器学习模型通常作用于更大的数据集,包括自然语言、图像和语音等非结构化数据。这些算法通常比它们的统计对应算法复杂得多,并且通常需要在训练过程开始之前做出设计决策。亚搏竞彩vip晋级优惠机器学习模型是使用新的软件包和需要更多专业技能的计算基础设施建立的。

但是,对这种复杂性的响应不必过于复杂。如果正确地理解,与机器学习模型相关的风险可以在银行现有的模型验证框架中进行管理,如下所示。

展览中重点介绍了麦肯锡模型验证部门Risk Dynamics对验证框架和实践的修改。亚搏平台登录该框架完全符合SR11-7规定,并已被用于验证银行许多不同领域的数千个传统模型。该框架考察了涵盖25个风险要素的8个风险管理维度。通过修改其中的12个元素并只添加6个新元素,机构可以确保与机器学习相关的特定风险得到解决。

我们努力为残疾人士提供平等访问我们网站的机会。如果您想了解有关此内容的信息,我们将很高兴与您合作。请发送电子邮件至: 亚搏平台登录麦肯锡网站www Accessibility@McKinsey.com

六个新元素

这六个新元素——可解释性、偏差、特征工程、超参数、生产准备和动态模型校准——代表了该框架最实质性的变化。

可解释性

机器学习模型被称为“黑匣子”。” Depending on the model’s architecture, the results it generates can be hard to understand or explain.一家银行用机器学习产品推荐引擎工作了数月,目的是帮助客户经理进行交叉销售。亚搏竞彩vip晋级优惠但是,由于管理人员无法解释模型建议背后的基本原理,他们忽视了这些建议。他们不相信这个模型,在这种情况下,这意味着浪费了努力,也可能是浪费了机会。在其他情况下,作用于(而不是忽视)模型不透明的建议可能会产生严重的不良后果。

需要的可解释性程度是银行根据自己的风险偏好做出的政策决定。他们可以选择保持所有机器学习模型具有相同的高可解释性标准,或者根据模型的风险进行区分。在美国,决定是否向申请人发放贷款的模型受到公平贷款法律的保护。因此,模型必须能够产生明确的拒绝理由代码。另一方面,银行很可能认为,机器学习模型建议在特定客户的移动应用程序上放置产品广告,对银行的风险非常小,因此了解模型这样做的理由并不重要。

验证器还需要确保模型符合所选择的策略。幸运的是,尽管机器学习模型享有“黑箱”的声誉,但近年来在帮助确保其结果可被解释方面取得了重大进展。基于模型类,可以使用多种方法:

  • 线性和单调模型(例如,线性回归模型):线性系数有助于揭示结果对输出的依赖性。
  • 非线性和单调模型(例如,具有单调约束的梯度增强模型):限制输入使其与因变量具有全局上升或下降关系简化了输入对预测的属性。
  • 非线性和非单调(例如,无约束的深度学习模型):诸如局部可解释模型不可知解释或Shapley值等方法有助于确保局部可解释性。

偏见

一个模型可以受到四种主要类型的偏差的影响:样本偏差、测量偏差和算法偏差,以及针对群体或阶层的偏差。后两种类型,算法偏见和对人的偏见,可以在机器学习模型中被放大。

例如,随机森林算法倾向于支持具有更清晰值的输入,这种偏差会增加错误决策的风险。一家银行开发了一个随机森林模型来评估潜在的洗钱活动,并发现该模型更倾向于具有大量分类值的领域,如职业,而类别较少的领域,如国家,能够更好地预测洗钱的风险。

为了解决算法偏差时,应更新模型验证过程,以确保在任何给定的上下文中选择了适当的算法。在某些情况下,如随机森林特征选择,有技术解决方案。另一种方法是开发“挑战者”模型,使用替代算法对性能进行基准测试。

为了消除对群体或阶层的偏见,银行必须首先确定什么是公平。通常使用四种定义,但选择哪一种可能取决于模型的使用:

  • 人口盲:决策使用一组与受保护类别高度不相关的有限特征,即受法律或政策保护的人群。
  • 人口均等:所有受保护阶层的结果都是按比例平等的。
  • 机会均等:每个受保护类别的真实阳性率相等。
  • 等赔率:每个受保护类别的真阳性率和假阳性率相等。

验证器需要确定开发人员是否采取了必要的步骤来确保公平性。可以对模型进行公平性测试,如果需要,还可以在模型开发过程的每个阶段(从设计阶段到性能监视)对模型进行校正。亚搏竞彩vip晋级优惠

工程特性

在机器学习模型的开发过程中,特征工程通常比传统模型复杂得多。原因有三。首先,机器学习模型可以包含大量的输入。其次,非结构化数据源(如自然语言)需要将特征工程作为培训过程开始之前的预处理步骤。第三,越来越多的商业机器学习包现在提供所谓的AutoML,它生成大量复杂的特性来测试数据的许多转换。使用这些特性生成的模型存在不必要复杂的风险,从而导致过度拟合。例如,一家机构使用AutoML平台建立了一个模型,发现产品应用程序中的特定字母序列可以预测欺诈。这是一个完全错误的结果,因为算法最大化了模型的样本外性能。

在特征工程中,银行必须做出决策来降低风险。他们必须确定建立每个特性的概念可靠性所需的支持水平。策略可能根据模型的应用而变化。例如,一个高度规范的信用决策模型可能要求对模型中的每个单独特性进行评估。对于风险较低的模型,银行可能选择只审查功能工程流程:例如,数据转换和功能排除流程。

验证器应该确保特性和/或特性工程过程与选择的策略一致。如果要测试每个特性,通常需要三个考虑因素:模型输入的数学转换、特性选择的决策标准和业务原理。例如,银行可能认为有一个很好的商业案例可以将债务收入比率作为信用模型的一个特征,而不是ATM的使用频率,因为这可能会惩罚使用广告服务的客户。

Hyperparameters

机器学习模型的许多参数,如随机森林模型中的树的深度或深度神经网络中的层数,必须在训练过程开始之前定义。换句话说,它们的值不是来自可用的数据。经验法则、用于解决其他问题的参数、甚至尝试和错误都是常见的替代方法。有关这类参数的决策(称为超参数)通常比统计建模中的类似决策更复杂。毫不奇怪,模型的性能和稳定性对所选择的超参数非常敏感。例如,银行越来越多地使用支持向量机等二进制分类器与自然语言处理相结合,以帮助识别投诉中潜在的行为问题。这些模型的性能和泛化能力对所选的内核函数非常敏感。

验证器应该确保超参数的选择尽可能正确。对于某些定量输入,而不是定性输入,可以使用搜索算法来映射参数空间并确定最佳范围。在其他情况下,选择超参数的最佳方法是结合专家判断和最新的行业实践。

生产准备

传统模型通常被编码为生产系统中的规则。然而,机器学习模型是基于算法的,因此需要更多的计算。这个需求通常在模型开发过程中被忽略。开发人员构建复杂的预测模型,却发现银行的生产系统无法支持它们。一家美国银行投入了大量资源,建立了一个基于深度学习的模型来预测交易欺诈,却发现它没有达到所需的延迟标准。

验证器已经评估了与实现相关的一系列模型风险。然而,对于机器学习,他们需要扩大评估的范围。他们需要估计流经模型的数据量,评估生产系统体系结构(例如,用于深度学习的图形处理单元)和所需的运行时。

动态模型校准

一些类型的机器学习模型动态地修改它们的参数,以反映数据中出现的模式。这取代了传统的定期手工检查和模型更新的方法。例子包括强化学习算法或贝叶斯方法。风险在于,如果没有足够的控制,对数据中的短期模式的过度强调可能会在一段时间内损害模型的性能。

因此,银行需要决定何时允许动态调整。他们可能会得出这样的结论:在适当的控制下,它适用于某些应用程序,比如算法交易。对于其他的,例如信贷决策,它们可能需要动态重新校准优于静态模型的明确证明。

通过策略集,验证程序可以评估动态重新校准是否适合模型的预期用途,制定监控计划,并确保适当的控制措施到位,以识别和减轻可能出现的风险。这些可能包括捕捉模型运行状况中的材质变化的阈值(例如样本外性能度量),以及触发手动检查的护栏(例如曝光限制或其他预定义值)。


银行将需要循序渐进。第一步是确保模型清单包括所有使用中的基于机器学习的模型。你可能会惊讶地发现有多少人。一家银行的模型风险管理职能部门确信,该组织尚未使用机器学习模型,直到它发现,其最近建立的创新职能部门一直忙于为欺诈和网络安全开发机器学习模型。

从这里开始,可以修改验证策略和实践,以解决机器学习模型风险,尽管最初针对的模型类数量有限。这有助于在测试和改进新策略和实践时积累经验。需要相当长的时间来监视模型的性能并微调新的实践。但随着时间的推移,银行将能够将它们应用到所有经批准的机器学习模型中,帮助企业降低风险并获得启动的信心充分利用机器学习的力量.

关于作者

伯哈德巴贝尔是麦肯锡科隆办公室的合伙人;亚搏平台登录布尔勒是纽约办事处的高级合伙人亚当·皮万卡是合伙人德里克·瓦尔德隆是合伙人;布赖恩·理查森是温哥华办事处的资深专家。

作者要感谢罗杰·布克哈特、潘卡吉·库马尔、瑞安·米尔斯、马克·泰曼斯、迪迪埃·维拉和宋金耀对本文的贡献。

相关文章