模型可解释性

摘要: 关于 AI 模型的可解释性

【对算法，数学，计算机感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：算法题刷刷
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

在工业界，业务应用需要模型输出决策或预测。业务侧有时需要理解为什么做出某种决策或预测，就对模型的可解释性有了需求。

这种对模型可解释性的要求在金融风控领域更加严苛。因为一个模型支撑起业务后，模型所做的决策或预测往往涉及多方利益，因此模型生产者经常要向各方解释。

• 向领导汇报: 领导根据模型预测结果做决策时，面对副职的疑问需要提供一些解释。
• 向客户解释:
  • 如果是 C 端客户，例如在借贷业务上拒绝一笔贷款，在保险业务上提高保费等等。客户一定会通过客服询问原因
  • 如果是 B 端客户，它们拿着的解决方案，也需要给领导做一定的解释才好在内部结项
• 与合作者沟通:
  • 项目经理在推进工作需要其它部门支持时，对方部门的同事很可能会有疑问
  • 向数据源提供者申请新的数据或特征时，也需要有一定的解释才好推进工作，例如需要获取敏感特征或者需要其它人配合设置埋点时。

除此以外，模型的解释性对自己优化模型，分析 BadCase 也是有帮助的。知道了模型是如何使用特征进行预测的，我们就能直觉地判断我们的模型是否抓住了有意义的特征，模型是或否能泛化到其他样本的预测上。

作为算法工程师，工作中更倾向于关注模型的性能指标，例如精度，召回率等。但后期基本上会都会涉及解释性的问题。

---