【百融金服】智能风控与反欺诈技术沙龙
DataFun 洪飞 百融大数据 导读：2019年1月12日，由百融金服、DataFun社区主办的主题为“NN模型在金融风控场景中的应用 智能风控与反欺诈”技术沙龙在清华经管创业者加速器举行。本期活动由新浪金融高级模型算法研究员陈德建、融360风控业务模型部负责人蒋宏、宜信集团宜人贷风险管理团队副总裁张彤晓、邦盛科技高级技术专家尹航等四位专家分别从算法、自动化建模、风控理念以及特征工具等几个方面，完整的阐述了风控反欺诈系统，下面就让我们一起来看看详细内容吧。 互联网时代下信息技术和网络技术的广泛渗透，让人类生活进入大数据驱动智能发展、智能认知的阶段。智能技术进入商业领域后，开始展露普适性的趋势，尤其在金融风控、反欺诈业务中表现出较强的适用性，目前人工智能技术在国内的应用集中在风控、征信及反欺诈等领域。 2019年1月12日，由百融金服、DataFun社区主办的主题为“智能风控与反欺诈”技术沙龙在清华经管创业者加速器举行。本期活动由新浪金融高级模型算法研究员陈德建、融360风控业务模型部负责人蒋宏、宜信集团宜人贷风险管理团队副总裁张彤晓、邦盛科技高级技术专家尹航等四位专家分别从算法、自动化建模、风控理念以及特征工具等几个方面，完整的阐述了风控反欺诈系统。 Part1：机器学习在反欺诈中应用 在信贷领域有两种风险：一种是信用风险，一种是欺诈风险；信用风险主要是对借款人还款能力和还款意愿进行评估，而反欺诈直接面临的是欺诈用户,这种用户没有其他目的，就是为了骗钱不还。 关于反欺诈，陈德建指出，应对反欺诈需要在全生命周期内做防御，具体包括以下五层：第一，设备与网络层；第二，用户行为层；第三，业务频次层；第四，业务事件异常层；第五，欺诈团伙图谱。而对于传统的反欺诈规则又有这样的一些缺点：策略比较强，命中直接拒绝，无法考虑策略之间深层次的关系；无法给出用户的欺诈风险有多大；没有考虑用户从信用风险向欺诈风险的转移。对此引入了机器学习算法：svm、随机森林、iforest、arima、knn、kmean等。在这里陈德建特别介绍了LSTM时间序列在反欺诈中的应用，并指出LSTM异常检测的几点注意事项： 1. 时间序列长度。要每一个时间序列embedding限制固定长度； 2. 数据缺失。对缺失数据做补0操作； 3. 离散变量如何embeding。针对离散变量，比如全国有几千个城市，如何放到向量中 ， 经 量 不 要onehot处理； 4. 异常检测评估。对样本量很少，最好做一个仿真模型生成数据做评估。 最后，陈德建分享了图谱在反欺诈中的应用：常规统计，社群分割，强连通算法；通过种子用户传播，trustrank算法；关系embedding做聚类，分类。 Part2：自动化特征工程和自动建模在风控场景的应用 在传统的风控建模工作中，我们常临的问题是建模周期长。当我们的业务过来时，我们大概会花10%的时间做业务分析；当做特征工程的时候，我们要找各种各样的X去加工、衍生，这块大概会花60%的时间；还有就是当我拿到所有的变量，我的Y也OK了，那么我们去开发模型，尝试不同的模型版本，这块可能要花30%的时间。所以我们需要尽量的减少特征工程和建模过程所耗费的时间，做到标准化、自动化。 蒋宏指出，通过自动化特征工程和自动建模方案，可大幅提升建模效率和标准化程度，与传统方案相比，耗时只有原来的1/4。这有利于我们尝试更多的模型方案和模型快速更新迭代。 接下来，蒋宏详细介绍了自动特征工程的构建过程： 1. 基础数据具有相似性（比如处理后的宽表数据在结构上具有一定的相似性，每个数据中都包含时间型数据、分类型数据、数值型数据和标示型数据。）的结构为自动特征提供了可能性； 2. 人工通过RFM模型可以构造大部分特征； 3. 即使是关系网络也可以通过转换利用RFM模型构造特征； 4. 抽象公共步骤，构建自动化特征工程核心逻辑； 5. 通过配置文件定义基础数据类型和计算逻辑； 6. 完整的自动特征工程方案。 最后，蒋宏分享了自动建模的实践经验： 1. 当前通常采用多种算法并行或组合进行模型训练和选择，方法和过程因人而异； 2. 对建模过程中通用性较高的部分进行模块化封装； 3. 自动通过EDA进行初筛、发现异常值并进行初步变量筛选； 4. 自动综合多种算法和筛选规则选择有效特征； 5. 逻辑回归评分卡模型采用自动分箱（等频率单调性）转woe，同时提供人工调整方式； 6. XGBoost模型自动进行变量预处理和全面的参数调优； 7. 自动全面、细致、快速的评估模型效果，给出多个版本模型效果排名； 8. 标准化输出-模型部署文件：简化部署、提高效率； 9. 标准化输出-模型监控文件：快速实施监控、定期获取监控报告； 10. 模型和变量层级的监控和预警体系，覆盖模型生命周期。 Part3：无感知风控 风险管理是一个多维优化的过程，同时具有科学性和艺术性，其最高境界乃是取舍未来的可知和未知。 张彤晓博士指出企业在做风险管理时，风控能力的五个层级：人工信审->模型和规则->风险定价->取舍->宏观的感知、洞察和预备。 另外，好的风控模型应该具备如下特质： 运营精进 创新引领： 1. 公平有效； 2. 感应宏观； 3. 灵活相融； 4. 应急切换； 5. 尽善尽美。 最后，张彤晓博士分享了把线下业务搬到线上时的一些思考，我们应当用正确的方法做正确的事： 1. 是否科学？是否艺术？ 2. 权衡利弊； 3. 真实的策略； 4. 商业道德； 5. 公平公正； 6. 隐私保护。 Part4：基于金融智能风控的实时指标处理技术体系 互联网时代面临的风控挑战： 1. 数据泄漏、欺诈泛滥： ① 数据泄露严峻。从随机到定制，从线下到线上，从通用到隐私； ② 黑产体系化。从业者重，利益巨大； ③ 互金公司催化。关注客户体验大于安全OTO、共享、电商培养，吸引客户线上保留信息； ④ 业务创新与技术不匹配。金融业务创新与风控技术发展不匹配直销银行、网上银行、互联网信贷；风控依靠事后，简单硬规则，业务紧耦合，无差别对待；采用传统数据库技术，风控专职人员严重不足。 2. 现有的金融风控系统面临的挑战： ① 规则，基于简单规则，硬性规则无差别； NN模型在金融风控场景中的应用 ② 时效，事后处理； ③ 灵活，业务人员很难实时调整修改； ④ 技术，人工智能，机器学习，设备指纹，关联图谱； NN模型在金融风控场景中的应用 ⑤ 业务，对黑产的了解，反欺诈经验，专职业务； ⑥ 数据，外部数据的获取、利用。 总结: 现有风控系统，投入大，时效性差，用户体验差、限制业务创新。 尹航博士指出，面对这些挑战，我们首先应当通过大数据处理（批式+流式），实现热数据（实时流数据）价值最大化。这其中最重要的一部就是实时指标处理技术体系： 1. 实时计算发展历程与目标； 2. 金融机构客户行为管理指标体系； 3. 实时指标处理需求的业务场景和技术挑战； 4. 实时指标计算的计算特点； 5. 实时指标体系的计算模式； 6. AI模型迫切需要实时落地； 7. 大数据实时智能处理技术； 8. 机器学习模型快速上线； 9. 全栈式机器学习平台-智能学习平台； 10. 全栈式知识图谱平台。 最后，尹航博士详细介绍了实时指标处理产品的技术特点： 1. 提供的产品和方案：反欺诈和互联网授信； 2. 对金融风险控制系统建设的理解与实践； 3. 实时指标处理平台在整个系统架构中的位置； 4. 指标系统与相关系统的交互； 5. 复杂业务场景中实时指标计算； 6. 实时指标处理方法 – 以流立方为核心的实时指标平台； 7. 流立方的核心技术特点； 8. 实时指标平台的性能（评测结果）； 9. 数据实时加工能力； 10. 实时指标平台的整体架构； 11. 实时指标平台功能架构 ；
深度迁移学习技术在金融风控中的应用
MMOE / PLE框架的特点是各个任务采用统一的特征空间，使用共享层输出共性特征表达，这个共享层可以看作公式( 4 )提到的特征变换函数T。然后利用带注意力的专家层为各个任务剥离出该任务需要重点关注的特征，最后在各自的标签空间中进行任务的学习。本次建模调参确定使用4个专家，各个专家是按照任务的递进关系排列的。交易任务主要用到专家0、1，而风险任务是在前序交易任务的基础上进行的，因此长表现期风险任务既用到了前序交易任务专家1又用到了自身风险专家3，短表现期风险任务主要用到了风险专家3。
图 2 交易意愿任务专家注意力
图 3 短表现期风险任务专家注意力
图 4 长表现期风险任务专家注意力
另外，多任务之间的权重如何选择也是一个问题。当任务较多的时候，尤其是有的任务比较容易学习、有的任务比较难学习的时候，极容易出现此消彼长的“跷跷板”现象，使得某些任务还不如单任务建模。从迁移学习误差界定公式(5)来看，如果某个任务是源域且难学习，源域误差较大会导致另一个作为目标域任务的泛化误差更大。调研了各种方法后，最终采用了两种动态平衡策略：以不同任务的损失函数方差作为权重的uncertainty weighting[9]，拉平不同任务对共享层变量的梯度更新速度的gradnorm weighting[10]。通常来说，在特征有效性差不多的情况下正负样本比例越平衡的任务越容易训练、收敛率（后续损失/初始损失）低，动态调权可以拉平三个任务的收敛率（图 7）。由于是否交易、发生逾期风险的正样本比例呈现越来越低的递进关系，共享层的梯度被交易意愿任务主导（图 5），因此它的权重会被逐渐降低（图 6）；短表现期风险任务的损失函数收敛率变化最小，可以认为一开始就被训练到极限状态了，因此它的权重先升高后降低；训练后期主要聚焦在长表现期风险任务，因此它的权重持续上升。
图 5 多任务gradnorm weighting对共享层参数的梯度1-范数对比图
图 6 多任务gradnorm weighting动态权重对比图
图 7 多任务gradnorm weighting损失函数收敛率对比图
没有发生交易的样本没有逾期标签，多任务学习模式下交易意愿-逾期风险的联合排序性一定会遵从这个规律（图 8b），而交易意愿单任务建模并排序后的风险等级可能并不会出现这个规律（图 8a）。从提升曲线可以看出，近似0交易意愿的客群逾期风险概率也很小，但是交易意愿超过一定阈值后，交易分对风险概率是没有区分性的。利用这些特性，在策略上可以对低交易意愿的客群降低通过率，这部分的风险也会急剧下降，对高交易意愿的客群稍微提高通过率，但是风险不会有太大变化。最后，在整体通过率和风险水平不变的情况下，能够提高交易率。
图 NN模型在金融风控场景中的应用 8 按交易意愿分从低到高等频分箱后的累计风险提升度
2. 领域适配建模方案与结果分析
贷前阶段主要是对客户授信，因此模型通常是从客户维度进行刻画；而贷中管理阶段除了对客户管理，也需要对每笔借款申请进行风险控制，从事件维度来看样本量远远多于贷前。但是直接用贷前、贷中样本建模不满足独立同分布假设。因此，在信贷风控中试验将贷前、贷中样本通过领域适配放在一起建模。公式(5) 是以源域样本满足独立性条件抽样出发的，因此对贷中样本中同一客户半年内的多笔交易做了去重处理。领域适配采用基础理论部分提到的特征变换法，用R(T( D s ), T( D t ))项做度量，以度量结果为依据不断优化变换函数T。度量过程可以显示地进行，目前学术界通常用MMD 距离来度量分布距离；也可以隐式地进行，即不必具体给出分布距离，而是通过某些间接表达，比如目标域和源域之间的分类误差，来指导优化方向。
隐式方式可以通过对抗学习，在目标域与源域之间添加GAN的判别器来实现[11]。显示方式可以通过在主任务外添加目标域与源域之间的边缘概率MMD距离损失函数[12]，或者条件概率LMMD距离损失函数[13]来实现。隐式方式不一定能真正混合变换后的特征分布（图 9a），但是分布距离度量方式直接能把变换后的特征分布混合起来（图 9b）。
图 9 风控场景领域适配建模框架
可以采用目标域无标签的半监督学习方式进行训练，即只把源域样本送入主任务学习，这对于新开策略、样本还没有进入表现期的场景适用；也可以采用目标域有标签的有监督学习方式进行训练，即把源域和目标域样本混合在一起送入主任务学习，另外增加一个分布距离损失函数项，这对于想扩大样本量、但远期与近期样本同分布假设失效的场景适用。由于有监督方式下目标域有标签，适配条件概率 P s (x | y) P t (x | y)的LMMD方式能更好地发挥作用（表 3）；半监督模式下由于目标域的标签是用当前分类器预测的伪标签，LMMD方式与只适配边缘概率 P s (x) P t (x)NN模型在金融风控场景中的应用 的MMD方式相比没有优势。
[1] L. Valient, 1984. A Theory of the Learnable. Commun. ACM, 27:1134-1142
[2] 王晋东, 2021. 迁移学习导论. 电子工业出版社, 78-79
[3] W. Dai, et al., 2007. Boosting for Transfer Learning. In ICML. ACM, 193-200
[4] S. Ben-David, et al., NN模型在金融风控场景中的应用 2007. Analysis of Representations for Domain Adaptation. In NIPS, 137-144
[5] S. Ben-David, NN模型在金融风控场景中的应用 et al., 2010. A theory of Learning from Different Domains. Machine learning, 79(1-2):151-175
[6] X. Ma, et NN模型在金融风控场景中的应用 al., 2018. Entire Space Multi-Task Model: NN模型在金融风控场景中的应用 An Effective Approach for Estimating Post-Click Conversion Rate. SIGIR. ACM, 1137–1140
[7] Z. Zhao, et al., 2019. Recommending What Video to Watch Next: A Multitask Ranking System. RecSys. ACM, 43-51
[8] H. Tang, et al., 2020. Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations. RecSys. ACM, 269–278
[9] Kendall, et al., 2018. Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics. IEEE/CVF Conference on Computer Vision and Pattern Recognition
[10] C. Zhao, et al., 2018. GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks. Proceedings of the 35 NN模型在金融风控场景中的应用 th International Conference on Machine Learning
[11] Y. Ganin, et al., 2015. Unsupervised Domain Adaptation by Backpropagation. In ICML, 1180-1189
[12] M. Long, et al., 2015. Learning NN模型在金融风控场景中的应用 Transferable Features with Deep Adaptation Networks. In ICML, 97-105
[13] Y. Zhu, et al., 2020b. Deep Subdomain Adaptation Network for Image Classification. IEEE Transactions on Neural Networks and Learning Systems
PHP01206H51R1DBTI
applications or for any other application NN模型在金融风控场景中的应用 in which the failure of the Vishay product could result in personal injury or death.
Customers using or NN模型在金融风控场景中的应用 selling Vishay products not expressly NN模型在金融风控场景中的应用 indicated for use in such applications do so at their own risk NN模型在金融风控场景中的应用 and agree
to fully indemnify and hold Vishay and its distributors harmless from and against any and all claims, NN模型在金融风控场景中的应用 liabilities, expenses and
damages arising or resulting in connection with such use or sale, including attorneys fees, even if such claim alleges that Vishay
or NN模型在金融风控场景中的应用 its distributor was negligent regarding the design or manufacture of the part. Please contact authorized Vishay personnel to
No license, express or implied, by estoppel or otherwise, to any intellectual property rights is granted by this document or by
any conduct of Vishay. Product names and markings noted herein may be trademarks of their respective owners.