互联网黑产的发展

  |  

摘要: 同盾出的《风控要略》这本书,笔记的第 1 部分

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学,欢迎关注我哈,阅读更多原创文章】
我的网站:潮汐朝夕的生活实验室
我的公众号:潮汐朝夕
我的知乎:潮汐朝夕
我的github:FennelDumplings
我的leetcode:FennelDumplings


最近因工作需要,开始学习《风控要略》这本书,作者马传雷,曾任同盾科技反欺诈研究院院长。这本书现在微信读书可以看:

本书比较全面地讲了互联网业务安全体系下风控工作的各个方面。首先站在攻击者的角度介绍了黑产的组织结构,工作模式和链路上的各个环节,以及常用工具。然后站在防守者的角度介绍了风控体系的各个基础组件,比如设备指纹,生物探针,智能验证码等等,以及基于这些组件的风控中枢决策引擎。在中枢引擎的基础上又介绍了一些扩展模块,比如海量数据实时指标计算,风险感知系统,风险数据名单体系,情报体系,以及机器学习模型体系。

反欺诈,反作弊领域的信息都是高度保密的。不管是甲方银行、互联网公司的风控团队,还是乙方金融科技公司、风控服务提供商、各SDK厂商中的算法、工程、策略、运营、销售人员,具备保密能力是进入风控这一行成为风控人的第一前提。因此市场上,在风控领域工作多年经验丰富的从业者写的书很少;在广告等领域的书中,反作弊这个模块也是一笔带过的。在这样的信息保密的背景下,作为刚入行的新人,公司里能接触到的多年经验的专家是第一重要的学习资源,在公司外面,这本书就成了不可多得的关于互联网业务风控方面的学习资料。


对行业的个人理解

在风控领域,发展较早的是金融风控。近几年各行各业都在互联网化,于是出现了很多新欺诈类型,例如广告场景中的虚假流量,营销场景中的虚假用户裂变,电商场景中的羊毛党,直播场景中的刷榜,虚假粉丝,社交场景中的招嫖,金融场景中的骗贷等等等等,有获利空间,就有黑产从业人员,也就需要风控

不管是互联网还是金融业,驱动风控工作向前发展的主要是两方面,一个是合规,另一个是与黑产对抗。在合规方面,各个平台以及风控工作者只需要跟着政府和行业协会的政策走就行,工作并不太多。比如做内容业务,平台需要负责色情内容,涉爆涉恐涉政内容的过滤,做社交业务,平台需要负责聚众赌博社群的筛查等等。在广告,金融等等其它场景,也都有政府或行业协会规定的一套标准,只要按规定做好管控就行。黑产就很复杂了,黑产的工作是利用业务风控缺失进行大规模牟利。这里面有三个关键点:

首先第一点是牟利,黑产是利益驱动的,他们并不关心自己在哪个平台攻击哪个业务,而只关心获利是否符合预期。只要收益高于预期,他们就会不断地作弊,一个号被封了还会有源源不断的号来,直到他们发现每个号的平均收益低于预期了他们才会停手。

第二点是大规模,他们在攻击业务系统牟利的时候,不会是单打独斗,而是很多人的团队在战斗。在团队的力量下,一些流程和工具都是相通的,可复用的。黑产组织想在任何平台上作弊,首先要有平台的账号,于是就有了养手机号的那帮人,他们养好的手机号提供给下游注册各个平台的账号,进行作弊或欺诈操作。黑产人员一个人控制上百个手机号,每个手机号都注册了好几十个平台,但不太可能有上百个手机,于是手机模拟器就是他们的标配,不论做哪个平台哪个业务,这都是他们可迁移的工具体系。这些工具体系产生的特征,是风控算法人员需要关注的核心特征

第三点是风控缺失,正是由于业务场景下风控缺失,他们作弊的成本可以压得很低。而当风控到位后,他们就会进行对抗或者是从这个场景撤离,去寻找其它的漏洞进行作弊。

因为黑产利益驱动的特点,任何平台上的作弊,特别是群控作弊问题是不可能被完全解决的。作为风控人员,我们工作的价值就是使得黑产的作弊成本变高,以前平均一个号进行3笔作弊操作才会被封禁掉,在风控团队持续工作和优化后,他们平均一个号2笔作弊交易就会被封禁掉,这对平台来说就是很大的价值了。

黑产上游的源源不断的手机号也要有释放的出口并且捞钱,因此优化到最后,他们也会引入技术体系进行对抗,最后与平台形成一个攻防的平衡,双方的技术体系都会在长期的攻防下进行发展,并且互有胜负。


互联网业务安全概述

中国互联网安全产业可以分为基础安全和业务安全两个领域。在 2014 年以前,行业主要关注基础安全,其中包括网络安全,系统安全,应用安全三方面,比较有名的企业有绿盟,深信服等。行业发展主要以合规和漏洞攻防为驱动力,比如针对缓冲区溢出攻击发展的 IPS 产品,针对 CC 攻击发展的 Anti-ddos 产品,针对 SQL 注入攻击发展的 WAF 产品。

2014 年后,互联网业务爆炸发展,黑产团伙从攻击渗透系统获利转变为利用业务风控确实进行大规模牟利的套路,并形成规模庞大,分工明确的产业链。大批针对业务安全的乙方风控服务商诞生,大公司开始组建专门针对业务安全的风控团队,小公司即使不组建风控团队也会购买乙方公司的服务。此后的几年,互联网风控反欺诈阵营与黑产团伙展开了波澜壮阔的攻防战,业务涉及游戏,电商,支付,直播,金融,内容,社交等等等等。在现阶段(2020年),国内的黑产成员超过 50 万人,团伙之间形成了互相分工,紧密合作的产业生态。而各个平台和企业之间,信息和数据是割裂的,因此黑产团伙的一个手机号可以轻松在很多平台作案,即使1个平台被抓获封禁也基本不影响此手机号在其它平台的操作。


反过来看,正是黑产在互联网的横行,互联网业务安全反欺诈领域发展的才会这么迅速,互联网业务模式的不断创新决定了风险的复杂多变。现在业务安全行业的技术、产品、解决方案已经覆盖了所有互联网业务的常规场景。一些常见的风控场景举例:

  • 注册和登录场景:如何对抗黑产注册虚假账号,养号,暴力破解密码,撞库攻击等。黑产手中掌握大量手机号,公民信息,这对任何平台都是致命威胁。
  • 营销活动:活动红包、游戏点券等如何不被薅羊毛
  • APP渠道推广:平台如何对抗黑产通过手机农场等工具进行虚假安装,减少广告主的推广费用损失。
  • 交易和支付:盗号支付,非法聚合支付,洗钱等等如何解决
  • 内容安全:检测用户发布到平台的内容是否包含色情,反动,赌博,暴恐等违规信息

黑产的发展态势

2019 年的净网行动对黑产生态进行了系统性的打击,黑色产业链经过5年多的野蛮发展之后,终于得到有效遏制。

(1) 黑产组织结构

黑产从业者有全职和兼职,分工明确并且善于伪装,兼职人群遍布各行各业,辨认难度大。同时黑产的技术更新迭代也很迅速,可以短时间对厂商的防控手段进行破解,并更新多个版本的作弊工具。

黑产群体有各种各样工具,这些工具可以极大提升作案效率。并且这些工具往往是针对特定应用场景设计的,被黑产发现后,开始大规模利用。

本书作者经过长期对黑色产业链的跟踪调查,整理了以下产业链结构图。

以上架构图是关于羊毛党的,黑产远不止羊毛党一种。针对特定风险,需要使用特定的规则或模型进行防控。

各类黑产有一些自己的术语:

  • 垃圾注册: 注册环节中,用虚假/不稳定的身份信息(虚假号码,通信小号,临时邮箱)注册,或者用脚本/注册机批量注册。注册完的垃圾账号,在直播中被用于关注,点赞,批量评论等;在电商行业用于刷访问量,关注量等。

  • 薅羊毛: 使用虚假身份信息或自动化工具参与各类营销活动(抽奖、返现、折扣、满减)的行为。且不能给平台带来实际的活跃用户或订单交易。

  • 黄牛/刷单: 从业务安全的角度,两种行为相似度很高,都发生在交易场景且具有爆发性,会大量使用自动化工具。区别是:刷单买到的东西,即使加价出售,也会比商品原来的价格低,而黄牛在倒卖的时候价格会远高于商品原本价格。此外刷单过程中,刷手需要提前确认收货好评垫付商品金额,为了控制成本一般选择低价商品,而黄牛的目标为稀缺热门商品。在智能风控引擎中,这两种欺诈行为的表现几乎一致。

  • 众包: 众包的意思是由多个独立个体共同参与完成的任务。例如众包薅羊毛:在微信群中,羊头和羊毛党配合,羊头负责收集线报并同步微信群,一般是折扣或者满减,同时羊头在群内收购商品,羊毛党参与活动,低价购买了商品,再直接转售给羊头,羊头支付商品成本和羊毛党的手工费。羊头借此囤积了大量的低价商品,再通过其它线下渠道转售出去。所有参与此次薅羊毛行为的用户都是独立的真实用户

  • 炒信: 通过各种途径进行虚假交易,快速提升商户交易量,信用等级的行为

  • 套利: 由商户端发起的薅羊毛称为套利

  • 空包: 虚假发送快递,一般在电商反作弊场景中出现。市面上有很多打着代发快递名头的空包网站,代发一单价格为 6 ~ 8 毛钱,且可以提供真实的物流信息规避平台的风控策略。

很多欺诈行为是隐性的,需要长期监控和挖掘才能发现

(2) 黑产成员分布

黑产有自己的情报系统。以下黑情报系统架构图是作者团队采用基于AI的情报系统对黑产网络布控后,进行深入跟踪和分析所得。

取样万名黑产活跃参与者分析,其中年龄 18 ~ 24 占比超过 50%

(3) 黑产专业化分工

利益驱动下,黑产团伙分工越来越细,专业化程度不断提升,大数据分析,深度学习,AI技术也被广泛使用。

根据网上公开信息,各类黑产从业人员人数高达几十万人,给互联网公司带来的经济损失超过百亿元。从 SaaS 服务调用数据看,各类事件中风险事件占比一般为 10~15%,具体数值与行业,场景,时间有直接关系。例如电商平台的双11、双12、618,黑产往往提前一两个月就会开始筹备,注册账号,养号,开发和测试作弊工具。

从不同业务场景看,注册登录场景的风险占比是最高的,可高达40%。对于大部分业务流程,注册登录是所有后续业务的门槛,黑产必须迈过这个门槛,才能进行交易,支付等行为。如果能在注册登录场景中做好风控,可以绝大部分黑产拒之门外。

(4) 电信欺诈

电信诈骗团伙比羊毛类黑产更凶残,他们通常通过暗网购买大量公民隐私数据,通过分析后选定欺诈目标,编写特定剧本实施诈骗,成功率很高。它们的洗钱渠道和网络赌博团伙类似,往往会经过”水房”(行业里指专业的洗钱渠道)出境。


总结

黑色产业链之所以难以斩断,除了技术因素,还和它形成的利益生态有关系。当黑产团伙规模发展到一定程度,就成了一种能够干扰互联网正常生态的力量。不少看似正规的互联网企业为了获得快速成长,甚至会主动引入黑产生态的流量。


Share