=Start=
缘由:
整理一下周末这两天看的《风控要略——互联网业务反欺诈之路》这本书,方便以后有需要的时候进一步学习参考。
正文:
参考解答:
之前在记录《[read]互联网安全建设从0到1》这篇文章的时候,曾经有过几句感慨——现在市面上没有1本书能够完全覆盖大型互联网企业安全的所有内容,一方面是因为现在企业中安全涉及的领域越来越多,很难有一个人或是一个团队可以完全覆盖;另一方面就是很多企业安全团队不论是出于保密还是什么原因,很多东西不能写或是不能写透。
不过,反过来想想,何必非得要在1本书中覆盖所有的内容?如果你想较为系统地了解某个方向的内容,最好的方式还是找对应领域中的评价比较好的几本书对比来看,然后再找一些具体做过这个方向的同学深入沟通一下,有机会的话自己再实际上手试试(事情非亲自做不知难)。效果肯定会比单独阅读1本大而全(但很难深入)的书要好。
业务安全一般属于互联网企业中比较重要和核心的岗位(因为涉及到钱的问题),如果你不是具体做这一块工作的同学,是很难有机会了解他们在做什么的(因为有保密的需求,他们的组织架构在企业中是隐藏的——大部分人无法看到,他们做的事情你就更难了解到了)。虽然我也是做安全的,但主要做的还是偏传统基础安全方向,业务安全啥的有一定了解,但也知道的比较浅,这次借着阅读《风控要略》这本书的过程,大致系统的学习一下互联网企业面临的常见业务安全问题及其应对思路和方法,方便以后参考。
全书共17章,分为4个部分(洞察黑产(第1-2章)、体系构建(第3-11章)、实战教程(第12-13章)和新的战场(第14-17章))。其中我个人觉得写的非常好(或者说让我了解了一些之前我不是太清楚的名词/手法)的地方主要有:第2章、第3-4章的大部分内容、第5章、第9-11章、第13-15章的部分内容。整体来说书中介绍的很多内容都让我受益匪浅,值得推荐给各位想对业务安全有所了解和涉猎的同学阅读,开卷有益。
前言
很多问题的产生并不是因为黑产团伙的技术有多么高明,而是因为防御方不能够很好地帮助客户理解业务风险。
本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。
第1部分介绍了黑产欺诈团伙的运作套路和攻击手段;
第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验;
第3部分分享了我们和黑产对抗的多个实战案例,以及机器学习算法的综合运用;
第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。希望读者通过阅读本书,可以对互联网反欺诈的行业现状有一个系统而具体的认识。业务安全的真正力量是内生的,专业的安全风控公司可以提供工具、平台和策略建议,但是只有业务方真正理解风险和防控思路,才能在与黑产的对抗中设计好业务规则、运营好安全策略,取得较好的效果。如果读者正在关注该领域或从事相关工作,我们相信本书一定能够为您提供帮助。
引言 互联网业务安全概述
当前中国互联网安全产业大体可以分为「基础安全」和「业务安全」两个领域。
从互联网诞生至2014年,互联网安全行业关注的热点基本都聚焦在「网络安全」、「系统安全」和「应用安全」这三大基础安全领域上。
2014年前后,随着互联网业务的爆发式发展,黑产团伙开始从“攻击渗透系统获利”的传统套路进化到“利用业务风控缺失进行大规模牟利”的模式,并且逐渐形成规模庞大、分工明确的黑色产业链。
在2014年之后的几年时间里,互联网风控反欺诈阵营和黑产集团展开了波澜壮阔的鏖战,涉及游戏、电商、支付、视频直播甚至共享单车等几乎所有互联网业务领域。双方在拉锯战中互有胜负,直到公安机关”净网行动”全面展开后,黑产的嚣张气焰才得到有效遏制。
第一部分 洞察黑产
第1章 黑产发展态势
1.1 黑产组织结构
1.2 黑产成员分布
1.3 黑产专业化分工
1.4 黑产攻击规模
1.5 电信欺诈黑产
1.6 本章小结
第2章 黑产武器库概览
2.1 虚假号码
2.1.1 猫池
2.1.2 短信验证码
2.1.3 接码平台
2.1.4 空号注册
2.1.5 流量卡和物联网卡
2.1.6 手机rom后门
2.2 代理IP
2.3 设备伪造工具
2.3.1 改机工具
2.3.2 多开工具
2.3.3 Root/越狱工具
2.3.4 Xposed
2.3.5 Cydia Substrate
2.3.6 Frida
2.3.7 硬改工具
2.3.8 脱机挂
2.3.9 备份恢复/抹机恢复
2.3.10 模拟器
2.3.11 定制浏览器
2.3.12 自动化脚本
2.4 其他工具
2.4.1 位置伪造工具
2.4.2 群控
2.4.3 工具集
2.5 本章小结
虚假手机号、代理IP、设备信息伪造、群控、(+虚假身份信息)……
第二部分 体系构建
第3章 反欺诈体系建设思路
3.1 动态防控理念
3.2 防控体系构建
3.3 本章小结
运营驱动+红蓝对抗,形成一个可以动态闭环、不断进化的防控体系。
第4章 风控核心组件设备指纹
4.1 设备指纹的原理
4.2 设备指纹的技术实现
4.2.1 Android设备指纹
4.2.2 iOS设备指纹
4.2.3 Web设备指纹
4.2.4 设备ID生成与恢复逻辑
4.2.5 被动式识别技术
4.3 代码保护
4.3.1 JS代码混淆技术
4.3.2 Android/iOS SDK加固保护
4.4 本章小结
在当前的情况下,设备指纹可以认为是互联网反欺诈对抗的核心(如果没有一个唯一且稳定的设备指纹标识——包括但不限于异常环境检测能力、自我保护防破解、唯一性/稳定性……,那在此基础上做的检测/防护策略,如同于浮沙建高台——看上去很美好实际却很脆弱)。
稳定性 vs. 唯一性 需要根据各自公司的业务实际情况进行权衡,没有最好的办法,只有最合适的选择。
第5章 基于用户行为的生物探针
5.1 生物探针
5.2 无感认证
5.2.1 无感认证的基础
5.2.2 无感认证的构建
5.3 生物探针的应用场景
5.4 本章小结
你【知道】什么;你【拥有】什么;你【是】谁;你的【行为模式】。
传感器-sensor
第6章 智能验证码的前世今生
6.1 验证码的诞生
6.1.1 验证码的本质
6.1.2 验证码的发展
6.2 验证码的攻防
6.2.1 字符验证码的识别
6.2.2 新型验证码的识别
6.2.3 对抗黑产的方案
6.3 设计一款优秀的验证码
6.3.1 设计标准
6.3.2 设计实战
6.4 本章小结
一系列绝大部分人类能够解答,但机器无法回答的问题。
Easy for Human, Hard for Bot, A better experience.
第7章 风控中枢决策引擎系统
7.1 规则引擎
7.1.1 脚本引擎
7.1.2 开源规则引擎
7.1.3 商业规则引擎
7.1.4 几种规则引擎实现方案的对比
7.2 规则管理
7.3 规则推送
7.4 规则执行
7.5 外部系统集成
7.6 灰度测试
7.7 本章小结
Groovy vs. Drools vs. JRules
灰度验证规则的效果和影响范围,避免对线上业务造成重大影响。
第8章 海量数据的实时指标计算
8.1 实时指标计算概述
8.2 实时指标计算方案
8.2.1 基于数据库SQL的计算方案
8.2.2 基于事件驱动的计算方案
8.2.3 基于实时计算框架的计算方案
8.2.4 实时指标计算方案对比
8.3 反欺诈实时指标计算实践
8.3.1 实时指标计算引擎原型
8.3.2 数据拆分计算
8.3.3 分片计算
8.3.4 引入Flink
8.3.5 Lambda架构
8.4 反欺诈实时指标计算系统
8.5 本章小结
第9章 风险态势感知系统
9.1 基于统计分析的方法
9.1.1 核心风控指标数据
9.1.2 核心业务数据
9.2 基于无监督学习的方法
9.3 基于欺诈情报的方法
9.4 预警系统
9.5 本章小结
第10章 风险数据名单体系
10.1 名单体系的价值
10.2 名单体系的设计
10.3 名单体系的生命周期
10.4 名单体系质量管理
10.5 本章小结
第11章 欺诈情报体系
11.1 情报采集
11.1.1 数据情报
11.1.2 技术情报
11.1.3 事件情报
11.2 情报分析
11.3 本章小结
第三部分 实战教程
第12章 机器学习算法的使用
12.1 机器学习的广泛应用
12.2 机器学习的落地过程
12.2.1 特征工程
12.2.2 模型选择
12.2.3 模型训练
12.2.4 工程化和业务落地
12.3 机器学习实战案例
12.3.1 案例一:黑产设备群控网络挖掘
12.3.2 案例二:黑产用户行为聚类分析
12.3.3 案例三:金融在线申请反欺诈
12.4 本章小结
第13章 互联网反欺诈实战
13.1 典型反欺诈业务场景风险分析
13.1.1 垃圾注册风险识别
13.1.2 批量登录风险识别
13.1.3 “薅羊毛”风险识别
13.1.4 裂变拉新作弊风险识别
13.1.5 “任务”作弊风险识别
13.1.6 恶意退单风险识别
13.2 解决方案设计示例
13.2.1 电商薅羊毛
13.2.2 裂变拉新
13.3 策略部署
13.3.1 策略配置
13.3.2 策略迭代
13.4 运营监控
13.4.1 监控预警报表
13.4.2 态势感知
13.4.3 情报监控
13.5 本章小结
第四部分 新的战场
第14章 物联网时代的风控
14.1 物联网安全态势
14.2 物联网安全威胁分析
14.2.1 云端平台安全威胁
14.2.2 网络通信安全威胁
14.2.3 设备终端安全威胁
14.2.4 物联网安全监管要求
14.3 物联网安全风险控制体系建设思路
14.4 物联网安全风险态势感知系统
14.5 本章小结
云、管、端。
第15章 内容安全与合规
15.1 内容安全合规概述
15.2 文本内容安全
15.2.1 敏感词系统
15.2.2 基于NLP的AI模型
15.3 图像内容安全
15.3.1 图像分类
15.3.2 敏感人物识别
15.3.3 图像文字识别
15.4 语音内容安全
15.4.1 有语义语音
15.4.2 无语义语音
15.5 视频内容安全
15.5.1 视频内容安全处理流程
15.5.2 关键帧提取
15.6 内容安全工程
15.7 内容安全系统的评价指标
15.8 本章小结
文本、图像、语音、视频,工程化能力和注意事项。
第16章 风控与数据合规使用
16.1 网络安全立法进程
16.2 个人数据合规使用
16.2.1 用户隐私政策
16.2.2 数据安全流转
16.3 数据合规技术创新实践
16.3.1 数据匿名查询
16.3.2 区块链共享黑名单
16.4 本章小结
第17章 海外风控公司
17.1 Arkose Labs
17.2 Sift
17.3 Forter
17.4 Shape Security
17.5 Okta
17.6 本章小结
取法乎上得其中,学习对标国外同行的先进经验。
参考链接:
风控要略——互联网业务反欺诈之路
https://item.jd.com/12946188.html
欢迎来到风控时代
https://www.zhihu.com/roundtable/risk
互联网金融平台如何反欺诈?
https://www.zhihu.com/question/29177586
消费信贷风控中的反欺诈体系
https://zhuanlan.zhihu.com/p/96778969
=END=
《 “[read]风控要略——互联网业务反欺诈之路” 》 有 16 条评论
2020上半年出行行业黑灰产研究报告
https://mp.weixin.qq.com/s/sQJRZZonTF7bjCs1jd_H9A
`
# 报告背景
衣食住行渗透在每个国民的日常生活,随着我国经济水平的快速发展及国民生活水平的提升,对于出行有了更高的要求。在庞大需求的刺激下,出行服务的公司如雨后春笋般崛起,提供打车,租车,顺风车等各类便捷出行服务。
为了快速占领市场,各出行企业平台陆续推出了用户优惠补贴,司机入住奖励等多种活动,依附于该行业的黑灰产业链分工明确,合作紧密已发展成一定规模。当大量用户涌入平台时,是敌是友一时难以分辨,暗流涌动之下多家企业平台已遭受攻击。
报告将围绕出行打车行业的黑产产业链分布,攻击手法还原,典型作弊工具分析,黑产变化趋势等多个角度,阐述出行打车行业2020年黑产最新动态。希望本报告能给该行业的安全风控从业者带来一些防控体系建设新思路。
# 报告重点
* 报告中提到的攻击数据来自20+出行企业,截取头部企业做为案例分析。
* 当前黑产的攻击目标仍为出行行业的一些头部企业,攻击占比高达54.45%。
* 第三方打车平台,如高*地图/腾*地图正在逐渐成为黑产攻击的目标。
* 攻击出行平台所需要的各类料子信息(包含身份认证,信用卡,支付绑定等)所有料子全部购买只需6元。
# 目录
1. 出行行业现状
2. 出行行业风险分布
3. 出行行业常见黑色产业链
4. 出行行业常用黑产资源
5. 出行行业典型黑产工具分析
6. 出行行业攻击方式总结
7. 出行行业攻击成本
8. 出行行业黑产变化趋势
9. 出行行业防控建议
10. 附录:黑话&术语
六、出行行业攻击方式
1.利用低版本应用作案
2.绑定海外信用卡绕过预支付
3.利用业务漏洞绕过预支付
八、出行行业黑产变化趋势
1. 从公开接码到线下对接
2. 自动化工具与真人作弊相结合
3. 黑产目标渠道逐渐转向小程序端
4. 业务逻辑漏洞仍为黑产的攻击点
九、出行行业防控建议
1.外部情报布控
2.内部数据分析
3.业务流程梳理
线报平台:为羊毛党提供最新薅羊毛、赚钱活动的信息平台。
接码平台:用于接收手机验证码的平台。
发卡平台:提供虚拟软件、卡密、数据等资源的自动交易平台。
打码平台:用于自动化识别验证码的平台。
众包平台:用于链接上游发布任务及下游真人作弊的平台。
新型众包平台:提供接口给开发者/羊毛党使用的真人作弊平台,涉及到第三方账号的授权。
料子:公民个人相关信息,涉及姓名、身份证、银行卡、手机号等数据。
毛c:国际信用卡,可用于账号绑定及交易。
卡商:提供手机号资源的供应商。
`
node-machine-id
https://www.npmjs.com/package/node-machine-id
`
Cross-platform unique machine (desktop) id discovery
Module based on OS native UUID/GUID which used for internal needs.
(在不需要提升/申请权限,不依赖硬件组件的基础上的一个【相对】靠谱的方法)All others approaches requires elevated rights or much depends on hardware components, but this approach summarize the methods of selecting the most reliable unique identifier
# Windows
Win32/64 uses key MachineGuid in registry HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Cryptography (can be changed by administrator but with unpredictable consequences)
It is generated during OS installation and won’t change unless you make another OS updates or reinstall. Depending on the OS version it may contain the network adapter MAC address embedded (plus some other numbers, including random), or a pseudorandom number.
# macOS (mac平台上的设备指纹相对来说是最好做的,直接用命令或是其他方式读取设备序列号即可)
OSx uses IOPlatformUUID (the same Hardware UUID) ioreg -rd1 -c IOPlatformExpertDevice
Value from I/O Kit registry in IOPlatformExpertDevice class
# Linux
Linux uses /var/lib/dbus/machine-id (can be changed by root but with unpredictable consequences) http://man7.org/linux/man-pages/man5/machine-id.5.html
The /var/lib/dbus/machine-id file contains the unique machine ID of the local system that is set during installation. The machine ID is a single newline-terminated, hexadecimal, 32-character, lowercase machine ID string. When decoded from hexadecimal, this corresponds with a 16-byte/128-bit string.
The machine ID is usually generated from a random source during system installation and stays constant for all subsequent boots. Optionally, for stateless systems, it is generated during runtime at early boot if it is found to be empty.
The machine ID does not change based on user configuration or when hardware is replaced.
`
网鼎杯风云:真·大侠不搞偷袭,真·黑客不靠作弊
`
五、反作弊的烽火台
5月12日,网鼎杯“青龙组”初赛后的第三天,网鼎杯官方发出裁决公告,宣布77支队伍涉嫌作弊,予以处理。
在随后的“白虎”、“朱雀”、“玄武”三场初赛后的几天里,官方都有发出裁决公告,取消一批作弊战队的晋级资格和成绩。
时间回到5月17日,“朱雀组”初赛期间,烽火台反作弊平台监测到一支战队的数据异常,疑似代打。工作人员小路拨通了该战队队长的手机号。
“您好,我是网鼎杯裁判组的工作人员,您刚才提交了一道misc题,能口头陈述一下大致的解题思路吗?”
电话那头沉默了两秒:“啊,哦!那道题不是我做的,是我队里别的队员做的。”
小路:“请问是谁做的?方便把电话给他吗?”
对话那头又沉默了几秒,随后开始表演:“喂?…… 诶?听得到吗?喂?咦?信号不好吗?”
“请把电话给您做出那道题的队友,或者说一下他的名字,我直接打给他。”小路说。
“喂?诶!能听见吗?喂?”嘟嘟嘟……电话挂断。
类似的对话在网鼎杯比赛期间发生过很多次。AK告诉我,尽管网鼎杯初赛是在线上进行,但“烽火台反作弊平台”依然可以通过数据来捕捉异常线索,辅助裁判反作弊。
他举了几个小例子。
1)动态Flag
比赛时,每位选手分到的每一道题都有一个随机生成的很长的网络访问地址,在选手点开赛题的一瞬间,平台算法会用这个随机的网络访问地址生成一个唯一的Flag。
当选手答完并关闭赛题,这个网络访问地址和Flag也随即被销毁——这意味着即便是同一道题,不同选手的访问地址和Flag也完全不一样,所以但凡烽火台监测到一支队伍提交了另一支队伍的Flag,或者访问了别的队伍的赛题网址,就说明这两支队伍一定存在违规行为。
大概就好比抄作业把对方的名字也给照抄了过来。
2)带“坑”的题目
还有一些题目就像是“密室逃脱”,选手在赛题环境里的一举一动都会被记录下来,按照赛题“剧情”,需要先在A房间拿到钥匙才能打开B房间的门,假如有选手打开了B房间的门拿到Flag,却没在A房间留下痕迹,那么就存在作弊的可能性。
3)答案不可能雷同的题目
还有些题目,从概率上就不太可能雷同答案。比如有一道题的其中一个步骤是让选手们补上一个残缺的二维码。
二维码的画法有成千上万种,你可以画个葫芦娃,也可以画个小猪佩奇,甚至写个汉字,从概率上来说,几乎不可能雷同。
但是这些方法只能查出直接“串flag”的作弊,如果两支队伍只是“交流解题思路”,这些办法就很难发现。
4)赛后提交解题思路
“每一场初赛后,我们会给到前240名的选手一个模板,要求选手在8小时之内提交详细的WriteUp(解题思路)。”AK说,这在一定程度上提高选手作弊的成本。
5)大数据反作弊
烽火台反作弊平台会记录每个选手的登录IP地址和每一道题的提交时间。
“假如来自不同战队的A选手和B选手在差不多时间提交了同一道题,虽然看起来Flag是自己做的,可是调取他们的登录信息,发现他们的IP地址频繁变化并且出现IP地址相同的情况,那么就有代打的可能性。”
除此之外,烽火台反作弊系统还积累的许多选手们在CTF竞赛社区里的社会关系:参加过什么比赛、服役过什么队、队员都有谁、擅长什么技术方向、这些数据会关联到每一场比赛中。
“CTF社区的技术交流氛围很好,但网络安全竞赛的目的是选拔和评价人才,所以我们不希望这种社会关系渗透到比赛中,否则对刚进圈子但技术实力强的人不公平。”AK说。
6)群众举报和外部信息
群众举报也是一个重要的反作弊情报来源。文章前面提到的那个跑到技术论坛悬赏的,就在知乎上被人举报的。
==
AK说“半决赛有2000名选手在现场,人一多,你会发现什么情况都可能发生,比赛平台的稳定性、人员的安全性、反作弊……你得提前考虑各种各样极端的情况。”
网鼎杯的裁判张凯说了一个小插曲:“半决赛的前一天晚上,我们裁判组测试竞赛平台,发现大量的人对我们进行渗透测试,网络扫描,我就给他们发私信:再扫,把你们踢出去!”
偷袭老同志,不好,年轻人要耗子尾汁。
==
七、反作弊的代价
反作弊有代价,除了本身的实施成本,最直接的体现是降低选手的参赛体验,让他们不如以往其他比赛那么自在。
且不说线上比赛打到一半忽然有工作人员小姐姐给你打电话,问这问那核实身份,光是线下赛严苛的身份核验就让一些选手感到束缚,拉个粑粑还要报备。
2018年第一届网鼎杯办完,就有选手跑到网上吐槽:“第一次遇到线下赛既不让连外网同时上交手机,而且无线路由器也不能用,哦,还有电磁屏蔽的……”
抓到作弊,处罚力度也是个问题。
AK告诉我,去年的全国大学生网络安全竞赛上,一个学生被现场裁判抓住连外网,判罚强制终止比赛,结果指导老师哭着找过来,说取消比赛资格可以,但请千万别通报学校,不然学生要受处分,影响学业。
后来经核实,发现那位选手是因为第一次参加这么大规模的比赛,过于激动,所以忍不住拍了一些照片给女朋友发过去,并没有交流赛题。
自那以后,AK意识到反作弊处罚得拿捏好度,生怕增加额外伤害。
“按照规则,网鼎杯发现恶劣的作弊行为之后会把选手拉入竞赛黑名单,并且考虑通报给单位,但目前还没有通报过,这是一个保留手段。”他说,哪怕是公示出来的作弊处罚名单,主办方也会把队名打码,就是怕选手受到太大影响。
“搞网络安全的都知道,漏报和误报是矛盾的,如果太严格,很容易误报,太宽松又容易会漏掉一些威胁。比赛反作弊也是一样,有时左右为难。”
AK向我透露,今年网鼎杯初赛,一支队伍泄露Flag给另一支队伍,被烽火台发现,主办方把两支队伍都进行了处罚。结果公告一出没多久,他就收到申诉邮件,对方说:“为啥判我作弊,我没作弊啊,你怎么证明我提交了别人的Flag?”
AK给对方详细陈述了“动态Flag”的机制,告诉他平台有日志记录,对方还是不信:“万一你平台出错了呢?”
对方不依不挠发了十几封邮件,逼着主办方给他看了平台的日志,可还是不服。AK告诉对方:“你如果还是有疑虑,通过你单位写信盖章来做仲裁。”结果对方单位真的盖了章,那就仲裁吧,裁判组举手表决,依然是全票认定为串Flag作弊。
“也许是觉得闹一闹搏一搏,单车就能变摩托。也许是怕承认作弊很难跟上级领导解释,所以无论如何也要争辩到底。”AK说,“我们主办方其实也挺委屈的,你不能用权威去压选手,不然大家会说你欺负人,说你不公平。”
八、网鼎杯不相信江湖
“很多CTF选手都是高校的学生,半条腿才迈进网络安全行业,别的还没学到,先学到代打作弊,你说有意思不?”AK摊摊手,“网鼎杯的初衷就是要找到真正有能力的人,然后倒逼他们的单位去发现他们,重视他们,给他们提供舞台和空间。”
据我所知,今年“网鼎杯”除了奖金、奖杯和相关证书,联合主办方深信服还给Top50的高校战队额外提供校招绿色通道和实习机会。
我想,这是深信服作为一家企业的一点点“私心”——想通过举办赛事来吸引和挖掘人才——更是它作为联合主办方的一次以身作则。
毕竟,技术人才(而非PY上位者)才是我们国家网络安全产业做大,做强的希望和根本。
如此,串题、代打就像是凿船,大家都在一条船上,脚下的船翻了,谁也别想好。
告别AK时,我说想以“网鼎杯是一个江湖”作为主题,讲真正的大侠从来不屑于搞偷袭和靠关系上位。AK说他不太喜欢“江湖”这个词,市侩气息太重,不符合网鼎杯的气质。
他说网鼎杯做的一切都是想让网络安全竞赛圈子更加规范起来,哪怕有时看起来有些严肃,拘谨,官方,丧失了一些娱乐性和自由性。
我说:“那就叫‘网鼎杯不相信江湖’吧,法治社会需要秩序,不需要侠客和江湖。”AK笑了。
注:本文提到的人名均为化名。
最后再介绍一下我自己吧,我是谢幺,科技科普作者一枚,日常是把各路技术讲得通俗有趣。想跟我做朋友,可以加我的个人微信:xieyaopro。不想走丢的话,请关注【浅黑科技】!(别忘了加星标哦)
`
我是人吗?关于人机验证绕过技术的一些总结
https://mp.weixin.qq.com/s/SvB_7mr1jPuQjhzdE1YOQQ
`
一、前言
人机验证服务是突破传统验证码的人机识别产品,通过对用户的行为数据、设备特征与网络数据构建多维度数据分析,可以对风险设备使用、模拟行为、暴力重放等攻击进行综合判决,解决企业账号、活动、交易等关键业务环节存在的欺诈威胁问题。早期的验证码通常是一串非常简单的形状标准的数字,经过长期发展,形式越来越多样化,现在简单的数字英文验证码已经很容易被机器读取破解,复杂的验证码设计得愈发反人类。不过得益于机器学习,尤其是深度学习的进步,很多学者和技术大牛都这方面有了一些研究成果,本文将对已有的一些人机验证绕过技术进行总结。
二、亚马逊验证码识别
三、12306验证码识别
四、谷歌验证系统破解
五、滑动验证破解
六、总结
当今互联网中,大量诸如垃圾注册、刷库撞库、薅羊毛等严重影响企业正常业务运作的恶意风险背后都离不开机器自动化脚本。绕开某一个网站的人机验证,重点在于让机器觉着你是人,而不是它的同类,但是机器觉着你是不是机器的重点在于设计这个机器的人所设置的一些检验手段。人机验证服务可以在保障用户体验的同时有效拦截机器风险,提供安全可靠的业务环境。对绕过技术的研究可以有效对恶意访问行为进行约束,对于反爬虫的信息保护也有极大的战略意义。
`
[1] 亚马逊验证码智能识别技术详解, https://zhuanlan.zhihu.com/p/46603425
[2] 实例解析:12306验证码破解, https://zhuanlan.zhihu.com/p/53329216
[3] Kaggle 12306验证码数据集, https://www.kaggle.com/libowei/12306-captcha-image
[4] 12306验证码识别, https://github.com/senliuy/12306_crack
[5] Google’s reCAPTCHA test has been tricked byartificial intelligence. https://www.wired.co.uk/article/google-captcha-recaptcha
[6] 淘宝在找回密码时需要向右滑动验证,原理是? https://www.zhihu.com/question/35538123/answer/63302379
技术揭秘 | 互联网广告黑产盛行,如何反作弊?
https://mp.weixin.qq.com/s/VXfqI5CJKhWJKi6EK_1Q_A
`
互联网行业发展的几十年来,已经渗透到生活的方方面面,各种互联网公司层出不穷。互联网公司的商业变现途径已经发展出引流、电商、游戏等多种流派,但是广告变现作为一种最快捷和直接的变现途径,依然占据着整个行业的大半壁江山。国际国内的各大互联网公司如:Google、Facebook、百度、阿里、腾讯、字节跳动、各大门户或视频网站,广告收入占其总收入的比例都非常高。有人的地方就有江湖,有江湖的地方就有纷争。互联网广告也引申出了作弊与反作弊的纷争。互联网广告作弊已经成为了一个有完整链条的行业,而反作弊部门也成为了各大依靠广告变现公司的标配。
一 、常见广告计费模式
一个网络媒体(网站)会包含数十个甚至成千上万个页面,网络广告所投放的位置和价格就牵涉到特定的页面以及浏览人数的多寡。这好比平面媒体(如报纸)的“版位”、“发行量”,或者电波媒体(如电视)的“时段”、“收视率”的概念。网络媒体常见的广告收费模式[2]有CPM、CPC、CPA、CPT、CPS、CPI
二、虚假流量的获益形式和发生机制
1. 广告投放流程
2. 获益方式
3. 发生机制
三、广告点击反作弊核心问题
1. 无效点击定义
2. 广告点击业务的运转逻辑
3. 反作弊的意义
4. 反作弊的难点
5. 作弊动机
6. 作弊类型
7. 评价反作弊效果的方法
四、反作弊技术体系
1. 技术体系大图
2. 规则与模型对比
3. 样本工程
4. 特征工程
5. 主动发现作弊
6. 核心算法
`
永安在线安全团队《2020年黑灰产攻防研究年度总结报告》
https://mp.weixin.qq.com/s/M95Gk8DxnE_gwOT9-QMecA
`
一、永安在线业务安全情报能力
1. 业务安全情报平台
2. 风控基础数据标签
3. 业务安全服务
4. Karma业务情报搜索引擎
二、黑灰产攻击的演变趋势
1. 商业模式转变带来黑灰产核心资源变化
2. 虚假账号的生产和流转呈规模化趋势
3. 作恶方式从自动化工具向真人众包演变
4. 真人作弊深度剖析
三、攻防技术的迭代
1. 黑产群控进化史
2. 黑产IP资源进化史
3. 秒拨IP识别技术案例分析
4. 新工具“IP魔盒”案例分析
5. 定制ROM改机案例分析
6. 黑产攻击流程自动化体系
四、黑产工具情报分析
1. 工具样本的快速分析和有效性验证
2. 工具分析及案例
2.1 恶意爬虫工具
2.2 抢券工具
2.3 注册机工具
`
公安部网安局公布十大网络黑产案例
https://www.freebuf.com/articles/network/261029.html
https://www.cstis.cn/post/544f8cb5-afa7-97c4-3f96-705c4e2f455e
`
2020年,全国公安机关网安部门发起“净网2020”打击网络黑产犯罪集群战役,重拳打击为电信网络诈骗、网络赌博、网络水军等突出违法犯罪提供网号恶意注册、技术支撑、支付结算、推广引流等服务的违法犯罪活动,共侦办刑事案件4453起,抓获违法犯罪嫌疑人14311名(含电信运营商内部工作人员152名),查处关停网络接码平台38个,捣毁“猫池”窝点60个,查获、关停涉案网络账号2.2亿余个。据相关数据显示,网络活跃接码平台日接码量降幅67%,黑市手机号数量降幅近50%,有力维护了网络秩序。近日,公安部网安局公布打击此类犯罪的十大典型案例。
一、北京朝阳侦破“7·21”案
北京朝阳网安部门打掉一个利用大量非法获取的物联网卡,为境外诈骗团伙提供短信推广服务的网络黑产链条,捣毁犯罪窝点12个,抓获犯罪嫌疑人19名,扣押“猫池”设备30台、物联网卡4万余张。2019年以来,犯罪嫌疑人寇某伙同公司员工黄某和付某,明知犯罪嫌疑人王某从事网络黑产违法犯罪活动,仍向其违规销售10余万张具有定向短信功能的物联网卡,王某利用这些卡为境外诈骗团伙提供短信推广服务。
二、江苏南京侦破“11·2”案
南京网安部门打掉一个运营商内部工作人员、中间人、黑卡销售公司相互勾结,大肆制售物联网黑卡的犯罪链条,抓获犯罪嫌疑人13名(其中某运营商内部工作人员3名),现场查获未售出的物联网卡5万余张(涉案物联网卡共40万张)。2019年12月以来,犯罪嫌疑人戴某利用某运营商内部人员关系,违规向犯罪嫌疑人彭某提供40万张物联网卡,致使其中35万张流向电信网络诈骗、网络黑产等违法犯罪活动。
三、江苏徐州侦破“5·18”案
徐州网安部门打掉一个专门为下游犯罪提供QQ“养号”服务的特大黑产平台,抓获违法犯罪嫌疑人47名,查获恶意注册、非法获取的QQ账号2亿余组。2016年以来,犯罪嫌疑人刘某利用平台上“卡商”接入的手机卡号和验证码资源,为“号商”提供QQ“养号”服务,致使大量QQ账号被不法分子用于电信网络诈骗、网络赌博等违法犯罪活动。2019年2月以来,该平台注册用户14万余个,资金流水近9000万元,非法获利3000余万元。
四、山东威海侦破“3·13”案
威海网安部门打掉一个为下游犯罪提供物联网卡及隐蔽上网链路的黑产团伙,抓获包括运营商内部工作人员牛某在内的犯罪嫌疑人23名。2017年以来,上海某公司吴某勾结某运营商员工牛某,批量购买100万张定向流量物联网卡,违规搭建代理上网服务器并将裸卡销售,致使大量物联网卡被用于电信网络诈骗等违法犯罪。经查证,该公司累计违规销售物联网卡222万余张,非法获利1000余万元。
五、山东枣庄侦破“8·28”案
枣庄网安部门打掉为网络赌博等犯罪提供账号注册服务的“曹操”接码平台,抓获非法买卖手机黑卡、物联网卡犯罪嫌疑人34名,扣押涉案物联网卡130余万张、“猫池”设备2000余台,并一举打掉运行4年的接码平台专用推广网站“爱码族”网。2020年7月以来,犯罪嫌疑人于某、王某、乔某搭建了“曹操”接码平台,为下游赌博、“薅羊毛”等违法犯罪活动提供网号注册服务,非法获利40余万元。
六、湖北荆州侦破“2020·6·19”案
荆州网安部门打掉一个为下游犯罪提供码号支撑的大型QQ“养号”黑产团伙,抓获犯罪嫌疑人9名,关停非法QQ号销售网站1个,查扣涉案“猫池”设备233台、物联网卡7万余张。2019年7月以来,犯罪嫌疑人谢某、姚某等4人利用从北京某虚拟运营商内部人员刘某、郭某手中购买的7万余张物联网卡从事QQ“养号”活动,累计销售恶意注册、非法获取的QQ账号270余万个,非法获利600余万元。
七、广东广州侦破“7·06”案
广州网安部门打掉一个生产、销售“繁星盒子”黑产设备的犯罪团伙,抓获犯罪嫌疑人80名,查处涉案开发和运营公司8家,查获群控设备345台。该设备由4家公司共同研制,系一种新型群控设备,可模拟630部安卓手机的硬件信息,具有批量登录微信、操控微信、IP代理等功能,多被用于电信网络诈骗、网络赌博等违法犯罪活动。该设备曾售往中缅边境的多个电信网络诈骗团伙,涉案金额1200余万元。
八、四川广元侦破“8·16”案
广元网安部门打掉一个某运营商多名工作人员参与,为诈骗、赌博等犯罪活动提供接码服务的网络黑产团伙,抓获犯罪嫌疑人24名,查获手机黑卡1.1万张、“猫池”设备107台。2020年3月以来,某运营商主管朱某伙同王某、杨某等3人,在客户办理手机卡时偷开、多开或以赠送礼品诱骗等方式办理大量手机卡,利用购买的“猫池”设备搭建黑产窝点,为下游犯罪活动提供接码服务,非法获利68万余元。
九、海南海口侦破“2020·9·29”案
海口网安部门打掉一个为下游犯罪提供接码服务的黑产团伙,查处关停接码平台1个,捣毁卡商、号商窝点4个,扣押电话黑卡3万余张、“猫池”设备200余台,查获交易的微信号近10万个。犯罪嫌疑人田某分别于2015年、2019年在海口和江苏徐州成立2个黑产窝点,通过对接刘某搭建的接码平台,为境外诈骗、洗钱等犯罪团伙批量提供手机号码及验证码,下游“号商”何某利用该平台共恶意注册和出售微信账号近10万个。
十、云南楚雄侦破“8·21”案
楚雄网安部门打掉一个为境外不法分子提供动态IP代理、动态VPS服务的黑产团伙,抓获犯罪嫌疑人34名,捣毁网络黑产窝点24个。2018年,犯罪嫌疑人赵某伙同杨某、邵某成立科技公司,在云南15个州市设立24个互联网数据中心机房,在明知其服务对象可能从事违法犯罪的情况下,仍为其提供互联网代理访问和宽带转租服务,致使6起涉赌、涉诈案件线索指向其宽带账号。经查证,该团伙非法获利450万元。
(来源:人民公安报)
`
48种常见电信诈骗手法
http://www.tjgdjt.com/wenhua/content_27339.htm
`
1、QQ冒充好友诈骗。
2、QQ冒充公司老总诈骗。
3、微信冒充公司老总诈骗财务人员。
4、微信伪装身份诈骗。
5、微信假冒代购诈骗。
6、微信发布虚假爱心传递诈骗。
7、微信点赞诈骗。
8、微信盗用公众账号诈骗。
9、虚构色情服务诈骗。
10、虚构车祸诈骗。
11、电子邮件中奖诈骗。
12、冒充知名企业中奖诈骗。
13、娱乐节目中奖诈骗。
14、冒充公检法电话诈骗。
15、冒充房东短信诈骗。
16、虚构绑架诈骗。
17、虚构手术诈骗。
18、电话欠费诈骗。
19、电视欠费诈骗。
20、退款诈骗。
21、购物退税诈骗。
22、网络购物诈骗。
23、低价购物诈骗。
24、办理信用卡诈骗。
25、刷卡消费诈骗。
26、包裹藏毒诈骗。
27、快递签收诈骗。
28、医保、社保诈骗。
29、补助、救助、助学金诈骗。
30、引诱汇款诈骗。
31、贷款诈骗。
32、收藏诈骗。
33、机票改签诈骗。
34、重金求子诈骗。
35、PS图片实施诈骗。
36、“猜猜我是谁”诈骗。
37、冒充黑社会敲诈类诈骗。
38、提供考题诈骗。
39、高薪招聘诈骗。
40、复制手机卡诈骗。
41、钓鱼网站诈骗。
42、解除分期付款诈骗。
43、订票诈骗。
44、ATM机告示诈骗。
45、伪基站诈骗。
46、金融交易诈骗。
47、兑换积分诈骗。
48、二维码诈骗。
`
实录 | kEvin1986:浅谈风控安全
https://mp.weixin.qq.com/s/9vl6JlFigxKukXwV4Yf0Hg
`
一、常见的风险场景
大部分时候当我们说起风控,都可能是在讲某个业务逻辑上出现的风险。近些年,这些风险可能会比较集中地表现在如下关键词当中:薅羊毛、爬虫、黑卡、养号、假流量、电信诈骗、三方数据泄漏等。
这些名词经常会给人造成一些误解,认为这些名词都更偏向于运营和产品层面,是“业务安全”的范畴。但是当在业务本身更注重盈利和有效转化的情况下,对抗这些风险所带来的危害就更多地落在了技术层面上。
提炼一下场景:
1. 权益场景。体现在账号、特定受益群体按照“游戏规则”产生和获取收益的地方,需要更关注于身份伪造、模拟特定行为这些问题,同时在业务中更多的控制利益向下游多次转化的问题。
2. 信息泄漏场景。体现在规模化获取和制造信息,多个不同渠道的信息关联问题上。则更需要关注数据安全合规、数据输出标准化流程化、量化异常、数据蓝图暴露面和上下游数据价值问题。
3. 身份控制场景。主要体现在账号权益、身份自证、上下游信任链问题上,通常会关注于如何鉴别主体的主观特性,权益是否可以被交易,身份历史行为和关联行为是否过分有目的性,身份画像描述是否准确问题。
而事实上,风险往往不是出现在某一个单一场景上,更多的时候是以复杂地方式出现的,这个时候我们就需要对某个场景上的某些功能和逻辑进行风险的威胁建模。
二、风控风险的威胁建模&对已存在的风险进行排查和落地
我曾就职过的某家公司举办了一个活动,其目的是在合理合法的方式下邀请用户主动填写一些自身的信息作为后续项目冷启动的资料,为了提高用户参与的积极性,每当用户填写了一部分信息之后,就赠与用户一部分权益,这些权益累加之后可以去另一个业务线管辖的业务中兑换实体具有价值的物品(当然也包含部分线上实体物品),物品将会以默认物流的方式在一个月内进行递送。这个活动上线时并没有知会任何其他部门,经费来自于其部门财年的自然预算。
综合在建模过程中,需要严格围绕几个层面去看:
1. 收益双方的利益是否符合预期;
2. 每个链路上都需要有相关的审计和应急机制;
3. 需要明示最“核心”的风险指标,并根据其扩散上下游的风险点,寻找到风险最高的链路;
4. 在建模时不需要考虑业务营收的问题,因为这不是最终结果,实际参与安全规划的部门需要明示风险,并在后续和业务部门一起核对目标时,对冲突的逻辑进行权衡。
三、风控中的攻防对抗技巧和经验
在很多时候,有些风险是需要长期对抗的,比如业务原因必须披露某些数据,当数据在某维度价值较高,就一定会引入数据被爬虫的风险。在现实中和很多企业和做风控的朋友闲聊中,发现业务对爬虫止损的要求高于自身业务的要求,甚至有要求安全必须在xx毫秒内完成止损这种要求。这并不是说没有道理,但是忽略了一点,当业务不再进行有效的安全迭代时,相对于风险的价值依然存在,不正确的止血会带来对抗的升级,此时就必须去思考安全是否有足够的成本和风险利用去对抗。目前存在三种主流的对抗模式:
1. 仅线上止血:通过WAF、流量识别等方式尽可能快速的完成风险分析、制作策略发布、上线、 观察止血等几个动作。优点是快速,风险产生的损失最小。但在此时,攻击者往往会很快的摸出策略模型,更新利用的方式,久而久之,特征模型就会很模糊,对抗的成本就会变的很高。
2. 秋后算帐:对风险进行阶段时间的接受,长期观察风险维度和利用特征,在一定的环节和特定的逻辑下同时引入多个策略来阻碍攻击者的利用。此时攻击者可能会尝试多个不同的方式来猜测策略模型,但很难一次性完全命中。审计方就可以利用此类测试过程的数据进行溯源、打击、 预判新策略。当然弊端也是显而易见的,需要在一定时间内对风险造成的损失进行接受,部分高转化的逻辑风险并不一定适用此方式。
3. 将风险转化成收益:这个场景并不太多见,有一部分还涉及到法律问题,我就不在这里赘述了。其原理简单理解就是将攻击者的流量和带来的信息增值,在其他方面转售产生新的收益。
四、应聂君要求我再说说爬虫
爬虫在风险面上更趋向于数据安全方面,很多时候是数据在流动和融合时产生的风险。比如说一个业务会向互联网最终暴露某些数据,那最终的数据如果被抽象出来,是很难去跟踪数据去向的,而数据实际上在业务中的价值也很难衡量,很多企业在面对爬虫的时候,会出现不知道爬虫在哪儿,爬虫怎么根治,怎么溯源等问题,其实在和爬虫的对抗的时候,需要思考一些权益衡量点:
1. 数据输出场景是否合法合规?
2. 单份数据的价值有多少,输出后和市场上其他的数据融合可能会在哪些方式增值?
3. 数据获取的方式是否可能存在枚举的可能性?
4. 数据是否可以从推荐、各种列表中被聚合?
5. 是否在输出数据的时候,对请求来源进行标记?
6. 数据向哪些我能控制且别人也能控制的场景输出?
7. 一次正常的数据输出是否带来有价值的数据输入?
首先我们定义一个爬虫的最基本模式:
1. 要抓取的数据要有足够价值,可以是直接输出的价值,也可能是融合后的价值;
2. 要有效率和稳定性,这个可以和价值去换算收益比;
3. 要拟真,用于对抗反爬虫逻辑,往往他们会使用一个模拟设备,或者模拟一个真实环境进行;
根据上面这个基本模式,我们大致能发现,爬虫虽然是一种人机交互的识别对抗,但更多的价值体现在成本和收益对抗上,那如果从另一个角度去对抗,效果可以更好。
`
Looking for a unique GUID to identify a Windows installation
https://serverfault.com/questions/93785/looking-for-a-unique-guid-to-identify-a-windows-installation
Is HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Cryptography\MachineGuid unique?
https://stackoverflow.com/questions/30676726/is-hkey-local-machine-software-microsoft-cryptography-machineguid-unique
`
If a machine is restored from a backup or clone (such as in disaster-recovery, lab rollout, or fast VM deployment scenarios) then the MachineGuid value would be the same on multiple machines.
I note that the key value itself is read/write, so a post-setup or userland application could overwrite this too, even to a duplicate non-unique value.
如果一台机器从备份或克隆中恢复(例如在灾难恢复、实验室部署或快速 VM 部署场景中),那么 MachineGuid 的值在多台机器上将相同。
而且该注册表键值本身是读/写的,因此即便是用户态的应用程序也可以覆盖它,甚至是重复的非唯一值。
`
Generating a unique machine id
https://stackoverflow.com/questions/99880/generating-a-unique-machine-id
https://www.nextofwindows.com/the-best-way-to-uniquely-identify-a-windows-machine
关于业务逻辑安全、风控做不好的一点想法
https://www.freebuf.com/articles/security-management/249497.html
`
前几天同事发生的手机被盗,被黑产利用,经过黑产一系列骚操作之后,引发的资金被盗刷、金融APP被注册盗用,利用实名信息贷款、资金转移等问题,通过阅读那篇文章可以发现,除了少数几个节点是和安全技术有关,其余大部分危害的产生,黑产利用的都是正常合法的业务操作,这点也许和我之前的认识有很大差距,毕竟我是一个做技术的人,自认为黑产都是利用高难度技术来实现的,现在来看,我错的太离谱了,所以有了这篇文章,想来探讨下非技术性决定的业务逻辑安全。
那这篇文章我想说什么?经过自己阅读了文章之后,结合笔者实际的项目经历(之前做了几十家的三方支付机构安全检测:俗称非金检测,又做了几十家银行的电子银行评估、Web/APP渗透测试、早期还做过四川地区的银行信息科技审计,俗称等级达标),想说说笔者从这个事件中的看法,主要包括以下几点:
事件中的问题再现;
企业为什么做不好业务安全和风控;
基础性的风控规则;
谁的锅;
==
整个文章读下来,我简单总结了几个问题点:移动设备安全、运营商的解挂失、多年未用的储蓄卡再使用、绑卡不规范、贷款缺乏强认证、缺乏个人信息保护。
上述这个几个问题,做过安全的同学的应该就知道,总体而言,单纯安全角度来说,要做好,也不是非常困难的事情:
比如电信来回解挂失:业务流程可改造成如果来回几次解挂失,就冻结到营业厅解挂;或者挂失一次,2分钟可以允许解挂,挂失第二次,10分钟解挂,依次类推;又或者谁能提供更完善的资料,在网上营业厅长时间挂失,比如手持身份证照片上传、紧急手机号人工核实等;
又比如个人信息保护:其实就是页面屏蔽不展示而已,就我实际项目而言,客户端展现这些信息基本啥在后续业务中用不到,即使用得到,也可以从后台去取,那展示的目的又在哪儿?
又比如多年未用的储蓄卡再使用:我记得之前一张卡超过6个月未使用,无任何交易,银行自动冻结,要解冻,需要去营业厅,不知道现在为啥又可以了,之前的方案怎么久放弃了呢?
==
# 目录
0x01 事件中的问题再现
0x02 企业为什么做不好业务安全和风控
2.1 没想到
2.2 想到,不想做
2.3 想做,没资源,缺乏专业指导
2.4 花大钱做了,没用
2.5 产品迭代速度造成安全和风控跟不上
2.6 企业效益和诈骗造成损失之间平衡关系
2.7 监管推行与检查执行
2.8 弱监管、没监管
0x03 基础性的风控规则
0x04 谁的锅
`
以攻击者角度学习某风控设备指纹产品
https://mp.weixin.qq.com/s/keXq9ebUqMdww9loH-Ukxg
`
一、产品特点
二、什么是设备指纹?
三、设备指纹的应用场景
3.1、数据统计
3.2、风控安全
四、设备指纹原理分析
唯一性高-稳定性强:
第一,设备重置之后,保持设备指纹不变。
第二,设备更新之后,保持设备指纹不变。
设备ID(主要包括iOS设备的 IDFA、IDFV,Android 设备的 IMEI、MAC 等)
软件特征(主要是操作系统和APP本身的各类基本信息)
硬件静态特征(比如,主板、CPU、摄像头等相关型号信息等)
硬件动态特征——硬件动态特征基本原理是基于硬件的一些动态执行层产生的特征(如:加速度传感器的偏差)来识别虚拟设备。
五、设备风险识别原理分析
5.1、设备有什么风险?
模拟器、修改设备信息、WiFi信息、传感器、媒体和存储、应用模拟、系统设置模拟、越狱、hook、调试、注入等都是黑产作案过程中常见的手段。
六、破解虚拟机保护
七、破解设备指纹与风险识别
7.1、抓包分析
7.2、破解设备指纹与风险识别
破解的方法有如下几种:
第一种、篡改函数返回值:直接篡改检测设备状态后的返回值,改成false,非越狱、非代理、非调试等
第二种、篡改组合后的key:value值:将内存中组好的值进行修改为我们想要的,但是前提是须要对组合逻辑与对应的key关系分析清楚。
第三种、协议直接刷接口:分析完整个产品的逻辑、加解密算法、字段对应关系即可脱离产品本身代码,自实现有服务器交互的逻辑模拟请求,由于加解密算法都被虚拟机保护,要全部还原花费时间成本太高。
八、总结
通过攻击视角对设备指纹技术进行基本原理性的学习了解。设备指纹是风控系统中对设备实现长期追踪和异常识别的一种关键技术。与黑产的对抗中会起到一定的作用,但它不是银弹,黑产也会用各种方式破解攻击设备指纹,生成或收集生成好的设备指纹,因此设备指纹也须要时效性。
从整体来看该产品与业内同产品相比较安全方面做得还是比较高水准的,通过虚拟机保护真正的做到了加解密逻辑的隐藏,防止被还原直接刷接口,但是百密一疏终有一漏,因此不断升级更新算法补漏与设置一定的策略来识别被攻破的行为还是很有必要的。
`
电信网络诈骗黑灰产生态概览:基础设施
https://mp.weixin.qq.com/s/N7ChFTCsDzfgQkL6J0ALow
`
一、改号变号服务
各类专业的通讯号码切换服务能够有效提高冒充客服、熟人、政府或者医院等诈骗电话、短信的并发量,帮助诈骗团伙隐藏真实身份,大大降低诈骗团伙自行囤积手机卡的成本和风险。
01 – VoIP
电话号码在封闭的通信系统中由运营商分配,是唯一的,但VoIP(Voice over Internet Protocol)技术使用户可以通过互联网实现语音通话,包括与通信系统之间互通语音。互联网与通信系统之间通过VoIP网关互联,VoIP网关具有通信系统的信令功能,理论上VoIP网关可以显示任意号码。
02 – GoIP
GoIP是网络通信硬件设备,能将传统电话信号转化为网络信号。诈骗分子通过在电脑上操作呼出,选定需要呼出的端口,通过互联网传送指令到GoIP设备,GoIP设备会自动将插在对应端口的SIM卡作为主叫号码直接呼出。尤其是藏身境外的诈骗分子,通过境内的GoIP服务,可以实现远程控制、批量切换、群拨电话、群发短信等功能。近期,也出现了通过软件实现的新型GoIP。
03 – 多卡宝
多卡宝(SIMBOX)是实现手机多卡多待的设备。用户可将多张手机卡插入多卡宝,通过对应的手机软件注册账号并扫码绑定设备,远程控制这些手机号码拨打电话、发送短信。
二、网络设备环境切换
用户使用设备的信息以及接入网络的环境是各大平台风控策略的重要判断维度,“一键新机”“秒拨IP”等提供设备环境、网络环境的修改服务,为各类网络违法犯罪活动提供虚假身份隐蔽上网,规避调查等技术支持。
01 – 一键新机
一键新机改串系统软件提供“一键改机”“设置定位”等功能,能够“一键”改变手机的IMEI等设备参数、随机切换手机定位地址等,为各类网络违法犯罪活动提供虚假设备环境,导致手机APP将一台设备误认为是多台设备,无法获取用户的真实设备参数。
如“NZT”案件,NZT在市场销售量大,作者、销售等黑产团伙非法获利超过人民币5000万元。
02 – 秒拨IP
秒拨IP的原理是利用国内家用宽带拨号上网(PPPoE)断线重连,每次获取一个新的宽带IP。秒拨IP黑灰产提供秒级IP切换功能,为下游各类网络犯罪提供低成本的虚假身份隐蔽上网服务,使平台服务器误认为行为人的请求由不同或其他客户端发起,从而绕过平台对IP的检测防控。
推荐阅读:黑产基础设施:秒拨IP
三、集约化控制服务
黑灰产快速地向集约化发展,出现集中控制技术设备和服务,诈骗分子能够实现批量作案,大大提高效率。
01 – 群控软件
群控技术能够实现批量管理、运行、操控系统,常见的手机群控软件功能主要分为三类,一是吸粉引流,包括通讯录一键导入、社交群组自动添加成员、虚拟定位附近人添加、网页号码爬取、号段自动生成等。二是群体管理,包括对话总控、快捷回复、数据统计、自动粉丝打标签等。三是推广营销,包括一键评论回复、一键收藏等。
02 – 验证码突破
为了对抗计算机做出的批量操作,各大平台推出验证码来区分操作指令是计算机还是真人做出的。验证码突破工具能够突破验证码防护算法,以混淆人机身份,黑灰产利用接码平台、打码平台、突破工具能够实现批量注册登录、进行信息滥发等操作行为。
03 – 设备牧场
黑灰产在设备牧场放置上百台手机,使用群控软件、接码平台、⼀键新机、秒拨IP等服务或软件,批量控制手机设备进行脚本自动化操作,实现批量注册、验证、登录、点击等各类操作。
四、专业技术支持
规模较大的电信网络诈骗犯罪集团通常会设立自己的技术开发部门,但技术团队组建成本较高,黑灰产开始提供专业技术基础服务,不需要有大量的资金,不需要有专业技术人员,中小规模犯罪团伙只需要支付一定的费用就可以购买到一体化的技术服务。
01 – 平台搭建服务
目前各类违法犯罪APP/H5源代码组件完善且易得,即使是计算机水平有限的犯罪分子,也可在获得相关源代码后根据各类犯罪需求进行APP/H5搭建和改造。为逃避云服务、通信服务等服务商对域名内容的自动检测和风控措施,多数黑灰产将相关页面做成了深度链接,表面看起来平平无奇,只有输入特定的密码,才会跳转到违法犯罪页面。
02 – 基础物料支持
诈骗分子在与受害人交互过程中,通常会提供伪造的政府公文、银行凭证、官方客服等增加可信度,但是相关材料的伪造也有一定的技术门槛,黑灰产瞄准这一诈骗市场需求,推出一系列基础物料支持服务。如一键伪造银行转账成功等截图,被大量利用于冒充熟人代为付款或转账、杀猪盘、金融异常账号解封等电信网络诈骗场景。
03 – 安全技术服务
一方面,获取正规平台漏洞用于犯罪平台搭建或对接有一定技术门槛;一方面,犯罪平台也存在同行之间“黑吃黑”破坏、劫持、漏洞攻击,需要攻防技术服务支持,部分安全技术人员会提供指定的安全技术攻防外包服务。
04 – 法律“合规”服务
值得注意的是,黑灰产已经从抓捕审讯的“身体对抗”、溯源取证的“技术对抗”拓展到法律适用的“司法对抗”。电信网络诈骗及其周边黑灰产违法犯罪团伙已经开始自行组建法务团队或聘请外部法务提供“合规”服务,在越来越多的案件中发现,犯罪团伙高度重视“刑事合规”,提前布局对抗侦查,制定标准化流程应对监管部门调查。
`
简述业务安全中的风控体系
https://mp.weixin.qq.com/s/blwIjABlCTokewM3O2OOcg
`
在互联网企业中 toC 业务安全的环境下,做风控的核心在于利用可信数据进行全面的风险管理,包括预防、检测、响应和缓解潜在的欺诈和滥用行为。
风控一般都是分成两大板块(引擎部分由于要做得太多,有些人认为该拆成规则 + 算法模型接入 + 画像),拆开并行做:
## 终端部分
终端这里是广义的,包括手机、平板和电脑。目前大趋势是 PC 端功能限制越来越多,厂商”逼”用户使用手机移动端来使用产品。
因此做风控时,在移动终端上的对抗最为激烈,我们可以粗暴地说:终端部分要做的就是埋点收集数据,上报给引擎,引擎做出决策。终端部分的计算任务一般不多,主要在于终端采集到的数据都不一定可信,更何况是计算类任务呢…
具体需要采集哪些信息呢?
举个例子,做风控肯定是要给用户的每台设备生成一个”唯一”的设备 ID。不过,现在安卓版本越来越新,对获取系统某些状态的方法限制太多了,我们举例:
* Android 10 之后的 WIFI MAC 地址都是随机的,以前不变的 MAC 每次都变,是不是这个信息就无效了?
* 一些重视用户隐私的 ROM,在获取 IMEI 时候会返回一串随机码,这个怎么办?
* Android 8之后的 ID 是隔离的,也就是说每一个应用程序看到自己获取到的 Android ID 都是不同的,这又怎么做关联?
要解决的问题很多很多,但是我们知道核心思想即可:
通过稳定且唯一的标识符识别用户的设备。
稳定性表示设备经过改机或恢复出厂设置以后还能保证设备ID 不变。唯一性表示不同设备(尤其是同一型号的设备ID )不一致。
## 系统级设备ID信息收集
有很多可以采集来用,OAID、SN、开机时长、硬件配置、设备是否 Root、是否被改机、系统属性对不对之类的,都属于系统级的信息可以采集上来用。
再例如各种传感器状态啊,可发挥的地方很多,但前提是需要先知道该收集到哪些基础数据。
## 应用级设备ID信息收集
Android ID、VAID、AAID、应用列表和局域网设备等等,这些都是应用级的设备ID收集项。
在实际的工程中,生成一个唯一的设备ID很容易,但难点在于稳定性。保证设备指纹不漂移,是一个非常浩瀚的工程…从众多变量中找相对稳定的不变量困难程度极高。现在通用的方法是用关联或找回的思路来做,就是基于收集到的设备特征反查特征库(图谱),是这么个路径:
1. 收集应用层到内核层的特征数据
2. 上传到后台,使用私有算法生成一个唯一设备指纹,也就是设备ID
3. 找回:利用多重ID,包括AndroidID、IMEI、IDFV、IDFA等尝试找回已经分配的设备ID,如果找不到,则认为是新设备,分配新的ID,在后台存储ID映射关系,并下发给终端存储。所有的生成和找回都是依赖于ID的映射关系查询,后台处理逻辑简单,可以快速查询。
4. 稳定性这里真的很难,APP卸载重装、APP清空缓存、系统OTA升级等多种场景下保持不变还好说,iOS可能放keychain里、Android那就放在存储的隐藏目录之类保存。但抹机之后还保持设备ID稳定的话,没啥太好的参考,可以想办法通过获取某些硬件的唯一标识入手,或者根据行为特征综合UID来判断下
上面说的全都是设备指纹这一个部分,实际上终端做的事不只是这些,还有很多东西例如行为收集啊、反调试啊等等,都是终端该做的事儿。现在也有很多风控SDK能一键接入,效果先不谈,但可以避免一穷二白,先用起来总好过没有对吧。
## 引擎部分
光有终端的数据上来还不够,还需要有一个靠谱的风控决策引擎,这个引擎就是给运营使用的平台,一定要有规则编辑和规则执行、灰度、数据统计分析这几块。流程分支太多,总不能一个一个写if else吧?当然也不是不行,但写多了难免会破防😓。一个比较完善的风控引擎(或者说风控中台?都行)会对接终端风控系统、实时和离线指标计算平台、风控数据画像、机器学习和模型平台等各类风控子系统,集中进行风险计算和决策,避免产生”数据孤岛”。
当然,上来就实现这么大的宏伟目标不够现实,做一个勉强可用的引擎也行呀,甚至你直接写个简单的页面,页面上写能识别到黑产作恶的SQL特征并保存下来,也算是个规则引擎了…
实现一个简单的规则引擎要么用Drolls之类开源的,要么自己实现,只要保证能对每一个事件根据你写好的规则集判定就可以了。
## 再说说设备指纹
指纹最重要的两个特性:稳定性和唯一性。
这里其实有两种思路,第一个思路是管你什么特征不特征的,我直接放弃稳定性,每次都服务器下发一个随机的 UUID 就完了,收集到的特征都存起来,纯靠引擎里的规则和模型来做风控。
第二个就是,尽可能地用”稳定”的特征来生成一个设备ID,使用时候先去服务端的ID中查询看有没有能对应上的,没有的话就插入一条记录,有的话就直接下发服务端存储过的ID。
## 用户行为习惯特征
现在基本所有应用都会收集用户的使用习惯特征,例如你的浏览时长、停留时长、甚至输入速度、点击速度、验证码滑动曲线等等。这些特征对抗养号有点用,例如灰产批量养号,这些号的使用习惯大概率高度类似,做个简单的聚类就能发掘一大批账号有问题。灰产对抗的方式就是随机呗,那这时候风控就要加入另一层特征了,例如传感器状态,那灰产也会进步,你读传感器那我就改传感器,做风控是一个持续的行为,灰产为了赚钱会一直进步,也会倒逼业务和安全共同进步。
## 规则还是模型?
规则为主,做模型难度高、开发周期长、效果”可能”比直接的规则会好,但也有可能更烂…在我看来,模型更多是对规则照顾不到的角落或者规则暂时支持不好的场景做补充吧。
## 灵魂问题:你做的事,价值在哪里?
先要说到可感知,啥意思呢?举个例子:
假设某一天你的应用有一万次登录,但是成功了8000次,失败了2000次,你说这是为什么呢?是有黑产来撞库吗?还是有啥别的原因?
做风控的第一步不一定是打击,而是要先大概摸清楚用户中有哪些是”坏人”,哪些是”好人”。
摸清楚之后,你的leader问:
你做这件事有什么价值?
我相信大家没少听这句话(笑。
讲出风控,或者说安全这种成本部门的价值有两个很大的难点:
1. 风控部门的产出是”消除”了可能的经济损失或商誉损失
2. 但也正因为损失被消除了,让我评估一个不存在的事情(例如杨幂的演技)就变得很离谱
我的套路一般是讲定价,你别和我提什么价值了,我就给你看我做出的这套系统,在市场上一般卖多少钱。这个是很好的量化手段;再例如,这一波我阻断了多少人薅羊毛,这些羊毛在市场上多少钱,但这里的价格不会太好看,我一般不说。
## 最后回到文章开头:可信数据
在互联网企业中 toC 业务安全的环境下,做风控的核心在于利用可信数据进行全面的风险管理,包括预防、检测、响应和缓解潜在的欺诈和滥用行为。
之前遇到过这种情况,查数据发现终端收集到的很多特征根本就是错的,全是假数据,在一张破表上面查来查去,查到最后属于拉了一坨大的…
来源可靠、质量高、准确性和完整性经过验证的特征数据很重要,换句话说修改起来越困难、收集越难的特征才越重要,再举个小例子:你把收集特征的代码写在java层,相比写在so再做一层VMP肯定是更麻烦的,这对于逆向者来说是一个很大的挑战,因此从VMP加固后的so中收集到的特征数据就比在java层收集到的数据特征更可信。
`
黑五类产品投放广告,你需要知道这些事?跨境电商facebook广告投放怎么做?
https://www.sohu.com/a/656675770_121661110
`
黑五,很多朋友第一反应是美国的黑色星期五。这里指的并不是这个,而是一些擦边的受到限制的产品,一般来说,指的是药品、医疗器械、丰胸、减肥、增高这五类产品。
当前黑五类产品产品海外销售并不乐观,可以看到主要是因为各大跨境电商广告投放平台加强了监管导致的影响,受到波及产品主要包括减肥类型产品,丰乳类型产品以及各种保健品等等,因为监管力度的加大,因此跨境电商广告营销效果也在急剧降低,对于一些比较核心的关键词跨境电商平台都是屏蔽的。
跨境电商黑五类产品的利润有多少?根据数据统计,仿牌的利润率在100-300%左右,然而,本钱低廉几块钱,甚至几毛钱的黑五产品在国外跨境电商中却被卖出高达上千美金的价格,毛利率高达300-2000%,比fp更可怕!跨境电商黑五类产品依赖着“超高毛利+高广告费用投入+转化”不停地割取国外的韭菜,为黑五独立站运营主创造了极大的财产。
跨境电商黑五类的运营模式。黑五类产品由于存活率低,在跨境独立站中都是寻求“快、准、狠”的流量模式,即:黑五独立站+广告模式,做跨境电商黑五产品的,没有人会去做EDM、SEO等传统可连续的流量模式,都是通过跨境电商平台大量地投放广告,短平快地刷出流量,刷出流水。大家应该都知道某度SEM排名吧?黑五类就是由KeyWords排名点击,吸引流量,通过跨境电商软文情势把有相关需求的人引流到第三方独立站上,再用一些话术、效果比对等方式转化成交订单。
`