5 亿微博数据疑泄露，Python 爬虫如何避免踩天坑？_详细解读_最新资讯_热点事件

账号设置我的收藏退出登录登录搜索未来汽车日报零售老板内参未来地产36Kr GlobalTech星球超人测评媒体品牌企服严选EClub创变者俱乐部EClub企业项目库36Kr研究院36Kr创新咨询氪榜企业服务政策汇编政府服务VClubVClub投资机构库投资人服务寻求报道寻求融资36氪Pro创业者服务开氪知识服务首页快讯资讯推荐中概股科技生活城市最新创投汽车企服创新视频专题活动搜索寻求报道我要投稿寻求融资5 亿微博数据疑泄露，Python 爬虫如何避免踩天坑？CSDN · 7小时前真正遭遇信息泄漏时，你该做什么？

编者按：本文来自微信公众号“CSDN”（ID:CSDNnews），作者：马超，36氪经授权发布。

3月19日，默安科技CTO魏兴国发微博称，微博数据泄露了不少用户的手机号，当中涉及不少微博认证的明星和企业家。

亦有网友在他的微博评论区表示：“有超过5.38亿条微博用户信息在暗网出售，其中1.72亿条有账户基本信息，售价0.177比特币。涉及到的账号信息包括用户ID、账号发布的微博数、粉丝数、关注数、性别、地理位置等。”

目前，这条微博已经删除。

针对此事，微博方面回应称，数据泄露属实，目前微博已经及时强化安全策略，微博一直有提供根据通讯录手机号查询微博好友昵称的服务，用户授权后可以使用该服务。

但微博不提供用户性别和身份证号等信息，也没有“根据用户昵称查手机号”的服务。因此这起数据泄露不涉及身份证、密码，对微博服务没有影响。

据此我们可以判断出这次微博个人信息泄漏的安全事件，其原因应该是通讯录好友匹配攻击导致的。很多社交App都有通过通讯录匹配好友的功能。攻击者可以伪造本地通讯录来获得手机号到微博用户账号的关联。比如通过伪造的手机号匹配好友，并不断列举，就能关联出所有用户帐号到微博ID到手机号的关系。

本次事件纠其本质其实是利用合法API的不合理使用来套取、收集信息的过程，简单来讲就是一个爬虫引发的血案。

有关爬虫的是是非非实在太多了，据笔者观察2019年几乎所有的大数据即爬虫公司全部被查，包括新颜科技与魔蝎科技的CEO被查、公信宝被封、聚信立也宣布将暂停爬虫服务、国内大数据风控平台龙头同盾科技也被曝解散爬虫部门。

这其中最惹人关注的事件，还是那位来自巧达科技的程序员，因为写了一段爬虫程序，非法从某招聘网站上下载简历信息而被起诉，引发了全网关于程序员面向“监狱”编程的大讨论。

而站在笔者角度来看，有关爬虫的争议和信息泄漏防护需要从数据持有方和数据爬取方两个角度来审视。

数据持有方的盾：DLP数据泄露防护系统

这次信息泄漏事件发生后，我们可以看到微博第一时间就回应不涉及身份证、密码等敏感信息的外流，我相信这背后的底气还是来自于微博对其数据泄漏防护（Data leakage prevention, DLP）的信心。

远程办公大背景下，先要做好内部预防：据国家计算机信息安全测评中心数据显示，重要资料被黑客窃取和被内部员工泄露的比例为1：99.也就是说有互联网出口的企业，其内部重要机密通过网络泄密而造成重大损失的事件中，只有1%是被黑客窃取造成的，而都是由于内部员工有意或者无意之间泄露而造成的。尤其是在目前远程办公的背景下，这种由员工引发的信息泄漏情况其实风险更高，企业在数据边界建立一套安全防护体系十分重要。

员工终端出口防控：部分大厂都有一套数据沙盒运行或者加密机制，用来阻止数据由使用的客户端流出，并且一般在DLP的整体解决方案中，还会使用图像处理技术还会将员工屏幕图像的频域中加入特定指纹，以追踪员工泄漏截屏信息。记得在2017年阿里脚本秒杀月饼的事件中，就有人因泄漏截图信息而被处理，这背后其实就是频域指纹的技术。再有就是对内网中包括U盘、移动硬盘、红外、WIFI、蓝牙等输出端口实施监控，对拷贝到移动存储设备的文档进行强制加密。

互联网出口防控：而针对互联网出口DLP技术几乎和AI图像处理与NLP技术同步发展，一般都会使用最新的分类模型，监控异常流量，防止数据外泄，这里还是再次强调一下系统上云的重要性。

数据爬取方之道：避免面向监狱编程

根据最新的流量分析，互联网40%左右的流量都是机器人也就是爬虫发起的，站在数据爬取方的角度，必须关注爬虫技术的法律边界，“技术无罪”的号往往不能保护广大程序员。

而有关爬虫的法律问题，笔者特意咨询了法务同事，根据我国的《刑法》、《网络安全法》的规定，爬虫可能涉及到的犯罪行为有如下情况：

1．首先侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，不论情节严重与否，构成非法侵入计算机信息系统罪。

2．违反国家有关规定，向他人出售或者提供公民个人信息，构成“侵犯公民个人信息罪”。也就是说通过出售个人信息获利或者侵入含有国家机密的系统均会构成犯罪，但这两种情况均不会是无心之过，但是以下规定需要格外注意。

3．违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，构成犯罪。也就是如果使用爬虫的抓取力度过大，造成被攫取的网站无法正常运行的情况，并造成严重后果的也会构成犯罪。我们前文所述巧达科技的程序员也是因为爬虫流量太大，造成目标网络接近瘫痪，而涉嫌触犯此条被捕。

也就是说避免面向监狱编程的三原则是

1． 不要触碰国家事务、国防建设的系统

2． 不要触碰个人信息，更不能贩卖个人信息

3． 合理设置爬取流量，避免DDOS攻击式的爬虫

另外为避免其它民事纠纷，要尽量遵守Robots 协议。Robots 协议是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的漫游器也就是爬虫，此网站中的哪些内容是不应被爬虫获取的，哪些是可以被爬虫获取的。严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

因为司法实践中一般也会考虑行业的通行规范，因此一般遵守Robots 协议得到的信息不会被认为是商业机密或者个人隐私数据。或者说遵守协议所得的信息即使涉密其泄密责任一般也不会由爬取方承担。

实际遭遇信息泄漏时应该做什么

在所有的信息泄漏中最麻烦的就是密码或者身份证信息泄漏，对此笔者有如下建议：

1． 检查自己的征信记录：如果征信记录中有异常，尤其是遭遇不明原因的贷款时，那么大概率是遇到严重的信息泄漏情况了。此时如果联系不上贷款平台，可以尽早报案，以保护自己的合法权益。

2． 解除三方平台的绑定关系：一般来说银行对于客户银行卡的保护力度还是比三方支付公司要大的，所以如遇信息泄漏，可以先解除与三方支付平台的绑定关系及关闭定时自动扣款服务，必要时再更换银行卡。 

作者简介

马超，CSDN博客专家、阿里云MVP、华为云MVP，金融科技行业资深从业者，著名的国产操作系统及数据库软件的布道者

本文经授权发布，不代表36氪立场。如若转载请联系原作者。

期待您加入36氪官方创始人社群EClub，链接有价值的创业者与投资人，让创业更简单！ 详情请戳 。

+1

好文章，需要你的鼓励

CSDN特邀作者收  藏+1评  论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微  博沉浸阅读返回顶部参与评论登录后才能参与讨论哦…登录后参与讨论提交评论0/1000

请回复有价值的信息，无意义的评论将很快被删除，账号将被禁止发言。

CSDN特邀作者

TA还在犹豫如何开场

发表文章137篇最近内容5 亿微博数据疑泄露，Python 爬虫如何避免踩天坑？7小时前投资体量至少 40 万亿元，普通人如何“抓住”新基建？8小时前64% 的企业未实现智能化，5成公司算法工程师团队规模小于10人，AI工程师的机遇在哪里？2020-03-20阅读更多内容，狠戳这里下一篇新冠疫情加速全球经济的“亚马逊化”

颤抖吧，准备迎接一个亚马逊化的未来！

8小时前

关于36氪城市加盟寻求报道我要投稿投资者关系商务合作关于我们联系我们加入我们合作伙伴36氪APP下载iOS Android本站由 阿里云 提供计算与安全服务 违法和不良信息举报电话：010-58254120 举报邮箱：jubao@36kr.com© 2011~2018 北京多氪信息科技有限公司 | 京ICP备12031756号 | 京ICP证150143号 | 京公网安备11010502036099号意见反馈36氪APP让一部分人先看到未来36氪鲸准氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者，项目融资率接近97%，领跑行业