第2048章 携程的技术暗战2(第1页)
();
read2();第二天,对方的爬虫换了策略。
不再是高频密集的抓取,而是降低了频率,变得更加隐蔽,混在真实用户的访问流量里,很难分辨。
赵磊和小李花了整整一个上午分析流量日志,发现了一个规律——爬虫访问的页面路径是固定的,而真实用户的路径是随机的。
基于这个发现,赵磊在反爬虫系统里加了一层行为分析的逻辑:连续访问同一个类型的数据超过一定次数,自动标记为可疑,加入黑名单。
第三天,对方的程序员大概也发现了这个规律,开始随机化访问路径,模仿真实用户的行为模式,不再只抓航班和酒店数据,而是随机地访问首页、用户中心、订单页面等无关内容。
赵磊看到流量日志的时候,盯着屏幕看了好一会儿,然后说了一句让俞飛鸿印象
******后面还有2087个字内容被隐藏了******
******后面还有2087个字内容被隐藏了******
loadBookInfo(25,10019,2097,重生87,半年爆赚200亿美金);
();
biqlugebook5919637730300934.html
();
::
();
一秒记住新域名 www.sryxw.com
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。