国内外电商平台反爬虫机制报告

电商平台的核心引擎大致分为两块，搜索架构和产品布局，应该说各有各的特色。当然今天的主题是反爬虫机制，电商平台如何能保护好自己的数据，又不影响正常用户体验，所谓当今业界一场持久的攻防博弈。

一阶爬虫（技术篇）应用场景一：静态结果页，无频率限制，无黑名单。

攻：直接采用scrapy爬取

防：nginx层写lua脚本,将爬虫IP加入黑名单，屏蔽一段时间（不提示时间）

应用场景二：静态结果页，无频率限制，有黑名单