scrapy 实战(五)爬与反爬

上期主要介绍了,怎么抓取 js 生成的页面。 本期主要,讲一些爬与反爬的一些技巧。 先说发爬: 怎么判断 是爬虫? 通过分析日志 每ip 访问频率、user-agent、cookie, re...