python爬虫中怎么写反爬虫
发布网友
发布时间：2022-04-23 08:07
共5个回答
热心网友
时间：2022-04-06 05:31
1、通过UA判断：UA是UserAgent，是要求浏览器的身份标志。
UA是UserAgent，是要求浏览器的身份标志。反爬虫机制通过判断访问要求的头部没有UA来识别爬虫，这种判断方法水平很低，通常不作为唯一的判断标准。反爬虫非常简单，可以随机数UA。
2、通过Cookie判定：Cookie是指会员帐户密码登录验证
Cookie是指会员帐户密码登录验证，通过区分该帐户在短时间内爬行的频率来判断。这种方法的反爬虫也很困难，需要多账户爬行。
3、通过访问频率判定
爬虫类经常在短时间内多次访问目标网站，反爬虫类机制可以通过单个IP访问的频率来判断是否是爬虫类。这样的反爬方式难以反制，只能通过更换IP来解决。
4、通过验证码判定
验证码是反爬虫性价比高的实施方案。反爬虫通常需要访问OCR验证码识别平台，或者使用TesseractOCR识别，或者使用神经网络训练识别验证码。
5、动态性页面加载
使用动态加载的网站通常是为了方便用户点击和查看，爬虫无法与页面互动，这大大增加了爬虫的难度。
一般情况下，用户对网站进行信息爬取时，都要受到“爬虫”的约束，使用户在获取信息时受到一定的阻碍
热心网友
时间：2022-04-06 06:49
常见的反爬虫就是设置随机响应头USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win; x; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)", "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)", "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)", "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0", "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5", "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6", "Mozilla/5.0 (Windows NT 6.1; WOW) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20", "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",]
热心网友
时间：2022-04-06 08:23
1、通过Headers反爬虫：
从用户请求的Headers反爬虫是最常见的反爬虫策略。可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。
2、基于用户行为反爬虫：
直接使用芝麻IP代理就可以解决。
热心网友
时间：2022-04-06 10:15
初级阶段
1、判定User-Agent 是否正常
2、cookie陷阱【每次请求需要携带cookie，cookie不对证明不是一个人】
3、ip*访问【一个ip在单位时间内只能访问多少次】
4、如果登录的话就用户名密码呗【单位时间内访问多少次，和ip一起使用】
5、ip访问频率快一点感觉像爬虫的给他重定向到验证码页面，图片的像12306那种恶心人的，如果这个ip没办法做或者直接断掉了，记录他断掉次数，高于多少，封ip
6、页面标签陷阱，本该没办法直观看到的或者没办法直观点击的标签，被触发很明显不是个好人或者活人封他
热心网友
时间：2022-04-06 12:23
爬虫确实对单个ip的访问*挺严格的，但是对于http访问来说，并不一定需要抓取别人做好的代理。国外的GAE，AWS，以及各种免费的虚拟主机，用python，php都有现成的代理服务，写个自动化脚本不停地去配置、删除代理服器就可以了。
要是仅仅短期使用的话其实用不着这么麻烦，在访问的http request里添加x-forward-for标签，client随机生成，宣称自己是一台透明代理服务器，像【618爬虫代理服务器，百万级IP池】代理其他人的访问就能绕过许多*了，一般服务商不会*透明代理。
