博客
关于我
[851]反反爬--如何巧过CloudFlare 5秒盾
阅读量:649 次
发布时间:2019-03-13

本文共 1311 字,大约阅读时间需要 4 分钟。

巧破 Cloudflare 5秒盾

相信下面这个界面大家都不会陌生。【图1-1】

图1-1

当我们第一次访问使用 CloudFlare 加速的网站时,网站就会出现让我们等待 5 秒种的提示,当我们需要的通过爬虫爬取这类网站的时候,应该如何爬取呢?

分析请求

首先我们需要分析在这个等待的时间里浏览器做了哪些操作。

通过抓包,我们可以看到在等待的过程中,浏览器做了下面的三次请求【图1-2】- 【图1-4】:

【图1-2】请求 1 写入 cookie 字段 __cfduid

图1-2

【图1-3】请求 2 带有疑似加密的请求参数请求并写入 cookie 字段 cf_clearance

图1-3

【图1-4】请求 3 带上前面写入的cookie 请求网站首页,返回首页内容。

图1-4

这整个过程需要的请求现在已经分析清楚了,接下来就是使用 Python 实现这个请求流程,不过是这样的话就配不上这个标题了。

先说说这个按照正常流程是怎么实现抓取绕过的:

  • 使用浏览器模拟技术请求目标网站,例如:Selenium、 PhantomJS等
  • 破解请求 2 的加密参数使用请求库模拟整个请求过程

这两个方法当然是可以抓取的,但是都不符合标题的字。

接下来给大家介绍一个专门为了绕过这个 CloudFlare 开发的 Python 库 cloudflare-scrape

用上它就可以无感爬取使用了 CloudFlare 的网站,使用这个库非常简单。

安装

使用pip install cfscrape安装cloudflare-scrape,同时确认本地是否安装node.js开发环境,如果没有,需要安装配置nodejs开发环境。

使用实例

处理 get 请求的 CloudFlare

import cfscrape# 实例化一个create_scraper对象scraper = cfscrape.create_scraper()# 请求报错,可以加上时延# scraper = cfscrape.create_scraper(delay = 10)# 获取网页源代码web_data = scraper.get("https://wallhere.com/").contentprint(web_data)

处理 post 请求的 CloudFlare

# import cfscrape# 实例化一个create_scraper对象scraper = cfscrape.create_scraper()# 获取真实网页源代码web_data = scraper.post("http://example.com").contentprint(web_data)

使用cloudflare-scrape后整个请求过程如丝般顺滑。

来源:https://mp.weixin.qq.com/s/sxeqOt-s3d8M8NrqKyjhzA

http://xianyucoder.cn/2019/09/16/%E5%8F%8D%E5%8F%8D%E7%88%AC-%E5%B7%A7%E7%A0%B4%20Cloudflare%205%E7%A7%92%E7%9B%BE/

转载地址:http://bmxaz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(5)——MySql常用函数大全讲解
查看>>
Mysql学习总结(60)——并发量大、数据量大的互联网业务数据库设计规范总结
查看>>
Mysql学习总结(61)——MySQL优化之DBA级优化整理汇总
查看>>
Mysql学习总结(62)——MySQL连接com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link问题
查看>>
Mysql学习总结(63)——Mysql数据库架构方案选择与分析
查看>>
Mysql学习总结(64)——Mysql配置文件my.cnf各项参数解读
查看>>
Mysql学习总结(65)——项目实战中常用SQL实践总结
查看>>
Mysql学习总结(66)——设置MYSQL数据库编码为UTF-8
查看>>
Mysql学习总结(67)——MYSQL慢查询日志
查看>>
Mysql学习总结(68)——MYSQL统计每天、每周、每月、每年数据 SQL 总结
查看>>
Mysql学习总结(69)——Mysql EXPLAIN 命令使用总结
查看>>
Mysql学习总结(6)——MySql之ALTER命令用法详细解读
查看>>
Mysql学习总结(70)——MySQL 优化实施方案
查看>>
Mysql学习总结(71)——MySQL 重复记录查询与删除总结
查看>>
Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
查看>>
Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
查看>>
Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
查看>>
Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结(78)——MySQL各版本差异整理
查看>>
Mysql学习总结(79)——MySQL常用函数总结
查看>>