如何进行Request的分析

如何进行Request的分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

专注于为中小企业提供成都网站制作、做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业鱼台免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了超过千家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

介绍

Request类是一个http请求的类,对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求,在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它,用于post请求。

在Spider中通常用法: 

yield scrapy.Request(url = 'zarten.com')

类属性和方法有:

url  method  headers  body  meta  copy()  replace([url, method, headers, body, cookies, meta, encoding, dont_filter, callback, errback])

Request 

class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback, flags])

参数说明:

  •  url 请求的url

  •  callback 回调函数,用于接收请求后的返回信息,若没指定,则默认为parse()函数

  •  method http请求的方式,默认为GET请求,一般不需要指定。若需要POST请求,用FormRequest即可

  •  headers 请求头信息,一般在settings中设置即可,也可在middlewares中设置

  •  body str类型,为请求体,一般不需要设置(get和post其实都可以通过body来传递参数,不过一般不用)

  •  cookies dict或list类型,请求的cookie dict方式(name和value的键值对):   

cookies = {'name1' : 'value1' , 'name2' : 'value2'}

list方式: 

cookies = [     {'name': 'Zarten', 'value': 'my name is Zarten', 'domain': 'example.com', 'path': '/currency'}     ]
  •  encoding 请求的编码方式,默认为'utf-8'

  •  priority int类型,指定请求的优先级,数字越大优先级越高,可以为负数,默认为0

  •  dont_filter 默认为False,若设置为True,这次请求将不会过滤(不会加入到去重队列中),可以多次执行相同的请求

  •  errback 抛出错误的回调函数,错误包括404,超时,DNS错误等,***个参数为Twisted Failure实例   

from scrapy.spidermiddlewares.httperror import HttpError     from twisted.internet.error import DNSLookupError     from twisted.internet.error import TimeoutError, TCPTimedOutError     class ToScrapeCSSSpider(scrapy.Spider):         name = "toscrape-css"         # start_urls = [         #     'http://quotes.toscrape.com/',         # ]         start_urls = [             "http://www.httpbin.org/",  # HTTP 200 expected             "http://www.httpbin.org/status/404",  # Not found error             "http://www.httpbin.org/status/500",  # server issue             "http://www.httpbin.org:12345/",  # non-responding host, timeout expected             "http://www.httphttpbinbin.org/",  # DNS error expected         ]         def start_requests(self):             for u in self.start_urls:                 yield scrapy.Request(u, callback=self.parse_httpbin,                                      errback=self.errback_httpbin,                                      dont_filter=True)         def parse_httpbin(self, response):             self.logger.info('Got successful response from {}'.format(response.url))             # do something useful here...         def errback_httpbin(self, failure):             # log all failures             self.logger.info(repr(failure))             # in case you want to do something special for some errors,             # you may need the failure's type:             if failure.check(HttpError):                 # these exceptions come from HttpError spider middleware                 # you can get the non-200 response                 response = failure.value.response                 self.logger.info('HttpError错误 on %s', response.url)             elif failure.check(DNSLookupError):                 # this is the original request                 request = failure.request                 self.logger.info('DNSLookupError错误 on %s', request.url)             elif failure.check(TimeoutError, TCPTimedOutError):                 request = failure.request                 self.logger.info('TimeoutError错误 on %s', request.url)
  •  flags list类型,一般不会用到,发送请求的标志,一般用于日志记录

  •  meta 可用户自定义从Request到Response传递参数,这个参数一般也可在middlewares中处理   

yield scrapy.Request(url = 'zarten.com', meta = {'name' : 'Zarten'})

在Response中:

my_name = response.meta['name']

不过也有scrapy内置的特殊key,也非常有用,它们如下:

  •  proxy 设置代理,一般在middlewares中设置

可以设置http或https代理

request.meta['proxy'] = 'https://' + 'ip:port'
  •  downloadtimeout 设置请求超时等待时间(秒),通常在settings中设置DOWNLOADTIMEOUT,默认是180秒(3分钟)

  •  maxretrytimes ***重试次数(除去***次下载),默认为2次,通常在settings中 RETRY_TIMES设置

  •  dont_redirect 设为True后,Request将不会重定向

  •  dont_retry 设为True后,对于http链接错误或超时的请求将不再重试请求

  •  handlehttpstatuslist http返回码200-300之间都是成功的返回,超出这个范围的都是失败返回,scrapy默认是过滤了这些返回,不会接收这些错误的返回进行处理。不过可以自定义处理哪些错误返回:   

yield scrapy.Request(url= 'https://httpbin.org/get/zarten', meta= {'handle_httpstatus_list' : [404]})

在parse函数中可以看到处理404错误:   

def parse(self, response):      print('返回信息为:',response.text)
  •  handlehttpstatusall 设为True后,Response将接收处理任意状态码的返回信息

  •  dontmergecookies scrapy会自动保存返回的cookies,用于它的下次请求,当我们指定了自定义cookies时,如果我们不需要合并返回的cookies而使用自己指定的cookies,可以设为True

  •  cookiejar 可以在单个spider中追踪多个cookie,它不是粘性的,需要在每次请求时都带上       

def start_requests(self):             urls = ['http://quotes.toscrape.com/page/1',                     'http://quotes.toscrape.com/page/3',                     'http://quotes.toscrape.com/page/5',                     ]             for i ,url in enumerate(urls):                 yield scrapy.Request(urlurl= url, meta= {'cookiejar' : i})         def parse(self, response):             next_page_url = response.css("li.next > a::attr(href)").extract_first()             if next_page_url is not None:                 yield scrapy.Request(response.urljoin(next_page_url), meta= {'cookiejar' : response.meta['cookiejar']}, callback= self.parse_next)         def parse_next(self, response):             print('cookiejar:', response.meta['cookiejar'])
  •  dont_cache 设为True后,不会缓存

  •  redirect_urls 暂时还不清楚具体的作用,知道的小伙伴们欢迎在评论留言

  •  bindaddress 绑定输出IP

  •  dontobeyrobotstxt 设为True,不遵守robots协议,通常在settings中设置

  •  downloadmaxsize 设置下载器***下载的大小(字节),通常在settings中设置DOWNLOADMAXSIZE,默认为1073741824 (1024MB=1G),若不设置***的下载限制,设为0

  •  download_latency 只读属性,获取请求的响应时间(秒)       

def start_requests(self):             headers = {                 'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'             }             yield scrapy.Request(url= 'https://www.amazon.com', headersheaders= headers)         def parse(self, response):             print('响应时间为:', response.meta['download_latency'])
  •  downloadfailon_dataloss 很少用到,详情看这里

  •  referrer_policy 设置Referrer Policy

FormRequest

FormRequest 类为Request的子类,用于POST请求

这个类新增了一个参数 formdata,其他参数与Request一样,详细可参考上面的讲述

一般用法为: 

yield scrapy.FormRequest(url="http://www.example.com/post/action",                         formdata={'name': 'Zarten', 'age': '27'},                         callback=self.after_post)

看完上述内容,你们掌握如何进行Request的分析的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


当前名称:如何进行Request的分析
当前URL:http://scjbc.cn/article/peceog.html

其他资讯