本文共 1714 字,大约阅读时间需要 5 分钟。
**
- 1、Response对象的属性
**
属性 | 说明 |
---|---|
r.status_code | HTTp请求的返回状态,200表示连接成功,404表示失败 |
r.text | HTTp响应内容的字符串形式,即url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
r. content | HTTP 响应内容的二进制形式 |
response的编码意义
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
r.encoding:如果header中不存在charset,则认为编码为IS0-8859-1 r.text根据r.encoding显示网页内容
r.apparent_encoding:根据网页内容分析出的编码方式。可以看作是r.encoding的备选
****
异常 | 说明 |
---|---|
requsets.ConnectionError | 接错误异常,如DNs查询失败、拒绝连接等 |
requsets.HTTPError | HTTP错误异常 |
requsets.URLRequired | URL缺失异常 |
requsets.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requsets.ConnecTimeout | 连接远程服务器超时异常 |
requsets.Timeout | 请求URL超时,产生超时异常 |
import requests#定义通用爬虫代码框架def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status()#如果状态不是200,引发HTTPError异常 r.encoding=r.apparent_encoding return r.text except: return"产生异常"#main函数if _name_=='_main_': url="http://www.baidu.com" print(getHTMLText(url))
HTTP,( Hypertext Transfer Protocol, )超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议 HTTP 协议采用 URL 作为定位网络资源的标识,URL 格式如下 http //host[:port][path] host:合法的lnternet主机域名或IP地址 port:端口号,缺省端口为80 path:请求资源的路径方法 说明
方法 | 说明 |
---|---|
GET | 请求获取URL位置的资源 |
HEAD | 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息 |
POST | 请求向URL位置的资源后附加新的数据 |
PUT | 请求向URL位置存储一个资源,覆盖原URL位置的资源 |
PATCH | 请求局部更新URL位置的资源,即改变该处资源的部分内容 |
DELETE | 请求删除URL位置存储的资源 |
假设URL位置有一组数据UserInfo,包括UserID、UserName等20个字段
需求:用户修改了UserName,其他不变 采用PATCH,仅向URL提交UserName的局部更新请求 采用PUT,必须将所有20个字段一并提交到URL,未提交字段被删除 PATCH的最主要好处:节省网络带宽HTTP协议方法 | Requests库方法 |
---|---|
GET | requests.get() |
HEAD | requests.head() |
POST | requests.post() |
PUT | requests.put() |
PATCH | requests.patch() |
DELETE | requests.delete() |
转载地址:http://istmb.baihongyu.com/