Fork me on GitHub

Python网络爬虫与信息提取(一)



Requests库的七个主要方法:

这里写图片描述

get方法

r = requests.get(url):右边构造一个向服务器请求资源的Requests对象,左边返回一个包含服务器资源的Response对象给r
完整参数:requests.get(url,params=None,**kwargs),实则由request方法封装

Response对象的五个属性:

这里写图片描述

爬取网页的通用代码框架

Requests库爬取网页会遇到异常:
6种常见异常:

这里写图片描述

使用r.raise_for_status()方法构建通用代码框架:

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/env python
# coding=utf-8
def getHTMLText(url)
try:
r = request.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"

HTTP协议对资源的操作:

这里写图片描述

Requests库主要方法:requests.request(method,url,kwargs)**

method(请求方式)包括:
    GET/HEAD/POST/PUT/PATCH/delete/OPTIONS
**kwargs(控制访问参数)包括:
    params(添加键值到url后)/data(字典/字节序列等作为Request的内容)/json/headers(HTTP定制头)/cookies(Request中的cookie)/auth(元祖,支持HTTP认证)/files(传输文件)/timeout/proxies(设定访问代理服务器)/allow_redirects(重定向开关)/stream(获取内容立即下载开关)/verify(认证SSL证书开关)/cert(本地SSL证书路径)

Requests库爬取实例

  • 京东商品页面的爬取
1
2
3
4
5
6
7
8
9
import requests
url = "http://item.jd.com/2967929.html"
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失败")
  • 亚马逊商品页面的爬取
    由于亚马逊有自身的头部审查,故我们模拟浏览器访问:
1
2
3
4
5
6
7
8
9
10
import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
kv = {'user-agent':'Mozilla/5.0'}
r= requests.get(url,headers = kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失败")
1
2
3
4
5
6
7
8
9
10
import requests
keyword = "Python"
try:
kv = {'wd':keyword}
r= requests.get("http://www.baidu.com/s",params = kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失败")
  • 网络图片的爬取和存储
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/usr/bin/env python
# coding=utf-8
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0311/20170311024522382.jpg"

root = "/home/xiaorui/文档/Python/"
path = root +url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")
except:
print("爬取失败")
  • IP地址归属地的查询
1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env python
# coding=utf-8
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
r=requests.get(url+'202.204.80.112')
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失败")


坚持原创技术分享,您的支持将鼓励我继续创作
-------------本文结束感谢您的阅读-------------
0%