urllib URL 处理模块

概述

urllib 是 Python 标准库中用于处理 URL（统一资源定位符）相关操作的模块，它提供了多个子模块，用于执行网络请求、解析 URL、处理错误以及解析 robots.txt 文件等。以下是 urllib 的子模块：

子模块

• urllib.request：提供打开和读取 URL 的功能。支持多种网络协议，如 HTTP、FTP 等。
• urllib.error：包含与网络请求相关的异常类，用于处理错误和异常情况。
• urllib.parse：用于解析和构建 URL，提供各种操作，如分割、组合、编码和解码。
• urllib.robotparser：用于解析网站的 robots.txt 文件，确定哪些页面可以被爬取。

优点

• 内置模块：作为 Python 标准库的一部分，无需单独安装。
• 全面功能：支持多种网络协议和操作，适用于多种网络操作需求。
• 高度可定制：用于处理 URL 的多个方面，如打开、读取、解析等。

缺点

• 较低层次的 API：与一些第三方库相比（如 requests），urllib 的 API 较为底层，可能需要编写更多的代码。
• 繁琐的错误处理：错误处理需要额外的代码，相比使用像 requests 这样的库可能更复杂。

同类产品对比

产品	优点	缺点	适用背景	社区支持
urllib	标准库，全面	API 较底层	网络请求，URL 操作	Python 社区
requests	API 简单	需要单独安装	HTTP 请求	Python 社区
httplib2	功能丰富	使用复杂	HTTP 请求	Python 社区

urllib.request

方法	功能描述	示例
urlopen()	打开并读取一个 URL 的内容	urllib.request.urlopen(url)
urlretrieve()	将 URL 指向的文件下载到本地	urllib.request.urlretrieve(url, filename)
build_opener()	构建一个可自定义的 Opener 对象	opener = urllib.request.build_opener()
install_opener()	安装全局的 Opener	urllib.request.install_opener(opener)
HTTPBasicAuthHandler()	HTTP 基础认证处理程序	handler = urllib.request.HTTPBasicAuthHandler()
HTTPCookieProcessor()	用于处理 HTTP cookies	handler = urllib.request.HTTPCookieProcessor()
ProxyHandler()	设置代理	proxy = urllib.request.ProxyHandler({'http': 'http://www.example.com:8080'})
Request()	创建一个请求对象，用于定制 HTTP 头等	req = urllib.request.Request(url, headers={...})

urlopen() 打开 URL

import urllib.request
 
# 打开一个网页
response = urllib.request.urlopen('http://www.example.com')
 
# 读取网页内容
data = response.read()
 
# 输出网页内容
print(data)

urlretrieve() 下载文件

import urllib.request
 
# 从指定 URL 下载文件，并保存到本地
urllib.request.urlretrieve('http://www.example.com/file.txt', 'local_file.txt')

build_opener() 和 install_opener()

build_opener() 传递一系列处理程序（handlers），这些处理程序用于定义如何处理各种 HTTP 功能，比如重定向、基础认证、cookies 等。一旦你使用 build_opener() 创建了一个 Opener 对象，你可以使用 install_opener() 来设置它作为默认的 Opener。

import urllib.request
 
# 创建基础认证处理程序
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password('realm', 'host', 'username', 'password')
 
# 创建代理处理程序
proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.proxy.com:8080'})
 
# 创建 Opener
opener = urllib.request.build_opener(auth_handler, proxy_handler)
 
# 安装 Opener
urllib.request.install_opener(opener)
 
# 使用 urlopen() 方法，这样会应用我们之前设置的所有处理程序
response = urllib.request.urlopen('http://www.example.com')

HTTP 基础认证 (HTTPBasicAuthHandler)

import urllib.request
 
# 创建一个 HTTPBasicAuthHandler 对象
auth_handler = urllib.request.HTTPBasicAuthHandler()
 
# 添加认证信息
auth_handler.add_password('realm', 'host', 'username', 'password')
 
# 创建并安装 opener
opener = urllib.request.build_opener(auth_handler)
urllib.request.install_opener(opener)

HTTPCookieProcessor 处理 Cookies

import urllib.request
import http.cookiejar
 
# 创建一个 CookieJar 对象
cookie_jar = http.cookiejar.CookieJar()
 
# 创建一个 HTTPCookieProcessor 对象
cookie_handler = urllib.request.HTTPCookieProcessor(cookie_jar)
 
# 构建和安装 opener
opener = urllib.request.build_opener(cookie_handler)

ProxyHandler 设置代理

import urllib.request
 
# 创建一个 ProxyHandler 对象
proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.proxy.com:8080'})
 
# 构建并安装 opener
opener = urllib.request.build_opener(proxy_handler)

Request() 自定义请求

import urllib.request
 
# 创建一个 Request 对象
req = urllib.request.Request(url='http://www.example.com', headers={'User-Agent': 'MyApp/1.0'})
 
# 使用 urlopen 打开自定义的请求
response = urllib.request.urlopen(req)

urllib.error

方法	功能描述
URLError	所有 urllib 产生的异常的基类
HTTPError	处理 HTTP 错误状态，继承自 URLError
ContentTooShortError	在下载过程中，数据不足时抛出的异常

URLError

当使用 urllib.request 打开一个 URL 失败时，通常会抛出 URLError 异常。

import urllib.request
import urllib.error
 
try:
    response = urllib.request.urlopen('http://www.nonexistentwebsite.com')
except urllib.error.URLError as e:
    print(e.reason)

HTTPError

当服务器返回 HTTP 错误状态码（如 404、500 等）时，会抛出 HTTPError。

import urllib.request
import urllib.error
 
try:
    response = urllib.request.urlopen('http://www.example.com/404')
except urllib.error.HTTPError as e:
    print(f'HTTP Error Code: {e.code}')
    print(f'Reason: {e.reason}')

ContentTooShortError

如果使用 urlretrieve() 函数，但获取的数据长度与 Content-Length 头中声明的长度不匹配时，会抛出 ContentTooShortError。

import urllib.request
import urllib.error
 
try:
    urllib.request.urlretrieve('http://www.example.com/file', 'local_file.txt')
except urllib.error.ContentTooShortError as e:
    print('The downloaded data is less than expected.')

urllib.parse

方法	功能描述	示例
urlparse()	解析 URL，返回一个 ParseResult 对象	urllib.parse.urlparse(url)
urlunparse()	将 ParseResult 对象转回 URL	urllib.parse.urlunparse(parse_result)
urlsplit()	类似于 urlparse()，但不分割 params	urllib.parse.urlsplit(url)
urlunsplit()	将由 urlsplit() 返回的对象转回 URL	urllib.parse.urlunsplit(split_result)
urljoin()	合并两个 URL	urllib.parse.urljoin(base, url)
urlencode()	将字典或序列转换为 URL 查询字符串	urllib.parse.urlencode(query_dict)
quote()	将字符串进行 URL 编码	urllib.parse.quote(string)
unquote()	对 URL 编码的字符串进行解码	urllib.parse.unquote(encoded_string)

解析和构建 URL

from urllib.parse import urlparse, urlunparse, urlsplit, urlunsplit, urljoin
 
# 解析URL并返回ParseResult对象
parsed_url = urlparse('http://www.example.com/path?query=arg')
 
# 将ParseResult对象转换回URL
new_url = urlunparse(parsed_url)
 
# 类似于urlparse()，但不分割params
split_result = urlsplit('http://www.example.com/path?query=arg')
 
# 将由urlsplit()返回的对象转换回URL
original_url = urlunsplit(split_result)
 
# 合并两个URL
new_url = urljoin('http://www.example.com/path/', '/anotherpath.html')
 

转换查询字符串

from urllib.parse import urlencode
 
# 将字典或序列转换为URL查询字符串
query_dict = {'key1': 'value1', 'key2': 'value2'}
query_string = urlencode(query_dict)
 

URL 编码和解码

from urllib.parse import quote, unquote
 
# 将字符串进行URL编码
encoded = quote('a string with / and ?')
 
# 对URL编码的字符串进行解码
decoded = unquote(encoded)

urllib.robotparser

通过使用 urllib.robotparser，你可以确保你的网络爬虫尊重网站的抓取策略，这是一种负责任的爬虫行为。

方法	功能描述	示例
RobotFileParser()	创建一个 RobotFileParser 对象	rp = urllib.robotparser.RobotFileParser()
set_url()	设置 robots.txt 文件的 URL	rp.set_url('http://www.example.com/robots.txt')
read()	从设置的 URL 读取 robots.txt 文件	rp.read()
parse()	用于手动解析 robots.txt 文件的行	rp.parse(robots_txt_body.split("\n"))
can_fetch()	检查指定的 User-Agent 是否可以访问某个路径	rp.can_fetch('*', 'http://www.example.com/page')
mtime()	获取最后一次获取 robots.txt 文件的时间（Unix 时间戳）	rp.mtime()
modified()	设置最后一次获取 robots.txt 文件的时间	rp.modified()

创建和设置 RobotFileParser

首先，你需要创建一个 RobotFileParser 对象，并设置要解析的 robots.txt 文件的 URL。

import urllib.robotparser
 
# 创建 RobotFileParser 对象
rp = urllib.robotparser.RobotFileParser()
 
# 设置 robots.txt 文件的 URL
rp.set_url('http://www.example.com/robots.txt')
 
# 从 URL 读取 robots.txt 文件
rp.read()

检查爬虫是否可以访问特定页面

使用 can_fetch() 方法，您可以检查指定的 User-Agent 是否被允许抓取特定的网页路径。

# 检查 '*'（所有 User-Agents）是否允许访问 '/page'
allowed = rp.can_fetch('*', 'http://www.example.com/page')
 
if allowed:
    print("I can crawl this page.")
else:
    print("I cannot crawl this page.")

手动解析 robots.txt

如果你需要手动解析 robots.txt 文件的内容，可以使用 parse() 方法。

# 假设 robots_txt_body 包含了 robots.txt 的文本内容
robots_txt_body = '''
User-agent: *
Disallow: /private/
'''
 
# 手动解析这些规则
rp.parse(robots_txt_body.split("\n"))