本节讲解第一个 Python 爬虫实战案例：抓取您想要的网页，并将其保存至本地计算机。
首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分：
明确逻辑后，我们就可以正式编写爬虫程序了。
代码如下所示：
完整程序如下所示：
尝试运行程序，并输入慧工作，确认搜索，然后您会在 Pycharm 当前的工作目录中找到“慧工作.html”文件。
定义相应的函数，通过调用函数来执行爬虫程序。修改后的代码如下所示：
除了使用函数式编程外，您也可以使用面向对象的编程方法（本教程主要以该方法），在后续内容中会做相应介绍。
首先我们对要编写的爬虫程序进行简单地分析，该程序可分为以下三个部分：
- 拼接 url 地址
- 发送请求
- 将照片保存至本地
明确逻辑后，我们就可以正式编写爬虫程序了。
导入所需模块
本节内容使用 urllib 库来编写爬虫，下面导入程序所用模块：from urllib import request from urllib import parse
拼接URL地址
定义 URL 变量，拼接 url 地址。代码如下所示：
- url = 'http://www.baidu.com/s?wd={}'
- #想要搜索的内容
- word = input('请输入搜索内容:')
- params = parse.quote(word)
- full_url = url.format(params)
向URL发送请求
发送请求主要分为以下几个步骤：- 创建请求对象-Request
- 获取响应对象-urlopen
- 获取响应内容-read
代码如下所示：
- #重构请求头
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
- #创建请求对应
- req = request.Request(url=full_url,headers=headers)
- #获取响应对象
- res = request.urlopen(req)
- #获取响应内容
- html = res.read().decode("utf-8")
保存为本地文件
把爬取的照片保存至本地，此处需要使用 Python 编程的文件 IO 操作，代码如下：
- filename = word + '.html'
- with open(filename,'w', encoding='utf-8') as f:
- f.write(html)
- from urllib import request,parse
- # 1.拼url地址
- url = 'http://www.baidu.com/s?wd={}'
- word = input('请输入搜索内容:')
- params = parse.quote(word)
- full_url = url.format(params)
- # 2.发请求保存到本地
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
- req = request.Request(url=full_url,headers=headers)
- res = request.urlopen(req)
- html = res.read().decode('utf-8')
- # 3.保存文件至当前目录
- filename = word + '.html'
- with open(filename,'w',encoding='utf-8') as f:
- f.write(html)
函数式编程修改程序
Python 函数式编程可以让程序的思路更加清晰、易懂。接下来，使用函数编程的思想更改上面代码。定义相应的函数，通过调用函数来执行爬虫程序。修改后的代码如下所示：
- from urllib import request
- from urllib import parse
- # 拼接URL地址
- def get_url(word):
- url = 'http://www.baidu.com/s?{}'
- #此处使用urlencode()进行编码
- params = parse.urlencode({'wd':word})
- url = url.format(params)
- return url
- # 发请求,保存本地文件
- def request_url(url,filename):
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
- # 请求对象 + 响应对象 + 提取内容
- req = request.Request(url=url,headers=headers)
- res = request.urlopen(req)
- html = res.read().decode('utf-8')
- # 保存文件至本地
- with open(filename,'w',encoding='utf-8') as f:
- f.write(html)
- # 主程序入口
- if __name__ == '__main__':
- word = input('请输入搜索内容:')
- url = get_url(word)
- filename = word + '.html'
- request_url(url,filename)
