Python 连接并操作 MySQL 数据库，主要通过 Pymysql 模块实现。本节讲解如何将抓取的数据存储至 MySQL 数据库。
参数说明：
查询数据结果，如下所示：
查询插入结果，如下所示：
数据库查询存储结果，如下所示：
提示：在学习本节知识之前，您已经掌握了 SQL 语言的基本语法。可参考《MySQL教程》
创建存储数据表
首先您应该确定您的计算机上已经安装了 MySQL 数据库，然后再进行如下操作：# 1. 连接到mysql数据库 mysql -h127.0.0.1 -uroot -p123456 # 2. 建库 create database maoyandb charset utf8; # 3. 切换数据库 use maoyandb; # 4. 创建数据表 create table filmtab( name varchar(100), star varchar(400), time varchar(30) );
Pymysql基本使用
1) 连接数据库
- db = pymysql.connect('localhost','root','123456','maoyandb')
- localhost：本地 MySQL 服务端地址，也可以是远程数据库的 IP 地址。
- root：连接数据所使用的用户名。
- password：连接数据库使用的密码，本机 MySQL 服务端密码“123456”。
- db：连接的数据库名称。
2) 创建cursor对象
cursor = db.cursor()
3) 执行sql命令
execute() 方法用来执行 SQL 语句。如下所示：
- #第一种方法：编写sql语句，使用占位符传入相应数据
- sql = "insert into filmtab values('%s','%s','%s')" % ('刺杀,小说家','雷佳音','2021')
- cursor.excute(sql)
- 第二种方法：编写sql语句，使用列表传参方式
- sql = 'insert into filmtab values(%s,%s,%s)'
- cursor.execute(sql,['刺杀,小说家','雷佳音','2021'])
4) 提交数据
db.commit()
5) 关闭数据库
cursor.close() db.close()完整的代码如下所示：
- # -*-coding:utf-8-*-
- import pymysql
- #创建对象
- db = pymysql.connect('localhost','root','123456','maoyandb')
- cursor = db.cursor()
- # sql语句执性，单行插入
- info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
- sql = 'insert into movieinfo values(%s,%s,%s)'
- #列表传参
- cursor.execute(sql,info_list)
- db.commit()
- # 关闭
- cursor.close()
- db.close()
mysql> select * from movieinfo; +-------------+-------------------+-----------+ | name | star | time | +-------------+-------------------+-----------+ | 刺杀,小说家 | 雷佳音,杨幂 | 2021-2-12 | +-------------+-------------------+-----------+ 1 rows in set (0.01 sec)还有一种效率较高的方法，使用 executemany() 可以同时插入多条数据。示例如下：
- db = pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')
- cursor = db.cursor()
- # sql语句执性，列表元组
- info_list = [('我不是药神','徐峥','2018-07-05'),('你好,李焕英','贾玲','2021-02-12')]
- sql = 'insert into movieinfo values(%s,%s,%s)'
- cursor.executemany(sql,info_list)
- db.commit()
- # 关闭
- cursor.close()
- db.close()
mysql> select * from movieinfo; +-------------+-------------------+------------+ | name | star | time | +-------------+-------------------+------------+ | 我不是药神 | 徐峥 | 2018-07-05 | | 你好,李焕英 | 贾玲 | 2021-02-12 | +-------------+-------------------+------------+ 2 rows in set (0.01 sec)
修改爬虫程序
下面修改上一节《Python爬虫抓取猫眼电影排行榜》中的爬虫程序，将抓取下来的数据存储到 MySQL 数据库。如下所示：
- # coding=gbk
- from urllib import request
- import re
- import time
- import random
- from ua_info import ua_list
- import pymysql
- class MaoyanSpider(object):
- def __init__(self):
- #初始化属性对象
- self.url = 'https://maoyan.com/board/4?offset={}'
- #数据库连接对象
- self.db = pymysql.connect(
- 'localhost','root','123456','maoyandb',charset='utf8')
- #创建游标对象
- self.cursor = self.db.cursor()
- def get_html(self,url):
- headers = {'User-Agent':random.choice(ua_list)}
- req = request.Request(url=url,headers=headers)
- res = request.urlopen(req)
- html = res.read().decode()
- # 直接解析
- self.parse_html(html)
- def parse_html(self,html):
- re_bds = '<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>'
- pattern = re.compile(re_bds,re.S)
- r_list = pattern.findall(html)
- self.save_html(r_list)
- def save_html(self, r_list):
- L = []
- sql = 'insert into movieinfo values(%s,%s,%s)'
- # 整理数据
- for r in r_list:
- t = (
- r[0].strip(),
- r[1].strip()[3:],
- r[2].strip()[5:15]
- )
- L.append(t)
- print(L)
- # 一次性插入多条数据 L:[(),(),()]
- try:
- self.cursor.executemany(sql,L)
- # 将数据提交数据库
- self.db.commit()
- except:
- # 发生错误则回滚
- self.db.rollback()
- def run(self):
- for offset in range(0,11,10):
- url = self.url.format(offset)
- self.get_html(url)
- time.sleep(random.uniform(1,3))
- # 断开游标与数据库连接
- self.cursor.close()
- self.db.close()
- if __name__ == '__main__':
- start=time.time()
- spider = MaoyanSpider()
- spider.run()
- end=time.time()
- print("执行时间:%.2f" % (end-start))
mysql> select * from movieinfo; +----------------+----------------------------------------------------------+------------+ | name | star | time | +----------------+----------------------------------------------------------+------------+ | 我不是药神 | 徐峥,周一围,王传君 | 2018-07-05 | | 肖申克的救赎 | 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿 | 1994-09-10 | | 绿皮书 | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼 | 2019-03-01 | | 海上钢琴师 | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世 | 2019-11-15 | | 小偷家族 | 中川雅也,安藤樱,松冈茉优 | 2018-08-03 | | 霸王别姬 | 张国荣,张丰毅,巩俐 | 1993-07-26 | | 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨 | 2019-07-26 | | 美丽人生 | 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克 | 2020-01-03 | | 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼 | 1994-09-14 | | 盗梦空间 | 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特 | 2010-09-01 | +----------------+----------------------------------------------------------+------------+ 10 rows in set (0.01 sec)
