2023/9/17 网络爬虫+数据可视化研究

最近用一周的时间进行学习网络爬虫+数据可视化分析，因此特地记录所学知识，并向外输出以此加深自己的印象。

1.网络爬虫

本质： 网络爬虫通过向对方服务器发送请求，从而得到响应，进而分析所获取网页的内容。
因此，我们需要做三个方面的内容：分别是抓取网页、提取内容、保存内容。这样我们一个基本的爬虫框架就完成了。剩下的就是完成这三部分内容：

1.0. 准备操作：

软件：python
包：bs4（用于解析HTML和XML文档）、re（处理正则表达式)、urllib（用于处理 URL）
其中网页抓取的最难之处在于正则表达式的书写，它是你能否正确获取信息的关键。

from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3

1.1. 抓取网页

我们以 豆瓣电影TOP250为例，定义一个getdata(baseurl)函数，其中baseurl为我们需要发起请求的链接地址。

def askurl(url):
  head = {
      # 模拟头部信息，向豆瓣服务器发送消息
    "User-Agent":
      """Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
  }  # 这是一个用户代理，告诉浏览器我们是什么类型的机器，浏览器可以接受什么水平的文件
  request = urllib.request.Request(url=url, headers=head)
  html = ""
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e, 'code'):
      print(e.code)
    if hasattr(e, 'reason'):
      print(e.reason)
  return html

此处需要讲解的是头部信息，头部信息的作用就是模拟正常浏览器向服务器进行请求信息。那么头部信息又是如何模拟浏览器的信息从而骗过服务器。
对你想请求的网页按F12，你可以看到如下信息：

我们使用的User-Agent就是从这里获得。

1.2.获取数据

def getdata(baseurl):
  datalist = []
  # 2.解析数据
  for i in range(0, 10):
    url = baseurl + str(i * 25)
    html = askurl(url)#我们定义的一个请求网址的函数，此函数的定义是模拟浏览器向豆瓣网进行请求内容，防止网站认为我们是电脑。
    soup = BeautifulSoup(html, 'html.parser')  # 对网页进行解析
    for item in soup.find_all('div', {
    'class': 'item'}):#利用函数寻找所有在标签div下的名为item的类。
      # print(type(item))
      data = []  # 利用列表保存一部电影的所有信息
      item = str(item)
      link = re.findall(findlink, item)[0]  # 获取到影片详情链接
      # print(link)
      data.append(link)
      imgsrc = re.findall(findimage, item)[0]  # 获取到影片图片的链接
      data.append(imgsrc)
      titles = re.findall(findtitle, item)  # 获取到影片的片名
      if (len(titles) == 2):
        ctitle = titles[0]
        data.append(ctitle)
        otitle = titles[1].replace("/", "")#将外文标题中的/替换为空格。
        data.append(otitle)
      else:
        data.append(titles[0])
        data.append(' ')
      rating = re.findall(findrating, item)[0]  # 获取到影片评分
      data.append(rating)
      judge = re.findall(findjudge, item)[0]  # 获取到评价人数
      data.append(judge)
      inq = re.findall(findinq, item)  # 获取到概况
      if len(inq) != 0:
        inq = inq[0].replace("。", "")
        data.append(inq)
      else:
        data.append(' ')
      bd = re.findall(findbd, item)[0]  # 获取到影片的相关内容
      bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  #去掉<br/>
      bd = re.sub('/', " ", bd)  # 替换/
      data.append(bd.strip())  # 去掉前后的空格
      datalist.append(data)  # 把处理好的一部电影信息放入datalist
  # import pprint
  # pprint.pprint(datalist)
  return datalist

1.2.保存数据

保存数据我们这里住哟啊讲解2种方式：

1.2.1 保存为Excel格式

def savedata(savepath, datalist):
  book = xlwt.Workbook(encoding='utf-8', style_compression=0)
  sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
  col = ('电影个数', '电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
  for i in range(0, 8):
    sheet.write(0, i, col[i])
  for i in range(0, 25):
    # print('第%d条'%i)
    sheet.write(i + 1, 0, "第%d条" % (i + 1))
    data = datalist[i]
    for j in range(0, 8):
      sheet.write(i + 1, j + 1, data[j])
  book.save(savepath)  # 保存数据表

1.2.2 数据库格式

首先要初始化数据库，生成一个数据库。

def init_db(dbpath):  # 数据库初始化
  sql = '''
  create table movie250
  (
  id integer primary key autoincrement, 
  info_link text,
  pic_link text,
  cname varchar,
  ename varchar,
  score numeric,
  instroductionn text,
  info text
  )
  '''
  conn = sqlite3.connect(dbpath)
  cursor = conn.cursor()
  cursor.execute(sql)
  conn.commit()
  conn.close()

随后在数据库中添加我们爬取到的信息

def savedatadb(datalist, dbpath):
  init_db(dbpath)#初始化数据库
  conn= sqlite3.connect(dbpath)#链接数据库
  cur=conn.cursor()#得到数据库的游标，所有的信息都在游标上
  for data in datalist:
    for index in range(len(data)):
      if index==4 or index==5:
        continue
      data[index]='"'+data[index]+'"' #转化为字符
    sql='''
      insert into movie250(info_link,pic_link,cname,ename,score,instroductionn,info)
      values(%s)'''%",".join(data)
    # print(sql)
    cur.execute(sql)
    conn.commit()
  cur.close()#关闭游标
  conn.close()#关闭数据库

2.特别篇-正则表达式

要是想要能够正确的取出网页中的内容，那我们必须要将正则表达式能够熟练运用。

因此在这个程序中，我们所获取的内容的正则表示式如下:
为了让大家能够更好地理解正则表达式，我将网页中的内容与这里的正则表示进行一一对应。

#找到电影的链接
findlink = re.compile(r'<a href="(.*?)">')

# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含在字符中

# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')

# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')

# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')

# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')

# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)

这样我们的一个爬虫工作就算完成了。剩下的就是多练。

3. 完整代码–

from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3


def main():
  # 1.爬取网页
  baseurl = 'https://movie.douban.com/top250?start=0'
  datalist = getdata(baseurl)
  savepath = '豆瓣电影top250.xls'
  dbpath = 'move.db'
  savedatadb(datalist, dbpath)
  # savedata(savepath, datalist)
  # 3. 保存数据
  # savedata(savepath,datalist)
  # askurl("https://movie.douban.com/top250")


findlink = re.compile(r'<a href="(.*?)">')
# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含在字符中
# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)


def getdata(baseurl):
  datalist = []
  # 2.解析数据
  for i in range(0, 1):
    url = baseurl + str(i * 25)
    html = askurl(url)
    soup = BeautifulSoup(html, 'html.parser')  # 对网页进行解析
    for item in soup.find_all('div', {
    'class': 'item'}):
      # print(type(item))
      data = []  # 利用列表保存一部电影的所有信息
      item = str(item)
      link = re.findall(findlink, item)[0]  # 获取到影片详情链接
      # print(link)
      data.append(link)
      imgsrc = re.findall(findimage, item)[0]  # 获取到影片图片的链接
      data.append(imgsrc)
      titles = re.findall(findtitle, item)  # 获取到影片的片名
      if (len(titles) == 2):
        ctitle = titles[0]
        data.append(ctitle)
        otitle = titles[1].replace("/", "")
        data.append(otitle)
      else:
        data.append(titles[0])
        data.append(' ')
      rating = re.findall(findrating, item)[0]  # 获取到影片评分
      data.append(rating)
      judge = re.findall(findjudge, item)[0]  # 获取到评价人数
      data.append(judge)
      inq = re.findall(findinq, item)  # 获取到概况
      if len(inq) != 0:
        inq = inq[0].replace("。", "")
        data.append(inq)
      else:
        data.append(' ')
      bd = re.findall(findbd, item)[0]  # 获取到影片的相关内容
      bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  # 去掉<br/>
      bd = re.sub('/', " ", bd)  # 替换/
      data.append(bd.strip())  # 去掉前后的空格
      datalist.append(data)  # 把处理好的一部电影信息放入datalist
  # import pprint
  # pprint.pprint(datalist)
  return datalist


# 得到指定网页的指定内容
def askurl(url):
  # global html
  head = {
      # 模拟头部信息，向豆瓣服务器发送消息
    "User-Agent":
      """Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
  }  # 这是一个用户代理，告诉浏览器我们是什么类型的机器，浏览器可以接受什么水平的文件
  request = urllib.request.Request(url=url, headers=head)
  html=''
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e, 'code'):
      print(e.code)
    if hasattr(e, 'reason'):
      print(e.reason)
  return html


def savedata(savepath, datalist):
  book = xlwt.Workbook(encoding='utf-8', style_compression=0)
  sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
  col = ('电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
  for i in range(0, 8):
    sheet.write(0, i, col[i])
  for i in range(0, 25):
    # print('第%d条'%i)
    data = datalist[i]
    for j in range(0, 8):
      sheet.write(i + 1, j, data[j])
  book.save(savepath)  # 保存数据表


def savedatadb(datalist, dbpath):
  init_db(dbpath)  # 初始化数据库
  conn = sqlite3.connect(dbpath)
  cur = conn.cursor()
  for data in datalist:
    for index in range(len(data)):
      if index == 4 or index == 5:
        continue
      data[index] = '"' + data[index] + '"'
    sql = '''
      insert into movie250 (
      info_link,pic_link,cname,ename,score,rated,instroduction,info)
      values(%s)''' % ",".join(data)
    # print(sql)
    cur.execute(sql)
    conn.commit()
  cur.close()  # 关闭游标
  conn.close()  # 关闭数据库


def init_db(dbpath):  # 数据库初始化
  sql = '''
  create table movie250
  (
  id integer primary key autoincrement, 
  info_link text,
  pic_link text,
  cname varchar,
  ename varchar,
  score numeric,
  rated numeric,
  instroduction text,
  info text
  )
  '''
  conn = sqlite3.connect(dbpath)
  cursor = conn.cursor()
  cursor.execute(sql)
  conn.commit()
  conn.close()


# 主函数

main()
# init_db("movie_test.db")
# print("建立数据库完毕")