Python爬虫包 BeautifulSoup 递归抓取实例详解_Python

Python爬虫包 BeautifulSoup 递归抓取实例详解

2020-09-19 14:57u013007900 Python

这篇文章主要介绍了Python爬虫包 BeautifulSoup 递归抓取实例详解的相关资料,需要的朋友可以参考下

Python爬虫包 BeautifulSoup 递归抓取实例详解

概要：

爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。

让我们以维基百科为一个例子。

我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来。

				?

									# -*- coding: utf-8 -*-

									# @Author: HaonanWu

									# @Date:  2016-12-25 10:35:00

									# @Last Modified by:  HaonanWu

									# @Last Modified time: 2016-12-25 10:52:26

									from urllib2 import urlopen

									from bs4 import BeautifulSoup

									html = urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')

									bsObj = BeautifulSoup(html, "html.parser")

									for link in bsObj.findAll("a"):

									  if 'href' in link.attrs:

									    print link.attrs['href']

上面这个代码能够将页面上的所有超链接都提取出来。

				?

									/wiki/Wikipedia:Protection_policy#semi

									#mw-head

									#p-search

									/wiki/Kevin_Bacon_(disambiguation)

									/wiki/File:Kevin_Bacon_SDCC_2014.jpg

									/wiki/San_Diego_Comic-Con

									/wiki/Philadelphia

									/wiki/Pennsylvania

									/wiki/Kyra_Sedgwick

首先，提取出来的URL可能会有一些重复的

其次，有一些URL是我们不需要的，如侧边栏、页眉、页脚、目录栏链接等等。

所以通过观察，我们可以发现所有指向词条页面的链接都有三个特点：

它们都在id是bodyContent的div标签里
URL链接不包含冒号
URL链接都是以/wiki/开头的相对路径（也会爬到完整的有http开头的绝对路径）

				?

									from urllib2 import urlopen

									from bs4 import BeautifulSoup

									import datetime

									import random

									import re

									pages = set()

									random.seed(datetime.datetime.now())

									def getLinks(articleUrl):

									  html = urlopen("http://en.wikipedia.org"+articleUrl)

									  bsObj = BeautifulSoup(html, "html.parser")

									  return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))

									links = getLinks("/wiki/Kevin_Bacon")

									while len(links) > 0:

									  newArticle = links[random.randint(0, len(links)-1)].attrs["href"]

									  if newArticle not in pages:

									    print(newArticle)

									    pages.add(newArticle)

									    links = getLinks(newArticle)

其中getLinks的参数是/wiki/<词条名称>，并通过和维基百科的绝对路径合并得到页面的URL。通过正则表达式捕获所有指向其他词条的URL，并返回给主函数。

主函数则通过调用递归getlinks并随机访问一条没有访问过的URL，直到没有了词条或者主动停止为止。

这份代码可以将整个维基百科都抓取下来

				?

									from urllib.request import urlopen

									from bs4 import BeautifulSoup

									import re

									pages = set()

									def getLinks(pageUrl):

									  global pages

									  html = urlopen("http://en.wikipedia.org"+pageUrl)

									  bsObj = BeautifulSoup(html, "html.parser")

									  try:

									    print(bsObj.h1.get_text())

									    print(bsObj.find(id ="mw-content-text").findAll("p")[0])

									    print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])

									  except AttributeError:

									    print("This page is missing something! No worries though!")

									  for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):

									    if 'href' in link.attrs:

									      if link.attrs['href'] not in pages:

									        #We have encountered a new page

									        newPage = link.attrs['href']

									        print("----------------\n"+newPage)

									        pages.add(newPage)

									        getLinks(newPage)

									getLinks("")