编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法_Python

抓取豆瓣电影TOP100
一、分析豆瓣top页面，构建程序结构
1.首先打开网页http://movie.douban.com/top250?start，也就是top页面
然后试着点击到top100的页面，注意带top100的链接依次为

				?

									http://movie.douban.com/top250?start=0

									http://movie.douban.com/top250?start=25

									http://movie.douban.com/top250?start=50

									http://movie.douban.com/top250?start=75

2.然后通过查看源码，发现电影名的代码如下：

<span class="title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。

根据以上信息，此程序主要分以下3个步骤：

二、构建url地址池

抓取top100电影名称
依次打印输出

依次写出代码

1.构建url地址池。代码如下：

				?

									import urllib2

									import re

									# ----------确定url地址池------------

									pre_url = 'http://movie.douban.com/top250?start='

									top_urls = []

									# 因为top100，每页25部电影，故为4页,从零开始

									for num in range(4):

									  top_urls.append(pre_url + str(num * 25))

2.抓取top100电影名称

				?

									# ------------抓取top100电影名称----------

									top_content = []

									top_tag = re.compile(r'<span class="title">(.+?)</span>')

									for url in top_urls:

									  content = urllib2.urlopen(url).read()

									  pre_content = re.findall(top_tag, content)

									  # 过滤不符合条件的list，得到最后的top100的list

									  for item in pre_content:

									    if item.find('&nbsp') == -1:

									      top_content.append(item)

3.打印输出

				?

									top_num = 1

									for item in top_content:

									  print 'Top' + str(top_num) + '  ' + item

									  top_num += 1

三、整理代码
我还是python新手，还没有太多的pythonic思想，也没有代码优化技巧，只能说是整理。
其次，个人习惯，在简单的代码里面我还是喜欢少用函数，尽量不隐藏代码的逻辑。
以下代码请参考，并欢迎提意见，希望得到大家的意见，谢谢！
整理后的代码如下：

				?

									# coding=utf-8

									'''

									本代码为自动抓取豆瓣top100电影代码

									@pre_url url地址前缀，在这里为http://movie.douban.com/top250?start=

									@top_urls url地址池

									@top_tag 为抓取电影名正则表达式

									'''

									import urllib2

									import re

									pre_url = 'http://movie.douban.com/top250?start='

									top_urls = []

									top_tag = re.compile(r'<span class="title">(.+?)</span>')

									top_content = []

									top_num = 1

									# ----------确定url地址池------------

									# 因为top100，每页25部电影，故为4页,从零开始

									for num in range(4):

									  top_urls.append(pre_url + str(num * 25))

									# ------------抓取top100电影名称，并打印输出----------

									top_tag = re.compile(r'<span class="title">(.+?)</span>')

									for url in top_urls:

									  content = urllib2.urlopen(url).read()

									  pre_content = re.findall(top_tag, content)

									  # 过滤并打印输出

									  for item in pre_content:

									    if item.find('&nbsp') == -1:

									      print 'Top' + str(top_num) + '  ' + item

									      top_num += 1

抓取用户头像图片

				?

									import urllib.request

									import re

									import time

									#获取输入的帖子单页html

									def getHtml2(url2):

									  html2=urllib.request.urlopen(url2).read().decode('utf-8')

									  return html2

									#抽取图片相关列表，并下载图片

									def gettopic(html2):

									  reg2=r'http://www.douban.com/group/topic/\d+'

									  topiclist=re.findall(reg2,html2)

									  x=0

									  #限制下载的图片数

									  for topicurl in topiclist:

									    x+=1

									  return topicurl

									#下载图片到本地

									def download(topic_page):

									  reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg'

									  imglist=re.findall(reg3,topic_page)

									  i=1

									  download_img=None

									  for imgurl in imglist:

									#取图片ID为文件名

									    img_numlist=re.findall(r'p\d{7}',imgurl)

									    for img_num in img_numlist:

									      download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num)

									      time.sleep(1) 

									      i+=1

									      print(imgurl)

									  return download_img

									#调用函数

									page_end=int(input('请输入结束时的页码：'))

									num_end=page_end*25

									num=0

									page_num=1

									while num<=num_end:

									  html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num)

									  topicurl=gettopic(html2)

									  topic_page=getHtml2(topicurl)

									  download_img=download(topic_page)

									  num=page_num*25

									  page_num+=1

									else:

									  print('采集完成！')