本文实例讲述了python抓取某只基金历史净值数据。分享给大家供大家参考，具体如下：
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下来，我们需要动手把这些html抓取下来(这部分知识我们之前已经学过，现在不妨重温)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
# coding: utf-8from selenium.webdriver.support.ui import webdriverwaitfrom selenium import webdriverfrom bs4 import beautifulsoupfrom threading import thread,lockimport osimport csv# 下面是利用 selenium 抓取html页面的代码# 初始化函数def initspider(): driver = webdriver.phantomjs(executable_path=r"你phantomjs可执行文件的绝对路径") driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的网页地址 # 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数 getpage_text = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]").get_attribute("innerhtml") # 得到总共有多少页 total_page = int("".join(filter(str.isdigit, getpage_text))) # 返回 return (driver,total_page)# 获取html内容def getdata(myrange,driver,lock): for x in myrange: # 锁住 lock.acquire() tonum = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/input[@class='pnum']") # 得到 页码文本框 jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/input[@class='pgo']") # 跳转到按钮 tonum.clear() # 第x页 输入框 tonum.send_keys(str(x)) # 去第x页 jumpbtn.click() # 点击按钮 # 抓取 webdriverwait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != none) # 保存到项目中 with open("../htmls/details/{0}.txt".format(x), 'wb') as f: f.write(driver.find_element_by_id("jztable").get_attribute("innerhtml").encode('utf-8')) f.close() # 解锁 lock.release()# 开始抓取函数def beginspider(): # 初始化爬虫 (driver, total_page) = initspider() # 创建锁 lock = lock() r = range(1, int(total_page)+1) step = 10 range_list = [r[x:x + step] for x in range(0, len(r), step)] #把页码分段 thread_list = [] for r in range_list: t = thread(target=getdata, args=(r,driver,lock)) thread_list.append(t) t.start() for t in thread_list: t.join() # 这一步是需要的,等待线程全部执行完成 print("抓取完成")# #################上面代码就完成了 抓取远程网站html内容并保存到项目中的 过程 |
需要说明一下这3个函数：
initspider函数，初始化了selenium的webdriver对象，并且先获取到我们需要抓取页面的总页码数。
getdata函数，有3个参数，myrange我们还是要分段抓取，之前我们学过多进程抓取，这里我们是多线程抓取；lock参数用来锁住线程的，防止线程冲突；driver就是我们在initspider函数中初始化的webdriver对象。
在getdata函数中，我们循环myrange，把抓取到的html内容保存到了项目目录中。
beginspider函数，我们在此函数中给总页码分段，并且创建线程，调用getdata。
所以最后执行：
|
1
|
beginspider() |
就开始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 这个基金的”历史净值明细”，共有31个页面。
2、根据已经学过的python和mysql交互的知识，我们也可以再把这些数据 写入到数据表中。
这里就不再赘述，给出基金详细表结构：
|
1
2
3
4
5
6
7
8
9
10
11
|
create table `fund_detail` ( `id` int(11) unsigned not null auto_increment, `fcode` varchar(10) not null default '' comment '基金代码', `fdate` datetime default null comment '基金日期', `nav` decimal(10,4) default null comment '单位净值', `accnav` decimal(10,4) default null comment '累计净值', `dgr` varchar(20) default null comment '日增长率', `pstate` varchar(20) default null comment '申购状态', `rstate` varchar(20) default null comment '赎回状态', primary key (`id`)) engine=innodb default charset=utf8mb4 comment='基金详细数据表'; |
希望本文所述对大家python程序设计有所帮助。
原文链接：https://blog.csdn.net/github_26672553/article/details/78662563
