本文实例讲述了php使用pthreads v3多线程实现抓取新浪新闻信息。分享给大家供大家参考，具体如下：
我们使用pthreads，来写一个多线程的抓取页面小程序，把结果存到数据库里。
数据表结构如下：
|
1
2
3
4
5
6
7
|
CREATE TABLE `tb_sina` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'ID', `url` varchar(256) DEFAULT '' COMMENT 'url地址', `title` varchar(128) DEFAULT '' COMMENT '标题', `time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '时间', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='sina新闻'; |
代码如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
|
<?phpclass DB extends Worker{ private static $db; private $dsn; private $root; private $pwd; public function __construct($dsn, $root, $pwd) { $this->dsn = $dsn; $this->root = $root; $this->pwd = $pwd; } public function run() { //创建连接对象 self::$db = new PDO($this->dsn, $this->root, $this->pwd); //把require放到worker线程中，不要放到主线程中，不然会报错找不到类 require './vendor/autoload.php'; } //返回一个连接资源 public function getConn() { return self::$db; }}class Sina extends Thread{ private $name; private $url; public function __construct($name, $url) { $this->name = $name; $this->url = $url; } public function run() { $db = $this->worker->getConn(); if (empty($db) || empty($this->url)) { return false; } $content = file_get_contents($this->url); if (!empty($content)) { //获取标题，地址，时间 $data = QL\QueryList::Query($content, [ 'tit' => ['.c_tit > a', 'text'], 'url' => ['.c_tit > a', 'href'], 'time' => ['.c_time', 'text'], ], '', 'UTF-8', 'GB2312')->getData(); //把获取的数据插入数据库 if (!empty($data)) { $sql = 'INSERT INTO tb_sina(`url`, `title`, `time`) VALUES'; foreach ($data as $row) { //修改下时间，新浪的时间格式是这样的04-23 15:30 $time = date('Y') . '-' . $row['time'] . ':00'; $sql .= "('{$row['url']}', '{$row['tit']}', '{$time}'),"; } $sql = rtrim($sql, ','); $ret = $db->exec($sql); if ($ret !== false) { echo "线程{$this->name}成功插入{$ret}条数据\n"; } else { var_dump($db->errorInfo()); } } } }}//抓取页面地址$url = 'http://roll.news.sina.com.cn/s/channel.php?ch=01#col=89&spec=&type=&ch=01&k=&offset_page=0&offset_num=0&num=60&asc=&page=';//创建pool池$pool = new Pool(5, 'DB', ['mysql:dbname=test;host=192.168.33.226', 'root', '']);//获取100个分页数据for ($ix = 1; $ix <= 100; $ix++) { $pool->submit(new Sina($ix, $url . $ix));}//循环收集垃圾，阻塞主线程，等待子线程结束while ($pool->collect()) ;$pool->shutdown(); |
由于使用到了QueryList,大家可以通过composer进行安装。
|
1
|
composer require jaeger/querylist |
不过安装的版本是3.2，在我的php7.2下会有问题，由于each()已经被废弃，所以修改下源码，each()全换成foreach()就好了。
运行结果如下：
数据也保存进了数据库
当然大家也可以再次通过url，拿到具体的页面内容，这里就不做演示了，有兴趣的可以自已去实现。
希望本文所述对大家PHP程序设计有所帮助。
原文链接：https://www.cnblogs.com/jkko123/p/8921260.html
