服务器之家:专注于服务器技术及软件下载分享
分类导航

PHP教程|ASP.NET教程|Java教程|ASP教程|编程技术|正则表达式|C/C++|IOS|C#|Swift|Android|VB|R语言|JavaScript|易语言|vb.net|

服务器之家 - 编程语言 - PHP教程 - PHP 获取远程网页内容的代码(fopen,curl已测)

PHP 获取远程网页内容的代码(fopen,curl已测)

2019-11-27 14:17脚本之家 PHP教程

获取远程网页内容的php代码,做小偷采集程序的程序经常用得到,现在用curl的比较多。

1、fopen的使用 

复制代码代码如下:


<?php 
$handle = fopen ("http://www.zzvips.com/", "rb"); 
$contents = ""; 
while (!feof($handle)) { 
$contents .= fread($handle, 8192); 

fclose($handle); 
echo $contents; //输出获取到得内容。 
?> 

 

复制代码代码如下:


// 对 PHP 5 及更高版本可以使用下面的代码 
<?php 
$handle = fopen("http://www.zzvips.com", "rb"); 
$contents = stream_get_contents($handle); 
fclose($handle); 
echo $contents; 
?> 


但上面的代码容易出现 failed to open stream: HTTP request failed!错误,解决方法 

有人说在php.ini中,有这样两个选项:allow_url_fopen =on(表示可以通过url打开远程文件),user_agent="PHP"(表示通过哪种脚本访问网络,默认前面有个 " ; " 去掉即可。)重启服务器。 
但是有些还是会有这个警告信息,想用完美的解决还差一步,还得设置php.ini里面的user_agent,php默认的user_agent是PHP,我们把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)来模拟浏览器就可以了 
PHP 获取远程网页内容的代码(fopen,curl已测)
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" 

在工作中遇到这个问题,后完美解决,故分享给大家。 
2、通过curl来实现 

复制代码代码如下:


<?php 
$url = "http://www.zzvips.com"; 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, $url); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10); 
$dxycontent = curl_exec($ch); 
echo $dxycontent; 
?> 



linux下可以使用下面的代码下载 
exec("wget {$url}"); 

PHP抓取外部资源函数fopen / file_get_contents / curl 的区别 

fopen / file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。 
但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。 
这大大减少了DNS查询的次数。 
所以CURL的性能比fopen / file_get_contents 好很多。

服务器之家原创内容,转载请注明出处。

延伸 · 阅读

精彩推荐