thinkphp抓取网站内容保存到本地可以很大程度的方便我们借鉴一些内容或是图片的收集。那么thinkphp怎么抓取网站内容保存到本地呢？有什么具体操作方法？下面我们具体来看看。

thinkphp 抓取网站的内容并且保存到本地的实例详解

我需要写这么一个例子，到电子课本网下载一本电子书。

电子课本网的电子书，是把书的每一页当成一个图片，然后一本书就是有很多张图片，我需要批量的进行下载图片操作。

下面是代码部分：

1. public function download() { 
2.    $http = new \Org\Net\Http(); 
3.    $url_pref = "http://www.dzkbw.com/books/rjb/dili/xc7s/"; 
4.    $localUrl = "Public/bookcover/"; 
5.    $reg="|showImg\('(.+)'\);|"; 
6.    $i=1; 
7.      
8.    do { 
9.      $filename = substr("000".$i,-3).".htm"; 
10.      $ch = curl_init(); 
11.      curl_setopt($ch, CURLOPT_URL, $url_pref.$filename); 
12.      curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
13.      curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10); 
14.      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
15.      $html = curl_exec($ch); 
16.      curl_close($ch); 
17.        
18.      $result = preg_match_all($reg,$html,$out, PREG_PATTERN_ORDER); 
19.      if($result==1) { 
20.        $picUrl = $out[1][0]; 
21.        $picFilename = substr("000".$i,-3).".jpg"; 
22.        $http->curlDownload($picUrl, $localUrl.$picFilename); 
23.      } 
24.      $i = $i+1; 
25.    } while ($result==1); 
26.   
27.    echo "下载完成"; 
28.  } 

我这里是以人教版地理七年级地理上册为例子 http://www.dzkbw.com/books/rjb/dili/xc7s/001.htm

网页是从001.htm开始，然后数字一直加

每个网页里面都有一张图，就是对应课本的内容，以图片的形式展示课本内容

我的代码是做了一个循环，从第一页开始抓，一直抓到找不到网页里的图片为止

抓到网页的内容后，把网页里面的图片抓取到本地服务器

Tags: 内容 网站

分享到：