当前位置:首页 > PHP教程 > php应用 > 列表

PHP小偷程序的设计与实现示例

发布:smiling 来源: PHP粉丝网  添加日期:2015-04-09 15:38:31 浏览: 评论:0 

小偷程序其实就是自动去采集别人网站的内容,然后进行一些处理之后换成自己网站上无能为力,像现在有dedecms就有此功能,还有火车头也是这样的工具了,下面来看一个例子.

自己一直想做一个内涵图片的网站,以前的想法是做一个CMS,然后自己上传一些图片,开始真这么做的,没什么动力,之后就放弃了,后来研究了一个CURL,反正还是把这个想法实现比较好.

用PHP盗图,就好比,穿着袜子穿凉鞋一样,虽然没问题,但看着确实蛋疼,我先说一下我对PHP小偷程序的设计,PHP不支持多线程,这样就只能分先后顺序来做了.

获取到目标网站的HTML页面+解析HTML页面获取到图片存储的连接+用二进制方式读取并且保存在本地+重命名  == 流程OK

你现在用两种方式来运行程序:

第一种:用游览器跑程序(多半会卡死,设置超时和内存大小就OK,你之间比较难等)

另一种:用命令行启动PHP(不存在PHP超时的问题)

实例代码如下:

  1. ** 
  2.      *HTML解析类 
  3.      *author:Summer 
  4.      *date:2014-08-22 
  5.  **/ 
  6.  
  7.  class Analytical{ 
  8.  
  9.     public function __construct() 
  10.     { 
  11.           require_once('Class/SimpleHtmlDom.class.php'); 
  12.           $this->_getDir(); 
  13.     } 
  14.  
  15.     private function _getDir() 
  16.     { 
  17.         $dir = "../TMP/HTML/Results/1"
  18.         $imgBIG  = "../TMP/IMG/JPG/BIG"
  19.         $it = new DirectoryIterator($dir."/"); 
  20.         foreach($it as $file) { 
  21.          //用isDot ()方法分别过滤掉“.”和“..”目录 
  22.          if (!$it->isDot()) { 
  23.              $dirs = $dir."/".$file ; 
  24.              $tmp = explode(".",$file); 
  25.              $html = file_get_html($dirs); 
  26.                               $ulArr = $html->find('img'); 
  27.                               foreach($ulArr as $key=>$value
  28.              { 
  29.                                  if ($value->class == "u"
  30.                  { 
  31.                  $url = "http://www.phpfensi.com ".$value->src; 
  32.                  $infomation = file_get_contents($url); 
  33.                  $result = $this->saveHtml($infomation$imgBIG$tmp['0'].".jpg"); 
  34.                  if($result
  35.                     { 
  36.                        echo $file."OKn"
  37.                     } 
  38.                  } 
  39.  
  40.              } 
  41.          } 
  42.      } 
  43.     } 
  44.  
  45.      private function saveHtml($infomation,$filedir,$filename
  46.      {  //开源软件:phpfensi.com 
  47.  
  48.          if(!$this->mkdirs($filedir)) 
  49.          { 
  50.              return 0; 
  51.          } 
  52.  
  53.          $sf =  $filedir."/".$filename
  54.          $fp=fopen($sf,"w"); //写方式打开文件 
  55.          return fwrite($fp,$infomation); //存入内容 
  56.          fclose($fp); //关闭文件 
  57.      } 
  58.  
  59.       //创建目录 
  60.      private function mkdirs($dir
  61.      { 
  62.          if(!is_dir($dir)) 
  63.          { 
  64.              if(!$this->mkdirs(dirname($dir))){ 
  65.                  return false; 
  66.              } 
  67.              if(!mkdir($dir,0777)){ 
  68.                  return false; 
  69.              } 
  70.          } 
  71.          return true; 
  72.      } 
  73.  
  74.  } 
  75.  
  76. new Analytical(); 

上面这个是HTML页面获取IMG的连接地址的过程.

用到了两个比较重要的东西:

1.PHP的DOM解析扩展simplehtmldom

2.PHP的目录迭代器

理解这两个东西了,这个分析类就没难点了.

在说说如果获取需要解析的页面呢?

其实跟上面的原理的是一样的,主要获取页面的URL,然后通过CURL去读取页面,返回一个HTML字符串,再通过保存函数包HTML页面保存到本地.

我这里是因为要采集页面里面的图片(为了防止别人防盗链),所以设计的比较复杂,而且为什么要分开,是因为simplehtmldom对象是很庞大的,而且拆开进行这样对流程更加清楚.

肯定有人会说,那为什么不用正则去匹配就跳过了HTML保存到本地的环节了,BINGO,我只能懒得写正则而已.

Tags: PHP小偷程序 PHP盗链

分享到: