当前位置:首页 > PHP教程 > php应用 > 列表

php读取txt文件并将数据插入到数据库

发布:smiling 来源: PHP粉丝网  添加日期:2019-12-04 10:31:01 浏览: 评论:0 

今天测试一个功能,需要往数据库中插入一些原始数据,PM给了一个txt文件,如何快速的将这个txt文件的内容拆分为所要的数组,然后再插入到数据库中?

serial_number.txt的示例内容:

serial_number.txt:

  1. DM00001A11 0116, 
  2.  
  3. SN00002A11 0116, 
  4.  
  5. AB00003A11 0116, 
  6.  
  7. PV00004A11 0116, 
  8.  
  9. OC00005A11 0116, 
  10.  
  11. IX00006A11 0116, 

创建数据表:

  1. create table serial_number( 
  2.  
  3. id int primary key auto_increment not null
  4.  
  5. serial_number varchar(50) not null 
  6.  
  7. )ENGINE=InnoDB DEFAULT CHARSET=utf8; 

php代码如下:

  1. $conn = mysql_connect('127.0.0.1','root',''or die("Invalid query: " . mysql_error()); 
  2.  
  3. mysql_select_db('test'$connor die("Invalid query: " . mysql_error()); 
  4.  
  5. $content = file_get_contents("serial_number.txt"); 
  6.  
  7. $contentsexplode(",",$content);//explode()函数以","为标识符进行拆分 
  8.  
  9. foreach ($contents as $k => $v)//遍历循环 
  10.  
  11.  
  12.   $id = $k
  13.  
  14.   $serial_number = $v
  15.  
  16.   mysql_query("insert into serial_number (`id`,`serial_number`) 
  17.  
  18.       VALUES('$id','$serial_number')"); 
  19.  

备注:方法有很多种,我这里是在拆分txt文件为数组后,然后遍历循环得到的数组,每循环一次,往数据库中插入一次。

再给大家分享一个支持大文件导入的:

  1. <?php 
  2.  
  3. /** 
  4.  
  5.  * $splitChar 字段分隔符 
  6.  
  7.  * $file 数据文件文件名 
  8.  
  9.  * $table 数据库表名 
  10.  
  11.  * $conn 数据库连接 
  12.  
  13.  * $fields 数据对应的列名 
  14.  
  15.  * $insertType 插入操作类型,包括INSERT,REPLACE 
  16.  
  17.  */ 
  18.  
  19. function loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields=array(),$insertType='INSERT'){ 
  20.  
  21.   if(emptyempty($fields)) $head = "{$insertType} INTO `{$table}` VALUES('"
  22.  
  23.   else $head = "{$insertType} INTO `{$table}`(`".implode('`,`',$fields)."`) VALUES('";  //数据头 
  24.  
  25.   $end = "')"
  26.  
  27.   $sqldata = trim(file_get_contents($file)); 
  28.  
  29.   if(preg_replace('/\s*/i','',$splitChar) == '') { 
  30.  
  31.     $splitChar = '/(\w+)(\s+)/i'
  32.  
  33.     $replace = "$1','"
  34.  
  35.     $specialFunc = 'preg_replace'
  36.  
  37.   }else { 
  38.  
  39.     $splitChar = $splitChar
  40.  
  41.     $replace = "','"
  42.  
  43.     $specialFunc = 'str_replace'
  44.  
  45.   } 
  46.  
  47.   //处理数据体,二者顺序不可换,否则空格或Tab分隔符时出错 
  48.  
  49.   $sqldata = preg_replace('/(\s*)(\n+)(\s*)/i','\'),(\'',$sqldata);  //替换换行 
  50.  
  51.   $sqldata = $specialFunc($splitChar,$replace,$sqldata);        //替换分隔符 
  52.  
  53.   $query = $head.$sqldata.$end;  //数据拼接 
  54.  
  55.   if(mysql_query($query,$conn)) return array(true); 
  56.  
  57.   else { 
  58.  
  59.     return array(false,mysql_error($conn),mysql_errno($conn)); 
  60.  
  61.   } 
  62.  
  63.  
  64.  
  65.  
  66. //调用示例1 
  67.  
  68. require 'db.php'
  69.  
  70. $splitChar = '|';  //竖线 
  71.  
  72. $file = 'sqldata1.txt'
  73.  
  74. $fields = array('id','parentid','name'); 
  75.  
  76. $table = 'cengji'
  77.  
  78. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  79.  
  80. if (array_shift($result)){ 
  81.  
  82.   echo 'Success!<br>'
  83.  
  84. }else { 
  85.  
  86.   echo 'Failed!--Error:'.array_shift($result).'<br>'
  87.  
  88.  
  89. /*sqlda ta1.txt 
  90.  
  91. 1|0|A 
  92.  
  93. 2|1|B 
  94.  
  95. 3|1|C 
  96.  
  97. 4|2|D 
  98.  
  99.  
  100.  
  101. -- cengji 
  102.  
  103. CREATE TABLE `cengji` ( 
  104.  
  105.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  106.  
  107.  `parentid` int(11) NOT NULL, 
  108.  
  109.  `name` varchar(255) DEFAULT NULL, 
  110.  
  111.  PRIMARY KEY (`id`), 
  112.  
  113.  UNIQUE KEY `parentid_name_unique` (`parentid`,`name`) USING BTREE 
  114.  
  115. ) ENGINE=InnoDB AUTO_INCREMENT=1602 DEFAULT CHARSET=utf8 
  116.  
  117. */ 
  118.  
  119.  
  120.  
  121. //调用示例2 
  122.  
  123. require 'db.php'
  124.  
  125. $splitChar = ' ';  //空格 
  126.  
  127. $file = 'sqldata2.txt'
  128.  
  129. $fields = array('id','make','model','year'); 
  130.  
  131. $table = 'cars'
  132.  
  133. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  134.  
  135. if (array_shift($result)){ 
  136.  
  137.   echo 'Success!<br>'
  138.  
  139. }else { 
  140.  
  141.   echo 'Failed!--Error:'.array_shift($result).'<br>'
  142.  
  143.  
  144. /* sqldata2.txt 
  145.  
  146. 11 Aston DB19 2009 
  147.  
  148. 12 Aston DB29 2009 
  149.  
  150. 13 Aston DB39 2009 
  151.  
  152.  
  153.  
  154. -- cars 
  155.  
  156. CREATE TABLE `cars` ( 
  157.  
  158.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  159.  
  160.  `make` varchar(16) NOT NULL, 
  161.  
  162.  `model` varchar(16) DEFAULT NULL, 
  163.  
  164.  `year` varchar(16) DEFAULT NULL, 
  165.  
  166.  PRIMARY KEY (`id`) 
  167.  
  168. ) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8 
  169.  
  170. */ 
  171.  
  172.  
  173.  
  174. //调用示例3 
  175.  
  176. require 'db.php'
  177.  
  178. $splitChar = '  ';  //Tab 
  179.  
  180. $file = 'sqldata3.txt'
  181.  
  182. $fields = array('id','make','model','year'); 
  183.  
  184. $table = 'cars'
  185.  
  186. $insertType = 'REPLACE'
  187.  
  188. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields,$insertType); 
  189.  
  190. if (array_shift($result)){ 
  191.  
  192.   echo 'Success!<br>'
  193.  
  194. }else { 
  195.  
  196.   echo 'Failed!--Error:'.array_shift($result).'<br>'
  197.  
  198.  
  199. /* sqldata3.txt 
  200.  
  201. 11  Aston  DB19  2009 
  202.  
  203. 12  Aston  DB29  2009 
  204.  
  205. 13  Aston  DB39  2009  
  206.  
  207. */ 
  208.  
  209.  
  210.  
  211. //调用示例3 
  212.  
  213. require 'db.php'
  214.  
  215. $splitChar = '  ';  //Tab 
  216.  
  217. $file = 'sqldata3.txt'
  218.  
  219. $fields = array('id','value'); 
  220.  
  221. $table = 'notExist';  //不存在表 
  222.  
  223. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  224.  
  225. if (array_shift($result)){ 
  226.  
  227.   echo 'Success!<br>'
  228.  
  229. }else { 
  230.  
  231.   echo 'Failed!--Error:'.array_shift($result).'<br>'
  232.  
  233.  
  234.  
  235.  
  236. //附:db.php 
  237.  
  238. /*  //注释这一行可全部释放 
  239.  
  240. ?> 
  241.  
  242. <?php 
  243.  
  244. static $connect = null; 
  245.  
  246. static $table = 'jilian'
  247.  
  248. if(!isset($connect)) { 
  249.  
  250.   $connect = mysql_connect("localhost","root",""); 
  251.  
  252.   if(!$connect) { 
  253.  
  254.     $connect = mysql_connect("localhost","Zjmainstay",""); 
  255.  
  256.   } 
  257.  
  258.   if(!$connect) { 
  259.  
  260.     die('Can not connect to database.Fatal error handle by /test/db.php'); 
  261.  
  262.   } 
  263.  
  264.   mysql_select_db("test",$connect); 
  265.  
  266.   mysql_query("SET NAMES utf8",$connect); 
  267.  
  268.   $conn = &$connect
  269.  
  270.   $db = &$connect
  271.  
  272.  
  273. ?> 

复制代码,-- 数据表结构:

  1. -- 100000_insert,1000000_insert 
  2.  
  3. CREATE TABLE `100000_insert` ( 
  4.  
  5.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  6.  
  7.  `parentid` int(11) NOT NULL, 
  8.  
  9.  `name` varchar(255) DEFAULT NULL, 
  10.  
  11.  PRIMARY KEY (`id`) 
  12.  
  13. ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 
  14.  
  15. 100000 (10万)行插入:Insert 100000_line_data use 2.5534288883209 seconds 
  16.  
  17. 1000000(100万)行插入:Insert 1000000_line_data use 19.677318811417 seconds 
  18.  
  19. //可能报错:MySQL server has gone away 
  20.  
  21. //解决:修改my.ini/my.cnf max_allowed_packet=20M 

Tags: php读取txt

分享到: