当前位置:首页 > PHP教程 > php高级应用 > 列表

php读取txt文件并将数据插入到数据库

发布:smiling 来源: PHP粉丝网  添加日期:2021-07-10 15:38:19 浏览: 评论:0 

这篇文章主要介绍了php读取txt文件并将数据插入到数据库的方法和示例代码,小文件大家可以参考第一种,大文件导入的话请参考第二种。

今天测试一个功能,需要往数据库中插入一些原始数据,PM给了一个txt文件,如何快速的将这个txt文件的内容拆分为所要的数组,然后再插入到数据库中?

serial_number.txt的示例内容:

serial_number.txt:

  1. DM00001A11 0116, 
  2. SN00002A11 0116, 
  3. AB00003A11 0116, 
  4. PV00004A11 0116, 
  5. OC00005A11 0116, 
  6. IX00006A11 0116, 

创建数据表:

  1. create table serial_number( 
  2. id int primary key auto_increment not null
  3. serial_number varchar(50) not null 
  4. )ENGINE=InnoDB DEFAULT CHARSET=utf8; 

php代码如下:

  1. $conn = mysql_connect('127.0.0.1','root',''or die("Invalid query: " . mysql_error()); 
  2. mysql_select_db('test', $conn) or die("Invalid query: " . mysql_error()); 
  3.  
  4. $content = file_get_contents("serial_number.txt"); 
  5. $contents= explode(",",$content);//explode()函数以","为标识符进行拆分 
  6.  
  7. foreach ($contents as $k => $v)//遍历循环 
  8.   $id = $k; 
  9.   $serial_number = $v; 
  10.   mysql_query("insert into serial_number (`id`,`serial_number`) 
  11.       VALUES('$id','$serial_number')"); 

备注:方法有很多种,我这里是在拆分txt文件为数组后,然后遍历循环得到的数组,每循环一次,往数据库中插入一次。

再给大家分享一个支持大文件导入的。

  1. <?php 
  2. /** 
  3.  * $splitChar 字段分隔符 
  4.  * $file 数据文件文件名 
  5.  * $table 数据库表名 
  6.  * $conn 数据库连接 
  7.  * $fields 数据对应的列名 
  8.  * $insertType 插入操作类型,包括INSERT,REPLACE 
  9.  */ 
  10. function loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields=array(),$insertType='INSERT'){ 
  11.   if(emptyempty($fields)) $head = "{$insertType} INTO `{$table}` VALUES('"
  12.   else $head = "{$insertType} INTO `{$table}`(`".implode('`,`',$fields)."`) VALUES('";  //数据头 
  13.   $end = "')"
  14.   $sqldata = trim(file_get_contents($file)); 
  15.   if(preg_replace('/\s*/i','',$splitChar) == '') { 
  16.     $splitChar = '/(\w+)(\s+)/i'
  17.     $replace = "$1','"
  18.     $specialFunc = 'preg_replace'
  19.   }else { 
  20.     $splitChar = $splitChar
  21.     $replace = "','"
  22.     $specialFunc = 'str_replace'
  23.   } 
  24.   //处理数据体,二者顺序不可换,否则空格或Tab分隔符时出错 
  25.   $sqldata = preg_replace('/(\s*)(\n+)(\s*)/i','\'),(\'',$sqldata);  //替换换行 
  26.   $sqldata = $specialFunc($splitChar,$replace,$sqldata);        //替换分隔符 
  27.   $query = $head.$sqldata.$end;  //数据拼接 
  28.   if(mysql_query($query,$conn)) return array(true); 
  29.   else { 
  30.     return array(false,mysql_error($conn),mysql_errno($conn)); 
  31.   } 
  32.  
  33. //调用示例1 
  34. require 'db.php'
  35. $splitChar = '|';  //竖线 
  36. $file = 'sqldata1.txt'
  37. $fields = array('id','parentid','name'); 
  38. $table = 'cengji'
  39. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  40. if (array_shift($result)){ 
  41.   echo 'Success!<br/>'
  42. }else { 
  43.   echo 'Failed!--Error:'.array_shift($result).'<br/>'
  44. /*sqlda ta1.txt 
  45. 1|0|A 
  46. 2|1|B 
  47. 3|1|C 
  48. 4|2|D 
  49.  
  50. -- cengji 
  51. CREATE TABLE `cengji` ( 
  52.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  53.  `parentid` int(11) NOT NULL, 
  54.  `name` varchar(255) DEFAULT NULL, 
  55.  PRIMARY KEY (`id`), 
  56.  UNIQUE KEY `parentid_name_unique` (`parentid`,`name`) USING BTREE 
  57. ) ENGINE=InnoDB AUTO_INCREMENT=1602 DEFAULT CHARSET=utf8 
  58. */ 
  59.  
  60. //调用示例2 
  61. require 'db.php'
  62. $splitChar = ' ';  //空格 
  63. $file = 'sqldata2.txt'
  64. $fields = array('id','make','model','year'); 
  65. $table = 'cars'
  66. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  67. if (array_shift($result)){ 
  68.   echo 'Success!<br/>'
  69. }else { 
  70.   echo 'Failed!--Error:'.array_shift($result).'<br/>'
  71. /* sqldata2.txt 
  72. 11 Aston DB19 2009 
  73. 12 Aston DB29 2009 
  74. 13 Aston DB39 2009 
  75.  
  76. -- cars 
  77. CREATE TABLE `cars` ( 
  78.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  79.  `make` varchar(16) NOT NULL, 
  80.  `model` varchar(16) DEFAULT NULL, 
  81.  `year` varchar(16) DEFAULT NULL, 
  82.  PRIMARY KEY (`id`) 
  83. ) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8 
  84. */ 
  85.  
  86. //调用示例3 
  87. require 'db.php'
  88. $splitChar = '  ';  //Tab 
  89. $file = 'sqldata3.txt'
  90. $fields = array('id','make','model','year'); 
  91. $table = 'cars'
  92. $insertType = 'REPLACE'
  93. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields,$insertType); 
  94. if (array_shift($result)){ 
  95.   echo 'Success!<br/>'
  96. }else { 
  97.   echo 'Failed!--Error:'.array_shift($result).'<br/>'
  98. /* sqldata3.txt 
  99. 11  Aston  DB19  2009 
  100. 12  Aston  DB29  2009 
  101. 13  Aston  DB39  2009  
  102. */ 
  103.  
  104. //调用示例3 
  105. require 'db.php'
  106. $splitChar = '  ';  //Tab 
  107. $file = 'sqldata3.txt'
  108. $fields = array('id','value'); 
  109. $table = 'notExist';  //不存在表 
  110. $result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields); 
  111. if (array_shift($result)){ 
  112.   echo 'Success!<br/>'
  113. }else { 
  114.   echo 'Failed!--Error:'.array_shift($result).'<br/>'
  115.  
  116. //附:db.php 
  117. /*  //注释这一行可全部释放 
  118. ?> 
  119. <?php 
  120. static $connect = null; 
  121. static $table = 'jilian'
  122. if(!isset($connect)) { 
  123.   $connect = mysql_connect("localhost","root",""); 
  124.   if(!$connect) { 
  125.     $connect = mysql_connect("localhost","Zjmainstay",""); 
  126.   } 
  127.   if(!$connect) { 
  128.     die('Can not connect to database.Fatal error handle by /test/db.php'); 
  129.   } 
  130.   mysql_select_db("test",$connect); 
  131.   mysql_query("SET NAMES utf8",$connect); 
  132.   $conn = &$connect
  133.   $db = &$connect
  134. ?> 

-- 数据表结构:

  1. -- 100000_insert,1000000_insert 
  2.  
  3. CREATE TABLE `100000_insert` ( 
  4.  `id` int(11) NOT NULL AUTO_INCREMENT, 
  5.  `parentid` int(11) NOT NULL
  6.  `namevarchar(255) DEFAULT NULL
  7.  PRIMARY KEY (`id`) 
  8. ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 
  9.  100000 (10万)行插入:Insert 100000_line_data use 2.5534288883209 seconds 

1000000(100万)行插入:Insert 1000000_line_data use 19.677318811417 seconds

可能报错:MySQL server has gone away

解决:修改my.ini/my.cnf   max_allowed_packet=20M

Tags: php读取txt文件

分享到: