最近发现phpmyadmin导入大容量的SQL文件时失败,所以整理了几种解决方法,供大家以后遇到相同问题时解决。
品络技术论坛 bbs.pinluo.com整理了网上几种关于MSSQL大量数据导入导出的文章:
文章一:
1,有服务器权限的。直接COPY文件。WIN一般是MYSQL安装目录的data下你的用户名。LINUX是安装目录下的var,其他系统不清楚。
2,如果是SQL格式的。有的可能上100M之类的。用source导入。source 文件名
解释:在导入之前先要选择好那个用户。
cd /mysql目录
cd bin
mysql -u root -p(LINUX基本要加上路径的。比如/usr/local/mysql/bin/mysql这样)
--密码
use 用户名
source 文件名(如果把文件放到MYSQL安装目录的bin下边的话。就直接加文件名就行了。否则要加上路径。比如source /home/www/test.sql)
3,自己写程序搞定(适合没有服务器权限的用户)。以PHP为例。可以先把结构导入。结构一般都很小,然后再把数据整理成一行行的。用file打开这个文件。循环。一行行的导入。当然也得先把文件传到服务器上。这样也很快。
4,以上都不行。没办法。只有把文件分成小块块。慢慢搞了
5,用PHPMYADMIN等工具。PHPMYADMIN其实算是不能用。大量数据是导不进去的
文章二:
引用:
大家一定使用过 phpmyadmin 里面的数据库导入,导出功能,非常方便。但是在实际应用中,我发现如下几个问题:
1 数据库超过一定尺寸,比如6M 这时使用导出一般没问题,可以正确的保存到本机硬盘上面,但是导入则不行!原因是:一般的 PHP.INI 里面设置临时文件/上传文件的大小限制为2M,而phpmyadmin使用了上传的方式,造成失败。
2 导出到硬盘的 .SQL 文件在导回时,经常出现由于某些单引号的问题引起失败,造成导入失败,只能用 mysql等应用程序导入了。
我的数据库已经超过10M,所以必须解决这个问题。我的思路:
导出: 用phpmyadmin 保存数据库/表格结构,用脚本读取数据库内容并保存到文件里面!
导入: 用phpmyadmin 恢复数据库/表格结构,用脚本读取文件,然后保存到库里面!
导出程序如下:调用方法为 ****.php?table=tablename
这个简单的程序目前一次保存一个表格!!每行为一个字段的数据!!
<?
if($table=="")exit();
mysql_connect("localhost","name","password");
mysql_select_db("database");
$result = mysql_query("select * from $table");
if(mysql_num_rows($result) <= 0) exit();
echo "开始转换数据到文本...
";
$handle = fopen("$table.txt","w");
$numfields = mysql_num_fields($result);
fputs($handle,$numfields."rn");
for($k=0;$k<mysql_num_rows($result);$k++)
{
$msg = mysql_fetch_row($result);
for($i=0;$i<$numfields;$i++)
{
$msg[$i] = str_replace("rn"," ",$msg[$i]);
$msg[$i] = str_replace("n" ," ",$msg[$i]);
fputs($handle,$msg[$i]."rn");
}
fputs($handle,"------- php2000 dump data program V1.0 for MySQL --------rn");
}
fclose($handle);
echo "ok";
?>
导入的程序如下:用法同上面!
<?
if($table=="")exit();
mysql_connect("localhost","name","password");
mysql_select_db("database");
$message = file("$table.txt");
echo $numfields = chop($message[0]);
for($k=1;$k<count($message);$k+=($numfields+1))
{
$value="";
for ($i=$k;$i<($k+$numfields-1);$i++)
{
$tmp = str_replace(" ","rn",chop($message[$i]));
$value .= "'".addslashes($tmp)."',";
}
$tmp = str_replace(" ","rn",chop($message[$k+$numfields-1]));
$value .= "'".$tmp."'";
$query = "insert into $table values (".$value.")";
echo mysql_error();
mysql_query($query);
echo $k." ";
}
echo "ok";
?>
使用方法和可能的问题!
1 导入时 file()函数可能会有问题(我的10M的数据没出现问题),可以改为 fopen()然后没次读一行!!
2 导入,导出都需要用 ftp 操作,也就是导出后,用 ftp 把数据转到本机,导入时先用ftp转移数据到服务器!
文章三:
引用:
在这里记录一下,因为以后学要用;作用资料查询之用!
第一步:mysql -h localhost -uroot
第二步:show databases;
第三步:use changchunmap;
第四步:show tables;
第五步:load data local infile "d:/c.txt" replace into table changchunmap fields terminated by ' ';
没有了;
load data local infile "d:/migration/mysql/babel_topic.txt" replace into table babel_topic_test fields terminated by ' '
load data local infile "d:/migration/mysql/babel_user.txt" replace into table babel_user_test fields terminated by '\t'
在导入过程中因为某些字段数据为NULL修改了某些表格的长度和可以为空,为了正确导入,请保证如下字段修改完毕:
Babel_topic: tpc_uname VARCHAR(192) 可以为NULL
Babel_user: usr_password VARCHAR(64) 可以为NULL
usr_nick VARCHAR(192) 可以为NULL
load data local infile "d:/c.txt" replace into table changchunmap fields terminated by ' '
文章四:
引用:
Mysql 大数据量导入程序
网络上转载许多都有错误,请注意代码的规范和正确性。
经测试以下代码是正确无错的,转载请保留版权,尊重程序作者!
<?php
/******************************************/
/* PhyMyAdmin Data Importer */
/*
http://www.ebugs.org */
/* Copyright 富翁 in im286.com 2005.04.09 */
/* 转载请注明出处 */
/******************************************/
//用来快速Mysql的大数据备份
//使用前请首先按照代码注释修改要导入的SQL文件名、数据库主机名、数据库用户名、密码、数据库名
//同时将数据库文件和本文本一起ftp导网站目录,然后以web方式访问此文件即可
//落伍(
[url=http://www.im286.com/]www.im286.com[/url])负翁版权所有,可随意使用,但保留版权信息
$file_name="a.sql"; //要导入的SQL文件名
$dbhost="localhost"; //数据库主机名
$dbuser="anonymous"; //数据库用户名
$dbpass=""; //数据库密码
$dbname="test"; //数据库名
set_time_limit(0); //设置超时时间为0,表示一直执行。当php在safe mode模式下无效,此时可能会导致导入超时,此时需要分段导入
$fp = @fopen($file_name, "r") or die("不能打开SQL文件 $file_name");//打开文件
mysql_connect($dbhost, $dbuser, $dbpass) or die("不能连接数据库 $dbhost");//连接数据库
mysql_select_db($dbname) or die ("不能打开数据库 $dbname");//打开数据库
echo "正在执行导入操作<span><br>";
while($SQL=GetNextSQL()){
if (!mysql_query($SQL)){
echo "<font color=red>执行出错:".mysql_error()."</font><br>";
echo "SQL语句为:<br>".$SQL."<br>";
};
}
echo "导入完成</span>";
fclose($fp) or die("Can't close file $file_name");//关闭文件
mysql_close();
//从文件中逐条取SQL
function GetNextSQL() {
global $fp;
$sql="";
while ($line = @fgets($fp, 40960)) {
$line = trim($line);
//以下三句在高版本php中不需要,在部分低版本中也许需要修改
$line = str_replace("\\\\","\\",$line);
$line = str_replace("\'","'",$line);
$line = str_replace("\\r\\n",chr(13).chr(10),$line);
// $line = stripcslashes($line);
if (strlen($line)>1) {
if ($line[0]=="-" && $line[1]=="-") {
continue;
}
}
$sql.=$line.chr(13).chr(10);
if (strlen($line)>0){
if ($line[strlen($line)-1]==";"){
break;
}
}
}
return $sql;
}
?>
试用了下,发现第一篇文章理论强,说的也对可是没有实际办法,第四篇文章比较实用!