如何解决mysql导入sql文件慢、错等问题!
如何解决mysql导入sql文件慢、错等问题!
mysql导入sql文件慢、错等问题
在服务开发过程经常有数据迁移、备份、sql导入需求,而在mysql导入sql文件过程中经常出现慢、错等问题,尤其是通过mysql客户端(比如Nacivat)导入速度更慢。
今天我们选用一个新的导入方案,用MySQL自带的source导入,进行部分自定义操作,速度更快、统一提交;原理:减少网络请求、关闭日志打印、关闭自动提交(开启手动提交),目的是均是为了提高导入效率。
废话少说,现在开始吧。
1、命令行登录数据库
1
|
mysql -uroot -p |
2、创建数据库
如果数据库还没有创建的话
1
|
create database demo; |
3、设置参数
1
2
3
4
5
|
#临时关闭二进制日志 set sql_log_bin=off; #临时关闭事务自动提交 set autocommit=0; |
4、使用某个数据库
1
|
use demo; |
5、手动开启事务
1
|
start transaction; |
6、执行source导入sql文件
- 1)linux环境
1
|
source ... /test .sql |
- 2)win环境
1
2
3
4
5
|
source D:\...\ test .sql 或者 source D:/... /test .sql |
7、手动提交事务请求
1
|
commit; |
8、还原最初的配置
1
2
3
4
|
#恢复二进制日志 set sql_log_bin=on; #恢复事务自动提交 set autocommit=1; |
理想情况下数据一次性成功导入。
9、注意事项
1)表的最大容量问题 max_allowed_packet
1
2
|
show variables like '%max_allowed_packet%' ; select @@max_allowed_packet; |
查询:
手动设置
1
|
set global max_allowed_packet = 102410141024; |
重启mysq才能生效
2) 表的大小写问题
有些业务有大写和小写的表,设置不区分,比如linux环境mysql默认区分;
但是win环境默认不区分;
因此必须保持一致
1
|
show variables like "%case%" ; |
结果
原理
- lower_case_table_names = 0 区分大小写,默认是这种设置
- lower_case_table_names = 1 不区分大小写
当然,需要在配置文件中修改ini或者cnf 文件里添加。
3)导入数据时字符集设置问题
报错:mysql数据库导入出错
ERROR:Unknown command ‘\’
核对此数据的字符集和脚本文件里的字符集是否一直,核对后你就会恍然大悟!
这样核对!
除此之外、还有其他类似的设置问题,当然要举一反三!
总结
以上为个人经验,希望能给大家一个参考。
学习资料见知识星球。
以上就是今天要分享的技巧,你学会了吗?若有什么问题,欢迎在下方留言。
快来试试吧,小琥 my21ke007。获取 1000个免费 Excel模板福利!
更多技巧, www.excelbook.cn
欢迎 加入 零售创新 知识星球,知识星球主要以数据分析、报告分享、数据工具讨论为主;
1、价值上万元的专业的PPT报告模板。
2、专业案例分析和解读笔记。
3、实用的Excel、Word、PPT技巧。
4、VIP讨论群,共享资源。
5、优惠的会员商品。
6、一次付费只需99元,即可下载本站文章涉及的文件和软件。
共有 0 条评论