如何解决mysql导入sql文件慢、错等问题！

admin • • SQL技巧

如何解决mysql导入sql文件慢、错等问题！

这篇文章主要介绍了如何解决mysql导入sql文件慢、错等问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教。

mysql导入sql文件慢、错等问题

在服务开发过程经常有数据迁移、备份、sql导入需求，而在mysql导入sql文件过程中经常出现慢、错等问题，尤其是通过mysql客户端（比如Nacivat）导入速度更慢。

今天我们选用一个新的导入方案，用MySQL自带的source导入，进行部分自定义操作，速度更快、统一提交；原理：减少网络请求、关闭日志打印、关闭自动提交（开启手动提交），目的是均是为了提高导入效率。

废话少说，现在开始吧。

1、命令行登录数据库

1
mysql -uroot -p

2024090611382721

 

 

2、创建数据库

如果数据库还没有创建的话

1
create database demo;

3、设置参数

1
2
3
4
5
#临时关闭二进制日志
set sql_log_bin=off;
#临时关闭事务自动提交
set autocommit=0;

4、使用某个数据库

1
use demo;

5、手动开启事务

1
start transaction;

6、执行source导入sql文件

  • 1）linux环境
1
source .../test.sql
  • 2）win环境
1
2
3
4
5
source D:\...\test.sql
或者
source D:/.../test.sql

7、手动提交事务请求

1
commit;

8、还原最初的配置

1
2
3
4
#恢复二进制日志
set sql_log_bin=on;
#恢复事务自动提交
set autocommit=1;

理想情况下数据一次性成功导入。

9、注意事项

1）表的最大容量问题 max_allowed_packet

1
2
show variables like '%max_allowed_packet%';
select @@max_allowed_packet;

查询：

手动设置

1
set global max_allowed_packet = 102410141024;

重启mysq才能生效

2） 表的大小写问题

有些业务有大写和小写的表，设置不区分，比如linux环境mysql默认区分；

但是win环境默认不区分；

因此必须保持一致

1
show variables like "%case%";

结果

原理

  • lower_case_table_names = 0 区分大小写，默认是这种设置
  • lower_case_table_names = 1 不区分大小写

当然，需要在配置文件中修改ini或者cnf 文件里添加。

原理可以参考

3）导入数据时字符集设置问题

报错：mysql数据库导入出错

ERROR:Unknown command ‘\’

核对此数据的字符集和脚本文件里的字符集是否一直，核对后你就会恍然大悟！

这样核对！

除此之外、还有其他类似的设置问题，当然要举一反三！

总结

以上为个人经验，希望能给大家一个参考。

 

 

学习资料见知识星球。

以上就是今天要分享的技巧，你学会了吗？若有什么问题，欢迎在下方留言。

快来试试吧，小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​！

更多技巧， www.excelbook.cn

欢迎 加入 零售创新 知识星球，知识星球主要以数据分析、报告分享、数据工具讨论为主；

电商数据分析360°实战攻略！

你将获得：

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群，共享资源。

5、优惠的会员商品。

6、一次付费只需99元，即可下载本站文章涉及的文件和软件。

文章版权声明 1、本网站名称：Excelbook
2、本站永久网址：http://www.excelbook.cn
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长王小琥进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END
分享
二维码
< <上一篇
下一篇>>