kettle全量同步数据库简易教程!

kettle全量同步数据库简易教程!

前言

项目中经常会对数据库进行全量同步,常常使用数据库工具进行导入导出,但是这种方式并不适用域所有场景,例如数据量大、生产环境不允许登录服务器等情况。
所以对于以上特殊情况我们常常采用kettle或者datax等工具进行数据同步。本文介绍kettle做整个数据库同步的方法。

2 下载kettle

官网比较卡,所以上镜像网站下载(8.2版本):
http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
如果你想从官网下载,注意百度搜索出来的那个不是官网,这个才是:
https://community.hitachivantara.com/s/article/data-integration-kettle

3 入门

006fRELkly4gozpzzeetbj31gy0s8whb

可以看到进入kettle后主要有转换和作业两入口,转换就是配置一个数据etl的过程,包括数据输入、数据映射、数据过滤、数据存储等;而作业就是可配置的定时任务。

4 数据库全量同步

1)创建数据库连接

006fRELkly4gozpzzbebuj30vu0scwg9

006fRELkly4gozpzzhxbsj314w0lj408

这里要注意,mysql数据库如果连接不上,往往是数据库驱动的问题,下载5版本的mysql驱动最新版放到目录中的lib和libswtwin64下即可。

接下来点击工具=>向导=>复制多表向导 ;选择源数据库和目标数据库

006fRELkly4gozpzzi3i1j31gt0rotbk

选择要同步的表

006fRELkly4gozpzzawoxj30lw0jcjrz

填写任务名称和存储路径:

006fRELkly4gozpzz8g6vj30la0hs3yu

可以看到任务已经生成,点击执行即可:

006fRELkly4gozpzzjfu3j31f50q940d

5 注意事项

需要安装JDK 和相关数据库的驱动。

如果大家有其他的方法,或者想要知道哪方面的办公技巧,下方评论哦~

学习资料见知识星球。

以上就是今天要分享的技巧,你学会了吗?若有什么问题,欢迎在下方留言。

快来试试吧,小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​!

更多技巧, www.excelbook.cn

欢迎 加入 零售创新 知识星球,知识星球主要以数据分析、报告分享、数据工具讨论为主;

2022021703525891

你将获得:

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群,共享资源。

5、优惠的会员商品。

6、一次付费只需99元,即可下载本站文章涉及的文件和软件。

阅读剩余
THE END