新旧项目升级下的数据库数据迁移问题

提示：源码地址：https://gitee.com/yzq010/data_sync.git

前言

本文背景：
老项目的重构改造往往会涉及到数据库表结构的变动，当数据迁移时，由于旧数据库表结构与新数据库库表结构不一致， 单纯的依靠各类工具无法再迁移数据。
需要代码完成新老数据的处理转换，才能完成数据库数据迁移
需要简化开发人员开发难度，使普通开发人员的工作集中在新老数据的转换上。

提示：以下是本篇文章正文内容，下面案例可供参考

一、场景重现

假设老项目A有一张表 t_integral 积分表 类似下图

新项目B改造后的积分表 t_integral 如下图：

可以看到项目升级前后积分表因为业务升级产生了变化，两个比较明显的地方是：新项目按照积分类型规范了原来的表结构；另一个不同点老项目的创建时间是时间戳，而新项目的创建时间是datetime。

当新项目想把老项目的数据迁移过来时，发现表结构变化，不能借助navicat数据传输等类似功能完成数据迁移，这个时候就不得不借助代码来完成数据迁移，本文所介绍的开源代码就是在此背景下产生的。

二、使用步骤

1. 先看效果

原来的数据：

转换后的数据：

2. 实现步骤：

spring: datasource: dynamic: primary: master_1 #设置默认的数据源或者数据源组,默认值即为master strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源 hikari: min-idle: 10 max-pool-size: 100 connection-timeout: 100000 datasource: # 新项目 master_1: url: jdbc:mysql://127.0.0.1:3306/write?serverTimezone=Asia/Shanghai&characterEncoding=utf-8 username: user password: pwd driverClassName: com.mysql.jdbc.Driver # 3.2.0开始支持SPI可省略此配置 #旧项目 master_2: url: jdbc:mysql://127.0.0.1:3306/read?serverTimezone=Asia/Shanghai&characterEncoding=utf-8 username: user password: pwd # 视情况选择合适的数据库驱动 driverClassName: com.mysql.jdbc.Driver # 其他库 # master_3: # url: jdbc:mysql://127.0.0.1:3306/other-datebase?serverTimezone=Asia/Shanghai&characterEncoding=utf-8 # username: user # password: pwd # driverClassName: com.mysql.jdbc.Driver # oracle1: # url: jdbc:oracle:thin:@127.0.0.1:1521:orcl # username: user # password: pwd # driverClassName: oracle.jdbc.driver.OracleDriver redis: host: 127.0.0.1 port: 6379 database: 10 ### xxl-job admin address list, such as "http://address" or "http://address01,http://address02" xxl: job: admin: addresses: http://127.0.0.1:6767/xxl-job-admin ### xxl-job, access token accessToken: default_token ### xxl-job executor appname executor: appname: datebase-sync ### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null address: ### xxl-job executor server-info ip: port: 7777 ### xxl-job executor log-path logpath: /data/applogs/xxl-job/jobhandler ### xxl-job executor log-retention-days logretentiondays: 30 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657 2.2 代码目录

按照开发习惯,分别为新旧表创建service\mapper\entity，同时在service里创建translationservice，这个类就是完成数据装换和提供定时任务入口的类，稍后会详解，这个类是核心：

控制这个项目模板类CommonService

template()方法：
（1） 获取分页
PageInfo pageInfo = getPageInfo();
这个方法是需要子类实现的，分页数、每页条数等信息视数据库表而定；但是必须先读redis里分页信息，如果没有，说明数据转换没有开始，去数据库获取数据信息，填充到redis；
（2）读取到分页信息，记入redis（不管是从redis读取到的，还是从数据库读取数据量再计入redis，这个步骤就是检查redis数据）；
（3）根据获取到的分页信息取旧的表里取数据；
（4） 数据转换和存储；
translate（T t）；
（5）检查数据是否同步完成，如果完成，redis的PageInfo里将currentpageNum=pageNum+1，表示这个表已经完成所有数据转换了，即使定时任务还在运行，也不会有任何数据处理了；

translationservice转换类
这个接口的实现类要实现模板的分步操作，提供适合当前表的数据处理，同时提供一个方法给定时任务，以调用模板流程，这里采用的思路是适配器模式，参考代码示例可以很容易看出来；

定时任务
采用xxl-job控制流程，也就是translationservice提供的适配方法；可以参看TestJob类；

三、问答式解惑

总结

项目不在于有多花里胡哨，而在于有效。

源码地址：https://gitee.com/yzq010/data_sync.git

如果对你有帮助，还请点亮git的小星星，感谢！