数据迁移后的迁移结果比对方法?

2021-06-23 19:41发布

9条回答

数据迁移之后,总是需要进行源库和目标库的核对,来判断本次数据迁移是否成功。以下采用DBLINK方法进行核对,是在工作中总结的,通过对象和数据量来进行判定数据迁移是否成功,如果以下核对内容完全一致,基本上可以判定迁移成功。DBLINK中的用户需要有DBA权限,在目标库中创建DBLINK。

一、核对迁移对象

找出迁移对象差异,如果查出结果,说明迁移过程中漏了对象,查询结果即为漏的对象。

SELECT *

  FROM DBA_OBJECTS@DBLINK_101701622 T

 WHERE T.OWNER = 'U_SJZX_WEB'

   AND T.OBJECT_NAME NOT IN (SELECT OBJECT_NAME FROM USER_OBJECTS T)

   AND T.OBJECT_NAME NOT LIKE '%$$%';

二、核对表的数据量

1.重新分析表的数据量,为了下一步能够获得准确的数据量,源库目标库都需要执行查询结果。

SELECT 'analyze table ' || TABLE_NAME || ' compute statistics;' FROM USER_TABLES;

2.找出数据量差异表对象

SELECT YB_BM  源表表名,

       YB_NUM 源表数据量,

       MB_BM  目标表名,

       MB_NUM 目标数据量,

       BDJG   比对结果

  FROM (SELECT T.TABLE_NAME YB_BM,

               T.NUM_ROWS YB_NUM,

               TT.TABLE_NAME MB_BM,

               TT.NUM_ROWS MB_NUM,

               CASE

                 WHEN T.NUM_ROWS = TT.NUM_ROWS OR T.NUM_ROWS IS NULL THEN

                  '相同'

                 ELSE

                  '不相同'

               END BDJG

          FROM DBA_TABLES@DBLINK_101701622 T, USER_TABLES TT

         WHERE T.OWNER = 'U_SJZX_WEB'

           AND T.TABLE_NAME = TT.TABLE_NAME(+)) A

 ORDER BY BDJG;


1.重新分析表的数据量,为了下一步能够获得准确的数据量,源库目标库都需要执行查询结果。

SELECT 'analyze table ' || TABLE_NAME || ' compute statistics;' FROM USER_TABLES;

2.找出数据量差异表对象

SELECT YB_BM  源表表名,

       YB_NUM 源表数据量,

       MB_BM  目标表名,

       MB_NUM 目标数据量,

       BDJG   比对结果

  FROM (SELECT T.TABLE_NAME YB_BM,

               T.NUM_ROWS YB_NUM,

               TT.TABLE_NAME MB_BM,

               TT.NUM_ROWS MB_NUM,

               CASE

                 WHEN T.NUM_ROWS = TT.NUM_ROWS OR T.NUM_ROWS IS NULL THEN

                  '相同'

                 ELSE

                  '不相同'

               END BDJG

          FROM DBA_TABLES@DBLINK_101701622 T, USER_TABLES TT

         WHERE T.OWNER = 'U_SJZX_WEB'

           AND T.TABLE_NAME = TT.TABLE_NAME(+)) A

 ORDER BY BDJG;



啦啦啦
4楼 · 2021-06-30 11:40

1、基础数据,通常这一类容易迁移,数据格式简单,但是会影响所有的相关业务数据,关注点为数据的主键和唯一键的方式。
2、纯历史数据的导入,仅供参考用的,这一类数据导入容易
 2.1 纯历史数据
 这一类数据处理起来会比较容易,一次性导入即可,后续采用增量数据导入。
 2.2 流程性数据
 这一类数据只有在记录完全关闭后才能结束,需要进行增量导入和数据更新,同时还要进行相关查询界面的开发,以保证旧有数据能够在新系统中查询的到。
3、新老系统表结构变化较大的历史数据
 这一类数据的工作量是最重的,就需要仔细去研究新老业务系统的数据结构了。
 1、尽量通过甲方单位来收集齐全相关原系统的相关设计文档,这一点对数据分析很有帮助,通过人的感觉和对数据的观察来分析毕竟不太靠谱。
 2、在原系统上进行相关数据的观察,了解数据的变化和数据表数据的关系(对于比较难以理解的相关字段很有帮助)
 3、比较新老系统数据的差异,如果实在很不靠谱的话,建议按2.2去处理。

哈哈哈哈哈哈嗝
5楼 · 2021-07-02 15:34

  数据迁移之后,总是需要进行源库和目标库的核对,来判断本次数据迁移是否成功。以下采用DBLINK方法进行核对,是在工作中总结的,通过对象和数据量来进行判定数据迁移是否成功,如果以下核对内容完全一致,基本上可以判定迁移成功。DBLINK中的用户需要有DBA权限,在目标库中创建DBLINK。


猫的想法不敢猜
6楼 · 2021-08-08 16:01

 数据迁移之后,总是需要进行源库和目标库的核对,来判断本次数据迁移是否成功。以下采用DBLINK方法进行核对,是在工作中总结的,通过对象和数据量来进行判定数据迁移是否成功,如果以下核对内容完全一致,基本上可以判定迁移成功。DBLINK中的用户需要有DBA权限,在目标库中创建DBLINK。

一、核对迁移对象

找出迁移对象差异,如果查出结果,说明迁移过程中漏了对象,查询结果即为漏的对象。

SELECT *

  FROM DBA_OBJECTS@DBLINK_101701622 T

 WHERE T.OWNER = 'U_SJZX_WEB'

   AND T.OBJECT_NAME NOT IN (SELECT OBJECT_NAME FROM USER_OBJECTS T)

   AND T.OBJECT_NAME NOT LIKE '%$$%';

二、核对表的数据量

1.重新分析表的数据量,为了下一步能够获得准确的数据量,源库目标库都需要执行查询结果。

SELECT 'analyze table ' || TABLE_NAME || ' compute statistics;' FROM USER_TABLES;

2.找出数据量差异表对象

SELECT YB_BM  源表表名,

       YB_NUM 源表数据量,

       MB_BM  目标表名,

       MB_NUM 目标数据量,

       BDJG   比对结果

  FROM (SELECT T.TABLE_NAME YB_BM,

               T.NUM_ROWS YB_NUM,

               TT.TABLE_NAME MB_BM,

               TT.NUM_ROWS MB_NUM,

               CASE

                 WHEN T.NUM_ROWS = TT.NUM_ROWS OR T.NUM_ROWS IS NULL THEN

                  '相同'

                 ELSE

                  '不相同'

               END BDJG

          FROM DBA_TABLES@DBLINK_101701622 T, USER_TABLES TT

         WHERE T.OWNER = 'U_SJZX_WEB'

           AND T.TABLE_NAME = TT.TABLE_NAME(+)) A

 ORDER BY BDJG;

补充说明:PUBLIC类型的DBLINK是迁移不到目标库的,得需要手动创建。

————————————————

版权声明:本文为CSDN博主「zha_sir」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/zha_penfee/article/details/50098587


我的网名不再改
7楼 · 2021-08-25 13:20

    数据迁移之后,总是需要进行源库和目标库的核对,来判断本次数据迁移是否成功。以下采用DBLINK方法进行核对,是在工作中总结的,通过对象和数据量来进行判定数据迁移是否成功,如果以下核对内容完全一致,基本上可以判定迁移成功。DBLINK中的用户需要有DBA权限,在目标库中创建DBLINK。

一、核对迁移对象

找出迁移对象差异,如果查出结果,说明迁移过程中漏了对象,查询结果即为漏的对象。

SELECT *

  FROM DBA_OBJECTS@DBLINK_101701622 T

 WHERE T.OWNER = 'U_SJZX_WEB'

   AND T.OBJECT_NAME NOT IN (SELECT OBJECT_NAME FROM USER_OBJECTS T)

   AND T.OBJECT_NAME NOT LIKE '%$$%';

二、核对表的数据量

1.重新分析表的数据量,为了下一步能够获得准确的数据量,源库目标库都需要执行查询结果。

SELECT 'analyze table ' || TABLE_NAME || ' compute statistics;' FROM USER_TABLES;

2.找出数据量差异表对象

SELECT YB_BM  源表表名,

       YB_NUM 源表数据量,

       MB_BM  目标表名,

       MB_NUM 目标数据量,

       BDJG   比对结果

  FROM (SELECT T.TABLE_NAME YB_BM,

               T.NUM_ROWS YB_NUM,

               TT.TABLE_NAME MB_BM,

               TT.NUM_ROWS MB_NUM,

               CASE

                 WHEN T.NUM_ROWS = TT.NUM_ROWS OR T.NUM_ROWS IS NULL THEN

                  '相同'

                 ELSE

                  '不相同'

               END BDJG

          FROM DBA_TABLES@DBLINK_101701622 T, USER_TABLES TT

         WHERE T.OWNER = 'U_SJZX_WEB'

           AND T.TABLE_NAME = TT.TABLE_NAME(+)) A

 ORDER BY BDJG;

补充说明:PUBLIC类型的DBLINK是迁移不到目标库的,得需要手动创建。

———

py大白
8楼 · 2021-09-01 10:16

1、基础数据,通常这一类容易迁移,数据格式简单,但是会影响所有的相关业务数据,关注点为数据的主键和唯一键的方式。
2、纯历史数据的导入,仅供参考用的,这一类数据导入容易
2.1 纯历史数据
这一类数据处理起来会比较容易,一次性导入即可,后续采用增量数据导入。
2.2 流程性数据
这一类数据只有在记录完全关闭后才能结束,需要进行增量导入和数据更新,同时还要进行相关查询界面的开发,以保证旧有数据能够在新系统中查询的到。
3、新老系统表结构变化较大的历史数据
这一类数据的工作量是最重的,就需要仔细去研究新老业务系统的数据结构了。
1、尽量通过甲方单位来收集齐全相关原系统的相关设计文档,这一点对数据分析很有帮助,通过人的感觉和对数据的观察来分析毕竟不太靠谱。
2、在原系统上进行相关数据的观察,了解数据的变化和数据表数据的关系(对于比较难以理解的相关字段很有帮助)
3、比较新老系统数据的差异,如果实在很不靠谱的话,建议按2.2去处理。

回答: 2021-11-16 08:52

以下采用DBLINK方法进行核对,是在工作中总结的,通过对象和数据量来进行判定数据迁移是否成功,如果以下核对内容完全一致,基本上可以判定迁移成功。DBLINK中的用户需要有DBA权限,在目标库中创建DBLINK。

一、核对迁移对象

找出迁移对象差异,如果查出结果,说明迁移过程中漏了对象,查询结果即为漏的对象。

SELECT *

  FROM DBA_OBJECTS@DBLINK_101701622 T

 WHERE T.OWNER = 'U_SJZX_WEB'

   AND T.OBJECT_NAME NOT IN (SELECT OBJECT_NAME FROM USER_OBJECTS T)

   AND T.OBJECT_NAME NOT LIKE '%$$%';


嘿呦嘿呦拔萝卜
9楼 · 2021-09-29 09:10

1.该迁移方法有几个必须满足的前提条件:原服务器和新服务器都有安装好并且正常可用的 MySQL 和 Percona Xtrabackup 软件环境;网络可以连通,或者可以进行文件传输;
2.实际迁移切换时,需要考虑一下原数据库的状态,或者在进行备份后,停止原数据库或设为只读模式;或者提前进行一次恢复,做成主从同步复制,在切换时,设主库为只读,关闭主从复制。关键是保证切换开始后,原数据库不能有新数据写入,造成数据不同步或丢失;
3.数据库启动、停止过程中都需要及时监控 error.log 日志,确认整个具体启停过程;同时要及时通过进程、端口、日志状态等确认数据库状态。

相关问题推荐

  • 什么是大数据时代?2021-01-13 21:23
    回答 100

    大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,而这个海量数据的时代则被称为大数据时代。随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结...

  • 回答 84

    Java和大数据的关系:Java是计算机的一门编程语言;可以用来做很多工作,大数据开发属于其中一种;大数据属于互联网方向,就像现在建立在大数据基础上的AI方向一样,他两不是一个同类,但是属于包含和被包含的关系;Java可以用来做大数据工作,大数据开发或者...

  • 回答 52
    已采纳

    学完大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样...

  • 回答 29

    简言之,大数据是指大数据集,这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据的特点:数据量大、数据种类多、 要求实时性强、数据所蕴藏的...

  • 回答 14

    tail -f的时候,发现一个奇怪的现象,首先 我在一个窗口中 tail -f test.txt 然后在另一个窗口中用vim编辑这个文件,增加了几行字符,并保存,这个时候发现第一个窗口中并没有变化,没有将最新的内容显示出来。tail -F,重复上面的实验过程, 发现这次有变化了...

  • 回答 18

    您好针对您的问题,做出以下回答,希望有所帮助!1、大数据行业还是有非常大的人才需求的,对于就业也有不同的岗位可选,比如大数据工程师,大数据运维,大数据架构师,大数据分析师等等,就业难就难在能否找到适合的工作,能否与你的能力和就业预期匹配。2、...

  • 回答 17

    最小的基本单位是Byte应该没多少人不知道吧,下面先按顺序给出所有单位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,按照进率1024(2的十次方)计算:1Byte = 8 Bit1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576...

  • 回答 33

    大数据的定义。大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新...

  • 回答 5

    MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL的版本:针对不同的用户,MySQL分为两种不同的版本:MySQL Community Server社区版本,免费,但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ;然后启动数据库服务并运行mysql_secure_installation去除安全隐患,最后登录数据库,便可完成安装

  • 回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike'port';4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • 回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • 回答 9

    学习多久,我觉得看你基础情况。1、如果原来什么语言也没有学过,也没有基础,那我觉得最基础的要先选择一种语言来学习,是VB,C..,pascal,看个人的喜好,一般情况下,选择C语言来学习。2、如果是有过语言的学习,我看应该一个星期差不多,因为语言的理念互通...

  • 回答 7

    添加语句 INSERT插入语句:INSERT INTO 表名 VALUES (‘xx’,‘xx’)不指定插入的列INSERT INTO table_name VALUES (值1, 值2,…)指定插入的列INSERT INTO table_name (列1, 列2,…) VALUES (值1, 值2,…)查询插入语句: INSERT INTO 插入表 SELECT * FROM 查...

  • 回答 5

    看你什么岗位吧。如果是后端,只会CRUD。应该是可以找到实习的,不过公司应该不会太好。如果是数据库开发岗位,那这应该是不会找到的。

  • 回答 7

    查找数据列 SELECT column1, column2, … FROM table_name; SELECT column_name(s) FROM table_name 

没有解决我的问题,去提问