mysql

【mysql】mysql表历史数据如何迁移到bak表？

2021-02-25 19:28发布

站内问答 / 数据库
1897 4 5
发送
4条回答
无需指教
2楼 · 2021-02-26 09:17

事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。

据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数据库的优化后5千万条记录（10G）下运行良好。那么为什么国内的某些CMS厂商还会把其产品自身负载差的责任推给MySQL呢？

这对于MySQL是不公平的，那些CMS厂商非但没有把内核做好反而还在添加很多花哨的功能，最终导致其产品自身负载过低。他们并没有针对自身负载效果作出相应的数据库优化方案及标准，而是继续保留着复杂的结构造成对MySQL的资源无休止的浪费，最终导致了其负载上的缺陷，于是他们便充分发挥中国人的传统优势——变通：避重就轻的采用了所谓的分表式存储，虽然在一定程度上缓解了自身负载的缺陷，但是导致了网站后期维护以及资源上的浪费，这样做是否是长久之计呢？虽然他们解决了眼前的问题，但以后呢？难道想无休止的分表来达到目的？

用一个不恰当的比喻来形容，MySQL中的的表就像一块地，单表就相当于利用这块地盖高层建筑充分利用达到高人员负载，但分表就相当于用这块地盖了一间平房，如果为了达到高人员负载的话那就需要另开地皮达到目的，但是我们要思考，是地不够，还是他的能力不够，如此做法让人感到资源的浪费以及规划的严重缺陷。


是开心果呀 - 热爱生活
3楼 · 2021-02-26 10:13

若是上亿的表迁移过十来次，小表不计其数。内部就在 github 上开发，代码完全一致，不是单独拉个版本出来开源。

不需要高可用的话写个配置文件，docker run 就行了。全量完会自动接增量，不需要人工干预。（如果更新很多需要注意保留足够的 binlog ）

需要高可用的话是基于 k8s 做的，helm 装一下就行。

性能方面以腾讯云的顶配 rds 为例，全量阶段大概 5w 行/秒，增量阶段延迟 80 线在 100 ms 以内。



studentaaa
4楼 · 2021-03-19 07:48

当业务运行一段时间后，会出现有些表数据量很大，可能对系统性能产生不良的影响，常见的如订单表、登录log表等，这些数据很有时效性，比如我们一般很少去查上个月的订单，最多也就是报表统计会涉及到。

在我们的数据库中，用户登录表就是这种类型的表，一般而言，表中的数据是不可逆的，只有插入操作没有删除或者修改操作，表示在过去一段时间内完成的事实业务数据。比如登录表表示一段时间内用户的登录信息，登录一次游戏就会在数据库中记录一条数据。

1、对于备份这类表的策略是：

  1. 第一次备份全表的数据导入到备份表中，也就是全备。

  2. 以后每天只将增加的量自动迁移到备份表中，这里通过自增列的值相比较得到增量，如第一次全备导入备份表，这时自增列的最大值为max(idx)，通过这个值到从库中查询，只要大于这个值的所有记录形成增量。

  3. 备份完成后，分批删除主库上的数据。

2、下面是具体操作步骤：

  •    第一次全备和恢复

select * from table into outfile "/data/backup/xxxx.txt";  --导出备份数据
load data infile "/data/backup/ xxxx.txt " into table bak_table;  --在另外服务器备份表中恢复

  •    脚本程序实现：拉取线上服务器上的增量数据，然后导入本服务器，实现增量备份

  1）需要在同一目录下建立三个sql脚本，如a.sql  b.sql  c.sql

   a.sql: 拼接增量备份sql，形成备份语句

use report;
select concat('use report;select * from t_user_session where user_session_idx>',max(user_session_idx),' into outfile "/data/backup/incrementalbackup/t_user_session_ios1.txt";') from t_user_session;

   b.sql:接受a.sql的输出

   c.sql: 负责恢复数据

use report;
load data infile '/data/backup/incrementalbackup/t_user_session_ios1.txt' into table t_user_session_ios1;

  2）loadlog1.sh:通过输入a.sql，生成备份语句到b.sql中。用于在线上服务器执行增量备份数据。

#!/bin/bash
 /data/mysql/bin/mysql -h 127.0.0.1 -uroot -p'******' -N  < /data/backup/scripts/a.sql > /data/backup/scripts/b.sql

  3）loadlog2.sh：连接到线上服务器，删除以前备份文件，并通过b.sql进行数据导出，然后删除本地服务器上上次备份的文件。

相关问题推荐

  • 什么是MySQL?MySQL为什么有两个版本?mysql 2022-05-07 18:02
    回答 5

    MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL的版本：针对不同的用户，MySQL分为两种不同的版本：MySQL Community Server社区版本，免费，但是Mysql不提供...

  • mysql安装步骤mysql 2022-05-07 18:01
    回答 2

    mysql安装需要先使用yum安装mysql数据库的软件包 ；然后启动数据库服务并运行mysql_secure_installation去除安全隐患，最后登录数据库，便可完成安装

  • mysql查看数据库命令mysql 2022-04-20 18:59
    回答 5

    1.查看所有数据库showdatabases;2.查看当前使用的数据库selectdatabase();3.查看数据库使用端口showvariableslike&#39;port&#39;;4.查看数据库编码showvariableslike‘%char%’;character_set_client 为客户端编码方式; character_set_connection 为建立连接...

  • mysql数据库怎么创建表mysql 2022-04-20 18:58
    回答 5

    CREATE TABLE IF NOT EXISTS `runoob_tbl`(    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    `runoob_title` VARCHAR(100) NOT NULL,    `runoob_author` VARCHAR(40) NOT NULL,    `submission_date` DATE,    PRI...

  • mysql怎么调成中文界面mysql 2022-02-08 18:54
    回答 5

    在常规里面设置成utf-8

  • 怎么把MySQL服务 加入开机自启动mysql 2021-11-24 13:36
    回答 10

    首先是我们将鼠标移动到如下图所示的计算机的图标上，点击右键，选择管理。然后我们点击如下图界面中的服务和应用程序。接下来可以看到它下面有一个我们的目标——服务。服务的话它是按字母排列的，我们往下拉，找到Mysql服务。此时可以看到它是一个手动启动...

  • MySQL数据库的安装不能成功，总是提示软件的依赖mysql 2021-09-23 15:14
    回答 7

    有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件包尚未被创建或是它们已被从新到(Incoming)目录移出。下列信息可能会对解决问题有所帮助：下列软件包有未满足的依赖关...

  • mysql系统现在用哪个版本,不同版本的区别是什么mysql 2021-04-08 18:06
    回答 20

    1. MySQL Community Server 社区版本，开源免费，但不提供官方技术支持。2. MySQL Enterprise Edition 企业版本，需付费，可以试用30天。3. MySQL Cluster 集群版，开源免费。可将几个MySQL Server封装成一个Server。4. MySQL Cluster CGE 高级集群版，需付费...

  • mysql的临时表的字段，不能作为外键吗？mysql 2021-03-11 18:56
    回答 8

    mysql创建外键要求比较严格，严格到有时候你找不到到底哪里错了。1.检查你的表是不是都是INNodb类型的，只有这种类型才可以创建外键。2.检查字段名是不是有错误。3.检查字段类型，最好一样。4.比较隐蔽，检查字符集，为了迁移和使用的方便，尽量使用UTF85.上...

  • mysql全文索引FULLTEXT，为什么有的单词mysql 2021-03-11 18:56
    回答 2

    1、请查看数据库的存储引擎，全文索引只支持MyISAM表。2、mysql默认对全文检索有单词的字符限制：ft_max_word_len 84，ft_min_word_len 43、MYSQL 全文索引是实现不了like  的效果，只能按单词来查询...

  • 32位的系统安装的mysql 表最大是4g吗？mysql 2021-03-11 18:55
    回答 3

    这个最大4g应该是和是否是32位系统无关。

  • select 和 left join 的区别是啥？mysql 2021-03-11 18:54
    回答 9

    第一种叫外连接 处在join前面的表会全部选择出来，你自己去百度下 说不清第二中就是多表连接，进行笛卡尔积运算自己那拿表去实践 你很快就会明白

  • mysql5.5安装的时候最好一步不动，怎么办，没mysql 2021-03-10 17:35
    回答 4

    一定要卸载干净！！！ 1. 在控制面板将mysql管理软件卸载掉 2. 删除两个安装文件，如果没有修改安装路径的默认路径如下1）C:\Program Files  有一个mysql安装目录 ，将整个目录删除 2）另外一个安装路径是一个隐藏文件夹下的mysql目录将隐藏的文件显示...

  • mysql大数据量，行数多少与数据容量，哪个直接影mysql 2021-02-25 19:34
    回答 6

    事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数...

  • MySQL为什么使用utf8mb4还会乱码，插入数mysql 2021-02-25 19:31
    回答 5

    事实上MySQL 能承受的数据量的多少主要和数据表的结构有关，并不是一个固定的数值。表的结构简单，则能承受的数据量相对比结构复杂时大些。据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看，MySQL单表大约在2千万条记录（4G）下能够良好运行，经过数...

  • mysql数据库哪个版本稳定，兼容性强，对聚合函数mysql 2021-02-25 19:29
    回答 6

    mysql哪个版本比较稳定MySQL的选择要取决于用途的，mysql5.5或者5.7 的版本，网上资源较多mysql的版本如下：1. MySQL Community Server 社区版本，开源免费，但不提供官方技术支持。2. MySQL Enterprise Edition 企业版本，需付费，可以试用30天。3. MySQL C...

没有解决我的问题，去提问