当前位置

：首页 > 大数据 > 大数据资讯 > 大数据培训好学吗 MySQL进行Replace操作时造成数据丢失

大数据培训好学吗 MySQL进行Replace操作时造成数据丢失

编辑：光环大数据 来源: 互联网 时间: 2017-11-20 18:25 阅读: 次 大 中 小

公司开发人员在更新数据时使用了 replace into 语句，由于使用不当导致了数据的大量丢失，到底是如何导致的数据丢失?本文对此进行分析。

 

 

一、问题说明


公司开发人员在更新数据时使用了 replace into 语句，由于使用不当导致了数据的大量丢失，到底是如何导致的数据丢失?现分析如下。

 

 

二、问题分析

 

a. REPLACE 原理

 

REPLACE INTO 原理的官方解释为：

 

REPLACE works exactly like INSERT, except that if an old row in the table has the same value as a new row for a PRIMARY KEY or a UNIQUE index, the old row is deleted before the new row is inserted.

 

如果新插入行的主键或唯一键在表中已经存在，则会删除原有记录并插入新行;如果在表中不存在，则直接插入

 

地址：https://dev.mysql.com/doc/refman/5.6/en/replace.html

 

b. 问题现象

 

丢失数据的表结构如下：

CREATE TABLE `active_items` ( 

 `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', 

 `ad_id` char(32) NOT NULL DEFAULT '' COMMENT 'XXX', 

 `ap_id` tinyint(4) NOT NULL DEFAULT '1' COMMENT 'XXX', 

  `price` bigint(20) NOT NULL DEFAULT '0' COMMENT 'xxx', 

  `rate` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `cc_price` bigint(20) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `sale_count` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `prom_count` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `c1` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `status` tinyint(4) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `order_num` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `score` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `audit_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `prom_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `sales_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `create_time` int(11) NOT NULL DEFAULT '0' COMMENT '创建时间', 

  `modify_time` int(11) NOT NULL DEFAULT '0' COMMENT '最后修改时间', 

  `score_modify_time` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `brand_id` int(11) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `freight_status` tinyint(1) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  `flag` tinyint(4) NOT NULL DEFAULT '0' COMMENT 'XXX', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `idx_ad_id` (`ad_id`) USING BTREE, 

  ... 

) ENGINE=InnoDB AUTO_INCREMENT=2699 DEFAULT CHARSET=utf8 COMMENT='XXXXX'

执行的replace语句如下(多条)：

REPLACE INTO active_items(ad_id,score) VALUES('XXXXXXX', 1800);

通过查询binlog找到执行记录，部分如下：

### UPDATE `items`.`active_items` 

### WHERE 

###   @1=21926 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @2='XXXXXXX' /* STRING(96) meta=65120 nullable=0 is_null=0 */ 

###   @3=1 /* TINYINT meta=0 nullable=0 is_null=0 */ 

###   @4=3900 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @5=315 /* INT meta=0 nullable=0 is_null=0 */ 

###   @6=1228 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @7=19 /* INT meta=0 nullable=0 is_null=0 */ 

###   @8=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @9=-6 (4294967290) /* INT meta=0 nullable=0 is_null=0 */ 

###   @10=0 /* TINYINT meta=0 nullable=0 is_null=0 */ 

###   @11=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @12=8 /* INT meta=0 nullable=0 is_null=0 */ 

###   @13=1489997272 /* INT meta=0 nullable=0 is_null=0 */ 

###   @14=1495765800 /* INT meta=0 nullable=0 is_null=0 */ 

###   @15=1495728000 /* INT meta=0 nullable=0 is_null=0 */ 

###   @16=1489996426 /* INT meta=0 nullable=0 is_null=0 */ 

###   @17=1489997272 /* INT meta=0 nullable=0 is_null=0 */ 

###   @18=1495728725 /* INT meta=0 nullable=0 is_null=0 */ 

###   @19=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @20=1 /* TINYINT meta=0 nullable=0 is_null=0 */ 

###   @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */ 

### SET 

###   @1=35313 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @2='XXXXXXX' /* STRING(96) meta=65120 nullable=0 is_null=0 */ 

###   @3=1 /* TINYINT meta=0 nullable=0 is_null=0 */ 

###   @4=0 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @5=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @6=0 /* LONGINT meta=0 nullable=0 is_null=0 */ 

###   @7=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @8=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @9=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @10=0 /* TINYINT meta=0 nullable=0 is_null=0 */ 

###   @11=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @12=3150 /* INT meta=0 nullable=0 is_null=0 */ 

###   @13=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @14=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @15=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @16=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @17=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @18=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @19=0 /* INT meta=0 nullable=0 is_null=0 */ 

###   @20=0 /* TINYINT meta=0 nullable=0 is_null=0 */
###   @21=0 /* TINYINT meta=0 nullable=0 is_null=0 */

  • 操作的ad_id已经存在，因此先删除后插入，可以看到除了指定的 ad_id,score，其他字段都变为默认值，导致原有数据丢失(虽然在日志中转为了update)

 

c. 对比测试

 

接下来我进行了如下测试：

 

 

  • 左侧使用 REPLACE 语句，右侧使用 DELETE + INSERT 语句，最后结果完全相同

  • 原主键id为1的行被删除，新插入行主键id更新为4，没有指定内容的字段c则插入了默认值

  • 使用 REPLACE 更新了一行数据，MySQL提示受影响行数为2行

  • 综上所述，说明确实是删除一行，插入一行

 

 

三、数据恢复

 

数据丢失或数据错误后，可以有如下几种方式恢复：

 

  1. 业务方自己写脚本恢复

  2. 通过MySQL的binlog查出误操作sql，生成反向sql进行数据恢复(适合sql数据量较小的情况)

  3. 通过历史备份文件+增量binlog将数据状态恢复到误操作的前一刻

 


四、问题扩展


通过上述分析可以发现，REPLACE 会删除旧行并插入新行，但是binlog中是以update形式记录，这样就带来另一个问题：

 

从库自增长值小于主库

 

1. 测试

 

a. 主从一致：

 

主库：

mysql> show create table t/G 

*************************** 1. row *************************** 

       Table: t Create Table: CREATE TABLE `t` ( 

  `id` int(11) NOT NULL AUTO_INCREMENT, 

  `a` int(11) DEFAULT '0', 

  `b` int(11) DEFAULT '0', 

  `c` int(11) DEFAULT '0', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `a` (`a`) 

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 

1 row in set (0.00 sec)

从库：

mysql> show create table t/G 

*************************** 1. row *************************** 

       Table: t Create Table: CREATE TABLE `t` ( 

  `id` int(11) NOT NULL AUTO_INCREMENT, 

  `a` int(11) DEFAULT '0', 

  `b` int(11) DEFAULT '0', 

  `c` int(11) DEFAULT '0', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `a` (`a`) 

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 

1 row in set (0.00 sec)

 

b. 主库REPLACE：


主库：

mysql> replace into t (a,b)values(1,7); 

Query OK, 2 rows affected (0.01 sec) 

 

mysql> show create table t/G            

*************************** 1. row *************************** 

       Table: t Create Table: CREATE TABLE `t` ( 

  `id` int(11) NOT NULL AUTO_INCREMENT, 

  `a` int(11) DEFAULT '0', 

  `b` int(11) DEFAULT '0', 

  `c` int(11) DEFAULT '0', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `a` (`a`) 

) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 

1 row in set (0.00 sec)

从库：

mysql> show create table t/G 

*************************** 1. row *************************** 

       Table: t Create Table: CREATE TABLE `t` ( 

  `id` int(11) NOT NULL AUTO_INCREMENT, 

  `a` int(11) DEFAULT '0', 

  `b` int(11) DEFAULT '0', 

  `c` int(11) DEFAULT '0', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `a` (`a`) 

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 

1 row in set (0.00 sec)

注意此时主从两个表的AUTO_INCREMENT值已经不同了

 

c. 模拟从升主，在从库进行INSERT：

 

mysql> insert into t (a,b,c)values(4,4,4); 

ERROR 1062 (23000): Duplicate entry '4' for key 'PRIMARY' 

mysql> show create table t/G 

*************************** 1. row *************************** 

       Table: t Create Table: CREATE TABLE `t` ( 

  `id` int(11) NOT NULL AUTO_INCREMENT, 

  `a` int(11) DEFAULT '0', 

  `b` int(11) DEFAULT '0', 

  `c` int(11) DEFAULT '0', 

  PRIMARY KEY (`id`), 

  UNIQUE KEY `a` (`a`) 

) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 

1 row in set (0.00 sec) 

 

mysql> insert into t (a,b,c)values(4,4,4); 

Query OK, 1 row affected (0.00 sec)

  • 从库插入时会报错，主键重复，报错后AUTO_INCREMENT会 +1，因此再次执行就可以成功插入

 

2. 结论


这个问题在平时不会有丝毫影响，但是：

 

如果主库平时大量使用 REPLACE 语句，造成从库 AUTO_INCREMENT 值落后主库太大，当主从发生切换后，再次插入数据时新的主库就会出现大量主键重复报错，导致数据无法插入。

 

　　大数据培训哪家好、大数据培训靠谱吗、大数据培训排行榜、大数据培训费用、大数据培训多少钱等相关问题，欢迎咨询光环大数据官网在线客服：hadoop.aura.cn

 

 

 


大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！

大数据培训好学吗 Hadoop2和Hadoop1的区别 人喜欢 大数据分析培训 Spark on Angel
标签:

你可能也喜欢这些

在线客服咨询

热点阅读

  • 1大数据工程师真的干不过35岁吗?
  • 2文科生可以学习大数据吗？
  • 3零基础学大数据和人工智能哪个好？
  • 4英语不好可以学习大数据吗？
  • 5大数据是用什么语言开发的
  • 6大数据及云计算的发展现状和发展趋势如何
  • 7大数据开发和java开发一样吗
  • 8光环大数据分析 2018年iOS 开发真没人要了
  • 9大数据培训班一般都是怎么收费的？
  • 10重庆市金融工作办公室 大数据监测预警非法集资平台
  • 11大数据对我们的生活有什么影响？
  • 12大数据专业都有哪些就业方向

    • 网友最爱

  • 1光环大数据 解锁IBM企业级AI商业密码
  • 2光环大数据告诉你为什么说：人生苦短，我用Python
  • 3大数据对我们的生活有什么影响？
  • 4深圳大数据培训_深圳大数据培训课程好不好
  • 5大数据痛点
  • 6光环大数据口碑怎么样_政府最大化利用数据
  • 7 南京大数据_科技助力南京公安打击犯罪服务便民
  • 8数据可视化的7个好处
  • 9用Elasticsearch构建电商搜索平台，一个极有代表性的基础技术架构和算法实践案例（下）
  • 10大数据应用 大数据技术在金融行业中的应用与趋势展望
  • 11亚马逊构建大数据环境
  • 12大数据告诉你双十一快递哪家最快

    • 在线客服咨询

    领取资料

    X
    立即免费领取

    请准确填写您的信息

    点击领取

    关于我们| 服务条款| 联系我们| 友情链接| RSS订阅| 网站地图| 排版工具

    Copyright © 2014-2015 光环大数据培训 All Rights Reserved. 粤ICP备15019708号-4

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！

    #第三方统计代码(模版变量) '); })();
    '); })();