MySQL中删除重复数据SQL的三种写法！

admin • • SQL技巧

MySQL中删除重复数据SQL的三种写法！

这篇文章主要介绍了MySQL中删除重复数据SQL的三种写法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下。

要在 MySQL 中删除重复的数据并只保留一条，可以使用下面的方法（要用的时候直接复制小改下条件和表名称即即可）

方法一：使用 left join + 子查询删除重复数据(推荐)

温馨提示：本人在 500w 数据下执行此 SQL 耗费 15s-30s 左右

使用 left join (推荐方法删除重复数据，添加唯一组合索引，可以使用，数据量大的也可以)

1
2
3
4
5
6
7
8
9
10
// 先把历史数据删除，才能够添加唯一的组合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (
SELECT MIN(id) AS min_id
FROM uf_cs_record_batch_detail
GROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;

另外在附上添加唯一组合索引的 SQL 写法（很实用）：

1
2
// 添加组合的唯一索引
ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);

方法二：创建临时表(需分多步执行，逻辑清晰，但会改变ID值)

这种方法假设你有一个表 your_table，并且你要基于某些列来判断哪些数据是重复的。
例如，如果你想删除基于 column1 和 column2 的重复记录，只保留一条记录，你可以按照以下步骤操作：

  • 使用 CREATE TABLE 语句创建一个临时表，用于存储唯一的记录。
  • 使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。
  • 删除原始表中的所有记录。
  • 使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。
  • 删除临时表。

以下是一个完整的 SQL 例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
-- 创建临时表 SQL 参考
CREATETABLE temp_table AS
SELECT*FROM your_table
-- 将不重复的数据临时存在这个 temp_table 临时表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (
SELECTMIN(t2.id)
FROM your_table t2
WHERE t1.column1 = t2.column1
AND t1.column2 = t2.column2
);
-- 然后将源表中的数据删除
DELETEFROM your_table whereWHERE 字段1=值;
-- 再将临时表中不重复数据重新写回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;
-- 最后删除临时表
DROPTABLE temp_table;

这样，你就成功地删除了原始表中的重复记录，只保留了一条唯一记录。

注意：但是这种方法会改变原来的数据 ID ，所以这种方法看场合使用

方法三：使用 JOIN 自连查询(需要注意性能问题)

为了避免改变原来的数据 ID，我们可以使用一个不同的方法，通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。

假设你的表结构如下：

  • 表名：your_table
  • 列名：id (主键), column1, column2, 以及其他列。

你可以使用以下 SQL 来删除重复记录，只保留一条（通常是保留 ID 最小的那一条）：

1
2
3
4
5
6
7
8
9
10
11
-- Step 1: 标记要删除的重复记录
DELETE t1
FROM your_table t1
INNER JOIN your_table t2
WHERE
t1.id > t2.id
AND t1.column1 = t2.column1
AND t1.column2 = t2.column2;
-- Step 2: 确认删除成功，查看剩余数据
SELECT * FROM your_table;

解释：

-标记要删除的重复记录：我们使用自连接 INNER JOIN 来找到重复的记录，并且使用 WHERE t1.id > t2.id 来确保只删除 id 较大的记录，从而保 留 id 最小的记录。

  • 确认删除成功：通过 SELECT 语句查看剩余的数据，确保删除操作正确。这个方法的优点是：不会改变原始数据的 ID。保留每组重复记录中 ID 最小的一条记录。操作简单且高效。

小总结

  • 使用 left join 删除重复数据(推荐使用)，适合大数据量，性能 OK
  • 创建临时表 适合需要重建数据表的场景，适合数据量中等的情况，不过比较繁琐
  • 自连查询 能保留最小 ID，适合不想改变 ID 的情况下删除重复数据。

到此这篇关于MySQL中删除重复数据SQL的三种写法的文章就介绍到这了。

 

 

学习资料见知识星球。

以上就是今天要分享的技巧，你学会了吗？若有什么问题，欢迎在下方留言。

快来试试吧，小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​！

更多技巧， www.excelbook.cn

欢迎 加入 零售创新 知识星球，知识星球主要以数据分析、报告分享、数据工具讨论为主；

Excelbook.cn Excel技巧 SQL技巧 Python 学习！

你将获得：

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群，共享资源。

5、优惠的会员商品。

6、一次付费只需129元，即可下载本站文章涉及的文件和软件。

文章版权声明 1、本网站名称：Excelbook
2、本站永久网址：http://www.excelbook.cn
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长王小琥进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END
分享
二维码
< <上一篇
下一篇>>