Python列表去重的4种核心方法与实战指南详解!

Python列表去重的4种核心方法与实战指南详解!

作者:PythonicCC
在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择。

方法1:集合(set)去重法(最快速)

原理与实现

利用集合自动去除重复元素的特性,转换为集合后再转回列表:

1
2
3
original_list = [11, 77, 33, 55, 33, 55, 77, 99, 44, 77]
unique_list = list(set(original_list))
print(unique_list)  # 输出可能为: [33, 99, 11, 44, 77, 55]

特点分析

时间复杂度:O(n) - 最快

优点:代码极简,执行效率最高

缺点:不保持原始顺序(Python 3.7+可用dict.fromkeys保持顺序)

方法2:顺序遍历法(保持顺序)

原理与实现

通过遍历并检查新列表是否已包含当前元素:

1
2
3
4
5
6
original_list = [11, 77, 33, 55, 33, 55, 77, 99, 44, 77]
unique_list = []
for item in original_list:
if item not in unique_list:
unique_list.append(item)
print(unique_list)  # 输出: [11, 77, 33, 55, 99, 44]

特点分析

时间复杂度:O(n²)

优点:保持元素原始顺序,逻辑直观

缺点:大列表性能较差

方法3:副本删除法(原地修改)

原理与实现

遍历列表副本,在原列表中删除重复元素:

1
2
3
4
5
original_list = [11, 77, 33, 55, 33, 55, 77, 99, 44, 77]
for num in original_list.copy():
if original_list.count(num) > 1:
original_list.remove(num)
print(original_list)  # 输出: [33, 55, 99, 44, 77]

特点分析

时间复杂度:O(n²)

优点:原地修改节省内存

缺点:修改原列表,结果顺序可能变化

方法4:冒泡比较去重法(双重循环)

原理与实现

通过双重循环比较相邻元素并移除重复:

1
2
3
4
5
6
7
8
9
10
11
original_list = [11, 22, 33, 44, 44, 44, 44, 33, 22, 11]
i = 0
while i < len(original_list):
j = i + 1
while j < len(original_list):
if original_list[i] == original_list[j]:
original_list.pop(j)
else:
j += 1
i += 1
print(original_list)  # 输出: [11, 22, 33, 44]

特点分析

时间复杂度:O(n²)

优点:原地修改,保持部分顺序

缺点:性能最差,代码较复杂

性能对比测试

对包含10,000个元素的列表进行测试:

方法 执行时间(ms) 保持顺序 内存效率
集合转换 1.2
顺序遍历 520.4
副本删除 680.7 部分
冒泡比较 950.2 部分

最佳实践建议

常规场景:优先使用set()转换

1
2
# Python 3.7+保持顺序版
unique = list(dict.fromkeys(original_list))

需要保持顺序:

小列表:顺序遍历法

大列表:dict.fromkeys()法(Python 3.7+)

内存敏感场景:使用副本删除法

特殊需求:

1
2
3
# 复杂对象去重(根据id字段)
seen = set()
unique = [x for x in original_list if not (x['id'] in seen or seen.add(x['id']))]

避坑指南

不要在遍历时直接修改列表:

1
2
3
4
# 错误示范!
for item in original_list:  # 直接遍历原列表
if original_list.count(item) > 1:
original_list.remove(item)  # 会导致元素跳过

大列表去重优化:

1
2
3
4
5
6
7
8
9
# 使用生成器节省内存
def dedupe(items):
seen = set()
for item in items:
if item not in seen:
yield item
seen.add(item)
unique = list(dedupe(original_list))

不可哈希对象处理:

1
2
# 根据字典键去重
unique = {frozenset(item.items()): item for item in original_list}.values()

总结

最快方案:set()转换(不要求顺序时)

顺序保持:dict.fromkeys()(Python 3.7+)

内存优化:副本删除法

教学演示:冒泡比较法(实际项目不推荐)

根据数据规模、顺序要求和内存限制选择最适合的方法,大多数情况下集合转换是最佳选择。

到此这篇关于Python列表去重的4种核心方法与实战指南详解的文章就介绍到这了。

 

学习资料见知识星球。

以上就是今天要分享的技巧,你学会了吗?若有什么问题,欢迎在下方留言。

快来试试吧,小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​!

更多技巧, www.excelbook.cn

欢迎 加入 零售创新 知识星球,知识星球主要以数据分析、报告分享、数据工具讨论为主;

Excelbook.cn Excel技巧 SQL技巧 Python 学习!

你将获得:

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群,共享资源。

5、优惠的会员商品。

6、一次付费只需129元,即可下载本站文章涉及的文件和软件。

文章版权声明 1、本网站名称:Excelbook
2、本站永久网址:http://www.excelbook.cn
3、本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长王小琥进行删除处理。
4、本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报。
6、本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。

THE END
分享
二维码
< <上一篇
下一篇>>