Java List去重：Stream、HashMap与TreeSet对比分析

原创

Yeats_Liao

修改于 2024-12-25 11:05:34

6640

文章被收录于专栏：后端知识开放麦后端知识开放麦

在处理包含重复元素的List时，高效地去除重复项是提高数据质量的关键步骤。本文将详细介绍如何运用Java 8 Stream API、HashMap以及TreeSet来实现List去重，并比较它们之间的优缺点及适用场景。

1. 使用Stream API去重

List<String> duplicates = Arrays.asList("apple", "banana", "apple", "cherry", "banana");
List<String> uniqueUsingStream = duplicates.stream()
                                          .distinct()
                                          .collect(Collectors.toList());

distinct()是Stream API提供的一个中间操作，它可以有效地移除流中的重复元素。此方法基于Object.equals()实现去重，适用于对象已正确覆盖equals()和hashCode()方法的情况。

2. 使用HashMap去重

List<String> duplicates = ... // 假设是包含重复元素的列表
Set<String> uniqueUsingMap = new HashSet<>(duplicates);
List<String> uniqueListUsingMap = new ArrayList<>(uniqueUsingMap);

通过将List转换为HashSet（底层实现为HashMap），可以利用哈希表特性达到去重效果。这种方法同样依赖于对象的equals()和hashCode()方法，但通常具有较高的性能。

3. 使用TreeSet去重

List<String> duplicates = ... // 同上
List<String> uniqueUsingTreeSet = new ArrayList<>(new TreeSet<>(duplicates));

TreeSet内部使用红黑树进行排序和去重，如果元素类型实现了Comparable接口或者提供了Comparator，那么不仅能去重还能按照指定顺序排列元素。

4. 实例代码详解

1. 使用Stream API去重

import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;

public class ListDeDuplicationExample {
    public static void main(String[] args) {
        // 创建一个包含重复元素的List
        List<String> duplicates = Arrays.asList("apple", "banana", "apple", "cherry", "banana");

        // 使用Stream API进行去重
        List<String> uniqueUsingStream = duplicates.stream()
                                                 .distinct()
                                                 .collect(Collectors.toList());

        // 输出去重后的结果
        System.out.println("Unique elements using Stream API: " + uniqueUsingStream);
        
        // 解析：
        // `stream()`将List转换为Stream流，`distinct()`是一个中间操作，它会跳过所有连续重复的元素，仅保留第一个出现的。
        // 最后，`collect(Collectors.toList())`将去重后的流转换回List形式。
    }
}

2. 使用HashMap去重

import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;

public class ListDeDuplicationExample {
    public static void main(String[] args) {
        // 同样创建一个包含重复元素的List
        List<String> duplicates = Arrays.asList("apple", "banana", "apple", "cherry", "banana");

        // 使用HashMap（通过HashSet间接实现）去重
        Set<String> uniqueSetUsingMap = new HashSet<>(duplicates);

        // 将Set转换回List
        List<String> uniqueListUsingMap = new ArrayList<>(uniqueSetUsingMap);

        // 输出去重后的结果
        System.out.println("Unique elements using HashMap: " + uniqueListUsingMap);
        
        // 解析：
        // HashSet是不允许重复元素存在的集合，其内部使用了HashMap来存储数据，因此当我们将List添加到HashSet时，重复的元素会被自动忽略。
        // 由于HashSet不保证元素的插入顺序，所以最终转换回List时，元素的顺序可能会变化。
    }
}

3. 使用TreeSet去重并排序

import java.util.ArrayList;
import java.util.List;
import java.util.TreeSet;

public class ListDeDuplicationExample {
    public static void main(String[] args) {
        // 创建包含重复元素且未排序的List
        List<String> duplicates = Arrays.asList("banana", "apple", "cherry", "apple", "banana");

        // 使用TreeSet去重并按自然顺序排序
        TreeSet<String> uniqueSortedSet = new TreeSet<>(duplicates);

        // 将TreeSet转换回List
        List<String> uniqueAndSortedList = new ArrayList<>(uniqueSortedSet);

        // 输出去重并排序后的结果
        System.out.println("Unique and sorted elements using TreeSet: " + uniqueAndSortedList);
        
        // 解析：
        // TreeSet不仅不允许重复元素，而且它以红黑树的形式存储数据，实现了SortedSet接口，这意味着元素会按照它们的自然顺序或者自定义Comparator进行排序。
        // 当元素类型String已经实现了Comparable接口时，无需额外提供Comparator也能完成排序。
    }
}

5. 区别总结

Stream.distinct()：简洁易用，适合小到中等规模的数据集，且对象需正确实现equals()和hashCode()。适用于数据清洗或简单的集合去重操作，特别是在已经使用Stream API处理其他逻辑的场景下。
HashMap/HashSet：基于哈希表，效率较高，尤其在大量数据下表现优秀，同样要求对象具备正确的equals()和hashCode()。当需要快速去重并且不关心元素顺序时，这是一个很好的选择，例如在内存数据库或缓存系统中。
TreeSet：不仅去重，还能自动排序，若数据量大且需要排序，则适用性更广，但性能相比前两者可能稍低，因为涉及到了额外的排序操作。当去重的同时需要对元素进行排序时，如生成有序的结果集，或者用于需要保持特定顺序的业务场景。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯技术创作特训营S11#重启人生

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯技术创作特训营S11#重启人生

登录后参与评论

0 条评论

热度