文本行去重工具

在线文本行去重工具,按行去除重复内容,可选择保留第一次出现的顺序或排序,支持忽略大小写、去除首尾空格和空行,适合整理名单、数据、关键词。

0
原始行数
0
去重后行数
0
删除行数

功能说明

本工具用于去除文本中完全重复的行,并保留首次出现的顺序。您可以将任意多行文本粘贴到输入区,点击“去重”按钮即可得到去重后的结果。同时提供四个选项,帮助您更灵活地处理文本。

使用方法

计算原理

工具按换行符(\n)将文本拆分为数组,然后依次遍历每一行。使用一个对象记录已经出现过的行(若勾选忽略大小写,则统一转为小写作为键),遇到未出现过的行则保留,否则跳过。最终得到去重后的行数组。若勾选排序,则对结果数组进行排序(忽略大小写时按小写排序)。删除行数 = 原始行数 - 去重后行数。

注意事项

为什么我勾选了“忽略大小写”后,输出结果中的大小写和原来不一样?

忽略大小写只影响去重判断,不会改变原始行的内容。输出时保留的是首次出现的那一行的原始内容,所以大小写可能不一致。若需要统一大小写,请先自行处理文本。

去重后排序是按什么顺序排序的?

排序采用 JavaScript 默认的字典序(Unicode 码点顺序)。如果勾选了忽略大小写,则按小写形式排序,但输出仍保留原始大小写。

我的文本包含空行,为什么删除行数统计和预期不一致?

删除行数 = 原始行数 - 去重后行数。如果未勾选“删除空行”,空行也会被保留一个(多个空行只保留一个)。如果勾选了“删除空行”,所有空行都会被移除,不参与去重。

这个工具能处理非常大的文本吗?

工具在浏览器中运行,处理能力受限于浏览器内存。对于几万行以内的文本通常没有问题,但超大文本(如几十万行)可能导致浏览器卡顿,建议分批处理。