文本去重

文本去重原理

按行（或按整段）做集合去重，保留首次出现，可选忽略大小写与首尾空白

可保留原顺序或按出现频次排序

这个工具能做什么

• 多行文本去除重复行
• 忽略大小写 / 首尾空白后再判断
• 本地运行，不上传

怎么使用（输入说明）

1. 粘贴多行：每行一项。
2. 选选项：是否忽略大小写、是否去空白、是否保序。
3. 去重：得到唯一项列表。

忽略大小写和首尾空白是什么意思

开启后 “Apple” 与 “apple”、以及 “cat “ 与 “cat” 视为同一项，避免仅因大小写或多余空格造成的伪重复。

计算实例

例：输入 “a / A / a / b”，忽略大小写去重后得 “a / b”。

常见问题 FAQ

Q：去重后原来的顺序会打乱吗？

A：不会。工具保留每行第一次出现的位置，后续重复项被删除，其余行的先后关系与输入完全一致。如果需要排序，可以搭配站内的行排序工具使用。

Q：忽略大小写和忽略首尾空白是什么意思？

A：勾选忽略大小写后，Apple 与 apple 视为同一行；勾选忽略首尾空白后，行首行尾的空格、制表符不参与比较。两项只影响判重规则，输出仍是原始行内容。

Q：能处理多大的文本？

A：全部计算在浏览器本地完成，几万行文本通常瞬间出结果。数据不会发送到服务器，处理内部名单、日志等敏感内容也放心。