{site_name}

{site_name}

🌜 搜索

Linux uniq命令用于去除或识别文件中的重复行

前端 𝄐 0
[Linux]Linux ,哪个系统做桌面比较方便,LinuxLinux系统
Linux uniq命令用于去除或识别文件中的重复行。它在 Linux 系统中非常有用,尤其是在处理大型文本文件时,可以帮助用户快速识别和去除重复行,从而简化数据处理工作。

uniq命令可以通过输入文件的标准输入流(stdin)或指定一个包含文本的文件来使用。默认情况下,uniq会将所有重复的行压缩成一个单独的行,并将结果输出到标准输出流(stdout)中。它还提供了一些选项,以便更好地控制如何去除重复行,例如只识别相邻的重复行、是否区分大小写等。

以下是一些示例:

1. 识别文件中的重复行并输出不重复的行:

$ cat file.txt
apple
orange
banana
orange
grape
banana
$ uniq file.txt
apple
orange
banana
grape


2. 只识别相邻的重复行,输出不重复的行:

$ cat file.txt
apple
orange
orange
banana
banana
grape
$ uniq -u file.txt
apple
orange
banana
grape


3. 忽略大小写识别文件中的重复行并输出不重复的行:

$ cat file.txt
Apple
orange
banana
ORANGE
Grape
banana
$ uniq -i file.txt
Apple
banana
Grape


4. 将识别到的重复行输出到新文件中:

$ cat file.txt
apple
orange
banana
orange
grape
banana
$ uniq -d file.txt > duplicates.txt
$ cat duplicates.txt
orange
banana