大神教你在Linux中查找和删除重复文件的4种方法

Linux中查找和删除重复文件的4种方法

在Linux系统中，重复文件或许会占用大量不必要的存储空间，影响系统的性能。于是，定期查找和删除重复文件是维护系统康健的重要步骤。以下是在Linux中查找和删除重复文件的4种方法，供您参考。

方法一：使用`find`命令配合`md5sum`查找重复文件

`find`命令是Linux中用于查找文件的有力工具，结合`md5sum`命令可以生成文件的MD5值，从而找出重复的文件。

find /path/to/directory -type f -exec md5sum {} \; | sort | uniq -d | cut -d ' ' -f1

解释：

`find /path/to/directory -type f`：查找指定目录下的所有文件。

`-exec md5sum {} \;`：对找到的每个文件执行`md5sum`命令，生成MD5值。

`sort`：对生成的MD5值进行排序。

`uniq -d`：找出重复的MD5值。

`cut -d ' ' -f1`：只显示MD5值，即重复文件的路径。

方法二：使用`du`和`sort`命令查找重复文件

`du`命令可以统计目录或文件的大小，结合`sort`命令可以找出占用相同空间的文件。

du -sk /path/to/directory/* | sort -nr | awk '{if ($1 > 1024) print $2}'

解释：

`du -sk /path/to/directory/*`：统计指定目录下所有文件的大小，以KB为单位。

`sort -nr`：按文件大小降序排序。

`awk '{if ($1 > 1024) print $2}'`：过滤出大于1KB的文件。

方法三：使用`shred`命令删除重复文件

当找到重复文件后，可以使用`shred`命令将其保险删除。

shred -u /path/to/重复文件

解释：

`-u`：删除文件后不再保留任何备份。

方法四：使用`rsync`命令删除重复文件

`rsync`是一个飞速、可靠的数据同步工具，也可以用来删除重复文件。

rsync -avh --delete --link-dest=/path/to/sync/directory /path/to/source/directory /path/to/destination/directory

解释：

`-a`：归档模式，保留元数据。

`-v`：详细输出。

`-h`：人类可读的输出。

`--delete`：删除目标目录中不存在的文件。

`--link-dest`：指定一个目录，当源文件与目标文件相同，则创建硬链接到指定目录。

以上就是在Linux中查找和删除重复文件的4种方法，期待对您有所帮助。在实际操作中，请选择实际情况选择合适的方法，并谨慎操作，避免误删重要文件。

本文由IT视界版权所有,禁止未经同意的情况下转发