【原创源码】删除重复图片
本帖最后由 chenye1314 于 2020-10-28 20:00 编辑今天闲来无事整理素材，发现有许多重复的图片，由于数量太多无法手动翻阅删除，想想写个代码，分析了一下重复图片有些是同名的，有些内容重复不同名，返回文件名清理放弃，图片大小也放弃放弃，后来选用计算MD5的方式清除，然后先是使用os.listdir()函数遍历文件夹下的图片，在测试过程中，如果文件夹下还包含文件夹就会引发异常，后来决定用os.walk()函数来遍历；
源码注释写的比较清晰，就不多阐述，可根据自己需要封装函数，制作成死循环，添加退出条件，复用；
部分源码展示
try:
file = os.walk(path) # 递归遍历目录；
except FileNotFoundError: # 捕获路径不存在异常；
print('抱歉，没有这个路径！')
else:
temp = set() # 创建临时集合；
del_count = 0 # 删除图片计数；
pass_count = 0# 非图片计数；
file_count = 0# 总文件计数；
time1 = time()
for path_name, dir_name, file_name in file: # 遍历walk返回3个元素；
for n in file_name: # 获得每个文件名字；
full_path = os.path.join(path_name, n)# 拼接路径和文件名，获得文件完整路径；
file_count += 1 # 文件计数+1；
print(full_path)
try:
with Image.open(full_path) as t: # 打开图片；
array = np.array(t) # 转为数组；
except (UnidentifiedImageError,DecompressionBombError): # 捕获不是图片，像素炸弹异常；
pass_count += 1 # 非图片计数+1；
pass
else:
md5 = hashlib.md5() # 创建MD5对象；
md5.update(array) # 获取当前图片MD5；
if md5.hexdigest() not in temp: # 如果哈希值没有在集合中；
temp.add(md5.hexdigest()) # 就把哈希值添加到集合中；
else:
os.remove(full_path) # 如果在集合中就删除当前图片；
print(full_path+'------------------已删除')
del_count += 1 # 删除计数+1
编译好的可执行EXE文件
链接：https://pan.baidu.com/s/18-ekvN40GT4Ezek29oaHXA
提取码：77vf 本帖最后由 leonca 于 2020-9-27 21:52 编辑
批处理版本，计算文件的MD5值，并根据重复的MD5值筛选出重复的文件。不仅可用于图片，还可以用于其他文件。MD5的值只会根据文件内容而有所不同，跟文件名不同，所以你的文件内容有任何的变动都会导致MD5不同
例如，两张一模一样的照片经过了非常简单的PS，那也是不同的MD5值。所以这个批处理可以筛选出，完全一模一样的文件，但是不能完全筛选出相似的图片。
这个附件是MD5的计算工具，随便解压放在一个地方。为了方便，我们需要设置这个文件的环境变量。setx path "%path%;d:\md5" /m
上面的代码是设置环境变量的，其中D:\MD5代表的是解压出来的md5.exe放在D盘的md5文件夹下，如果你放的文件夹不同，那么修改一下就可以了。
下面是完整的批处理代码
将待检测的文件夹（例如文件夹是photo）直接拖到批处理上，批处理会自动运行，同时批处理所在目录会生成ret_list.txt、del_list.bat、photo_md5.txt三个文件。
①ret_list.txt中会写明是哪些文件重复了
②photo_md5.txt是该文件夹下包含子文件夹下的所有文件的md5值
③del_list.bat是自动生成的批处理删除重复文件，只需要双击即可删除重复文件，不过最好先打开看一下里面的内容。
@goto start
:help
@echo.===== Ver: 1.1 =========================== 发布日期: 2010-09-24 =======
@echo. BAT_NAME: findDupFile.bat
@echo. 返回值: %ret_filename%
@echo. 作用: 根据MD5值查找重复文件
@echo. 调用: ①findDupFile.bat ]
@echo. ②findDupFile.bat ]
@echo. ③findDupFile.bat
@echo. : 文件夹路径 (可以是多个)
@echo. : 文件 (可以是多个)
@echo. : 文件后缀 如:"*.jpg *.bmp",带空格的必须用引号括起来
@echo. : MD5文件,形如"*_MD5.txt",带空格的必须用引号括起来
@echo.====================== Copyright@ by hf-g ========= [彭城] ============
ping /n 4 127.1>nul
goto:end
:start ============================================================
@echo off&setlocal
path=%path%;%~d0\DOS\command\第三方命令行程序
set "ret_filename=%~dp0.\ret_List.txt"
if /i "%~1"=="" goto help
if /i "%~1"=="-?" goto help
set "ext="&set "pathname="&set "Dir_name="&set "MD5_file1="&set "MD5_file2="&set "p_str="
set /a exit_BL=0,D_count=0,f_count=0
call:get_P %*
if "%exit_BL%"=="1" goto end
::设置临时文件
set "tmpfname=%pathname_0:~-2%"
if "%tmpfname%"==":\" (
set "Dir_name=drive_%pathname_0:~0,1%"
call echo 驱动器名: %%Dir_name%%
) else (
if "%pathname_0:~-1%"=="\" (
call call:extpath "%%pathname_0:~0,-1%%"
call echo 文件夹名: %%Dir_name%%
) else (
if exist "%~1\" (
set "Dir_name=%~nx1"
call echo 文件夹名: %%Dir_name%%
)
)
)
if %f_count% GTR 0 set "Dir_name=list"
if %D_count% GTR 1 set "Dir_name=list"
set "tmpfname=%~dp0.\%Dir_name%_MD5.txt"
cd.>"%ret_filename%"
echo 生成MD5文件: %tmpfname%
echo 相同文件列表: %ret_filename%
echo 删除重复文件BAT: del_list.bat
::========================MAIN============================
::生成MD5文件,可一次处理多个文件夹和文件,只在批处理所在文件夹生成1个MD5文件.
::set "ext=*.jpg *.bmp"
set/a D_count-=1,f_count-=1
if not "%pathname_0%"=="" (
cd.>"%tmpfname%"
for /l %%i in (0,1,%D_count%) do (
call pushd "%%pathname_%%i%%"
(for /f "tokens=* delims=" %%i in ('dir /a-d/b/s %ext%') do (md5 "%%i"))>>"%tmpfname%"
popd
))
if not "%file_0%"=="" (
if "%pathname_0%"=="" cd.>"%tmpfname%"
for /l %%i in (0,1,%f_count%) do (call md5 "%%file_%%i%%")>>"%tmpfname%"
)
::处理MD5文件━━━━━━━━━━━━━━━━━━━━━━━━━━━━
cd.>"%~dp0.\del_list.bat"
if "%MD5_file1%"=="" (
rem =========查找上面"生成MD5文件"中相同的文件,删除重复的====
call:MD5_1file "%tmpfname%"
) else (
if "%MD5_file2%"=="" (
if not exist "%tmpfname%" (
rem =========查找原有的唯一MD5列表文件中相同的文件,删除重复的====
call:MD5_1file "%MD5_file1%"
) else (
rem =========查找上面"生成MD5文件"与原有MD5文件中相同的文件,删除重复的====
call:MD5_2file "%MD5_file1%" "%tmpfname%"
)
) else (
rem =========查找原有MD5_file1与原有MD5_file2文件中相同的文件,删除重复的====
call:MD5_2file "%MD5_file1%" "%MD5_file2%"
)
)
:end ==============================================================
::if exist "%tmpfname%" del "%tmpfname%" "%~dp0.\del_list.bat"
exit /b
::=========查找MD5列表文件中相同的文件,删除重复的====
:MD5_1file MD5_file
for /f "tokens=1* delims= " %%a in ('type "%~1"') do (
set/p =-<nul
if defined _MD5_%%a (
set/p =\<nul
echo @Del /f/q "%%b">>"%~dp0.\del_list.bat"
set/p =^|<nul
if not defined _write_%%a (findstr "^%%a" "%~1">>"%ret_filename%"&echo.>>"%ret_filename%"&set "_write_%%a=1")
) else (
set "_MD5_%%a=1"
)
set/p =/<nul
)
goto:eof
::=========查找MD5_file1中与MD5_file2相同的文件,删除MD5_file2中重复的====
:MD5_2file MD5_file1 MD5_file2
(echo MD5_file1=%~1&echo MD5_file2=%~2)>con
(echo MD5_file1=%~1&echo MD5_file2=%~2&echo.)>>"%ret_filename%"
for /f "tokens=1* delims= " %%a in ('type "%~1"') do (set "_MD5_%%a=%%b")
for /f "tokens=1* delims= " %%a in ('type "%~2"') do (
set/p =-<nul
if defined _MD5_%%a (
set/p =\<nul
echo @del /f/q "%%b">>"%~dp0.\del_list.bat"
set/p =^|<nul
(set _MD5_%%a&echo %%a %%b&echo.)>>"%ret_filename%"
set/p =/<nul
)
)
goto:eof
::====================================================
:extpath
set "Dir_name=%~nx1"
goto:eof
::========================参数设置与获得============================
:get_p
::判断%1是_MD5.txt还是文件夹或其他文件或文件后缀
if "%~1"=="" goto:eof
set "p_str=%~1"
if exist "%p_str%" (
if "%p_str:~-8%"=="_MD5.txt" (
if "%MD5_file1%"=="" (
set "MD5_file1=%p_str%"&shift /1&goto get_p
) else (
set "MD5_file2=%p_str%"&shift /1&goto get_p
)
)
if exist "%p_str%.\" (
call set "pathname_%%D_count%%=%p_str%"&set /a D_count+=1&shift /1&goto get_p
)
call set "file_%%f_count%%=%p_str%"&set /a f_count+=1&shift /1&goto get_p
) else (
if "%ext%"=="" (
if "%p_str:~0,2%"=="*." (
set "ext=%p_str%"&shift /1&goto get_p
)
)
echo %p_str% 不是一个正确的文件夹路径或文件^!&set /a exit_BL=1&shift /1&goto end
)
@echo off
:get_p_end
goto:eof
本帖最后由 沉鱼雁 于 2020-10-8 13:21 编辑
已搬运，免登录不限速
https://ws28.cn/f/3lpjmsgtbt8
问问这删的是名字重复还是内容重复 hw520wh 发表于 2020-9-27 16:58
问问这删的是名字重复还是内容重复
内容重复的 chenye1314 发表于 2020-9-27 17:00
内容重复的
那给力呀 感谢分享，这个很有用 可以筛选类似图片吗？ 感谢分享
感谢分享 这个很给力了，多谢分享