字典去重工具

zxc-pride

一、功能介绍：
    字典一般用于暴力破解密码，但网上下载的一些字典或自己收集的弱口令经常会出现重复的密码。并且有时候需要合并两个字典文件。
    这个软件的功能就是删除文件中重复的数据或者合并两个字典文件，或筛选出其中8位以上的密码。
    处理速度的话1600W条记录，大概1分50秒左右，(这是我电脑MSI-GF63上测试的结果)，每个人电脑性能不同，自己测试。由于python测试结果不太满意，所以软件用C++写的，这个速度是我极限但不是C++的（原创软件）。


二、使用说明：
    使用 管理员方式运行 (需要有写C盘权限)。在C盘根目录生成一个 new.txt 新的字典文件，没有在原文件的基础上进行删除，因为原文件可能还有用。如果原文件不要可以自己删除。



1. 去重复
在字典1处 选择需要删除重复的字典文件，点击“去重排序即可”。

2. 筛选出8位以上密码
    在字典1处 选择需要删除重复的字典文件，点击“筛选8位以上密码”。

3. 合并字典
    字典1和字典2选择两个文件，点击进行合并(合并默认不进行去重复)。

4. 计算
    用来查看当前字典大小使用。


Tip：如果是非常大的字典，这个软件并不适用，因为我算法数据结构不太好。另外不会用的自己仔细看帖子信息。

三、运行示例： 选择2个字典进行合并，再对新生成的字典去重复。

-----合并


-------去重复


下载地址：https://pride.lanzouy.com/iapgm0igbh7a   密码：pride

jflmao

这个去重排序，用Python的话，性能不会这么弱吧，我只是用了 set() 和 sort() 两个内置函数试了一下



速度还可以啊，字典总共2000万行，重复的有600多万行，



字典文件170多MB
30多秒就处理完了
我的笔记本还是8年前的MSI-GE60

evanevanus

①应该有个“清空”按钮
②字典1和字典2不能同时去重吗？
③建议合并或去重点文件与原文件放在相同文件夹内，命名上加上“去重”或“合并”，这样用起来会更方便

Flanders

感谢分享字典去重和合并实用小工具

ouzhzh

这个用在别处去重，也应该可以吧？

zxc-pride

evanevanus 发表于 2022-12-15 11:32
①应该有个“清空”按钮
②字典1和字典2不能同时去重吗？
③建议合并或去重点文件与原文件放在相同文件夹 ...

感谢建议。

0xYolin

早发现就好了，现在已经不玩字典了。。。

virsnow

好东西 ，收藏

Kendodoo

让我想起集合啊哈哈

petereda

谢谢分享，玩一下

law9501

谢谢分享！