温馨提醒：请勿滥用爬虫！

温馨提醒：爬虫技术的出现是人类对互联网 探索的一大进步。本文仅用于学习、技术交流，运用爬虫等手段攻击他人服务器和网站的行为可能触犯相关法律法规。如出现以上情况，本站概不负责！

最近收集了三千多份近 12GB 的零散文件，发现其中有许多重复的，多占用很多空间。想用 Python 清除重复文件，便在百度上搜了搜方法，记录在下。