Поиск дубликатов и похожих изображений в Windows, включая уменьшенные и пересохранённые копии
Инструменты точного сравнения пропускают копии, которые были уменьшены, переведены в WebP или сохранены заново. Как работает визуальный поиск дубликатов, где его возможности заканчиваются и какой инструмент подходит для какой задачи.
Почему большинство программ поиска дубликатов пропускают большую часть ваших копий
Простейшие программы поиска дубликатов сравнивают содержимое файлов побайтно или сравнивают контрольную сумму файла. Два файла совпадают, только если это в точности один и тот же файл.
В настоящих коллекциях так бывает редко. Одна и та же картинка приходит как полноразмерный PNG от художника, уменьшенный JPEG из репоста, WebP, сохранённый из браузера, и пережатая копия из мессенджера. Для побайтного сравнения это четыре разных файла.
Как работает визуальное сравнение
Визуальный поиск дубликатов сравнивает то, как выглядит изображение, а не то, как хранится файл. Распространённый метод называется перцептивным хешем:
- Уменьшить изображение до крошечной версии в оттенках серого, чтобы размер и глубина цвета перестали иметь значение.
- Превратить его общую структуру в короткий отпечаток.
- Сравнить отпечатки. Если два отличаются всего несколькими битами, изображения выглядят одинаково.
Так находятся уменьшенные копии, смена формата (PNG, JPEG, WebP), повторное сжатие и небольшие правки, например водяной знак в углу.
Надёжно не находятся сильно обрезанные, зеркально отражённые или сильно отредактированные картинки. Они выглядят достаточно иначе, чтобы любой честный инструмент считал их отдельными изображениями.
Дубликаты и почти дубликаты
Генерация с помощью ИИ добавляет третий случай: варианты. Тот же промпт, немного другие руки или выражение лица. Это не копии, и их автоматическое удаление означало бы выбросить проделанную работу.
Хороший порядок работы разделяет эти случаи. Настоящие копии можно сразу отправлять в папку для проверки. Варианты остаются в коллекции, рядом друг с другом, чтобы вы могли выбрать любимые на глаз.
Какой инструмент для какой задачи
| Инструмент | Цена | Подходит для |
|---|---|---|
| dupeGuru | Бесплатно, открытый код | Разовой чистки. Режим изображений находит визуально похожие картинки. |
| Czkawka | Бесплатно, открытый код | Быстрого поиска похожих изображений на больших дисках. |
| Art Sorter | Платно; бесплатно до 300 изображений | Поиска копий в рамках сортировки всей папки по персонажу и сцене. |
Если вам нужно только один раз удалить дубликаты, бесплатного инструмента достаточно. Art Sorter имеет смысл, когда дубликаты лишь один из признаков папки, которую вы также хотите отсортировать.
Как Art Sorter работает с дубликатами
- Копии находятся по тому, как выглядит картинка, поэтому уменьшенные, сконвертированные и пересохранённые версии обнаруживаются.
- Если две копии различаются по размеру, файл побольше остаётся в отсортированном ряду, а меньший перемещается в папку дубликатов.
- Ничего не удаляется. Вы сравниваете пары рядом и очищаете папку сами.
- Почти пустые изображения (один сплошной цвет) пропускаются при визуальной проверке, потому что все они выглядели бы одинаково.
В реальной тестовой папке из 360 изображений, где были 180 оригиналов и набор их копий превью, старая побайтная проверка нашла 0 пар. Визуальная проверка нашла 181.
Контрольный список безопасной чистки
- Сначала работайте с копией или используйте инструмент, который только перемещает файлы в папку для проверки.
- Оставляйте версию с наибольшим разрешением.
- Посмотрите на пары рядом, прежде чем что-либо удалять.
- Не трогайте почти одинаковые варианты, пока не выберете любимые.
- Очищайте папку для проверки только после нескольких дней обычной работы.
Частые вопросы
Может ли Windows сама найти дубликаты изображений? Проводник может сортировать по имени, размеру или дате, и это помогает с точными копиями, у которых сохранились имена. Он не сравнивает, как выглядят картинки, поэтому для уменьшенных или сконвертированных копий нужен визуальный поиск дубликатов.
Удаляет ли Art Sorter дубликаты автоматически? Нет. Копии перемещаются в отдельную папку дубликатов, и вы очищаете её сами после проверки пар.
Будут ли похожие ИИ-варианты считаться дубликатами? В папку дубликатов попадают только настоящие копии одной и той же картинки. Варианты, которые отличаются позой, руками или выражением лица, остаются в коллекции, рядом друг с другом.
Загружаются ли мои изображения для поиска дубликатов? Нет. Файлы изображений никогда не загружаются. Чтобы сопоставить порядок, на наш сервер отправляются описания изображений (числовые отпечатки и слова-теги), поэтому для сортировки нужно подключение к интернету.