Система - Программы для поиска и удаления дубликатов файлов

[Alex Cop]

Задача такая. У меня есть 500 ДВд дисков, забитых фильмами MPG4. я собираю фильмы из интернета десятками за день. Я их списываю на диски и пополняю свою коллекцию. Очень часто фильмы на разных интернет ресурсах дублируются часто под разными именами, например Day Watch.avi = Дневной дозор.avi. фильмы я качаю с помощью Teleport Ultra, которая ведёт базу данных по тем фильмам, которые уже скачаны. А проблема в следующем: как наиболее удобным образом(минимум затрат моего времени) определять, какие фильмы уде есть в моей коллекции, и удалять их, а каких ещё нет, и оставлять их. Итак, я нашёл недавно программу фриверную MD5 Registry, которая сопоставляет файлы по МД5 соответствию. Но в ней есть один недостаток - каждый файл приходится удалять вручную... Есть програма MPsoft Undoublе, но она, к сожалению, не способна к кумулятивному накоплению файлов. В идеале я бы хотел найти программу, которая бы обладала удобной системой поиска, как, например, Offline CD Browser, каждый диск бы хранился в отдельном файле, в котором бы хранилась исчерпывающая информация о структуре файлов, а также и контрольной сумме. и чтобы она корректно сравнивала содержимое жёсткого диска с всем массивом компакт дисков. К сожалению, я не смог найти такой программы. Наиболее близка к идеалу MD5 Registry, но у неё есть пару не очень удобных моментов. Может кто-то знает похожие программы? Я сначала хотел сам написать такую программу, заточенную под эту задачу, но у меня мало свободного времени на это... после того, как я нашёл md5 registry, я отказался от идеи писать свою программу, но вот модуль для преобразования её быза данных я бы написал. Если никто мне не подскажет, что ж , буду пользоваться MD5 Registry. Заранее спасибо за ответ...

[Ronald]

А вести список фильмов не пробовал? У меня например такой в екселе есть, и просто стоит ввести название и сразу определит есть такой или нет, ну конечно необходмы поля с оригин. названием и названием после корявого перевода.

[Alex Cop]

Да веду я списочек. это удобно, если добывается пару фильмов в день. А если в день их прибывает штук 40-50, то это можно задолбаться. а ищу я в файрфоксе - очень удобно. если надо найти. а вот если найти дубликаты, то проще повеситься

[Alex Cop]

Так, вот, за это время нашёл ТОЛЬКО одну программу, которая предназначена специально для этого. Называется duplibase. Но что мне в ней не понравилось,так это применение CRC32, а не МД5. Предназначена для удаления дубликатов с ХДД, имея в виду файлы списанные на ДВД.

стоит она 25 долларов, но для 25 долларов она ещё слишком сырая, и я не хочу её приобретать, она слишком простая...



Поиски продолжаются... желательно фриверную программу, которая написана с любовью и заботой о пользователе.



У MD5 registry обнаружил один серьёзный недостаток - она не может работать с файлами, имена которых содержат русские буквы. но она ещё сырая, может это пофиксят....



а вообще уже рука подымается самому такую программу написать... блин... ну неужели ни у кого таких задач нет? в инете сотни каталогизаторов, все на оно лицо, и нельзя понять, чем они так сильно отличабтся друг от друга...

а хоть бы один искал дупликаты _И_ имел базу данных. а то в инете программы в основном _ИЛИ_



((((((((((((((

[Alex Cop]

Вот я и начал писать такую программу. Она уже умеет делать всё то, о чём я писал... хочешь сделать что-то хорошо, сделай это сам (с) Пятый Элемент

она делает кое-что такое, что ни одна программа не делает: собирает МД5 слепок с мп3 файлов, полностью игнорируя тэги, сканирует заодно мп3 файл и вычисляет честным образом средний битрейт и время звучания. в будущем введу режим работы с папками, интеллектуальную систему определения схожести папок, и.т.д.... заточена под огромные объёмы данных - на десятки миллионов файлов. И чёрта с два бы я такую программу нашёл... зато моё!



а в будущем хочу в неё вмонтировать три интересных модуля -

1) поиск похожих по звучанию мп3 файлов с ФФТ анализом и.т.д.

2) выделение из мп3 трека мотива, или главной темы, или кульминации, или припева и последующее пережатие его в низком битрейте - как бы превьюшка для мп3

3) распознавание нот - выделение мотива и занесение его в базу данных, чтобы написав ноты можно было бы найти треки с таким мотивом



и насколько я знаю, нет ни одной программы, которая бы это делала, кроме третьего пункта, но те программы заточены под преобразование в миди мп3 файлов, а это немногг не то, хотя тоже интересно, но справляются они с этим отвратно...

[Igor_I]

Начал с фильмов - закончил мр3

Ну и как успехи? Альфа, вета есть? Посмотреть можно?

[Alex Cop]

Да, я написал альфу. Расчитывал на небольшую утилиту, поэтому писал как консольное приложение методами структурного программирования. работает с командной строки.

задача по сканированию содержания мп3, игнорируя таги решена. программа генерирует Батч-файл с командами для переноса дублирующихся файлов в указанное место.



сейчас я вижу, что надо будет её переделать в ООП. и сделать в GUI виде. потому что чем больше пишешь код, тьем больше хочешь новых возможностей.



хочу какм-то боком впихнуть туда одновременное сканирование поверхности ДВД или СД диска, путём внесения информации либо о скорости чтения, либо, что ешё лучше - статистики по c1 c2, PIE,PIF ошибкам. но в плане последнего я не нашёл СДК для этого. тогда на основании этой статистики можно было бы делать выводы о том, насколько надёжно хранится группа файлов, и ввести порог ошибок. соответствующий пункт в меню - перезаписать файлы, которые имеют определённый уровень ошибок. таким образом можно предотвратить потерю файлов при длительном хранении на СД и дВД из-за разложения красителя в составе болванки.



+ сделать экспорт базы данных в ХТМЛ формат



+всякие мелочи.



одному непросто это всё делать, тем более времени не хватает, но проект я не бросаю. хорошо бы кого-то присоединить... есть у меня приятель-программист, так ведь из запоя почти никогда не выходит...)

[foxbat]

посоветуйте прогу для поиска дубликатов файлов, желательно побесплатней

[MadMaks]

foxbat

Файлы каких типов искаться будут?

для всех типов файлов есть

NoClone

CloneSpy

Files Comparer

для картинок

ImageDupeless

Dup Detector

но кроме последней все платные

[foxbat]

Цитата:



foxbat

Файлы каких типов искаться будут?

для всех типов файлов есть NoClone

CloneSpy

Files Comparer

для картинок

ImageDupeless

Dup Detector

но кроме последней все платные



по большей части картинки

З.Ы.

послядняя ссылка то и не фурычит