Wie kann ich doppelte Videos aus einer großen Anzahl von Videos in verschiedenen Formaten finden?

7

Nachdem ich ein Backup-Gerät mit einigen meiner Originalvideos verloren hatte, musste ich eine große Anzahl (~ 300) von Youtube zurückladen. Die neuen Downloads sind eine Mischung aus MP4 und FLV, und die Originale sind aufgrund vieler Experimente eine Mischung aus fast jedem Videoformat.

Um die Sache noch schlimmer zu machen, gibt es keinen klaren Grenzwert dafür, wann meine lokalen Kopien verschwunden sind. Ich habe in meinen YouTube-Videos einen Punkt gefunden, an dem ich einige der Videos habe und andere nicht. Ich habe versucht, Videos, bei denen ich bereits eine Kopie habe, manuell auszusortieren, aber bei so vielen Videos habe ich sicher einige verpasst.

Wie kann ich effektiv mehrere hundert Videos in verschiedenen Formaten durchgehen und Duplikate aussortieren? Die Namen sind ähnlich, aber nicht identisch. Die Formate können unterschiedlich sein, und die Dateigröße kann aufgrund dessen (und / oder Codierungsunterschiede) unterschiedlich sein. Die Dateilängen sollten gleich sein und die Videos sollten visuell ähnlich genug sein, aber ich bin mir nicht sicher, ob es ein Tool gibt, mit dem dies visuell geregelt werden kann.

Bin ich dazu verdammt, die Liste anhand der Laufzeit zu durchsuchen und manuell nach Duplikaten zu suchen, oder gibt es einen besseren Weg?

video Ben Brocka
quelle
1
Sehr interessante Frage!
Dr. Mayhem

Antworten:

11

Ich würde einen hybriden Ansatz empfehlen, bei dem sowohl Computer als auch Personen verwendet werden.

  1. Bucket die Videos nach ihrer Länge (auf die nächste Sekunde gerundet)
  2. Verwenden Sie ffmpeg für jeden Bucket, um Miniaturansichten an einem vorhersehbaren und einheitlichen Punkt in den Videos zu erstellen (z. B. ein Bild ab 10 Sekunden im Video).
  3. Sehen Sie sich die generierten Miniaturansichten in einem Raster an (die meisten Betriebssysteme bieten eine schöne Miniaturansicht) und suchen Sie nach Duplikaten, die entfernt werden können.

Sie sollten keine Programmierung durchführen müssen, um diese Schritte auszuführen, obwohl das Erstellen der Miniaturansichten in der Befehlszeile mit ffmpeg einige Finesse erfordern kann. Viel Glück!

Jimbo
quelle
Thumbnails sind eine großartige Idee! Die neuen Videos sind als FLV eingegangen, was ich nicht zu sehen scheint, egal was ich versuche. Dies könnte ganz gut funktionieren
Ben Brocka
ffmpeg sollte in der Lage sein, die flv-Dateien in etwas anderes (avi, mp4 usw.) zu konvertieren.
Jimbo
Ja, ich werde sie irgendwann in MP4 konvertieren, aber ich möchte sicherstellen, dass ich dabei so wenig Qualität wie möglich verliere, also habe ich es verschoben, bis ich mir die Zeit nehmen kann
Ben Brocka
Wenn Sie möchten, können Sie ein Programm finden, das die Miniaturansichten analysiert, um Duplikate zu finden. Die Zeit, die für die Suche und Konfiguration eines solchen Programms aufgewendet wird, lohnt sich jedoch nicht für ein kleines Projekt.
Cole Johnson
@BenBrocka Eine andere Lösung besteht darin, dass Sie beim Hochladen eine eindeutige Hash-Zeichenfolge (z. B. 8-stelliges Zeichen) aus Ihrer Datei erstellen, diese in Ihrer Datenbank speichern und eine Bedingung für die gespeicherte eindeutige Zeichenfolge hinzufügen, um doppelte Videos in der Upload-Zeit zu überprüfen.
Parsa
4

Ich würde sagen, Videoerkennungssoftware ist ein Nischenmarkt, der bedeutet, dass Sie entweder sehr teure Software und / oder Software finden, die sich an Behörden , Filmindustrie usw. richtet.

Es funktioniert per "Fingerabdruck" -Video, sodass es das Video trotz unterschiedlicher Formate, Komprimierungen, Zuschneiden usw. erkennen kann. Diese Fähigkeit ist in der nicht-forensischen Welt (zumindest noch nicht) nicht so verbreitet.

Ich habe versucht, etwas zu finden, das sich an Verbraucher richtet, konnte aber keines finden. Es gibt APIs (Programmierschnittstellen), die Technologie dafür bereitstellen und sogar kostenlos sind. Sie müssen jedoch die Software entwickeln, um sie selbst verwenden zu können. Ich bin mir ziemlich sicher, dass dies den Rahmen Ihrer Anforderungen sprengt.

Wenn Sie also nicht merklich Geld für spezielle Software ausgeben möchten, müssen Sie den Stapel manuell durchlaufen. In meinem obigen Link finden Sie jedoch eine Testversion dieser Software, damit Sie sehen können, ob Sie danach suchen und ob sie für Ihren Zweck funktioniert.

Gemeinschaft
quelle
Der Link ist tot.
Hermann Ingjaldsson
1

Sie können Video Comparer (Shareware) ausprobieren.

http://www.video-comparer.com

Es erkennt schnell ähnliche Videos mit Bildtransformationen und unterstützt die Aufteilung von Videos in mehrere CDs.

Rigop
quelle
Diese Software hat keine ähnlichen Videos erkannt (dieselbe Szene / Person im Abstand von einigen Minuten).
Clay Nichols
1

Ich hatte kürzlich das gleiche Problem und fand das Programm, das mir half. Es werden keine Dateinamen verglichen oder Hashes berechnet. Es vergleicht echte Videoinhalte. Es ist nicht kostenlos, aber wenn Sie nicht viele Duplikate haben, reicht die Testversion aus. Der Link zum Programm lautet http://duplicatevideosearch.com

Max Smirnoff
quelle