Wie verteile ich Torrent-Dateien?

15

Ich arbeite verteilt mit RackSpace-Cloud-Servern und verwende Bittorrent, um meine Dateien zu verteilen. Es funktioniert überraschend gut. Das Verteilen der Torrent-Dateien selbst ist jedoch nicht so nett. Wie würden Sie das machen? Im Moment scp ich nur die Torrent-Dateien auf den Servern, und natürlich könnte ich ein Skript schreiben, das es auf sqrt(n)Server kopiert und jeden anweist, es erneut zu kopieren, sqrt(n)aber das ist eine Pita, um es zu bearbeiten.

chx
quelle

Antworten:

23

Nicht zu wissen , was genau das Problem ist, kann ich empfehlen pscpvon Parallel-ssh als Werkzeug kleine Dateien auf mehrere Server zu laden.

Sie bereiten eine Liste der Server vor, auf die hochgeladen werden soll, und geben an, welche Daten lokal abgelegt werden sollen und wo sie remote abgelegt werden sollen. Beispielsweise:

$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1
Chutz
quelle
1
Es gibt auch code.google.com/p/pdsh
chx
15

Angesichts der Tatsache, dass es sich um sehr kleine Dateien handelt, können Sie nicht einfach eine Dropbox über HTTP mit einem cron-Skript einrichten, das mit Platzhaltern ein Curl / Wget ausführt.

Chopper3
quelle
2
Dies ist die Methode, die ich verwenden würde, ohne eine Datei an jeden Server zu
senden
2
Sie könnten auch Marionette verwenden, um dies zu tun
Noah Yetter
8

Sie können die Torrent-Clients veranlassen, einen RSS-Feed auf neue Torrent-Dateien zu überprüfen oder zu Magnet-Links anstelle von Torrent-Dateien zu wechseln.

chewbakka
quelle
RSS ist möglicherweise keine Option, wenn er einen einfachen Befehlszeilen-Torrent-Client verwendet.
Hengjie
Er konnte Sie Flexget mit rtorrent ohne gui
Chewbakka
Ja, flexget und rtorrent würden dafür gut funktionieren
Grant
+1 "Wechsle zu Magnet-Links anstelle von Torrent-Dateien."
Michael
2

Vielleicht möchten Sie sich mit Mord befassen

Mord ist eine Methode, mit der Bittorrent Dateien an eine große Anzahl von Servern in einer Produktionsumgebung verteilt. Dies ermöglicht skalierbare und schnelle Bereitstellungen in Umgebungen mit Hunderten bis Zehntausenden von Servern, in denen zentralisierte Verteilungssysteme sonst nicht funktionieren würden

.

Murder wurde / wird von den Leuten bei Twitter entwickelt und sie verwenden es täglich, um Dateien zu verbreiten.

Jens Timmerman
quelle
Projekt wird nicht mehr gepflegt.
Chovy