Wie kann ich eine TB an Daten auf einen neuen Webserver übertragen?

31

Ich habe eine TB komprimierter Mediendateien, die ich dringend auf einen Remote-Webserver übertragen muss. (aus meinem Büro)

Unsere Upload-Rate beträgt nur 500 KB / s, was ungefähr 23 Tage für den Upload bedeuten würde.

Das neue Hosting-Unternehmen akzeptiert keine Laufwerke per E-Mail.

Gibt es einen guten Ort, um in den großen U-Bahn-Gebieten eine dickere Pfeife auszuleihen?

transfer data Brian Webster
quelle
10
Ich weiß , das ist keine Antwort, oder auch nur besonders hilfreich, aber wenn Ihr neues Hosting - Unternehmen arbeitet mit Ihnen auf dies nicht bereit ist , benötigen Sie einen zu finden , neues neues Hosting - Unternehmen. Die Nichtannahme einer Fahrt von einem Kunden (gegen eine Gebühr natürlich) ist ziemlich bescheuert.
Voretaq7
Überprüfen Sie meine Antwort, es ist ein Datenspeicherunternehmen in Tulsa
Anagio
Hier gibt es gute Antworten, aber hätte dies nicht auf ServerFault übertragen werden sollen?
Mark Hurd
1
Vielleicht, aber ich betrachte serverfault als einen Ort, an dem die Konfiguration von Hardware und Software besprochen werden kann, während dies die Verwendung von Webmastern ist, die zur Erreichung einer komplexeren Aufgabe zur Verfügung stehen
Brian Webster,

Antworten:

16

Ich wende mich an einige Ihrer lokalen Rechenzentren (Rack-Hosting, Managed Service Provider usw.) und erkundige mich nach der Anmietung eines virtuellen Computers oder einer virtuellen Maschine für ein oder zwei Tage. Stellen Sie sicher, dass Sie eine Festplatte für die Erstübertragung einlegen können, und dass Sie Ihre Bandbreitenanforderungen kennen.

Sie können auch einfach fragen, ob sie Ihnen beim Hochladen helfen. Sie sind häufig opportunistisch, erfinderisch und sind möglicherweise bereit, Sie bei der Gelegenheit zu unterstützen, etwas von Ihrem Geschäft zu bekommen.

InChargeOfIT
quelle
3
Es gibt auch eine Remote-Rechenzentrumsoption: Amazon AWS! Versenden Sie ihnen Festplatten, und sie berechnen (zum jetzigen Zeitpunkt) 80 US-Dollar pro Gerät plus 2,50 US-Dollar pro Datenladezeit plus die Kosten für die Speicherung der Daten, solange diese in AWS gespeichert sind plus die Datenübertragung. Möglicherweise nicht die attraktivste Option, aber wirf es einfach da raus.
Das ist gut zu wissen. Wir benutzen AWS ziemlich oft! Wissen Sie, wo ich über diesen Service lesen kann? Es ist schwer auf Google zu finden (zumindest die Schlüsselwörter, die ich verwende)
Brian Webster
1
aws.amazon.com/importexport
Rich
11

Sie könnten, wenn Sie Freunde oder Mitarbeiter haben, die bereit sind, Ihnen bei der Verbindung zu Hause zu helfen, einen Torrent für die große Datei einrichten und Ihre Mitarbeiter / Freunde als Seeds einrichten. Natürlich müssten Sie die Datei in den Warenkorb legen und auf alle kopieren. Selbst dann könnten Sie die Datei in .rars aufteilen und "Teams" Teile senden lassen (achten Sie darauf, dass sie die Dateien, die sie nicht haben, nicht herunterladen). Crowd Sourcing ftw!

luke
quelle
3
Dies wäre besonders effektiv, wenn Sie Freunde haben, die in der Schule sind. Sie haben nicht nur Zugang zu netten Hochgeschwindigkeits-Universitätsverbindungen, sondern es wäre auch nicht schwer für sie, ein paar Freunde in verschiedenen Wohnheimen zu bitten, beim Hochladen zu helfen.
Lèse Majesté
7

Finden Sie einen regionalen ISP, der sich in lokalem Besitz befindet, und bringen Sie ein gutes externes Laufwerk mit, das all dies aufnehmen kann. Gehen Sie mit 300 Dollar in bar, Ausweisen für Ihren Server und einer 12er Packung Bier in ihr Büro. Beten Sie, dass sie einen Gigabit-Uplink haben, denn eine maximale Übertragungsrate von 100 MBit dauert mehr als 24 Stunden.

Wenn dies fehlschlägt, suchen Sie nach einem lokalen Internet-Internet-Austauschpunkt und finden Sie alle AS, die damit verbunden sind. Finde wirklich gute Freunde mit jemandem aus NANOG. Die Chancen stehen gut, dass Sie kreativ sein müssen. Suchen Sie nach einem Co-Standort in Ihrer Nähe.

Jeff Ferland
quelle
2
Dies ist der Weg, den ich einschlagen würde. Bier schmiert in der Regel die geschäftlichen Interaktionen.
Evik James
1
Ich denke, dies ist möglicherweise die beste Lösung für den Weg des geringsten Widerstands.
Jeremiahd
5

Wenn es sich bei den Dateien um Textdateien handelt oder wenn Sie sie auf andere Weise gut komprimieren, können Sie sie vor dem Hochladen komprimieren, wodurch die Dateigröße um bis zu 90% verringert werden kann. Dann können Sie sie auf dem Server dekomprimieren.

Sie können auch versuchen, das Hochladen auf mehrere Standorte aufzuteilen. Jeder kann Ihnen dann seine maximale Geschwindigkeit geben.

John Conde
quelle
4

Holen Sie sich ein temporäres Hosting-Unternehmen, an das Sie Ihr Laufwerk senden können, und übertragen Sie es dann schneller vom temporären Host zum permanenten Host.

xpda
quelle
3
Oder wechseln Sie einfach zu einem Webhost, der Laufwerke per E-Mail akzeptiert. Die meisten Webhoster mit anständigem Kundenservice werden dies zulassen.
Majestätsbeleidigung
Ich gehe davon aus, dass das derzeitige Hosting-Unternehmen aufgrund des Preises oder eines anderen langfristigen Kriteriums ausgewählt wurde und eine dauerhafte Änderung kostspieliger wäre.
xpda
4

Diese Jungs sind in Tulsa, die Sie in Ihrem Profil haben. Wenn Sie also in der Nähe sind, rufen Sie sie an oder schauen Sie vorbei und teilen Sie ihnen Ihre Situation mit.

http://www.datastorageinc.com/

Anagio
quelle
3

Ich möchte nur zu den vorhandenen Antworten etwas hinzufügen, das Ihre Übertragung verbessern könnte, sobald Ihre Festplatte mit einem Server mit guter Bandbreite verbunden ist.

Ich musste große Datenmengen mehrmals zwischen zwei Webservern übertragen und anstatt allgemeine FTP- oder WGET-Befehle zum Hoch- oder Herunterladen der Daten zu verwenden, habe ich den Linux-SCP-Befehl verwendet. Weitere Informationen finden Sie hier: http://www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

Sie benötigen SSH-Zugriff auf beide Server und können dann eine oder mehrere Dateien rekursiv kopieren.

Wenn Sie also statt vieler kleiner Dateien nur große Dateien haben, wird diese wahrscheinlich schnell genug kopiert.

Bei einer Übertragungsrate von 11 MB / Sekunde zwischen Servern würde die Übertragung etwa 25 Stunden dauern.

Viel Glück! ;)

Alexandru Trandafir Catalin2
quelle
1
Besser noch, verwenden Sie rsync, wenn der Zielhost dies unterstützt. (Viele tun.)
Ilmari Karonen
3

http://aws.amazon.com/importexport/

Senden Sie Ihr Gerät an AWS, um den Rest zu erledigen.

subiet
quelle
"... und sie werden sich um den Rest kümmern" - nein, werden sie nicht, es sei denn, Ihr Ziel ist AWS. Ist dies nicht der Fall, werden die Daten nur an einen S3-Bucket übertragen. Und Sie müssen es aus dem S3-Bucket an Ihr Speicherziel bringen. In diesem Fall entspricht es der Antwort von xpda.
Lèse majesté
2
Oh, absolut, ich hätte wie Rich auf InChargeOfIt antworten sollen (war nicht da, als ich gepostet hatte). Da sich Hamlin11 besonders für die AWS-Lösung interessierte und nach dem Link für diesen Service suchte, habe ich ihn veröffentlicht. Ein Kommentar dort drüben wäre angemessener gewesen, da stimme ich zu.
Subiet
Nun, ich denke, wenn Sie die Antwort bearbeiten können, um sie an diesen Kommentar anzupassen, und beachten Sie, dass Sie für Nicht-AWS-Ziele nur eine Server-zu-Server-Übertragung mit der sehr fetten Pipe von Amazon veranlassen müssen, würde dies immer noch der Fall sein sei eine gute Antwort.
Majestätsbeleidigung
1

Wenn sich die Daten in Ihrem Büro auf der langsamen Verbindung befinden, sind Sie in der Klemme. Wenn sich die Daten auf oder bei Ihrem alten Host befinden, können Sie versuchen, eine Server-zu-Server-Übertragung durchzuführen. Verwenden Sie die ISP-Pipes anstelle Ihrer engen Office-Pipe.

Wenn Sie es in Stücken über ein wget von ssh tun würden, wäre es verdammt viel schneller als das Versenden eines Laufwerks zur Installation. Trotzdem musste ich nie mehr als 250 GB umziehen.

Brian
quelle
Der dringende Teil der Frage stammte von einem katastrophalen Ausfallereignis beim "alten Host". Wir hatten keinen Warm-Backup-Host, aber wir hatten kürzlich lokale Backups.
Brian Webster
0

Wie die anderen Fragen andeuten, läuft es meist darauf hinaus, jemanden in Ihrer Nähe mit einer guten Verbindung zu finden.

Eine Gruppe, mit der Sie sprechen könnten, sind Universitäts- oder Hochschuladministratoren. Stellen Sie nur sicher, dass der Kerl, mit dem Sie sprechen, berechtigt ist, TB durch den Draht zu leiten, und ich bin sicher, dass Sie eine Einigung erzielen können.

Viele Fakultäten an Universitäten, z. B. die Teilchenphysik, veröffentlichen Petabytes an Daten, sodass dies eine weitere mögliche Option sein könnte.

Boldewyn
quelle