Als «hadoop» getaggte Fragen

Ich lese seit einiger Zeit gerne ServerFault und bin auf einige Themen in Hadoop gestoßen. Ich hatte ein wenig Probleme herauszufinden, was es aus globaler Sicht macht. Meine Frage ist also ganz einfach: Was ist Hadoop? Was tut es ? Was wird es verwendet ? Warum tritt es in den Arsch? Bearbeiten:...

Ich habe den sekundären Namensknoten auf demselben Computer bereitgestellt, der mein Hauptnamensknoten ist: Dies ist aus Gründen der Leistung und Haltbarkeit falsch (der sekundäre Namensknoten ist kein Ersatzlaufwerk, verfügt jedoch über eine Kopie der erforderlichen Metadaten). Ich habe eine...

Ich bin noch ein Anfänger von Hadoop und dieses Mal habe ich versucht, eine 106-GB-Datei zu verarbeiten. Früher habe ich -copyFromLocaldiese große Datei in mein Hadoop DFS kopiert, aber da die Datei groß ist, muss ich lange warten, ohne einen Hinweis auf den aktuellen Kopierstatus zu haben. Gibt...

Im Folgenden finden Sie Links zu meinem DIY 6-Node Hadoop Cluster mit i3-Maschinen. Was ist der beste Weg, um mein Design vor Staub zu schützen und eine bessere Wärmeübertragung zu gewährleisten? Was soll ich verwenden, um vier Seiten meines Racks abzudecken, um es vor Staub zu...

Mal sehen, ob jemand ein bisschen Licht auf dieses Thema werfen kann. Ich mache in den nächsten Tagen eine Serverinstallation. Mein Client möchte einen Hortonworks HDP mit 2 Servern als Master-Server und 5 Worker-Servern bereitstellen. Eine der Anforderungen für alle ist die NTP-Aktivierung. Aber...

Ich befinde mich in einer Evaluierungsphase eines Hardware, die zum Einrichten eines Hadoop-Clusters verwendet werden könnte. Dieses Hardware wurde renoviert (HP G6 Server mit Smart Array 410 / i Controller) und wahrscheinlich sollten / müssen wir es verwenden ... wir haben es noch nicht. Ich habe...

Problem Das erste Ziel war es, HBase eigenständig zu betreiben. Das Navigieren zu ip: 60010 / master-status ist nach dem Start von HBase erfolgreich. Das zweite Ziel besteht darin, ein eigenes ZooKeeper-Quorum zu betreiben. ZooKeeper wurde heruntergeladen und gestartet: netstat -nato | grep 2181...

Ich benutze Hadoop-0.20.2. Anschauen hadoop fs. Ich kann eine einzelne Aufgabe töten oder scheitern. Gibt es überhaupt eine Möglichkeit, es anzuhalten, damit die Kartensteckplätze für eine andere Aufgabe freigegeben

Ich arbeite in einem Projekt und meine Aufgabe ist es, ein Datenbanksystem aufzubauen, um ungefähr 60.000.000.000 Dateneinträge zu verwalten. Der Hintergrund des Projekts ist, dass ich für eine große Anzahl von Nachrichten, die jede Sekunde von etwa 30.000 RFID-Lesegeräten gelesen werden,...

Wir bereiten die Implementierung unseres ersten Hadoop-Clusters vor. Als solches beginnen wir klein mit einem Vier-Knoten-Setup. (1 Hauptknoten und 3 Arbeitsknoten) Jeder Knoten verfügt über 6 TB Speicher. (6 x 1 TB Festplatten) Wir haben uns für ein SuperMicro 4-Knoten-Gehäuse entschieden, sodass...

Ich habe einen KDC-Server eingerichtet und ein Realm erstellt EXAMPLE.COM. Hier ist meine krb5.conf Datei: [libdefaults] renew_lifetime = 7d forwardable = true default_realm = EXAMPLE.COM ticket_lifetime = 24h dns_lookup_realm = false dns_lookup_kdc = false default_ccache_name = /tmp/krb5cc_%{uid}...