Als «hadoop» getaggte Fragen

Ich konfiguriere derzeit Hadoop auf einem Server, auf dem CentOs ausgeführt werden . Wenn ich start-dfs.shoder stop-dfs.shstarte, wird folgende Fehlermeldung angezeigt: WARN util.NativeCodeLoader: Native-Hadoop-Bibliothek für Ihre Plattform kann nicht geladen werden. Verwenden Sie gegebenenfalls...

Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 4 Jahren . Verbessere diese...

Ich versuche, die Beziehung zwischen der Anzahl der Kerne und der Anzahl der Ausführenden zu verstehen, wenn ein Spark-Job auf YARN ausgeführt wird. Die Testumgebung ist wie folgt: Anzahl der Datenknoten: 3 Datenknoten-Maschinenspezifikation: CPU: Core i7-4790 (Anzahl der Kerne: 4, Anzahl der...

Was sind die Vorteile von entweder mit Hadoop oder HBase oder Hive ? Nach meinem Verständnis vermeidet HBase die Verwendung von Map-Reduce und verfügt über einen spaltenorientierten Speicher über HDFS. Hive ist eine SQL-ähnliche Oberfläche für Hadoop und HBase . Ich würde auch gerne wissen, wie...

Ich habe Spark mithilfe des AWS EC2-Handbuchs installiert und kann das Programm mithilfe des bin/pysparkSkripts problemlos starten, um zur Spark-Eingabeaufforderung zu gelangen. Außerdem kann ich den Schnellstart erfolgreich ausführen. Ich kann jedoch für mein ganzes Leben nicht herausfinden, wie...

Ich möchte eine CSV in Spark lesen und als DataFrame konvertieren und in HDFS mit speichern df.registerTempTable("table_name") Ich habe versucht: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Fehler, den ich bekommen habe: java.lang.RuntimeException:

Eigenschaften von Apache Parkett sind: Selbstbeschreibend Spaltenformat Sprachunabhängig Im Vergleich zu Avro, Sequence Files, RC File etc. möchte ich einen Überblick über die Formate. Ich habe bereits gelesen: Wie Impala mit Hadoop-Dateiformaten funktioniert , gibt es einige Einblicke in die...

So kopieren Sie Dateien von HDFS in das lokale Dateisystem. Es gibt keinen physischen Speicherort einer Datei unter der Datei, nicht einmal ein Verzeichnis. Wie kann ich sie für weitere Validierungen zu meinem lokalen verschieben? Ich werde durch Winscp

Dies ist eine naive Frage, aber ich bin neu im NoSQL-Paradigma und weiß nicht viel darüber. Wenn mir jemand helfen kann, den Unterschied zwischen HBase und Hadoop klar zu verstehen, oder wenn ich einige Hinweise gebe, die mir helfen könnten, den Unterschied zu verstehen. Bis jetzt habe ich einige...

Ich weiß, dass beide für eine Spalte in der Tabelle ausgeführt werden, aber wie unterscheidet sich jede

In vielen realen Situationen, in denen Sie MapReduce anwenden, bestehen die endgültigen Algorithmen aus mehreren MapReduce-Schritten. dh Map1, Reduce1, Map2, Reduce2 und so weiter. Sie haben also die Ausgabe der letzten Reduzierung, die als Eingabe für die nächste Karte benötigt wird. Die...

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. in hdfs nichts erstellen können Ich tat root# bin/hadoop fs -safemode leave Aber zeigen safemode: Unknown command Was ist das Problem?...

Laut dem Hadoop - The Definitive Guide Die von FileInputFormats definierten logischen Datensätze passen normalerweise nicht genau in HDFS-Blöcke. Beispielsweise sind die logischen Datensätze eines TextInputFormat Zeilen, die häufig HDFS-Grenzen überschreiten. Dies hat keinen Einfluss auf die...

In der Map Reduce-Programmierung hat die Reduktionsphase das Mischen, Sortieren und Reduzieren als Unterteile. Sortieren ist eine kostspielige Angelegenheit. Was ist der Zweck der Misch- und Sortierphase im Reduzierer in der Map

Kann mir jemand den Unterschied zwischen der externen und der internen Tabelle von Hive erklären? Ich weiß, dass der Unterschied beim Ablegen des Tisches entsteht. Ich verstehe nicht, was Sie unter Daten verstehen, und Metadaten werden in internen und nur Metadaten in externen Tabellen gelöscht....

Eines der wichtigsten Beispiele für die Demonstration der Leistungsfähigkeit von MapReduce ist der Terasort-Benchmark . Ich habe Probleme, die Grundlagen des in der MapReduce-Umgebung verwendeten Sortieralgorithmus zu verstehen. Für mich bedeutet das Sortieren einfach, die relative Position eines...

Sollen sie gleich sein? Aber warum hadoop fszeigen die Befehle " " die, hdfs fileswährend die hdfs dfsBefehle " " die lokalen Dateien anzeigen? Hier sind die Informationen zur Hadoop-Version: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git:

Beim Starten von namenode für die neueste Version von hadoop-2.2 wird die folgende Fehlermeldung angezeigt. Ich habe die Datei winutils exe nicht im Ordner hadoop bin gefunden. Ich habe unten Befehle ausprobiert $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main]...

Geschlossen. Diese Frage entspricht nicht den Richtlinien für Stapelüberlauf . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Stack - Überlauf. Geschlossen vor 4 Jahren ....

Ich kenne du -shin gängigen Linux-Dateisystemen. Aber wie geht das mit