Ich versuche Hadoop in Ubuntu 12.04 zu installieren. Den Anweisungen von http://michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ folgend , installierte ich java-6-openjdkvom Ubuntu Software-Center. Ich habe festgelegt java_homein .bashrc. Auch java_homein Hadoop eingestellt conf/env.sh. Beim Formatieren des Namensknotens wird folgende Fehlermeldung angezeigt:

usr/lib/jvm/java-6-openjdk/bin/java no such file or directory.

Vielen Dank. Aber es ist ein 64-Bit-Betriebssystem.

Die Führer, denen ich folgte, als ich 12.04 hatte, waren:

• Hadoop 2-Bereitstellung unter Ubuntu
• Michael Nolls Hadoop (Single Node)
• MyLearning Hadoop unter Ubuntu 12.04 (Single Node)

Eigentlich war ich gegen MyLearning, weil das erste, was es empfahl, Oracle Java 7 anstelle von OpenJDK 7 war, aber ich hatte einige Probleme mit OpenJDK 7, als ich dies ausprobierte, also musste ich mich für Oracle entscheiden.

Der Leitfaden ist größtenteils unkompliziert und hier ist es:

1. Installieren Sie Java

   sudo add-apt-repository ppa:webupd8team/java  
   sudo apt-get update && sudo apt-get upgrade  
   sudo apt-get install oracle-java7-installer  
   

2. Erstellen Sie einen Hadoop-Benutzer

   sudo addgroup hadoop  
   sudo adduser --ingroup hadoop hduser
   

   Wobei hduser der Hadoop-Benutzer ist, den Sie haben möchten.

3. SSH konfigurieren

   su - hduser   
   ssh-keygen -t rsa -P ""
   cat .ssh/id_rsa.pub >> .ssh/authorized_keys
   

   Um sicherzustellen, dass die SSH-Installation erfolgreich war, können Sie ein neues Terminal öffnen und versuchen, mit hduserdem folgenden Befehl eine SSH-Sitzung zu erstellen :

   ssh localhost
   

   Installieren Sie ssh neu, wenn localhost keine Verbindung herstellt. (Möglicherweise müssen Sie hdusersudo wie unten beschrieben hinzufügen. )

   sudo apt-get install openssh-server
   

4. Sudoer bearbeiten

   sudo visudo
   

5. Fügen Sie am Ende die Zeile hinzu, um hduser zu sudoers hinzuzufügen

   hduser ALL=(ALL:ALL) ALL
   

   Zum Speichern drücken Sie CTRL+ X, geben Sie ein Yund drücken SieENTER

6. Deaktivieren Sie IPv6

   sudo gedit /etc/sysctl.conf
   

   oder

   sudo nano /etc/sysctl.conf
   

   Kopieren Sie die folgenden Zeilen am Ende der Datei:

   #disable ipv6  
   net.ipv6.conf.all.disable_ipv6 = 1  
   net.ipv6.conf.default.disable_ipv6 = 1   
   net.ipv6.conf.lo.disable_ipv6 = 1  
   

   Wenn Sie auf ein Problem stoßen, das Ihnen mitteilt, dass Sie keine Berechtigungen haben, führen Sie einfach den vorherigen Befehl mit dem Root-Konto aus (Falls sudo nicht ausreicht. Für mich war es das)

7. Jetzt neu starten.

   Sie können auch tun, sudo sysctl -paber ich starte lieber neu.

   Stellen Sie nach dem Neustart sicher, dass IPv6 deaktiviert ist:

   cat /proc/sys/net/ipv6/conf/all/disable_ipv6
   

   es sollte heißen 1 . Wenn 0 angezeigt wird , haben Sie etwas verpasst.

8. Hadoop installieren

   Es gibt verschiedene Möglichkeiten, dies zu tun. Der Leitfaden schlägt vor, die Datei von der Apache Hadoop-Site herunterzuladen und sie in Ihrem Basisordner zu dekomprimieren hduser. Benennen Sie den extrahierten Ordner in um hadoop.

   Die andere Möglichkeit ist die Verwendung einer PPA, die für 12.04 getestet wurde:

   sudo add-apt-repository ppa:hadoop-ubuntu/stable  
   sudo apt-get update && sudo apt-get upgrade  
   sudo apt-get install hadoop  
   

   HINWEIS: Die PPA funktioniert möglicherweise für einige und für andere nicht. Das, was ich versuchte, war, von der offiziellen Seite herunterzuladen, weil ich nichts über das PPA wusste.

9. Aktualisieren $HOME/.bashrc

   Sie müssen das Update .bashrcfür hduser(und für jeden Benutzer , den Sie brauchen , um zu verwalten Hadoop). Um eine .bashrcDatei zu öffnen , müssen Sie sie als root öffnen:

   sudo gedit /home/hduser/.bashrc  
   

   oder

   sudo nano /home/hduser/.bashrc  
   

   Anschließend fügen Sie am Ende der .bashrcDatei die folgenden Konfigurationen hinzu

   # Set Hadoop-related environment variables   
   export HADOOP_HOME=/home/hduser/hadoop  
   
   # Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)`
   export JAVA_HOME=/usr/lib/jvm/java-7-oracle  
   

   Wenn Sie OpenJDK7 haben, würde es ungefähr so ​​aussehen:

   export JAVA_HOME=/usr/lib/java-7-openjdk-amd64  
   

   Hier ist der Ordner zu beachten, in dem sich Java mit der AMD64-Version befindet. Wenn das oben genannte nicht funktioniert, können Sie versuchen, in diesem bestimmten Ordner nachzuschauen oder das Java einzustellen, das verwendet wird mit:

   sudo update-alternatives --config java  
   

   Nun zu einem hilfreichen Alias:

   # Some convenient aliases and functions for running Hadoop-related commands  
   unalias fs &> /dev/null   
   alias fs="hadoop fs"    
   unalias hls &> /dev/null  
   alias hls="fs -ls"  
   
   # Add Hadoop bin/ directory to PATH  
   export PATH=$PATH:$HADOOP_HOME/bin  
   

10. Hadoop konfigurieren

    Die folgenden Konfigurationsdateien können für die ordnungsgemäße Konfiguration verwendet werden. Einige der Dateien werden Sie mit Hadoop verwenden sind (Weitere Informationen in dieser Seite ):

    start-dfs.sh- Startet die Hadoop-DFS-Dämonen, den Namens- und den Datenknoten. Verwenden Sie dies vor start-mapred.sh

    stop-dfs.sh - Stoppt die Hadoop DFS-Daemons.

    start-mapred.sh - Startet die Hadoop Map / Reduce-Daemons, den Jobtracker und die Tasktracker.

    stop-mapred.sh - Stoppt die Hadoop Map / Reduce Daemons.

    start-all.sh- Startet alle Hadoop-Daemons, den Namensknoten, die Datenknoten, den Jobtracker und den Tasktracker. Veraltet; benutze start-dfs.sh und dann start-mapred.sh

    stop-all.sh- Stoppt alle Hadoop-Dämonen. Veraltet; benutze stop-mapred.sh und dann stop-dfs.sh

    Bevor wir sie verwenden, müssen wir jedoch mehrere Dateien im /confOrdner ändern .

    hadoop-env.sh

    Suchen Sie nach der Datei hadoop-env.sh, wir müssen nur die Variable JAVA_HOME in dieser Datei aktualisieren:

    sudo gedit /home/hduser/hadoop/conf/hadoop-env.sh
    

    oder

    sudo nano /home/hduser/hadoop/conf/hadoop-env.sh
    

    oder in den neuesten Versionen wird es in sein

    sudo nano /etc/hadoop/conf.empty/hadoop-env.sh
    

    oder

    sudo nano /etc/hadoop/hadoop-env.sh
    

    Ändern Sie dann die folgende Zeile:

    # export JAVA_HOME=/usr/lib/j2sdk1.5-sun
    

    Zu

    export JAVA_HOME=/usr/lib/jvm/java-7-oracle
    

    Hinweis: Wenn Error: JAVA_HOME is not setbeim Starten der Dienste ein Fehler auftritt, haben Sie vergessen, die vorherige Zeile aus dem Kommentar zu entfernen (entfernen Sie einfach #).

    core-site.xml

    Jetzt müssen wir ein temporäres Verzeichnis für das Hadoop-Framework erstellen. Wenn Sie diese Umgebung zum Testen oder für einen schnellen Prototyp benötigen (z. B. einfache Hadoop-Programme für Ihren persönlichen Test entwickeln ...), empfehle ich, diesen Ordner im /home/hduser/Verzeichnis zu erstellen. Andernfalls sollten Sie diesen Ordner an einem gemeinsam genutzten Ort im gemeinsamen Ordner erstellen ( wie / usr / local ...), aber Sie könnten auf Sicherheitsprobleme stoßen. Aber um die Ausnahmen zu überwinden, die durch die Sicherheit verursacht werden können (wie z. B. java.io.IOException), habe ich den Ordner tmp unter hduser erstellt.

    Geben Sie den folgenden Befehl ein, um diesen Ordner zu erstellen:

    sudo mkdir /home/hduser/tmp   
    

    Bitte beachten Sie, dass Sie, wenn Sie einen anderen Administratorbenutzer (z. B. hduser2 in hadoop group) erstellen möchten, ihm mit den folgenden Befehlen Lese- und Schreibberechtigungen für diesen Ordner erteilen sollten:

    sudo chown hduser:hadoop /home/hduser/tmp  
    sudo chmod 755 /home/hduser/tmp  
    

    Jetzt können wir hadoop/conf/core-site.xmlden Eintrag hadoop.tmp.dir bearbeiten. Wir können die Datei core-site.xml mit dem Texteditor öffnen:

    sudo gedit /home/hduser/etc/hadoop/core-site.xml  
    

    oder

    nano /home/hduser/etc/hadoop/core-site.xml
    

    Fügen Sie dann die folgenden Konfigurationen zwischen <configure>XML-Elementen hinzu :

    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hduser/tmp</value>
      <description>A base for other temporary directories.</description>
    </property>
    
    <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:54310</value>
      <description>The name of the default file system.  A URI whose
      scheme and authority determine the FileSystem implementation.  The
      uri's scheme determines the config property (fs.SCHEME.impl) naming
      the FileSystem implementation class.  The uri's authority is used to
      determine the host, port, etc. for a filesystem.</description>
    </property>
    

    Bearbeiten Sie jetzt mapred-site.xml

    <property>
      <name>mapred.job.tracker</name>
      <value>localhost:54311</value>
      <description>The host and port that the MapReduce job tracker runs
      at.  If "local", then jobs are run in-process as a single map
      and reduce task.
      </description>
    </property>
    

    Bearbeiten Sie jetzt hdfs-site.xml

    <property>
      <name>dfs.replication</name>
      <value>1</value>
      <description>Default block replication.
      The actual number of replications can be specified when the file is created.
      The default is used if replication is not specified in create time.
      </description>
    </property> 
    

11. Formatieren von NameNode

    Jetzt können Sie mit der Arbeit am Knoten beginnen. Erstes Format:

    ~/hduser/hadoop/bin/hadoop namenode -format
    

    oder

    ./home/hduser/hadoop/bin/hadoop namenode -format
    

    Sie sollten den NameNode in Ihrem HDFS formatieren. Sie sollten diesen Schritt nicht ausführen, wenn das System ausgeführt wird. Dies geschieht normalerweise einmalig bei der Erstinstallation.

12. Starten von Hadoop Cluster

    Sie müssen zum Verzeichnis hadoop / bin navigieren und das ./start-all.shSkript ausführen .

    cd ~/hduser/hadoop/bin/  
    start-all.sh  
    

    Wenn Sie eine andere Version als die in den Handbüchern gezeigte haben (die Sie höchstwahrscheinlich haben werden, wenn Sie dies mit dem PPA oder einer neueren Version tun), versuchen Sie es wie folgt:

    cd ~/hduser/hadoop/bin/   
    start-dfs.sh  
    start-mapred.sh   
    

    Hiermit starten Sie einen Namenode, Datanode, Jobtracker und einen Tasktracker auf Ihrem Rechner.

13. Überprüfen Sie, ob Hadoop ausgeführt wird

    Es gibt ein schönes Tool namens jps. Sie können damit sicherstellen, dass alle Dienste verfügbar sind. In Ihrem Hadoop Bin-Ordnertyp:

    jps
    

    Es sollte Ihnen alle Hadoop-bezogenen Prozesse zeigen.

    HINWEIS: Da dies vor ungefähr 6 Monaten für mich durchgeführt wurde, lassen Sie es mich wissen, wenn ein Teil nicht funktioniert.

Hadoop Using Juju (Ein Juju-Zauber für Hadoop)

Entnommen aus Charming Hadoop

Ich gehe mal davon aus, dass folgendes schon eingerichtet ist:

• Sie haben bereits einen Server mit Juju eingerichtet
• Sie haben Zugriff auf den Server (lokal oder remote)
• Sie haben Juju konfiguriert und können nun mit dem Hinzufügen von Charms beginnen
• Sie verwenden 12.04 (Dies liegt daran, dass ich all dies mit 12.04 getestet habe)
• Sie haben bereits ~/.juju/environments.yamldie Informationen zu dem Server konfiguriert, den Sie verwenden, einschließlich des PPA-Ursprungs.

Befolgen Sie nun die folgenden Schritte, um einen Hadoop-Dienst auszuführen:

1. Bootstrap der Umgebung für Hadoop

   juju bootstrap
   

   Warten Sie, bis der Vorgang abgeschlossen ist, und überprüfen Sie dann, ob die Verbindung ordnungsgemäß hergestellt wurde:

   juju status
   

2. Bereitstellen von Hadoop (Master und Slave)

   juju deploy --constraints="instance-type=m1.large" hadoop hadoop-master   
   
   juju deploy --constraints="instance-type=m1.medium" -n 5 hadoop hadoop-slave
   

3. Beziehungen erstellen

   juju add-relation hadoop-master:namenode hadoop-slave:datanode  
   
   juju add-relation hadoop-master:jobtracker hadoop-slave:tasktracker
   

4. Hadoop verfügbar machen (Da Sie bereits Relationen bereitgestellt und erstellt haben, sollte der Dienst ausgeführt werden.)

   juju expose hadoop-master
   

   Überprüfen Sie den Status, um festzustellen, ob er ordnungsgemäß funktioniert:

   juju status hadoop-master
   

Bisher hast du ein laufendes Hadoop. Es gibt viele weitere Dinge, die Sie tun können, die Sie über den angegebenen Link oder im offiziellen Juju Charm für Hadoop finden

Aktuelle JuJu Charms (Setups, Schritt-für-Schritt-Anleitungen und mehr) finden Sie unter: JuJu Charms. Erstellen Sie Ihre eigene JuJu-Umgebung und sehen Sie, wie jede Datei eingerichtet ist und wie die einzelnen Dienste verbunden werden.

Ich habe Hadoop erfolgreich installiert, indem ich den Pfad von JAVA_HOMEas festgelegt habe usr/lib/jvm/java-6-openjdk-amd64.

Abgeleitet von der Antwort von @Luis Alvarado ist hier meine Version für Ubuntu 14.04 und Hadoop 2.5.1

In Kürze

1. Installieren Sie Java
2. Bereiten Sie einen Executive User für Hadoop vorhduser
3. Wechseln Sie hduservon nun an zu
4. hduserRemote-Zugriff über ssh mit passphrasenlos zulassen
5. Deaktivieren Sie IPv6
6. Laden Sie das Hadoop-Paket herunter und konfigurieren Sie es
7. Bereiten Sie den Systempfad $ HADOOP_HOME und $ JAVA_HOME vor
8. Konfigurieren Sie die Dienste von Hadoop
9. Starten Sie die Dienste von Hadoop

Getan. Viel Glück!

Detailschritte

Installieren Sie Java

Herunterladen und installieren

$ sudo add-apt-repository ppa:webupd8team/java    
$ sudo apt-get update && sudo apt-get upgrade    
$ sudo apt-get install oracle-java7-installer

Stellen Sie sicher, dass Java7 installiert ist

$ which java
$ ls -l /usr/bin/java
$ ls -l /etc/alternatives/java

Wir hätten darauf javahinweisen sollen/usr/lib/jvm/java-7-oracle/jre/bin/java

Bereiten Sie einen Executive User für Hadoop vorhduser

Benutzer hduserin Gruppe erstellenhadoop

$ sudo addgroup hadoop  
$ sudo adduser --ingroup hadoop hduser

Gewähren Sie hduserdas sudo- Privileg

Bearbeiten Sie sudo

$ sudo visudo

Fügen Sie am Ende diese Zeile hinzu

hduser ALL=(ALL:ALL) ALL

Wechseln Sie hduservon nun an zu

$ su - hduser

hduserRemote-Zugriff über ssh mit passphrasenlos zulassen

Installieren Sie openssh

$ sudo apt-get install openssh-server

Generieren Sie einen öffentlichen / privaten RSA-Schlüssel für die SSH-Verbindung. Passphrase ist leer alsparameter -P ""

$ ssh-keygen -t rsa -P ""
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

Stellen Sie sicher, dass hduserssh remote lokal ohne Passwort ausgeführt werden kann

$ ssh localhost

Deaktivieren Sie IPv6

Bearbeiten Sie die Konfigurationsdatei

$ sudo nano /etc/sysctl.conf

Kopieren Sie bis zum Ende

#disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1   
net.ipv6.conf.lo.disable_ipv6 = 1

Stellen Sie sicher, dass IPv6 durch einen Neustart oder Aufruf ausgeschaltet ist

$ sudo sysctl -p 

Dann ruf an

$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6

Es sollte 1 heißen, was OK bedeutet ^^

Laden Sie das Hadoop-Paket herunter und konfigurieren Sie es

Laden Sie Hadoop 2.5.1-Pakete von der Apache Hadoop-Site herunter

Die direkte URL für dieses Paket ist dieser Link

http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz

Laden Sie sie in hduserden Home-Ordner von Microsoft herunter , extrahieren Sie sie und benennen Sie sie in umhadoop

$ wget http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz
$ tar -xvzf hadoop-2.5.1.tar.gz
$ mv hadoop-2.5.1 hadoop

Stellen Sie sicher, dass wir Hadoop zu hduserHause aufbewahren

$ ls /home/hduser/hadoop

Bereiten Sie den Systempfad $ HADOOP_HOME und $ JAVA_HOME vor

Bearbeiten Sie hduserdie .bashrc-Datei von

$ nano .bashrc

Setzen Sie die Endwerte für $HADOOP_HOMEund auf$JAVA_HOME

# Set Hadoop-related environment variables   
export HADOOP_HOME=/home/hduser/hadoop  

# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle 

Fügen Sie dem binarySystem die Hadoop- Ordner hinzu$PATH

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Öffnen Sie ein neues Terminal, melden Sie sich als hduseran und stellen Sie sicher, dass Sie $ HADOOP_HOME mit verfügbaren Befehlen haben

$ echo $HADOOP_HOME
$ which start-all.sh
$ which start-dfs.sh
$ which start-yarn.sh

Wir sollten den vollständigen Pfad dieser Namen sehen.

Konfigurieren Sie die Dienste von Hadoop

Jede Komponente in Hadoop wird mithilfe einer XML-Datei konfiguriert.

• Allgemeine Eigenschaften finden Sie in core-site.xml

• HDFS-Eigenschaften werden in hdfs-site.xml gespeichert

• MapReduce-Eigenschaften werden in mapred-site.xml abgelegt

Diese Dateien befinden sich alle im Ordner $ HADOOP_HOME / etc / hadoop

Definieren Sie erneut JAVA_HOME, hadoop-env.shindem Sie die Zeile bearbeiten

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

Definieren Sie Hadoop temp folderund den file systemNamen in der Datei core-site.xml unter

<configuration>
  ...
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hduser/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:54310</value>
    <description>The name of the default file system.  A URI whose
    scheme and authority determine the FileSystem implementation.  The
    uri's scheme determines the config property (fs.SCHEME.impl) naming
    the FileSystem implementation class.  The uri's authority is used to
    determine the host, port, etc. for a filesystem.</description>
  </property>
  ...
</configuration>

Wir müssen dies temp folderwie unter konfiguriert vorbereiten/home/hduser/tmp

$ cd /home/hduser
$ mkdir tmp
$ chown hduser:hadoop tmp
$ chmod 755 tmp

Definiere file system's block replicationin hdfs-site.xml

<configuration>
  ...
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>Default block replication.
    The actual number of replications can be specified when the file is created.
    The default is used if replication is not specified in create time.
    </description>
  </property>
  ...
</configuration>

Definieren Sie map-reduce jobin mapred-site.xml

<configuration>
  ...
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:54311</value>
    <description>The host and port that the MapReduce job tracker runs
    at.  If "local", then jobs are run in-process as a single map
    and reduce task.
    </description>
  </property>
  ...
</configuration>

Format name node

$ hdfs namenode -format

Starten Sie den Hadoop-Dienst

Anruf

$ start-dfs.sh && start-yarn.sh

Diese beiden Befehle befinden sich in $ HADOOP_HOME / sbin, das wir zuvor dem System $ PATH hinzugefügt haben.

Stellen Sie sicher, dass die Hadoop-Dienste ordnungsgemäß gestartet wurden

$ jps

wir sollten sehen

Um sun-javamit dem apt-getBefehl installieren zu können , müssen Sie einer aufgerufenen Datei eine Zeile hinzufügen sources.list. Diese Datei finden Sie in /etc/apt/sources.list.

Öffnen Sie die Datei mit diesem Befehl:

sudo nano /etc/apt/sources.list

Dann kopieren Sie ganz am Ende (unten) dieser Datei die folgende Zeile:

deb http://us.archive.ubuntu.com/ubuntu/ hardy multiverse

Drücken Sie nun Ctrl+ Xzum Verlassen und yzum Speichern.

Geben Sie nun den Befehl ein:

sudo apt-get update 

Und wenn das erledigt ist, können Sie den Befehl erfolgreich ausführen:

sudo apt-get install sun-java6-jdk

Für ein aktuelleres Tutorial (bei Unterschieden nicht sicher) schauen Sie sich die Video-Tutorials von hadoop screencasts an . Sie bieten Video und die eigentlichen Befehle, die darunter installiert werden sollen. Auch wenn Sie dem Autor eine E-Mail senden, ist er sehr froh, Ihnen zu antworten und Ihnen zu helfen, wenn Sie mit irgendetwas stecken bleiben.

Diese Anweisungen ähneln weitgehend denen, mit denen @Luis geantwortet hat.