Als «spark-submit» getaggte Fragen

Wie kann ich verhindern, dass INFO-Nachrichten auf der Spark-Konsole angezeigt werden?

Ich möchte verschiedene Nachrichten stoppen, die auf Spark Shell kommen. Ich habe versucht, die log4j.propertiesDatei zu bearbeiten , um diese Nachricht zu stoppen. Hier sind die Inhalte von log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN,

Hinzufügen von Gläsern zu einem Spark-Job - Spark-Submit

Stimmt ... es wurde ziemlich viel diskutiert. Es gibt jedoch viele Unklarheiten und einige der Antworten ... einschließlich des Duplizierens von JAR-Referenzen in der JAR- / Executor- / Treiberkonfiguration oder in den Optionen. Die mehrdeutigen und / oder ausgelassenen Details Nach Unklarheiten...