Importieren / Indizieren einer JSON-Datei in Elasticsearch

Ich bin neu bei Elasticsearch und habe bis zu diesem Zeitpunkt Daten manuell eingegeben. Zum Beispiel habe ich so etwas gemacht:

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

Ich habe jetzt eine .json-Datei und möchte diese in Elasticsearch indizieren. Ich habe so etwas auch versucht, aber keinen Erfolg:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json

Wie importiere ich eine .json-Datei? Gibt es Schritte, die ich zuerst ausführen muss, um sicherzustellen, dass die Zuordnung korrekt ist?

Der richtige Befehl, wenn Sie eine Datei mit Curl verwenden möchten, lautet:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/_doc/1' -d @lane.json

Elasticsearch ist schemenlos, daher benötigen Sie nicht unbedingt eine Zuordnung. Wenn Sie den JSON so senden, wie er ist, und die Standardzuordnung verwenden, wird jedes Feld mit dem Standardanalysator indiziert und analysiert .

Wenn Sie mit Elasticsearch über die Befehlszeile zu interagieren möchten, können Sie einen Blick auf das haben elasticshell die ein wenig handlicher als curl sein sollte.

2019-07-10: Es ist zu beachten, dass benutzerdefinierte Zuordnungstypen veraltet sind und nicht verwendet werden sollten. Ich habe den Typ in der obigen URL aktualisiert, um leichter erkennen zu können, welcher der Index und welcher der Typ war, da beide mit dem Namen "Test" verwirrend waren.

Laut den aktuellen Dokumenten https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html :

Wenn Sie eine Textdateieingabe zum Einrollen bereitstellen, müssen Sie das Flag --data-binary anstelle von plain -d verwenden. Letzteres bewahrt keine Zeilenumbrüche.

Beispiel:

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Wir haben ein kleines Tool für diese Art von Dingen erstellt: https://github.com/taskrabbit/elasticsearch-dump

Ich bin der Autor von elasticsearch_loader.
Ich habe ESL für genau dieses Problem geschrieben.

Sie können es mit pip herunterladen:

pip install elasticsearch-loader

Und dann können Sie JSON-Dateien in elasticsearch laden, indem Sie Folgendes ausgeben:

elasticsearch_loader --index incidents --type incident json file1.json file2.json

Hinzufügen zu KenHs Antwort

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Sie können ersetzen @requestsmit@complete_path_to_json_file

Hinweis: @ist vor dem Dateipfad wichtig

Ich habe nur sichergestellt, dass ich mich im selben Verzeichnis wie die JSON-Datei befinde, und diese dann einfach ausgeführt

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/product/default/_bulk?pretty --data-binary @product.json

Wenn Sie also auch sicherstellen, dass Sie sich im selben Verzeichnis befinden, führen Sie es auf diese Weise aus. Hinweis: Produkt / Standard / im Befehl ist spezifisch für meine Umgebung. Sie können es weglassen oder durch das ersetzen, was für Sie relevant ist.

Holen Sie sich einfach den Postboten von https://www.getpostman.com/docs/environments und geben Sie den Speicherort der Datei mit dem Befehl / test / test / 1 / _bulk? hübsch an.

Eines habe ich noch nicht erwähnt: Die JSON-Datei muss eine Zeile enthalten, die den Index angibt, zu dem die nächste Zeile gehört, und zwar für jede Zeile der "reinen" JSON-Datei.

IE

{"index":{"_index":"shakespeare","_type":"act","_id":0}}
{"line_id":1,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}

Ohne das funktioniert nichts und es wird Ihnen nicht sagen warum

Du benutzt

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Wenn 'Anfragen' eine JSON-Datei ist, müssen Sie dies in ändern

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests.json

Wenn Ihre JSON-Datei nicht indiziert ist, müssen Sie zuvor vor jeder Zeile in der JSON-Datei eine Indexzeile einfügen. Sie können dies mit JQ tun. Siehe folgenden Link: http://kevinmarsh.com/2014/10/23/using-jq-to-import-json-into-elasticsearch.html

Gehen Sie zu den Elasticsearch-Tutorials (Beispiel zum Shakespeare-Tutorial), laden Sie das verwendete JSON-Dateibeispiel herunter und sehen Sie es sich an. Vor jedem JSON-Objekt (jeder einzelnen Zeile) befindet sich eine Indexzeile. Dies ist, wonach Sie suchen, nachdem Sie den Befehl jq verwendet haben. Dieses Format ist obligatorisch, um die Bulk-API zu verwenden. Einfache JSON-Dateien funktionieren nicht.

Wenn Sie VirtualBox und UBUNTU verwenden oder einfach UBUNTU verwenden, kann dies hilfreich sein

wget https://github.com/andrewvc/ee-datasets/archive/master.zip
sudo apt-get install unzip (only if unzip module is not installed)
unzip master.zip
cd ee-datasets
java -jar elastic-loader.jar http://localhost:9200 datasets/movie_db.eloader

Ich habe Code geschrieben, um die Elasticsearch-API über eine Dateisystem-API verfügbar zu machen.

Es ist beispielsweise eine gute Idee, Daten eindeutig zu exportieren / importieren.

Ich habe einen Prototyp eines elastischen Treibers erstellt . Es basiert auf FUSE

Ab Elasticsearch 7.7 müssen Sie auch den Inhaltstyp angeben:

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/_bulk --data-binary @<absolute path to JSON file>