ElasticSearch - Gibt eindeutige Werte zurück

Wie würde ich die Werte aller languagesaus den Datensätzen erhalten und sie einzigartig machen?

Aufzeichnungen

PUT items/1
{ "language" : 10 }

PUT items/2
{ "language" : 11 }

PUT items/3
{ "language" : 10 }

Abfrage

GET items/_search
{ ... }

# => Expected Response
[10, 11]

Jede Hilfe wäre großartig.

Sie können die Begriffe Aggregation verwenden .

{
"size": 0,
"aggs" : {
    "langs" : {
        "terms" : { "field" : "language",  "size" : 500 }
    }
}}

Eine Suche gibt ungefähr Folgendes zurück:

{
"took" : 16,
"timed_out" : false,
"_shards" : {
  "total" : 2,
  "successful" : 2,
  "failed" : 0
},
"hits" : {
"total" : 1000000,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
  "langs" : {
    "buckets" : [ {
      "key" : "10",
      "doc_count" : 244812
    }, {
      "key" : "11",
      "doc_count" : 136794

    }, {
      "key" : "12",
      "doc_count" : 32312
       } ]
    }
  }
}

Der sizeParameter innerhalb der Aggregation gibt die maximale Anzahl von Begriffen an, die in das Aggregationsergebnis aufgenommen werden sollen. Wenn Sie alle Ergebnisse benötigen, setzen Sie diesen Wert auf einen Wert, der größer ist als die Anzahl der eindeutigen Begriffe in Ihren Daten.

Elasticsearch 1.1+ verfügt über die Kardinalitätsaggregation , mit der Sie eine eindeutige Anzahl erhalten

Beachten Sie, dass es sich tatsächlich um eine Annäherung handelt und die Genauigkeit bei Datensätzen mit hoher Kardinalität möglicherweise abnimmt, bei meinen Tests jedoch im Allgemeinen ziemlich genau ist.

Sie können die Genauigkeit auch mit dem precision_thresholdParameter einstellen. Der Kompromiss oder Kurs ist die Speichernutzung.

Diese Grafik aus den Dokumenten zeigt, wie ein höherer precision_thresholdWert zu viel genaueren Ergebnissen führt.

Wenn Sie das erste Dokument für jeden languageeindeutigen Feldwert erhalten möchten , können Sie Folgendes tun:

{
 "query": {
    "match_all": {
    }
  },
  "collapse": {
    "field": "language.keyword",
    "inner_hits": {
    "name": "latest",
      "size": 1
    }
  }
}

Ich suche diese Art von Lösung auch für mich. Ich fand Referenz in Bezug auf Aggregation .

Demnach ist das Folgende die richtige Lösung.

{
"aggs" : {
    "langs" : {
        "terms" : { "field" : "language",  
                    "size" : 500 }
    }
}}

Aber wenn Sie auf folgenden Fehler gestoßen sind:

"error": {
        "root_cause": [
            {
                "type": "illegal_argument_exception",
                "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [fastest_method] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
            }
        ]}

In diesem Fall müssen Sie der Anforderung " KEYWORD " hinzufügen , wie folgt:

   {
    "aggs" : {
        "langs" : {
            "terms" : { "field" : "language.keyword",  
                        "size" : 500 }
        }
    }}

Wenn Sie alle eindeutigen Werte ohne Annäherung oder Festlegen einer magischen Zahl ( size: 500) erhalten möchten , verwenden Sie COMPOSITE AGGREGATION (ES 6.5+) .

Aus der offiziellen Dokumentation :

"Wenn Sie alle Begriffe oder alle Kombinationen von Begriffen in einer verschachtelten Begriffsaggregation abrufen möchten, sollten Sie die COMPOSITE AGGREGATION verwenden , mit der Sie über alle möglichen Begriffe paginieren können, anstatt eine Größe festzulegen, die größer ist als die Kardinalität des Felds in der Begriffsaggregation Die Aggregation von Begriffen soll die Top-Begriffe zurückgeben und erlaubt keine Paginierung. "

Implementierungsbeispiel in JavaScript:

const ITEMS_PER_PAGE = 1000;

const body =  {
    "size": 0, // Returning only aggregation results: https://www.elastic.co/guide/en/elasticsearch/reference/current/returning-only-agg-results.html
    "aggs" : {
        "langs": {
            "composite" : {
                "size": ITEMS_PER_PAGE,
                "sources" : [
                    { "language": { "terms" : { "field": "language" } } }
                ]
            }
        }
     }
};

const uniqueLanguages = [];

while (true) {
  const result = await es.search(body);

  const currentUniqueLangs = result.aggregations.langs.buckets.map(bucket => bucket.key);

  uniqueLanguages.push(...currentUniqueLangs);

  const after = result.aggregations.langs.after_key;

  if (after) {
      // continue paginating unique items
      body.aggs.langs.composite.after = after;
  } else {
      break;
  }
}

console.log(uniqueLanguages);