Speichernutzung bei Auswahl für eine große Anzahl von Zeilen

Ich versuche, den gesamten Inhalt einer großen Tabelle über die Befehlszeile mit zu sichern pqsl, stoße jedoch auf ein Problem, bei dem die Speichernutzung bis zu dem Punkt steigt, an dem der Prozess beendet wird, bevor überhaupt Daten ausgegeben werden.

Was ich nicht verstehe, ist: Warum gibt die Abfrage nicht sofort Ergebnisse zurück und wird abgeschlossen, ohne dass der Speicher knapp wird?

Hier ist eine Erklärung genau dessen, was ich versuche:

Ich habe einen Tisch, sag:

CREATE TABLE big
(
  id integer,
  rand double precision
)

Eine große Anzahl von Zeilen wird eingefügt (50 Millionen):

insert into big 
  select generate_series(1, 50000000) AS id, random();

Der Abfrageplan zum Auswählen jeder Zeile sieht wie folgt aus (nicht überraschend):

$ psql -d big -c "explain select * from big;"

                       QUERY PLAN                           
----------------------------------------------------------------
 Seq Scan on big  (cost=0.00..924326.24 rows=50000124 width=12)
(1 row)

Ich versuche dann, den Inhalt in eine Datei zu kopieren:

$ psql -d big -c "select * from big;" > big.dump

Wie ich oben sagte, schlägt dieser Befehl fehl, bevor Daten geschrieben werden, anscheinend indem immer mehr Speicher belegt wird, bevor er vom Betriebssystem getötet wird (von "OOM Killer").

Hinweis: Ich verstehe, dass ich damit pg_dumpetwas Ähnliches erreichen könnte, aber in Wirklichkeit ist meine Abfrage komplexer als diese - insbesondere möchte ich jede Zeile beim Dumping als JSON codieren .

Einige Konfigurationsdetails:

• postgresql version = 9.3.4
• work_mem = 1 MB
• shared_buffers = 128 MB
• effektive_cache_size = 128MB

Standardmäßig werden die Ergebnisse aus zwei Gründen vollständig im Speicher gepuffert:

1) Wenn diese -AOption nicht verwendet wird , werden die Ausgabezeilen so ausgerichtet, dass die Ausgabe erst gestartet werden kann, wenn psql die maximale Länge jeder Spalte kennt. Dies bedeutet, dass jede Zeile besucht wird (was neben viel Speicher auch eine erhebliche Zeit in Anspruch nimmt).

2) Sofern nicht a angegeben FETCH_COUNT, verwendet psql die Synchronfunktion PQexecdirekt in der Abfrage, wodurch die gesamte Ergebnismenge gepuffert wird. Beim Festlegen von a FETCH_COUNTwird jedoch eine Cursor-basierte Methode mit aufeinanderfolgenden Abrufaufrufen verwendet, bei der der clientseitige Puffer in allen FETCH_COUNTZeilen freigegeben oder wiederverwendet wird .

Eine große Ergebnismenge sollte also mit einem Befehl wie dem folgenden abgerufen werden:

psql -A -t --variable="FETCH_COUNT=10000" \
     -c "select columns from bigtable" \
     > output-file

Mit FETCH_COUNTreduziert, wenn die Zeilen sehr groß sind und es immer noch zu viel Speicher verbraucht.

Das -tsteht für --tuples-only, was die Ausgabe von Kopf- und Fußzeilen unterdrückt.