Welche Komprimierungsoptionen stehen zum Speichern großer Textmengen in Postgres zur Verfügung?

Ich muss große Textmengen in Postgres speichern, hauptsächlich Befehlsprotokolle und die Ausgabe lang laufender Befehle, und ich muss wissen, ob es einige Einstellungen gibt, die helfen könnten, die Daten mit einem Tool wie zlib oder anderen nativen platzsparenden Methoden transparent zu komprimieren .

Bei den Daten handelt es sich hauptsächlich um schreibgeschützte Daten, sodass das Schreiben kein Problem darstellt.

postgresql compression vfclists
quelle

aus dem Handbuch : " Lange Zeichenfolgen werden vom System automatisch komprimiert " und hier ist eine detailliertere Beschreibung: postgresql.org/docs/current/static/storage-toast.html

a_horse_with_no_name

Wir verwenden jedoch einen Komprimierungsalgorithmus mit relativ geringem Verhältnis, da er niedrige CPU-Kosten verursachen muss. Es kann sich also immer noch lohnen, eine andere Form der Komprimierung durchzuführen und den EXTERNALSpeicher für die Spalte festzulegen .

Craig Ringer

@CraigRinger Wenn Sie eine andere Form der Komprimierung sagen, meinen Sie damit, einige zusätzliche Postgres-Optionen festzulegen oder ein zusätzliches Modul zu kompilieren, sei es eine fertige Bibliothek oder eine eigene?

vfclists

Antworten:

Standardmäßig komprimiert Postgres automatisch alles TEXT. Es wird ein einfacher lzcompress-Algorithmus verwendet:

https://www.postgresql.org/docs/9.3/storage-toast.html

Es gibt ein Plugin, das sich wahrscheinlich zur LZ4-Komprimierungsunterstützung für TEXT entwickeln wird:

https://github.com/zilder/pg_lz4

Es gibt eine FDW , die auch die Komprimierung unterstützt:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/

kworr
quelle