Analysieren von XML-, JSON- und neueren Datendateiformaten unter UNIX mithilfe von Befehlszeilenprogrammen

Die Unix-Umgebung verfügt über einige hervorragende Tools zum Parsen von Text in verschiedenen Formen. In letzter Zeit liegen die Daten jedoch nicht mehr in den traditionellen (historischen) Formaten (CSV, TSV, auf Datensätzen oder anderen Trennzeichen basierend) vor. Daten werden heutzutage in strukturierten Formaten wie XML / JSON ausgetauscht.

Ich weiß, dass es einige gute Tools wie sed, awk und Perl gibt, die fast jede Form von Daten da draußen kauen können. Um jedoch mit dieser Art von strukturierten Daten zu arbeiten, muss man oft ein komplettes Programm schreiben, und angesichts der geringen Zeit, die zum Extrahieren von Informationen zur Verfügung steht, muss man sich hinsetzen und die gesamte Logik dessen herausfinden, was man abfragen und setzen möchte es programmatisch nach unten. Manchmal ist dies nicht in Ordnung - im Grunde genommen, weil die aus diesen Dateien extrahierten Informationen als Eingaben für die weitere Arbeit dienen. auch wegen der Zeit, die benötigt wird, um nach der geeigneten Lösung zu suchen und sie zu codieren. Es wird ein Befehlszeilentool mit ausreichenden Schaltern zum Suchen, Abfragen und Speichern von Daten benötigt.

Ich suche nach Tools, die XML / JSON oder andere Formen strukturierter Daten in andere Formate wie CSV usw. kopieren, damit man von dort aus andere Befehle verwenden kann, um Informationen daraus zu erhalten.

Gibt es Kommandozeilen-Dienstprogramme, von denen Sie wissen, dass sie diese Art von Arbeit erledigen? Gibt es dafür bereits awk / Perl-Skripte?

Für XML gibt es http://xmlstar.sourceforge.net/

XMLStarlet ist eine Reihe von Befehlszeilenprogrammen (Tools), mit denen XML-Dokumente und -Dateien mithilfe einfacher Shell-Befehle transformiert, abgefragt, validiert und bearbeitet werden können, ähnlich wie dies für Nur-Text-Dateien mit UNIX grep, sed, Befehle für awk, diff, patch, join usw.

Sie können auch xsltprocähnliche Tools verwenden ( saxon).

für json: ich denke auch, dass es besser ist, einfach python, rubin, perl zu verwenden und es zu transformieren.

Ich denke, Perl-, Python- oder Ruby-Module können dafür erfolgreich eingesetzt werden. Und jedes davon kann für die Skripterstellung verwendet werden.