Ich muss ungefähr 2 Millionen Zeilen aus meiner PG-Datenbank löschen. Ich habe eine Liste von IDs, die ich löschen muss. Jeder Versuch, dies zu tun, dauert jedoch Tage. Ich habe versucht, sie in eine Tabelle zu stellen und dies in Stapeln von 100 zu tun. 4 Tage später läuft dies immer noch mit...
Was wäre der effizienteste Weg, um Millionen von Datensätzen einzufügen, beispielsweise 50 Millionen von einem Spark-Datenrahmen in Postgres-Tabellen. Ich habe dies in der Vergangenheit von Spark bis MSSQL getan, indem ich die Option für Massenkopien und Stapelgrößen verwendet habe, die ebenfalls...
Ich versuche meinem Sohn zu zeigen, wie Codierung verwendet werden kann, um ein von einem Spiel aufgeworfenes Problem zu lösen, und wie R mit Big Data umgeht. Das fragliche Spiel heißt "Lucky 26". In diesem Spiel werden Zahlen (1-12 ohne Duplikate) auf 12 Punkten auf einem Davidstern (6...
Ich untersuche das Verhalten von Spark, wenn ich einen Tisch mit sich selbst verbinde. Ich benutze Databricks. Mein Dummy-Szenario ist: Lesen Sie eine externe Tabelle als Datenrahmen A (zugrunde liegende Dateien sind im Delta-Format) Definieren Sie Datenrahmen B als Datenrahmen A, wobei nur...