Ich habe einen Pandas DataFrame des Formulars:
id start_time sequence_no value
0 71 2018-10-17 20:12:43+00:00 114428 3
1 71 2018-10-17 20:12:43+00:00 114429 3
2 71 2018-10-17 20:12:43+00:00 114431 79
3 71 2019-11-06 00:51:14+00:00 216009 100
4 71 2019-11-06 00:51:14+00:00 216011 150
5 71 2019-11-06 00:51:14+00:00 216013 180
6 92 2019-12-01 00:51:14+00:00 114430 19
7 92 2019-12-01 00:51:14+00:00 114433 79
8 92 2019-12-01 00:51:14+00:00 114434 100
Ich versuche, die fehlende sequence_no
Per id
/ start_time
Combo auszufüllen . Zum Beispiel fehlt die id
/ start_time
Paarung von 71
und 2018-10-17 20:12:43+00:00
, sequence_no 114430. Für jede hinzugefügte fehlende sequence_no muss ich auch den fehlenden value
Spaltenwert mitteln / interpolieren . Die endgültige Verarbeitung der oben genannten Daten würde also folgendermaßen aussehen:
id start_time sequence_no value
0 71 2018-10-17 20:12:43+00:00 114428 3
1 71 2018-10-17 20:12:43+00:00 114429 3
2 71 2018-10-17 20:12:43+00:00 114430 41 **
3 71 2018-10-17 20:12:43+00:00 114431 79
4 71 2019-11-06 00:51:14+00:00 216009 100
5 71 2019-11-06 00:51:14+00:00 216010 125 **
6 71 2019-11-06 00:51:14+00:00 216011 150
7 71 2019-11-06 00:51:14+00:00 216012 165 **
8 71 2019-11-06 00:51:14+00:00 216013 180
9 92 2019-12-01 00:51:14+00:00 114430 19
10 92 2019-12-01 00:51:14+00:00 114431 39 **
11 92 2019-12-01 00:51:14+00:00 114432 59 **
12 92 2019-12-01 00:51:14+00:00 114433 79
13 92 2019-12-01 00:51:14+00:00 114434 100
( **
zur besseren Lesbarkeit rechts neben neu eingefügten Zeilen hinzugefügt)
Meine ursprüngliche Lösung hierfür beruhte stark auf Python-Schleifen über einer großen Datentabelle, sodass es der ideale Ort für Numpy und Pandas zu sein schien. Ich stützte mich auf SO-Antworten wie Pandas: Erstellen Sie Zeilen, um numerische Lücken zu füllen.
import pandas as pd
import numpy as np
# Generate dummy data
df = pd.DataFrame([
(71, '2018-10-17 20:12:43+00:00', 114428, 3),
(71, '2018-10-17 20:12:43+00:00', 114429, 3),
(71, '2018-10-17 20:12:43+00:00', 114431, 79),
(71, '2019-11-06 00:51:14+00:00', 216009, 100),
(71, '2019-11-06 00:51:14+00:00', 216011, 150),
(71, '2019-11-06 00:51:14+00:00', 216013, 180),
(92, '2019-12-01 00:51:14+00:00', 114430, 19),
(92, '2019-12-01 00:51:14+00:00', 114433, 79),
(92, '2019-12-01 00:51:14+00:00', 114434, 100),
], columns=['id', 'start_time', 'sequence_no', 'value'])
# create a new DataFrame with the min/max `sequence_no` values for each `id`/`start_time` pairing
by_start = df.groupby(['start_time', 'id'])
ranges = by_start.agg(
sequence_min=('sequence_no', np.min), sequence_max=('sequence_no', np.max)
)
reset = ranges.reset_index()
mins = reset['sequence_min']
maxes = reset['sequence_max']
# Use those min/max values to generate a sequence with ALL values in that range
expanded = pd.DataFrame(dict(
start_time=reset['start_time'].repeat(maxes - mins + 1),
id=reset['id'].repeat(maxes - mins + 1),
sequence_no=np.concatenate([np.arange(mins, maxes + 1) for mins, maxes in zip(mins, maxes)])
))
# Use the above generated DataFrame as an index to generate the missing rows, then interpolate
expanded_index = pd.MultiIndex.from_frame(expanded)
df.set_index(
['start_time', 'id', 'sequence_no']
).reindex(expanded_index).interpolate()
Die Ausgabe ist korrekt, läuft jedoch fast genauso schnell wie meine Lösung mit vielen Python-Loops. Ich bin mir sicher, dass es Stellen gibt, an denen ich ein paar Schritte herausschneiden könnte, aber der langsamste Teil meiner Tests scheint der zu sein reindex
. Gibt es angesichts der Tatsache, dass die Daten der realen Welt aus fast einer Million Zeilen bestehen (die häufig bearbeitet werden), offensichtliche Möglichkeiten, einen Leistungsvorteil gegenüber dem zu erzielen, was ich bereits geschrieben habe? Wie kann ich diese Transformation beschleunigen?
Update 9/12/2019
Die Kombination der Zusammenführungslösung aus dieser Antwort mit der ursprünglichen Konstruktion des erweiterten Datenrahmens liefert die bisher schnellsten Ergebnisse, wenn sie an einem ausreichend großen Datensatz getestet wird:
import pandas as pd
import numpy as np
# Generate dummy data
df = pd.DataFrame([
(71, '2018-10-17 20:12:43+00:00', 114428, 3),
(71, '2018-10-17 20:12:43+00:00', 114429, 3),
(71, '2018-10-17 20:12:43+00:00', 114431, 79),
(71, '2019-11-06 00:51:14+00:00', 216009, 100),
(71, '2019-11-06 00:51:14+00:00', 216011, 150),
(71, '2019-11-06 00:51:14+00:00', 216013, 180),
(92, '2019-12-01 00:51:14+00:00', 114430, 19),
(92, '2019-12-01 00:51:14+00:00', 114433, 79),
(92, '2019-12-01 00:51:14+00:00', 114434, 100),
], columns=['id', 'start_time', 'sequence_no', 'value'])
# create a ranges df with groupby and agg
ranges = df.groupby(['start_time', 'id'])['sequence_no'].agg([
('sequence_min', np.min), ('sequence_max', np.max)
])
reset = ranges.reset_index()
mins = reset['sequence_min']
maxes = reset['sequence_max']
# Use those min/max values to generate a sequence with ALL values in that range
expanded = pd.DataFrame(dict(
start_time=reset['start_time'].repeat(maxes - mins + 1),
id=reset['id'].repeat(maxes - mins + 1),
sequence_no=np.concatenate([np.arange(mins, maxes + 1) for mins, maxes in zip(mins, maxes)])
))
# merge expanded and df
merge = expanded.merge(df, on=['start_time', 'id', 'sequence_no'], how='left')
# interpolate and assign values
merge['value'] = merge['value'].interpolate()
merge
deutlich schneller ist als dasreindex
, aber es stellt sich heraus, dass dasexplode
bei größeren Datenmengen sehr langsam ist. Wenn Sie Ihre Zusammenführung mit der ursprünglichen Konstruktion des erweiterten Datensatzes kombinieren, erhalten wir die bisher schnellste Implementierung (siehe das Update der Frage vom 12.9.19)copy=False
zur Zusammenführung die Dinge ein wenig beschleunigen sollte und Sie unnötiges Kopieren der Daten vermeiden.merge = expanded.merge(df, on=['start_time', 'id', 'sequence_no'], how='left', copy=False)
Eine kürzere Version der
merge
Lösung:Ausgabe:
quelle
Eine andere Lösung mit
reindex
ohne Verwendungexplode
:quelle