Wie kann das Datenlayout eines DataFrame in Pandas effizient geändert werden?

Ich habe einen DataFrame mit Werten, die in zwei Spalten angeordnet sind, siehe Tabelle T1 . Möchten Sie die Werte neu anordnen, um ein Datenlayout wie in Tabelle T2 gezeigt zu erstellen . Zeilen in T2 werden erstellt, indem ein "Schiebefenster" von Werten transponiert wird, wobei die Spalte a in Tabelle T1 nach unten verschoben wird . Gibt es eine clevere Möglichkeit bei Pandas, dies effizient zu tun?

T1              T2

 a | b           A |  B |  C | D
------          ---------------
41 | 5          41 | 42 | 43 | 7
42 | 6          42 | 43 | 44 | 8
43 | 7    -->   43 | 44 | 45 | 9
44 | 8          44 | 45 | .. | .
45 | 9          45 | .. | .. | .
.. | .          .. | .. | .. | .
.. | .          .. | .. | .. | .

Sie könnten verwenden as_strided:

from numpy.lib.stride_tricks import as_strided

window = 3
stride = df['a'].values.strides[0]

pd.DataFrame(as_strided(df['a'].values, 
                        shape=(len(df) - window + 1, window),
                        strides = (stride,stride))
            )

Ausgabe:

     0   1   2
0   41  42  43
1   42  43  44
2   43  44  45

Dies sollte den Trick tun:

df = df.rename(columns={"b": "D", "a": "A"})

df["B"] = df["A"].shift(-1)
df["C"] = df["A"].shift(-2)
df["D"] = df["D"].shift(-2)
df = df.sort_index(axis=1)

Ausgabe:

    A     B     C    D
0  41  42.0  43.0  7.0
1  42  43.0  44.0  8.0
2  43  44.0  45.0  9.0
3  44  45.0   NaN  NaN
4  45   NaN   NaN  NaN

Sie können verwenden as_strided:

stride = np.lib.stride_tricks.as_strided
window=3
v = stride(df.a, (len(df) - (window - 1), window), (df.a.values.strides * 2))
df=df.assign(**pd.DataFrame(v.tolist(),columns=list('ABC')).reindex(df.index))
df=df.assign(D=df.iloc[:,-1].map(df.set_index('a')['b']))
print(df)

    a  b     A     B     C    D
0  41  5  41.0  42.0  43.0  7.0
1  42  6  42.0  43.0  44.0  8.0
2  43  7  43.0  44.0  45.0  9.0
3  44  8   NaN   NaN   NaN  NaN
4  45  9   NaN   NaN   NaN  NaN

Sie könnten die Numpy-Indizierung verwenden:

window = 3
indexer = np.arange(window)[None, :] + np.arange(len(df) - window + 1)[:, None]
a_values = df.a.values[indexer]  # apply fancy indexing on a

b_values = df.b.values[window - 1:].reshape(-1, 1)

result = pd.DataFrame(data=np.hstack([a_values, b_values]), columns=['A', 'B', 'C', 'D'])

print(result)

Ausgabe

    A   B   C  D
0  41  42  43  7
1  42  43  44  8
2  43  44  45  9