Ich versuche, eine Unterklasse einzurichten, für pd.DataFrame
die beim Initialisieren ( group
und timestamp_col
) zwei Argumente erforderlich sind . Ich möchte die Validierung für diese Argumente ausführen group
und habe timestamp_col
daher für jede der Eigenschaften eine Setter-Methode. Das alles funktioniert, bis ich es versuche set_index()
und bekomme TypeError: 'NoneType' object is not iterable
. Es scheint, dass in test_set_index
und kein Argument an meine Setter-Funktion übergeben wird test_assignment_with_indexed_obj
. Wenn ich if g == None: return
meine Setter-Funktion hinzufüge , kann ich die Testfälle bestehen, denke aber nicht, dass dies die richtige Lösung ist.
Wie soll ich die Eigenschaftsüberprüfung für diese erforderlichen Argumente implementieren?
Unten ist meine Klasse:
import pandas as pd
import numpy as np
class HistDollarGains(pd.DataFrame):
@property
def _constructor(self):
return HistDollarGains._internal_ctor
_metadata = ["group", "timestamp_col", "_group", "_timestamp_col"]
@classmethod
def _internal_ctor(cls, *args, **kwargs):
kwargs["group"] = None
kwargs["timestamp_col"] = None
return cls(*args, **kwargs)
def __init__(
self,
data,
group,
timestamp_col,
index=None,
columns=None,
dtype=None,
copy=True,
):
super(HistDollarGains, self).__init__(
data=data, index=index, columns=columns, dtype=dtype, copy=copy
)
self.group = group
self.timestamp_col = timestamp_col
@property
def group(self):
return self._group
@group.setter
def group(self, g):
if g == None:
return
if isinstance(g, str):
group_list = [g]
else:
group_list = g
if not set(group_list).issubset(self.columns):
raise ValueError("Data does not contain " + '[' + ', '.join(group_list) + ']')
self._group = group_list
@property
def timestamp_col(self):
return self._timestamp_col
@timestamp_col.setter
def timestamp_col(self, t):
if t == None:
return
if not t in self.columns:
raise ValueError("Data does not contain " + '[' + t + ']')
self._timestamp_col = t
Hier sind meine Testfälle:
import pytest
import pandas as pd
import numpy as np
from myclass import *
@pytest.fixture(scope="module")
def sample():
samp = pd.DataFrame(
[
{"timestamp": "2020-01-01", "group": "a", "dollar_gains": 100},
{"timestamp": "2020-01-01", "group": "b", "dollar_gains": 100},
{"timestamp": "2020-01-01", "group": "c", "dollar_gains": 110},
{"timestamp": "2020-01-01", "group": "a", "dollar_gains": 110},
{"timestamp": "2020-01-01", "group": "b", "dollar_gains": 90},
{"timestamp": "2020-01-01", "group": "d", "dollar_gains": 100},
]
)
return samp
@pytest.fixture(scope="module")
def sample_obj(sample):
return HistDollarGains(sample, "group", "timestamp")
def test_constructor_without_args(sample):
with pytest.raises(TypeError):
HistDollarGains(sample)
def test_constructor_with_string_group(sample):
hist_dg = HistDollarGains(sample, "group", "timestamp")
assert hist_dg.group == ["group"]
assert hist_dg.timestamp_col == "timestamp"
def test_constructor_with_list_group(sample):
hist_dg = HistDollarGains(sample, ["group", "timestamp"], "timestamp")
def test_constructor_with_invalid_group(sample):
with pytest.raises(ValueError):
HistDollarGains(sample, "invalid_group", np.random.choice(sample.columns))
def test_constructor_with_invalid_timestamp(sample):
with pytest.raises(ValueError):
HistDollarGains(sample, np.random.choice(sample.columns), "invalid_timestamp")
def test_assignment_with_indexed_obj(sample_obj):
b = sample_obj.set_index(sample_obj.group + [sample_obj.timestamp_col])
def test_set_index(sample_obj):
# print(isinstance(a, pd.DataFrame))
assert sample_obj.set_index(sample_obj.group + [sample_obj.timestamp_col]).index.names == ['group', 'timestamp']
quelle
None
ein ungültiger Wert für diegroup
Eigenschaft vorliegt, sollten Sie nicht einen erhöhenValueError
?None
ist ein ungültiger Wert, weshalb mir die if-Anweisung nicht gefällt. Wenn Sie jedoch None hinzufügen, besteht es die Tests. Ich suche nach einer Möglichkeit, dies ohne die Anweisung None if richtig zu beheben.ValueError
. Das Problem besteht darin, herauszufinden, auf was dasgroup
Attribut überhaupt gesetzt werdenNone
soll.Antworten:
Die
set_index()
Methode ruftself.copy()
intern auf, um eine Kopie Ihres DataFrame-Objekts (siehe Quellcode hier )_internal_ctor()
zu erstellen , in der sie Ihre angepasste Konstruktormethode verwendet, um das neue Objekt ( Quelle ) zu erstellen . Beachten Sie, dass diesself._constructor()
identischself._internal_ctor()
ist mit einer gemeinsamen internen Methode für fast alle Pandas-Klassen zum Erstellen neuer Instanzen bei Vorgängen wie Deep-Copy oder Slicing. Ihr Problem ergibt sich tatsächlich aus dieser Funktion:Ich denke, Sie haben diesen Code aus dem Github-Problem kopiert . Die Zeilen
kwargs["**"] = None
weisen den Konstruktor explizit anNone
, sowohl aufgroup
als auch auf zu setzentimestamp_col
. Schließlich erhält der Setter / ValidatorNone
den neuen Wert und löst einen Fehler aus.Daher sollten Sie einen akzeptablen Wert auf
group
und setzentimestamp_col
.Dann können Sie die
if g == None: return
Zeilen im Validator löschen .quelle