Ich habe begonnen, Spark SQL und DataFrames in Spark 1.4.0 zu verwenden. Ich möchte einen benutzerdefinierten Partitionierer in DataFrames in Scala definieren, sehe aber nicht, wie das geht. Eine der Datentabellen, mit denen ich arbeite, enthält eine Liste von Transaktionen nach Konto, silimar zum...
Gibt es eine integrierte Pandas-Methode, um zwei verschiedene Aggregationsfunktionen f1, f2auf dieselbe Spalte anzuwenden df["returns"], ohne agg()mehrmals aufrufen zu müssen ? Beispieldatenrahmen: import pandas as pd import datetime as dt pd.np.random.seed(0) df = pd.DataFrame({ "date" :...
Ich habe einen Spark DataFrame (mit PySpark 1.5.1) und möchte eine neue Spalte hinzufügen. Ich habe Folgendes ohne Erfolg versucht: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col =...
Angenommen, ich habe eine Antwortvariable und Daten mit drei Kovariaten (als Spielzeugbeispiel): y = c(1,4,6) d = data.frame(x1 = c(4,-1,3), x2 = c(3,9,8), x3 = c(4,-4,-2)) Ich möchte eine lineare Regression an die Daten anpassen: fit = lm(y ~ d$x1 + d$x2 + d$y2) Gibt es eine Möglichkeit, die...
Meine Daten können an einem bestimmten Datum mehrere Ereignisse oder an einem Datum KEINE Ereignisse enthalten. Ich nehme diese Ereignisse, zähle sie nach Datum und zeichne sie auf. Wenn ich sie jedoch zeichne, stimmen meine beiden Serien nicht immer überein. idx =
Ich lese in einer CSV-Datei mit mehreren Datetime-Spalten. Ich müsste die Datentypen beim Einlesen der Datei festlegen, aber die Datumszeiten scheinen ein Problem zu sein. Zum Beispiel: headers = ['col1', 'col2', 'col3', 'col4'] dtypes = ['datetime', 'datetime', 'str', 'float'] pd.read_csv(file,...
Ich habe einen Pandas DataFrame und möchte die Spalten 'lat' und 'long' zu einem Tupel kombinieren. <class 'pandas.core.frame.DataFrame'> Int64Index: 205482 entries, 0 to 209018 Data columns: Month 205482 non-null values Reported by 205482 non-null values Falls within 205482 non-null values...
Ich habe einen Pandas DataFrame, den ich in eine neue CSV-Datei hochladen möchte. Das Problem ist, dass ich die Datei nicht lokal speichern möchte, bevor ich sie auf s3 übertrage. Gibt es eine Methode wie to_csv, um den Datenrahmen direkt in s3 zu schreiben? Ich benutze boto3. Folgendes habe ich...
Ich habe einen data.frame, den ich zeilenweise in eine Liste konvertieren möchte, was bedeutet, dass jede Zeile ihren eigenen Listenelementen entspricht. Mit anderen Worten, ich möchte eine Liste, die so lang ist, wie der data.frame Zeilen enthält. Bisher habe ich dieses Problem folgendermaßen...
Ich weiß das, wenn ich benutze randn, import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) gibt mir was ich suche, aber mit Elementen aus einer Normalverteilung. Aber was ist, wenn ich nur zufällige ganze Zahlen wollte? randintfunktioniert durch...
Ich habe mich in StackOverflow umgesehen, kann jedoch keine spezifische Lösung für mein Problem finden, bei der Zeilen an einen R-Datenrahmen angehängt werden. Ich initialisiere einen leeren 2-Spalten-Datenrahmen wie folgt. df = data.frame(x = numeric(), y = character()) Dann ist es mein Ziel,...
Ich habe einen Datenrahmen und möchte die Anzahl der Zeilen innerhalb jeder Gruppe zählen. Ich benutze die aggregateFunktion regelmäßig, um Daten wie folgt zu summieren: df2 <- aggregate(x ~ Year + Month, data = df1, sum) Jetzt möchte ich Beobachtungen zählen, kann aber anscheinend nicht das...
Ich habe einen DataFrame wie diesen: In [7]: frame.head() Out[7]: Communications and Search Business General Lifestyle 0 0.745763 0.050847 0.118644 0.084746 0 0.333333 0.000000 0.583333 0.083333 0 0.617021 0.042553 0.297872 0.042553 0 0.435897 0.000000 0.410256 0.153846 0 0.358974 0.076923 0.410256...
Ich habe einen Vektor mit verschiedenen Spaltennamen und möchte in der Lage sein, jeden von ihnen zu durchlaufen, um diese Spalte aus einem data.frame zu extrahieren. Betrachten Sie beispielsweise den Datensatz mtcarsund einige Variablennamen, die in einem Zeichenvektor gespeichert sind cols. Wenn...
Ich versuche, auf den Index einer Zeile in einer Funktion zuzugreifen, die DataFramein Pandas auf eine gesamte Funktion angewendet wird . Ich habe so etwas: df = pandas.DataFrame([[1,2,3],[4,5,6]], columns=['a','b','c']) >>> df a b c 0 1 2 3 1 4 5 6 und ich werde eine Funktion definieren,...
Ich bin neu in Pandas und versuche herauszufinden, wie man Pandas mehrere Spalten gleichzeitig hinzufügt. Jede Hilfe hier wird geschätzt. Idealerweise möchte ich dies in einem Schritt tun und nicht in mehreren wiederholten Schritten ... import pandas as pd df = {'col_1': [0, 1, 2, 3], 'col_2':...
Ich versuche eine Funktion zu schreiben, um ein data.frame ( x) und ein columndavon zu akzeptieren . Die Funktion führt einige Berechnungen für x durch und gibt später einen anderen data.frame zurück. Ich bleibe bei der Best-Practice-Methode, um den Spaltennamen an die Funktion zu übergeben. Die...
Gibt es eine Funktion, die einer Kombination von entspricht? df.isin() und entspricht df[col].str.contains()? Angenommen, ich habe die Serie s = pd.Series(['cat','hat','dog','fog','pet']) und möchte alle Orte finden, an denen sich eine sbefindet ['og', 'at']. Ich möchte alles außer "Haustier"...
Ich bin verwirrt über die Regeln, die Pandas verwendet, wenn er entscheidet, dass eine Auswahl aus einem Datenrahmen eine Kopie des ursprünglichen Datenrahmens oder eine Ansicht des Originals ist. Wenn ich zum Beispiel habe df = pd.DataFrame(np.random.randn(8,8), columns=list('ABCDEFGH'),...
Ich möchte eine Zeichenfolge an den Anfang jedes Werts in einer der Spalten eines Pandas-Datenrahmens anhängen (elegant). Ich habe bereits herausgefunden, wie das geht und verwende derzeit: df.ix[(df['col'] != False), 'col'] = 'str'+df[(df['col'] != False), 'col'] Dies scheint eine verdammt...