Von einem Datenrahmen wie diesem
test <- data.frame('id'= rep(1:5,2), 'string'= LETTERS[1:10])
test <- test[order(test$id), ]
rownames(test) <- 1:10
> test
id string
1 1 A
2 1 F
3 2 B
4 2 G
5 3 C
6 3 H
7 4 D
8 4 I
9 5 E
10 5 J
Ich möchte eine neue mit der ersten Zeile jedes ID / String-Paares erstellen. Wenn sqldf R-Code darin akzeptiert, könnte die Abfrage folgendermaßen aussehen:
res <- sqldf("select id, min(rownames(test)), string
from test
group by id, string")
> res
id string
1 1 A
3 2 B
5 3 C
7 4 D
9 5 E
Gibt es eine Lösung, um eine neue Spalte wie zu erstellen?
test$row <- rownames(test)
und dieselbe sqldf-Abfrage mit min (Zeile) ausführen?
Antworten:
Sie können
duplicated
dies sehr schnell tun.Benchmarks für die Geschwindigkeitsfreaks:
ju <- function() test[!duplicated(test$id),] gs1 <- function() do.call(rbind, lapply(split(test, test$id), head, 1)) gs2 <- function() do.call(rbind, lapply(split(test, test$id), `[`, 1, )) jply <- function() ddply(test,.(id),function(x) head(x,1)) jdt <- function() { testd <- as.data.table(test) setkey(testd,id) # Initial solution (slow) # testd[,lapply(.SD,function(x) head(x,1)),by = key(testd)] # Faster options : testd[!duplicated(id)] # (1) # testd[, .SD[1L], by=key(testd)] # (2) # testd[J(unique(id)),mult="first"] # (3) # testd[ testd[,.I[1L],by=id] ] # (4) needs v1.8.3. Allows 2nd, 3rd etc } library(plyr) library(data.table) library(rbenchmark) # sample data set.seed(21) test <- data.frame(id=sample(1e3, 1e5, TRUE), string=sample(LETTERS, 1e5, TRUE)) test <- test[order(test$id), ] benchmark(ju(), gs1(), gs2(), jply(), jdt(), replications=5, order="relative")[,1:6] # test replications elapsed relative user.self sys.self # 1 ju() 5 0.03 1.000 0.03 0.00 # 5 jdt() 5 0.03 1.000 0.03 0.00 # 3 gs2() 5 3.49 116.333 2.87 0.58 # 2 gs1() 5 3.58 119.333 3.00 0.58 # 4 jply() 5 3.69 123.000 3.11 0.51
Versuchen wir das noch einmal, aber nur mit den Konkurrenten vom ersten Lauf an und mit mehr Daten und mehr Replikationen.
set.seed(21) test <- data.frame(id=sample(1e4, 1e6, TRUE), string=sample(LETTERS, 1e6, TRUE)) test <- test[order(test$id), ] benchmark(ju(), jdt(), order="relative")[,1:6] # test replications elapsed relative user.self sys.self # 1 ju() 100 5.48 1.000 4.44 1.00 # 2 jdt() 100 6.92 1.263 5.70 1.15
quelle
!duplicated(x)
findet den ersten jeder Gruppe, auch wenn er nicht sortiert ist, iiuc.Ich bevorzuge den dplyr-Ansatz.
group_by(id)
gefolgt von entwederfilter(row_number()==1)
oderslice(1)
oderslice_head(1)
# (dplyr => 1.0)top_n(n = -1)
top_n()
Verwendet intern die Rangfunktion. Negativ wählt am Ende des Ranges aus.In einigen Fällen kann es erforderlich sein, die IDs nach group_by anzuordnen.
library(dplyr) # using filter(), top_n() or slice() m1 <- test %>% group_by(id) %>% filter(row_number()==1) m2 <- test %>% group_by(id) %>% slice(1) m3 <- test %>% group_by(id) %>% top_n(n = -1)
Alle drei Methoden geben das gleiche Ergebnis zurück
# A tibble: 5 x 2 # Groups: id [5] id string <int> <fct> 1 1 A 2 2 B 3 3 C 4 4 D 5 5 E
quelle
slice
.slice(x)
ist eine Abkürzung fürfilter(row_number() %in% x)
.data.table
in eine konvertieren muss ,data.frame
damit dies funktioniert?data.table
erbt von derdata.frame
so in vielen Fällen können Sie dplyr Befehle auf a verwendendata.table
. Das obige Beispiel funktioniert zB auch wenn atest
istdata.table
. Siehe z. B. stackoverflow.com/questions/13618488/… für eine ausführlichere ErklärungWie wäre es mit
DT <- data.table(test) setkey(DT, id) DT[J(unique(id)), mult = "first"]
Bearbeiten
Es gibt auch eine eindeutige Methode, bei
data.tables
der die erste Zeile per Schlüssel zurückgegeben wirdjdtu <- function() unique(DT)
Ich denke, wenn Sie
test
außerhalb des Benchmarks bestellen , können Sie dassetkey
und diedata.table
Konvertierung auch aus dem Benchmark entfernen (da der Setkey grundsätzlich nach ID sortiert ist, genau wieorder
).set.seed(21) test <- data.frame(id=sample(1e3, 1e5, TRUE), string=sample(LETTERS, 1e5, TRUE)) test <- test[order(test$id), ] DT <- data.table(DT, key = 'id') ju <- function() test[!duplicated(test$id),] jdt <- function() DT[J(unique(id)),mult = 'first'] library(rbenchmark) benchmark(ju(), jdt(), replications = 5) ## test replications elapsed relative user.self sys.self ## 2 jdt() 5 0.01 1 0.02 0 ## 1 ju() 5 0.05 5 0.05 0
und mit mehr Daten
** Mit einzigartiger Methode bearbeiten **
set.seed(21) test <- data.frame(id=sample(1e4, 1e6, TRUE), string=sample(LETTERS, 1e6, TRUE)) test <- test[order(test$id), ] DT <- data.table(test, key = 'id') test replications elapsed relative user.self sys.self 2 jdt() 5 0.09 2.25 0.09 0.00 3 jdtu() 5 0.04 1.00 0.05 0.00 1 ju() 5 0.22 5.50 0.19 0.03
Die einzigartige Methode ist hier am schnellsten.
quelle
unique(DT,by="id")
arbeitet direktdata.table
Version> = 1.9.8, die Standardby
für Argumentunique
istby = seq_along(x)
(alle Spalten), anstelle der bisherigen Standardby = key(x)
Eine einfache
ddply
Option:ddply(test,.(id),function(x) head(x,1))
Wenn Geschwindigkeit ein Problem ist, könnte ein ähnlicher Ansatz gewählt werden mit
data.table
:testd <- data.table(test) setkey(testd,id) testd[,.SD[1],by = key(testd)]
oder das könnte erheblich schneller sein:
testd[testd[, .I[1], by = key(testd]$V1]
quelle
jetzt zum
dplyr
Hinzufügen eines deutlichen Zählers.df %>% group_by(aa, bb) %>% summarise(first=head(value,1), count=n_distinct(value))
Sie erstellen Gruppen, die in Gruppen zusammengefasst werden.
Wenn die Daten numerisch sind, können Sie Folgendes verwenden:
first(value)
[gibt es auchlast(value)
] anstelle vonhead(value, 1)
Siehe: http://cran.rstudio.com/web/packages/dplyr/vignettes/introduction.html
Voll:
> df Source: local data frame [16 x 3] aa bb value 1 1 1 GUT 2 1 1 PER 3 1 2 SUT 4 1 2 GUT 5 1 3 SUT 6 1 3 GUT 7 1 3 PER 8 2 1 221 9 2 1 224 10 2 1 239 11 2 2 217 12 2 2 221 13 2 2 224 14 3 1 GUT 15 3 1 HUL 16 3 1 GUT > library(dplyr) > df %>% > group_by(aa, bb) %>% > summarise(first=head(value,1), count=n_distinct(value)) Source: local data frame [6 x 4] Groups: aa aa bb first count 1 1 1 GUT 2 2 1 2 SUT 2 3 1 3 SUT 3 4 2 1 221 3 5 2 2 217 3 6 3 1 GUT 2
quelle
dplyr
tun, ohne dass für jede einzelne Spalte eine Erklärung geschrieben werden muss (siehe zum Beispiel die Antwort von atomman unten).. Also I'm not sure what *"if data is numeric"* has anything to do with whether or not one would use
Zuerst (Wert) `vshead(value)
(oder nurvalue[1]
)(1) SQLite hat eine eingebaute
rowid
Pseudospalte, so dass dies funktioniert:sqldf("select min(rowid) rowid, id, string from test group by id")
Geben:
rowid id string 1 1 1 A 2 3 2 B 3 5 3 C 4 7 4 D 5 9 5 E
(2) Auch
sqldf
selbst hat einrow.names=
Argument:sqldf("select min(cast(row_names as real)) row_names, id, string from test group by id", row.names = TRUE)
Geben:
id string 1 1 A 3 2 B 5 3 C 7 4 D 9 5 E
(3) Eine dritte Alternative, die die Elemente der beiden oben genannten Elemente mischt, könnte noch besser sein:
sqldf("select min(rowid) row_names, id, string from test group by id", row.names = TRUE)
Geben:
id string 1 1 A 3 2 B 5 3 C 7 4 D 9 5 E
Beachten Sie, dass alle drei auf einer SQLite-Erweiterung für SQL basieren, bei der die Verwendung von
min
odermax
garantiert dazu führt, dass die anderen Spalten aus derselben Zeile ausgewählt werden. (In anderen SQL-basierten Datenbanken kann dies möglicherweise nicht garantiert werden.)quelle
Eine Basis-R-Option ist das
split()
-lapply()
-do.call()
Idiom:> do.call(rbind, lapply(split(test, test$id), head, 1)) id string 1 1 A 2 2 B 3 3 C 4 4 D 5 5 E
Eine direktere Option ist
lapply()
die[
Funktion:> do.call(rbind, lapply(split(test, test$id), `[`, 1, )) id string 1 1 A 2 2 B 3 3 C 4 4 D 5 5 E
Das Komma
1, )
am Ende deslapply()
Aufrufs ist wichtig, da dies dem Aufruf[1, ]
zur Auswahl der ersten Zeile und aller Spalten entspricht.quelle