Was nützen dichte Matrizen in der Statistik?

OK, ich bin kein Statistiker (nicht einmal in der Nähe). Ich bin ein High Performance Computing-Forscher und wollte ein paar Testfälle für große (größer als 5000 x 5000) dichte Matrizen. Ich hatte hier und an einigen anderen Orten gefragt , aber nie eine Antwort von einem Statistiker erhalten. Ich bin sehr daran interessiert, meine Codes für ein Statistikproblem auszuprobieren. Könnten Sie eine Anwendung in der Statistik vorschlagen, bei der für x gelöst werden muss, wobei dicht und quadratisch ist? $Ax=b$ $A$

Ich würde es sehr begrüßen, wenn Sie mir auch Anwendungen geben könnten, bei denen A keine Struktur hat, dh keine Symmetrie, keine positive Bestimmtheit usw. Aber das ist nicht unbedingt notwendig. Eine große dichte Matrix mit einer guten Anwendung reicht aus.

Es tut mir leid, wenn diese Frage offen oder vage erscheint, aber ich kann mir keinen besseren Ort vorstellen, um diese Frage zu stellen.

large-data matrix Gemeinschaft
quelle

Ein ziemlich einfaches Beispiel, das mir in den Sinn kommt, ist Rs lme4- Paket für die Modellierung gemischter Effekte, das sich auf spärliche Designmatrizen stützt, um viele zufällige Effekte zu verarbeiten. Ich habe jedoch das Gefühl, dass Sie mehr an spärlichen Eingaben interessiert sind, habe ich Recht?

Chl

Nein, ich möchte eine dichte Matrix A. Idealerweise sollte sie fast vollständig dicht und ohne Symmetrie sein

A x = b

$Ax=b$

A

$A$

A x = b

$Ax=b$

x

$x$

A

$A$

Ja. Entschuldigung für die schlechten Verknüpfungen. Das meine ich. Zum Beispiel ist A = Rand (5000, 5000); b = Rand (5000,1); lösen (A, x, b); Angenommen, Rand gibt eine gleichmäßige Verteilung zwischen 1 und 2

A x = b

$Ax = b$

Antworten:

Möglicherweise ist der Java Matrix Benchmark hilfreich. Der Matrix-Markt scheint nicht das zu haben, was Sie wollen, obwohl es viele Beispiele gibt.

Jean-Victor Côté
quelle

Obwohl dies meine Frage nicht vollständig beantwortete, führte es mich zu einer möglichen Antwort: math.nist.gov/MatrixMarket/data/misc/xlatmr/xlatmr.html

Hier ist groß, obwohl ich nicht sicher bin, ob es dicht genug für Sie ist. Von http://www.grouplens.org/node/73

MovieLens 100k - Besteht aus 100.000 Bewertungen von 1000 Benutzern für 1700 Filme.
MovieLens 1M - Besteht aus 1 Million Bewertungen von 6000 Benutzern für 4000 Filme.
MovieLens 10M - Besteht aus 10 Millionen Bewertungen und 100.000 Tag-Anwendungen, die von 72.000 Benutzern auf 10.000 Filme angewendet wurden.

Jack Tanner
quelle

1. Dichte ist von vorrangiger Bedeutung und ich bezweifle, dass die gebildete Matrix dicht wäre. 2. Wie ist das für Ax = b relevant? Ich brauche statistische Anwendungen, keine zufälligen großen Statistiken.

Bei der statistischen Anwendung handelt es sich um eine kollaborative Filterung. Geben Sie anhand einer Matrix aus Benutzern x Filmen die Bewertung an, die ein Benutzer einem Film geben wird, den er noch nicht gesehen hat. Denken Sie an Produktempfehlungen im Amazon.com-Stil. Große Matrizen solcher Benutzerelementpräferenzen sind in der Regel spärlich, aber Sie könnten das wirklich Long-Tail-Zeug abschneiden.

Jack Tanner

"Große Matrizen solcher Benutzerelementpräferenzen sind in der Regel spärlich." Dichte ist von größter Bedeutung. Ich bin mir nicht sicher, was Long-Tail-Material ist, aber ich bin mir nicht sicher, ob dies zu einer unstrukturierten Matrix mit voller Dichte führen würde.

$A\in R^{m\times n}$ $m$ $n$ $n>5000$ $m>5000$

$m=n$

b = a^{T} x + ϵ

$b=a^Tx + \epsilon$

a

$a$

x

$x$

ϵ

$\epsilon$

A

$A$

a

$a$

b

$b$

a

$a$

x

$x$

sbitzer
quelle