Wie würde man die Ergebnisse der subjektiven Rangfolge grafisch darstellen?

17

Ich suche nach einer Möglichkeit, subjektive Rankings zu visualisieren, unabhängig von meinen nicht-parametrischen Tests.

Ich habe 12 Teilnehmer gebeten, 8 verschiedene Gegenstände nach unterschiedlichen subjektiven Kriterien zu bewerten (getrennte Bewertungen für jeden einzelnen). Für jede einzelne Rangfolge suche ich nach einer guten Möglichkeit, die übergeordneten Trends der Rangfolgen zu visualisieren.

Ich habe sowohl Balkendiagramme als auch Radardiagramme auf der durchschnittlichen Rangliste ausprobiert, und ich habe gesehen, dass eine andere Person ein Streu- / Ballondiagramm über die Anzahl der Antworten pro Rangliste verwendet, aber ich bin nicht ganz sicher, was den besten Überblick vermittelt. Entweder kann ich die 8 mittleren Rangfolgen oder die 8 Zählungen jeder Rangfolge pro Element verwenden.

Bearbeiten:

Beispiel: Jede Spalte ist ein Element, jede Zeile ist die Rangfolge einer Person für jedes der acht Elemente. Keine besonders starke Übereinstimmung in diesem Beispiel, möchte aber im Allgemeinen verstehen, wie die allgemeinen Trends am besten vermittelt werden können.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4
Jesse
quelle
Es könnte hilfreich sein, wenn Sie einige Ihrer Daten auflisten. Welche Software verwenden Sie wahrscheinlich?
gung - Reinstate Monica
Ich habe eine Beispielmatrix hinzugefügt und werde wahrscheinlich in Excel zeichnen.
Jesse
Versuchen Sie, die Item-Ränge oder die Interrater-Vereinbarung (oder beides) anzuzeigen?
Whuber
1
Ich habe speziell nach den Item-Rängen gefragt, aber wenn es eine gute Möglichkeit gibt, andere Übereinstimmungen als Kendalls W zu zeigen, umso besser.
Jesse
Sie können die empirische CDF jeder Spalte zeichnen. Dies würde so etwas wie ein (ganzes Durcheinander von) ROC-Kurven aussehen. Ich bin mir nicht sicher, was herausspringen würde, wenn du das tust.
Shabbychef

Antworten:

8

Ich habe etwas Ähnliches getan, um ähnliche Rankings zu visualisieren. Die Methode, die ich benutzte, gab mir einen schnellen Überblick darüber, wie sich die Ranglisten verhalten - mehr nicht. Meine Lösung verwendete Excel 2010-Sparklines, um eine Ansicht der Rangfolgen mit einem kleinen Vielfachen zu erstellen (dies ist in anderen Excel-Versionen möglich, erfordert jedoch etwas mehr Arbeit). Außerdem benutze ich im Allgemeinen die Tabellenfunktionalität von Excel, um die Arbeit zu beschleunigen.

  1. Transponieren Sie Ihre Matrix so, dass die Zeilen alle Werte pro bewertetem Element enthalten.
  2. Wenn Rang 1 am besten ist, kehren Sie Ihre Ränge um, so dass 1 = 8,2 = 7 ... Dies hilft Ihnen nur, die Spalten des Diagramms (anstatt Leerzeichen) besser zu visualisieren.
  3. Summiere die Ergebnisse der Bewerter jeder Frage. Dann sortiere nach dieser Summe. Dadurch wird das Element mit den besten Gesamtnoten zuerst und den schlechtesten Gesamtnoten zuletzt angezeigt. Mithilfe dieser Rangfolge können Sie die Diagramme visuell einordnen, wenn das Gesamtmuster möglicherweise nicht offensichtlich ist (wie dies bei Ihren Beispieldaten der Fall war).
  4. Fügen Sie Sparklines mit Ihren Rangordnungsdaten (ohne die Summenspalte) neben Ihrer Datentabelle ein. Je mehr / größere Balken angezeigt werden, desto besser ist das Gesamtranking.

Dieser Ansatz ist nicht besonders analytisch, bietet jedoch eine schnelle Möglichkeit, die Daten zu visualisieren.

Subjektive Bewertungen

Hinweis: Wenn Sie nicht über Excel 2010 verfügen, können Sie für jede Zeile zellengroße Säulendiagramme erstellen, die in etwa gleich aussehen. Sie können sie auch mit einem Add-On eines Drittanbieters erstellen.

BEARBEITEN: Tabelle und Diagramm, die Gungs Vorschlag als Durchschnittsmaß verwenden. Da der Maßstab ähnlich ist, wurde er dem Diagramm als zusätzlicher Vergleichspunkt hinzugefügt (ich habe Grau verwendet, um ihn von den Rohdatenplots zu unterscheiden).

Bildbeschreibung hier eingeben

dav
quelle
3
+1, das ist eine wirklich schöne, einfache Lösung für diese Situation. Ein kleiner Vorschlag, den ich machen möchte, ist die Verwendung von Durchschnittswerten anstelle von Summen in Schritt 3. Dies ändert eigentlich nichts, setzt aber die Gesamtsumme wieder auf die ursprüngliche Skala zurück, was die Interpretation des Wertes erleichtern kann.
gung - Wiedereinsetzung von Monica
@gung, danke für das feedback. Ich denke, die Durchschnittswerte funktionieren wirklich gut (wie oben). Ich habe es nie gemocht, die Gesamtsummen zu verwenden, aber ich hatte nicht zu viel über eine gute Alternative nachgedacht.
Dav
2

Ich würde dies in Form eines Buckeldiagramms tun. Es sieht ziemlich unübersichtlich aus, also würde ich mit den Farben arbeiten, um dies zu verbessern.

Die von @dav vorgeschlagenen Sparklines erlauben keinen Vergleich zwischen Produkten.

Bildbeschreibung hier eingeben

Jon Peltier
quelle
Ich denke, dieses Diagramm wäre ausgezeichnet, wenn die Punktgrößen in umgekehrter Reihenfolge von 8 (kleinste) bis 1 (größte) skaliert würden. Ich denke, die Trends könnten auf diese Weise mehr herausspringen.
Brandon Bertelsen
1

Ich weiß, dass diese Frage sieben Jahre alt ist und sehe, dass das Poster AWOL ist, aber ich schätze eine Frage, die Daten enthält ...

Es hört sich so an, als seien Produktbewertungstrends das Thema, eher Trends der einzelnen Bewerter. In diesem Fall können Sie sich ein Bild von den Trends auf hoher Ebene machen, indem Sie die Mittelwerte und das Konfidenzintervall für jedes Produkt zeichnen.

Bildbeschreibung hier eingeben

Zumindest können wir sehen, dass C und D schlechter scheinen als die anderen (vorausgesetzt, 8 ist die schlechteste Platzierung). Vielleicht haben A, B und C mehr Uneinigkeit als die anderen.

Wenn einzelne Bewerter für die Übermittlung wichtig sind, können Sie für die Punkte der einzelnen Bewerter unterschiedliche Markierungen und Farben verwenden.

xan
quelle