Sammeln von Metriken zu k Objekten$n$$k$

Angenommen, ich sammle Metriken über k Objekte. Ich suche nach gültigen Möglichkeiten, um die k Objekte zu vergleichen , damit sie "eingestuft" werden können. Ich denke, dass dies ein ausgetretener Boden ist (Sportstatistiken wie die gesamte Quarterback-Bewertung usw.), aber ich bin mit diesem Bereich nicht vertraut.$n$$k$$k$

Ich möchte die Frage beantworten, welches Objekt am besten ist .

Informationen zu den gesammelten Metriken

Für jede Metrik , wobei i von 1 ≤ i ≤ n reicht , reicht die Punktzahl für die Metrik m i von [ 0 , r i ] . Beachten Sie, dass einige dieser Metriken theoretische Maxima wie 100 % Prozent haben, andere r i nur die maximal gesammelte Punktzahl in der Stichprobe sind (z. B. Höchstgeschwindigkeit, Höhe usw.).$m_i$$i$$1 \leq i \leq n$$m_i$$[0, r_i]$$100\%$$r_i$

Normalisieren / Standardisieren der Metrikwerte

Meine Intuition ist es, zuerst alle diese Bewertungen zwischen zu normalisieren , so dass jede Bewertung gleichermaßen zur Gesamtbewertung beiträgt, die später berechnet wird.$[0,1]$

Das heißt, für jede Metrik die Punktzahl für diese Metrik m $m_i$ , wobeimax(ri)die maximale Punktzahl für diese Metrik in der Stichprobe ist. Aufgrund meiner Intuition kann ich nicht sicher sein, dass dies gültig ist. Das ist also meineFrage 1:Ist dieses Normalisierungsverfahren gültig?$\frac{m_i}{\text{max}(r_i)}$$\text{max}(r_i)$

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Gewichtung der Metriken für meinen Gesamtvergleich

Nehmen wir weiter an, ich möchte einige Metriken gegenüber anderen abwägen. Es scheint mir ein paar Ansätze zu geben, aber ich werde einen skizzieren, den ich zu approximieren versuche.

Ich dachte, eine mögliche Methode wäre, einen paarweisen Vergleich für jede Metrik durchzuführen und jeden Vergleich zu fragen: Wenn ich eine Verringerung der Metrik m i sehen würde , wie viel eine Erhöhung der Metrik m j würde dies kompensieren die Ermäßigung? $10\%$$m_i$$m_j$Wenn die Paare keinen wirklichen Einfluss aufeinander haben, könnte ich dies vielleicht als bewerten?$0$

Am Ende würde ich eine Wertetabelle für meine Gewichtungen erhalten, die mit paarweisen Vergleichen dieser Art gefüllt ist. Frage 2: Muss ich konsistent sein, wenn ich v m j und m j v m i vergleiche ? Oder könnten sie nicht symmetrisch sein? Das heißt, wenn ich sage, dass eine 10 % ige Verringerung von m i durch eine 20 % ige Erhöhung von m j erklärt werden muss , kann ich sagen, dass eine 10 % ige Verringerung von m j durch eine 50 % ige Erhöhung von m j erklärt werden muss$m_i$$m_j$$m_j$$m_i$$10\%$$m_i$$20\%$$m_j$$10\%$$m_j$$50\%$ ? Wäre das gültig?$m_i$

Vielleicht könnte ich einen Durchschnitt jeder Spalte nehmen und das als Gewichtung für die Metrik haben?

Es scheint mir, dass ein Gewichtungssystem wie dieses quantitativ Dinge sagen würde wie "damit ich Objekt über Objekt b bewerten kann , wenn bs Metrik m i 10% kleiner ist als a 's m i , muss ich sehen mindestens 20 % mehr metrische m j "$a$$b$$b$$m_i$$a$$m_i$$20\%$$m_j$ .

Frage 3: Was wäre, wenn ich komplexere Überlegungen einbeziehen würde, damit die Vergleiche oder Kompensationen nichtlinear wären? Oder mutlivariable Vergleiche? Vielleicht sollten einige Punkte negativ sein usw.?

Die wesentliche Frage Ich würde wirklich gerne wissen, über welche Themen und Bücher ich lesen sollte, um diese Art von Frage beantworten zu können.

Vielen Dank

Tolle Frage.

Frage 1 :

Ich gehe dieses Problem mit Standardabweichungen ( ) an, um eine standardisierte Skala zu erstellen, wobei n die Anzahl der Standardabweichungen vom Mittelwert ( μ ) und σ die Standardabweichung ist.$n\sigma$$n$$\mu$$\sigma$

Ich werde ein Beispiel eines Call-Center-Agenten verwenden, der Anrufe tätigt. Hier ist eine Möglichkeit, die Skala mit zu definieren :$n$

• $m_+ = n$$n$$n$
• $m_-$$n$
• $m_{\mu} = -\lvert n\rvert$$n$

$[0, 1]$$0$$1$$\overline m_+$$\overline m_-$$\overline m_{\mu}$

$f_s$

$$f_s = \sum \overline m_+ + \sum \overline m_- + \sum \overline m_{\mu}$$

Frage 2

$f_s$$W$$f_w$

$$f_w = \sum\limits_{j_+} (W_{+1}* \overline m_{+1} + W_{+2}* \overline m_{+2} ... W_{+j_+}* \overline m_{+j_+}) + \sum\limits_{j_-} (W_{-1}* \overline m_{-1} + W_{-1}* \overline m_{-2} ... W_{-j}* \overline m_{-j_-}) + \sum\limits_{j_\mu} (W_{\mu1}* \overline m_{\mu1} + W_{\mu2}* \overline m_{\mu2} ... W_{\mu j}* \overline m_{\mu j_\mu})$$

$$f_w = \sum\limits_{j_+} W_{j_+} * \overline m_{+j_+} + \sum\limits_{j_-} W_{j_-} \overline m_{-j_-} + \sum\limits_{j_\mu} W_{j_\mu} \overline m_{\mu j_\mu}$$

Jetzt haben Sie eine Punktzahl, die einzelne Gewichte berücksichtigen, Metriken minimieren, Metriken und Metriken maximieren kann, die nahe am Mittelwert liegen sollen.

Frage 3

Beispiel

$f_w$

Die Auswahl Ihrer Metriken ist sehr, sehr wichtig.

Schlechtes Beispiel: Verkauf allein

$\mu = \frac{1 + 5 + 12}{3} = 6$

$Var(f_w) = \frac{5 + 1 + 6}{3} = 4$

$\sigma = \sqrt{Var(f_w)} = \sqrt 4 = 2$

Jetzt brauchen wir also die Anzahl der Standardabweichungen:

• $a_1 = -2.5 \sigma$
• $a_2 = -0.5 \sigma$
• $a3 = +3 \sigma$

Das Stack-Ranking vom Besten zum Schlechtesten wäre also a3, a2, a1. Das Problem ist, dass Agent 2 schon viel länger zahlbar / abrechnungsfähig ist und wirklich das Schlimmste ist. Sie müssen also beim Erstellen der Metriken vorsichtig sein, um sicherzustellen, dass sie den gewünschten Effekt haben. Im obigen Beispiel ist es besser, einen Sales / Hour-Ansatz als Metrik zu verwenden und am Ende mit der Zeit zu multiplizieren, die der Agent bereits telefoniert.

Besseres Beispiel: Umsatz / Stunde

Umsatz pro Stunde:

• $a_1 = \frac{1}{\frac{1}{2}} = 2$
• $a_2 = \frac{5}{5} = 1$
• $a_3 = \frac{12}{4} = 3$

$\mu = \frac{ 2 + 1 + 3}{3} = 2$

$Var(f_w) = \frac{0 + 1 + 1}{3} = \frac{2}{3}$

$\sigma = \sqrt \frac{2}{3} \approx 0.82$

$n$$\mu$

• $a_1 = 0 \sigma$
• $a_2 \approx -1.2 \sigma$
• $a_3 \approx 1.2 \sigma$

$a_2$$W$

• $a_1 = 0$
• $a_2 \approx -1.2 * 5 \approx -6.12$
• $a_3 \approx 1.2 * 4 \approx 4.90$

$a_1$$a_3$$a_1$

1. Qualität (des Agenten)
2. Schweregrad (zum Geschäft)

Dies ist nicht der einzige Weg, um Probleme bei der Entscheidungsanalyse mit mehreren Kriterien zu lösen , aber es ist ein sehr praktischer Weg. Soweit ich weiß, heißt diese Methode "Zielprogrammierung" und ist ein ziemlich einfacher Weg, um zu Schlussfolgerungen über komplexe Probleme zu gelangen.

Für weitere Informationen siehe Charnes, A. und Cooper, WW (1961). Managementmodelle und industrielle Anwendungen der linearen Programmierung. New York: Wiley.