Als «entropy» getaggte Fragen

92
Was ist Kreuzentropie?

Ich weiß, dass es viele Erklärungen dafür gibt, was Kreuzentropie ist, aber ich bin immer noch verwirrt. Ist es nur eine Methode, um die Verlustfunktion zu beschreiben? Können wir den Gradientenabstiegsalgorithmus verwenden, um das Minimum mithilfe der Verlustfunktion zu

74
Wie berechnet man die Entropie einer Datei?

Wie berechnet man die Entropie einer Datei? (Oder sagen wir einfach ein paar Bytes) Ich habe eine Idee, bin mir aber nicht sicher, ob sie mathematisch korrekt ist. Meine Idee ist folgende: Erstellen Sie ein Array mit 256 Ganzzahlen (alle Nullen). Durchlaufen Sie die Datei und erhöhen Sie für jedes...