Was ist der Unterschied zwischen Feature-Generierung und Feature-Extraktion?

13

Kann mir jemand sagen, was der Zweck der Feature-Generierung ist? und warum muss der Merkmalsraum angereichert werden, bevor ein Bild klassifiziert wird? Ist es ein notwendiger Schritt?

Gibt es eine Methode, um den Funktionsbereich zu erweitern?

Saratha Priya
quelle

Antworten:

13

Feature-Generierung - Hierbei werden unstrukturierte Rohdaten verwendet und Features (dh Variablen) für die potenzielle Verwendung in Ihrer statistischen Analyse definiert. Im Fall von Text Mining können Sie beispielsweise mit einem Rohprotokoll von Tausenden von Textnachrichten (z. B. SMS, E-Mail, Nachrichten aus sozialen Netzwerken usw.) beginnen und Features generieren, indem Sie niederwertige Wörter (z. B. Stoppwörter) mit einer bestimmten Größe entfernen Wortblöcke (dh n-Gramm) oder Anwenden anderer Regeln.

Merkmalsextraktion - Nach dem Generieren von Merkmalen ist es häufig erforderlich, Transformationen der ursprünglichen Merkmale zu testen und eine Teilmenge dieses Pools potenzieller ursprünglicher und abgeleiteter Merkmale zur Verwendung in Ihrem Modell auszuwählen (dh Merkmalsextraktion und -auswahl). Das Testen abgeleiteter Werte ist ein häufiger Schritt, da die Daten wichtige Informationen enthalten können, die ein nicht lineares Muster oder eine Beziehung zu Ihrem Ergebnis aufweisen. Daher ist die Bedeutung des Datenelements möglicherweise nur im transformierten Zustand (z. B. Ableitungen höherer Ordnung) ersichtlich. Die Verwendung zu vieler Features kann zu einer Multiplikation der Kolinearität oder anderen verwirrenden statistischen Modellen führen, während das Extrahieren der Mindestanzahl von Features für den Zweck Ihrer Analyse dem Prinzip der Sparsamkeit folgt.

Die Verbesserung des Funktionsbereichs auf diese Weise ist häufig ein notwendiger Schritt bei der Klassifizierung von Bildern oder anderen Datenobjekten, da der unformatierte Funktionsbereich in der Regel mit einer überwältigenden Menge unstrukturierter und irrelevanter Daten gefüllt ist, die das enthalten, was im Paradigma häufig als "Rauschen" bezeichnet wird eines "Signals" und "Rauschens" (was bedeutet, dass einige Daten einen Vorhersagewert haben und andere Daten nicht). Indem Sie den Funktionsbereich erweitern, können Sie die wichtigen Daten, die einen prädiktiven oder anderen Wert in Ihrer Analyse haben (z. B. das "Signal"), besser identifizieren und gleichzeitig störende Informationen (z. B. "Rauschen") entfernen.

Hack-R
quelle
2
Gute Antwort! (+1)
Aleksandr Blekh
1
Es ist mir ein Vergnügen!
Aleksandr Blekh
Vielen Dank. Gibt es Methoden zur Erweiterung des Funktionsbereichs?
Saratha Priya
Sicher. Es gibt viele solcher Methoden. Beispielsweise ist der Gabor-Filter ein Bandpassfilter-Kantenerkennungsalgorithmus, der üblicherweise zur Merkmalserzeugung bei der Gesichtserkennung und Texturklassifizierung verwendet wird. Dies kann in Kombination mit Klassifizierungsalgorithmen wie Support-Vektor-Maschinen verwendet werden.
Hack-R
Kann ich das zur Merkmalanreicherung bei der Bildklassifizierung verwenden?
Saratha Priya