Die gängigsten modernen Bildsegmentierungstechniken

Ich habe mich ein wenig über Bildsegmentierungstechniken informiert und mich über moderne, hochmoderne Segmentierungsalgorithmen gewundert.

Welche aktuellen Segmentierungstechniken sind ein Muss, dh werden sie derzeit am häufigsten in der Community verwendet? Mit welchen Techniken sind Sie in Kontakt gekommen und haben sie als am effektivsten und nützlichsten empfunden (und für welche Anwendung)?

Ich kenne nicht viele Segmentierungstechniken, aber ich habe mich mit Strukturen befasst, die eine "Auswahl" von Segmentierungsstücken bieten, die weiter untersucht werden können, um eine zufriedenstellende Segmentierung zu erzielen.

Hoffentlich kann jemand anderes über eine andere hochmoderne Segmentierungsmethode schreiben, über die ich nicht viel weiß.

Eine kleine Einführung, warum es schön ist, eine Auswahl oder Ebene der Segmentierung für ein anderes Bild zu haben: Die Segmentierung ist ein schlecht definiertes Problem. Die Grundwahrheit existiert nicht: Die gewünschten Ergebnisse hängen immer von den Anforderungen und Spezifikationen des Benutzers ab. Ein schönes Zitat:

Selbst für ein festes Bild kann es mehr als eine "beste" Segmentierung geben, da die Kriterien, die die Qualität einer Segmentierung definieren, anwendungsabhängig sind. Dies motivierte uns, unsere Forschung auf Bildpartitionierungstechniken zu konzentrieren , die "Puzzleteile" liefern , mit denen (...) eine Segmentierung generiert werden kann, die bestimmten Benutzeranforderungen entspricht

( P. Soille: Eingeschränkte Konnektivität für die hierarchische Bildpartitionierung und -vereinfachung (2008) )

Es gibt hierarchische Strukturen , hierarchische Bildzerlegungen , die Bildpartitionen mit unterschiedlicher Komplexität vorschlagen. Diese Strukturen werden am einfachsten als Baumstrukturen dargestellt, wobei jeder Knoten einen Bereich im Bild darstellt. Die Idee mit den Strukturen:

• Die Blätter der Struktur sind Bereiche einer feinen Partition oder einer Über-Segmentierung eines Bildes (z. B. Pixel, flache Zonen - verbundene Bereiche gleicher Intensität, Wasserscheide ).
• Die Verknüpfungen im Baum stellen die Verschmelzung oder Vereinigung von (benachbarten) Regionen dar und bilden eine komplexere Region. Sie sind so konstruiert, dass sie höchstwahrscheinlich Regionen erzeugen, die Objekten entsprechen (hoffentlich :))
• Die Komplexität der Regionen nimmt entlang jedes Zweigs von den Knoten zur Wurzel des Baums zu
• Jede Ebene des Baums (auch jeder Schnitt) ist eine Aufteilung / Segmentierung eines Bildes (gröber, je näher es an der Wurzel liegt).
• Die Wurzel des Baumes bedeckt die gesamte Bilddomäne

Die Segmentierung besteht dann darin , die Regionen und ihre vorgeschlagenen Vereinigungen zu untersuchen, um die Regionen im Baum oder den Schnitt des Baums zu bestimmen, die der erforderlichen Genauigkeit oder einigen bekannten Eigenschaften des interessierenden Objekts oder anderen vordefinierten Benutzerspezifikationen entsprechen.

Bäume (dh hierarchische Bildzerlegungen) mit solchen Eigenschaften sind:

• $\alpha$
• $(\omega)$
• Binäre Partitionsbäume (zur Segmentierung und Objekterkennung )

Zusätzlich zu den Links zu bereits bereitgestellten Artikeln einige spezifischere und weniger spezifische aktuelle Artikel zu dieser Art von Segmentierungstechniken:

• Cousty, J., Najman, L.: Inkrementeller Algorithmus für hierarchische minimale Spannwälder und Ausprägung von Wassereinzugsgebieten (2011)
• Soille, P., Grazzini, J.: Eingeschränkte Konnektivität und Übergangsregionen (2009)

(praktischer):

• Serna, A., Marcotegui, B.: Attributgesteuerte Rekonstruktion und adaptive mathematische Morphologie (2013)
• Merciol, F., Lefèvre, S.: Schnelle Bild- und Videosegmentierung basierend auf Alpha-Tree-Multiskalendarstellung (2012)

Als Ergänzung zu Penelopes Antwort zwei beliebte Familien (und trendige) von Algorithmen.

Superpixel

Eine sehr beliebte Familie von Algorithmen namens Superpixel ist derzeit sehr im Trend (es gibt sogar einige Superpixel-Sitzungen in CV-Konferenzen). Superpixel ähneln stark einer Über-Segmentierung (wie es die Wasserscheide bietet), daher ist eine Nachbearbeitung erforderlich.

Superpixel können als kleine homogene Bildbereiche angesehen werden . Der Abstand zwischen Pixeln wird wie bei der bilateralen Filterung ausgewertet, dh es ist eine Mischung zwischen ihrem räumlichen Abstand und ihrer visuellen Ähnlichkeit, die auf 0 geht, wenn sie nahe und ähnlich sind, und ansonsten auf einen größeren Wert.
Dann versuchen Superpixel-Verfahren verschiedene Kriterien, um kleine homogene Regionen in Bezug auf dieses Maß zu bilden. Es gibt viele davon (grafisch, modussuchend / clusterbasiert ...), daher ist es wahrscheinlich am besten, Sie auf diesen technischen Bericht zu verweisen .

(Bearbeiten :) Falls jemand nach einer veröffentlichten, von Experten geprüften Arbeit sucht, stammt dieser Artikel von denselben Autoren und behandelt dasselbe Material wie der technische Bericht: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: SLIC-Superpixel im Vergleich zu hochmodernen Superpixel-Methoden

Beachten Sie, als ich die erste Version der Antwort schrieb, dass die Ergebnisse visuell sehr ähnlich zu denen sind, die Ihnen die Übersegmentierung von Wassereinzugsgebieten bietet. Dies wird von den Autoren des technischen Berichts bestätigt, die Wassereinzugsgebiete in den entsprechenden Arbeitsteil aufnehmen. Daher müssen Sie auch die gleiche Nachbearbeitung durchführen: Während Superpixel nützliche Funktionen anstelle von Pixeln sein können, müssen sie dennoch gruppiert werden, um übergeordnete Regionen zu bilden, wenn Sie Objekte verfolgen / erkennen müssen.

Graphbasierte Segmentierungsmethoden

Eine weitere beliebte Familie von Algorithmen stammt aus der Analyse der Pixelbeziehung, dh wie Pixel in ihrem Erscheinungsbild nahe beieinander liegen. Dies ergibt eine graphentheoretische Familie von Segmentierungsmethoden wie den normalisierten Schnitt (J. Shi, J. Malik: Normalisierte Schnitte und Bildsegmentierung ) .

Hier ist die Intuition für diesen Ansatz: Angenommen, Ihre Pixel sind jetzt Punkte (Eckpunkte) eines hochdimensionalen Graphen.
In der Grafik können zwei Scheitelpunkte durch eine Kante verbunden werden , deren Gewicht umgekehrt proportional zu einem gewissen Abstand zwischen den Scheitelpunkten ist. Typischerweise ist die Gewichtsfunktion ein Kehrwert einer Mischung zwischen ihrer räumlichen Entfernung und ihrer visuellen Ähnlichkeit (wie bei der bilateralen Filterung).
In diesem Diagramm können Segmentierungsalgorithmen dann nach den besten Scheitelpunktclustern suchen, dh nach Scheitelpunktgruppen mit einem kleinen gruppeninternen Abstand und einem großen zusätzlichen Gruppenabstand .

Beim Normalized Cut-Ansatz wird zusätzliche Sorgfalt angewendet, um Verzerrungen durch die unterschiedlichen Populationsgrößen der Cluster zu vermeiden. Darüber hinaus kann die Exploration von Graphen vermieden werden, indem die SVD der Gewichtsmatrix berechnet wird, die in der Graphentheorie auch als Konnektivitätsmatrix bezeichnet wird.

Ich denke, für einen globalen Überblick über die neuesten Algorithmen für die Segmentierung muss man nach den neuesten Umfragen suchen. Einen guten globalen Überblick mit Herausforderungen bietet Szeliskis Buch .