Die gängigsten modernen Bildsegmentierungstechniken

11

Ich habe mich ein wenig über Bildsegmentierungstechniken informiert und mich über moderne, hochmoderne Segmentierungsalgorithmen gewundert.

Welche aktuellen Segmentierungstechniken sind ein Muss, dh werden sie derzeit am häufigsten in der Community verwendet? Mit welchen Techniken sind Sie in Kontakt gekommen und haben sie als am effektivsten und nützlichsten empfunden (und für welche Anwendung)?

GamingX
quelle
Wo hast du bisher gesucht?
Phonon
1
Ich habe einige Informationen zu normalisierten Schnitten, Grafikschnitten, Min-Schnitten zusätzlich zu Level-Set-Methoden und Fast-Marching-Methoden gelesen.
GamingX
3
Schön und kurz, ab November 2012: Bildsegmentierung: Ein Rückblick .
Emre
(Bearbeiten inspiriert von dieser Frage zum Thresolding, vielleicht könnte diese Frage eine ähnliche Referenz zu Segmentierungsmethoden werden)
Penelope

Antworten:

7

Ich kenne nicht viele Segmentierungstechniken, aber ich habe mich mit Strukturen befasst, die eine "Auswahl" von Segmentierungsstücken bieten, die weiter untersucht werden können, um eine zufriedenstellende Segmentierung zu erzielen.

Hoffentlich kann jemand anderes über eine andere hochmoderne Segmentierungsmethode schreiben, über die ich nicht viel weiß.

Eine kleine Einführung, warum es schön ist, eine Auswahl oder Ebene der Segmentierung für ein anderes Bild zu haben: Die Segmentierung ist ein schlecht definiertes Problem. Die Grundwahrheit existiert nicht: Die gewünschten Ergebnisse hängen immer von den Anforderungen und Spezifikationen des Benutzers ab. Ein schönes Zitat:

Selbst für ein festes Bild kann es mehr als eine "beste" Segmentierung geben, da die Kriterien, die die Qualität einer Segmentierung definieren, anwendungsabhängig sind. Dies motivierte uns, unsere Forschung auf Bildpartitionierungstechniken zu konzentrieren , die "Puzzleteile" liefern , mit denen (...) eine Segmentierung generiert werden kann, die bestimmten Benutzeranforderungen entspricht

( P. Soille: Eingeschränkte Konnektivität für die hierarchische Bildpartitionierung und -vereinfachung (2008) )

Es gibt hierarchische Strukturen , hierarchische Bildzerlegungen , die Bildpartitionen mit unterschiedlicher Komplexität vorschlagen. Diese Strukturen werden am einfachsten als Baumstrukturen dargestellt, wobei jeder Knoten einen Bereich im Bild darstellt. Die Idee mit den Strukturen:

  • Die Blätter der Struktur sind Bereiche einer feinen Partition oder einer Über-Segmentierung eines Bildes (z. B. Pixel, flache Zonen - verbundene Bereiche gleicher Intensität, Wasserscheide ).
  • Die Verknüpfungen im Baum stellen die Verschmelzung oder Vereinigung von (benachbarten) Regionen dar und bilden eine komplexere Region. Sie sind so konstruiert, dass sie höchstwahrscheinlich Regionen erzeugen, die Objekten entsprechen (hoffentlich :))
  • Die Komplexität der Regionen nimmt entlang jedes Zweigs von den Knoten zur Wurzel des Baums zu
  • Jede Ebene des Baums (auch jeder Schnitt) ist eine Aufteilung / Segmentierung eines Bildes (gröber, je näher es an der Wurzel liegt).
  • Die Wurzel des Baumes bedeckt die gesamte Bilddomäne

Die Segmentierung besteht dann darin , die Regionen und ihre vorgeschlagenen Vereinigungen zu untersuchen, um die Regionen im Baum oder den Schnitt des Baums zu bestimmen, die der erforderlichen Genauigkeit oder einigen bekannten Eigenschaften des interessierenden Objekts oder anderen vordefinierten Benutzerspezifikationen entsprechen.

Bäume (dh hierarchische Bildzerlegungen) mit solchen Eigenschaften sind:

Zusätzlich zu den Links zu bereits bereitgestellten Artikeln einige spezifischere und weniger spezifische aktuelle Artikel zu dieser Art von Segmentierungstechniken:

(praktischer):

Penelope
quelle
1
Für "moderne" (und trendige) Segmentierungsalgorithmusfamilien würde ich Superpixel hinzufügen. Googeln für diesen Begriff ist wirklich beeindruckend.
Sansuiso
@ Sansuiso Nun, fügen Sie es als Antwort hinzu :) Hoffentlich können wir einige interessante Segmentierungsansätze auf dem neuesten Stand der Technik in dieser Frage sammeln
Penelope
6

Als Ergänzung zu Penelopes Antwort zwei beliebte Familien (und trendige) von Algorithmen.

Superpixel

Eine sehr beliebte Familie von Algorithmen namens Superpixel ist derzeit sehr im Trend (es gibt sogar einige Superpixel-Sitzungen in CV-Konferenzen). Superpixel ähneln stark einer Über-Segmentierung (wie es die Wasserscheide bietet), daher ist eine Nachbearbeitung erforderlich.

Superpixel können als kleine homogene Bildbereiche angesehen werden . Der Abstand zwischen Pixeln wird wie bei der bilateralen Filterung ausgewertet, dh es ist eine Mischung zwischen ihrem räumlichen Abstand und ihrer visuellen Ähnlichkeit, die auf 0 geht, wenn sie nahe und ähnlich sind, und ansonsten auf einen größeren Wert.
Dann versuchen Superpixel-Verfahren verschiedene Kriterien, um kleine homogene Regionen in Bezug auf dieses Maß zu bilden. Es gibt viele davon (grafisch, modussuchend / clusterbasiert ...), daher ist es wahrscheinlich am besten, Sie auf diesen technischen Bericht zu verweisen .

(Bearbeiten :) Falls jemand nach einer veröffentlichten, von Experten geprüften Arbeit sucht, stammt dieser Artikel von denselben Autoren und behandelt dasselbe Material wie der technische Bericht: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: SLIC-Superpixel im Vergleich zu hochmodernen Superpixel-Methoden

Beachten Sie, als ich die erste Version der Antwort schrieb, dass die Ergebnisse visuell sehr ähnlich zu denen sind, die Ihnen die Übersegmentierung von Wassereinzugsgebieten bietet. Dies wird von den Autoren des technischen Berichts bestätigt, die Wassereinzugsgebiete in den entsprechenden Arbeitsteil aufnehmen. Daher müssen Sie auch die gleiche Nachbearbeitung durchführen: Während Superpixel nützliche Funktionen anstelle von Pixeln sein können, müssen sie dennoch gruppiert werden, um übergeordnete Regionen zu bilden, wenn Sie Objekte verfolgen / erkennen müssen.

Graphbasierte Segmentierungsmethoden

Eine weitere beliebte Familie von Algorithmen stammt aus der Analyse der Pixelbeziehung, dh wie Pixel in ihrem Erscheinungsbild nahe beieinander liegen. Dies ergibt eine graphentheoretische Familie von Segmentierungsmethoden wie den normalisierten Schnitt (J. Shi, J. Malik: Normalisierte Schnitte und Bildsegmentierung ) .

Hier ist die Intuition für diesen Ansatz: Angenommen, Ihre Pixel sind jetzt Punkte (Eckpunkte) eines hochdimensionalen Graphen.
In der Grafik können zwei Scheitelpunkte durch eine Kante verbunden werden , deren Gewicht umgekehrt proportional zu einem gewissen Abstand zwischen den Scheitelpunkten ist. Typischerweise ist die Gewichtsfunktion ein Kehrwert einer Mischung zwischen ihrer räumlichen Entfernung und ihrer visuellen Ähnlichkeit (wie bei der bilateralen Filterung).
In diesem Diagramm können Segmentierungsalgorithmen dann nach den besten Scheitelpunktclustern suchen, dh nach Scheitelpunktgruppen mit einem kleinen gruppeninternen Abstand und einem großen zusätzlichen Gruppenabstand .

Beim Normalized Cut-Ansatz wird zusätzliche Sorgfalt angewendet, um Verzerrungen durch die unterschiedlichen Populationsgrößen der Cluster zu vermeiden. Darüber hinaus kann die Exploration von Graphen vermieden werden, indem die SVD der Gewichtsmatrix berechnet wird, die in der Graphentheorie auch als Konnektivitätsmatrix bezeichnet wird.

Sansuiso
quelle
Hey, es hat eine Weile gedauert, danke für die Antwort, aber ... könnten Sie die beiden Techniken, die Sie erwähnt haben, zumindest ein wenig erweitern? Ich meine nicht, sie hier im Detail zu erklären, aber ich würde mich wirklich über ein oder zwei beschreibende Sätze zu jedem dieser Sätze freuen.
Penelope
Ich habe die Antwort erweitert. Es ist allerdings ein bisschen verwirrend, das Beste ist, sich auf den technischen Bericht zu beziehen, den ich in der Antwort verlinke (ich muss zugeben, dass ich kein Superpixel-Typ bin und immer noch ein bisschen skeptisch gegenüber ihrem Interesse bin, obwohl sie es sind wirklich trendy).
Sansuiso
Für die graphbasierten Segmentierungsmethoden schlägt diese Arbeit meines Erachtens eines der besten Ergebnisse auf dem neuesten Stand der Technik vor: research.microsoft.com/pubs/167600/jmiv_bnm_final.pdf Es handelt sich um ein intuitives Papier, und Code ist verfügbar.
Tolga Birdal
3

Ich denke, für einen globalen Überblick über die neuesten Algorithmen für die Segmentierung muss man nach den neuesten Umfragen suchen. Einen guten globalen Überblick mit Herausforderungen bietet Szeliskis Buch .

Geben Sie hier die Bildbeschreibung ein

beedot
quelle