Ich suche nach einer Möglichkeit, jeden von Google indizierten Link in eine CSV-Datei zu exportieren. In letzter Zeit wurden weit mehr Seiten von Google indiziert als tatsächlich und ich möchte herausfinden, woher all diese Seiten stammen, ohne jede Suchergebnisseite anzeigen zu müssen.
8
Antworten:
Leider gibt es keine Möglichkeit, eine vollständige Liste aller indizierten Seiten in Google zu erhalten. Selbst mit der Lösung von milo5b erhalten Sie höchstens 1.000 URLs.
Es hört sich so an, als hätten Sie Probleme mit doppelten Inhalten. Aktivieren Sie in den Webmaster-Tools "Gesundheit"> "Indexstatus" und es wird eine kumulierte Gesamtzahl der im Laufe der Zeit indizierten Seiten angezeigt. Wenn die Grafik an einem Punkt einen großen Sprung macht, können Sie möglicherweise herausfinden, ob eine bestimmte Änderung auf Ihrer Site den Sprung ausgelöst hat.
Sie können auch versuchen, die Webmaster-Tools von Bing zu verwenden . Sie haben einen Index-Explorer, mit dem Sie die URLs finden können. Suchmaschinenspinnen sind sich ziemlich ähnlich. Wenn Google diese Links gefunden hat, hat Bing dies wahrscheinlich auch getan.
Ich dachte, Bing hätte eine Möglichkeit, die meisten seiner Daten zu exportieren, aber ich kann sie nicht auf einen flüchtigen Blick finden. Es gibt jedoch eine API, mit der Sie wahrscheinlich alles extrahieren können.
quelle
Am Ende habe ich durch die Suche nach site: domain.com/foo/bar/ einen Drilldown in den problematischen Unterordner durchgeführt, aber bei meiner Suche bin ich auf eine Methode gestoßen, mit der die Suchergebnisse in eine Excel-Datei übernommen werden können.
Öffnen Sie eine Google Text & Tabellen-Tabelle und verwenden Sie die folgende Formel:
Es werden nur die ersten 100 Ergebnisse angezeigt, aber Sie können es erneut verwenden, um die nächsten 100 zu erhalten. Ändern Sie einfach die Startvariable:
Dies liefert nur bis zu 1000 Ergebnisse, wie bereits von DisgruntledGoat erwähnt. Die Formel kann jedoch geändert werden, um Links aus bestimmten Unterverzeichnissen bereitzustellen:
quelle
Sie können ein Skript schreiben, das das SERP von Google analysiert (z. B. PHP + Curl) und jeden Link in einer CSV-Datei speichern. Achten Sie darauf, dass sich Ihr Skript wie ein Mensch verhält, da Google Ihre IP-Adresse für einige Stunden aus den Suchergebnissen verbannen kann, wenn Sie dies missbrauchen.
quelle