Wie kann verhindert werden, dass eine PDF-Datei von Suchmaschinen indiziert wird?

Ich habe einen Link zum PDF-Dokument auf einer öffentlichen Webseite. Wie verhindere ich, dass Suchmaschinen diesen Link und dieses PDF-Dokument indizieren?

Die einzige Idee, an die ich dachte, ist die Verwendung von CAPTCHA. Ich frage mich jedoch, ob es magische Wörter gibt, die eine Suchmaschine anweisen, den Link und das PDF-Dokument nicht zu indizieren. Optionen mit PHP oder JavaScript sind ebenfalls in Ordnung.

Nur um es klar zu machen. Ich möchte PDF nicht verschlüsseln und mit einem Passwort schützen. Ich möchte es nur für Suchmaschinen unsichtbar machen, aber nicht für Benutzer.

Um zu verhindern, dass Ihre PDF-Datei (oder eine andere als HTML-Datei) in den Suchergebnissen aufgeführt wird, können Sie nur den HTTP- X-Robots-TagAntwortheader verwenden, z.

X-Robots-Tag: noindex

Sie können dies tun, indem Sie das folgende Snippet zur .htaccess-Stammdatei oder httpd.conf-Datei der Site hinzufügen:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Damit dies funktioniert, müssen Sie in der Lage sein, die HTTP-Header der betreffenden Datei zu ändern. Dies ist beispielsweise auf GitHub-Seiten möglicherweise nicht möglich .

Beachten Sie auch , dass der robots.txt nicht nicht Ihre Seite verhindert , dass in den Suchergebnissen aufgeführt werden.

Dadurch wird der Bot daran gehindert, Ihre Seite zu crawlen. Wenn jedoch ein Dritter von seiner Website aus auf Ihre PDF-Datei verweist , wird Ihre Seite weiterhin aufgelistet.

Wenn Sie den Bot daran hindern, Ihre Seite mit robots.txt zu crawlen , hat er keine Chance, das X-Robots-Tag: noindexAntwort-Tag zu sehen. Verbieten Sie daher niemals eine Seite in robots.txt, wenn Sie den X-Robots-TagHeader verwenden. Weitere Informationen finden Sie bei Google Developers: Robots Meta Tag .

Es gibt mehrere Möglichkeiten, dies zu tun (das Kombinieren ist offensichtlich ein sicherer Weg, dies zu erreichen):

1) Verwenden Sie robots.txt , um die Dateien von Suchmaschinen-Crawlern zu blockieren:

User-agent: *
Disallow: /pdfs/ # Block the /pdfs/directory.
Disallow: *.pdf  # Block pdf files. Non-standard but works for major search engines.

2) Verwenden Sie rel="nofollow"auf Links zu diesen PDFs

<a href="something.pdf" rel="nofollow">Download PDF</a>

3) Verwenden Sie den x-robots-tag: noindexHTTP-Header, um zu verhindern, dass Crawler sie indizieren. Fügen Sie diesen Code in Ihre .htaccess- Datei ein:

<FilesMatch "\.pdf$">
  header set x-robots-tag: noindex
</FilesMatch>

Sie können die robots.txt- Datei verwenden. Sie können hier mehr lesen .

Wir sind uns nicht sicher, ob diese Schwelle für irgendjemanden von Nutzen sein könnte, haben aber kürzlich ein Problem festgestellt, dass unsere GSA-Box vor Ort keine PDF-Dateien indizieren kann.

Der Google-Support hat mit dem Problem gearbeitet, und die Antwort lautet, dass es damit zusammenhängt, dass für dieses PDF-Dokument eine benutzerdefinierte Eigenschaft festgelegt wurde (Datei -> Dokumenteigenschaften -> Benutzerdefiniert (Registerkarte)).

name: robots
value: noindex

was verhinderte, dass es von der GSA ordnungsgemäß indiziert wurde.

Wenn Sie Zugriff auf das Dokument haben und dessen Eigenschaften ändern können, funktioniert dies möglicherweise ... zumindest für GSA.

Wenn nginx-basierte Entwicklungsinstanzen in den Google-Suchergebnissen angezeigt werden, können Sie auf schnelle und einfache Weise verhindern, dass Suchmaschinen Ihre Website crawlen. Fügen Sie die folgende Zeile zum Speicherortblock Ihrer virtualhost-Konfigurationsdatei für den Block hinzu, den Sie vor dem Crawlen schützen möchten.

add_header  X-Robots-Tag "noindex, nofollow, nosnippet, noarchive";

Sie können eine robots.txt-Datei verwenden. Suchmaschinen, die diese Datei berücksichtigen, indizieren die PDF- Datei nicht . Verwenden Sie einfach den Befehl, um die Indizierung einer Datei zu deaktivieren, und legen Sie fest, welchen Ordner oder welche PDF-Datei die Suchmaschinen nicht indizieren sollen.