Ich habe eine Website, die derzeit ungefähr 7.000 - 10.000 Seitenaufrufe pro Tag erzielt. Als ich am 01.07.12 gegen 1 Uhr morgens anfing, bemerkte ich, dass die Klickrate dramatisch anstieg. Diese Klicks werden gutgeschrieben und bald darauf wieder gutgeschrieben. Es handelte sich also...
Ich habe eine mehrsprachige und mehrsprachige Site. Es läuft durch eine einzigartige CMS-Installation (Drupal), so dass ich ein einziges Stammverzeichnis habe. Wenn ich also eine statische robots.txt habe, kann ich dort meines Wissens nur die Dateien für eine einzelne Domain anzeigen. Könnte ich...
Ich hatte ein paar private Dateien in einem Verzeichnis in meinem Schulordner. Sie können sehen, dass die Dateien vorhanden sind, indem Sie zu myschool.edu/myusername/myfolder gehen. Wenn Sie jedoch versuchen, über myschool.edu/myusername/myfolder/myfile.html auf die Dateien selbst zuzugreifen,...
Ich habe einen kleinen Webcrawler ausgeführt und musste mich entscheiden, welchen Benutzeragenten ich dafür verwenden soll. Listen von Crawler-Agenten sowie Wikipedia schlagen das folgende Format vor: examplebot/1.2 (+http://www.example.com/bot.html) Einige Bots lassen jedoch das Pluszeichen vor...
Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo...
Ich bin heute in meinen SEO-Nachrichten auf diesen Artikel gestoßen. Es scheint zu implizieren, dass Sie Noindex:zusätzlich zu den Standardanweisungen Disallow:in robots.txt Direktiven verwenden können . Disallow: /page-one.html Noindex: /page-two.html Es scheint, als würde dies verhindern, dass...
Ich habe eine Website, die ich meistens nicht von Suchmaschinen indizieren möchte, aber ich möchte sie auf archive.org für immer behalten. Also robots.txtfängt mein damit an: User-agent: * Disallow: / Laut archive.org muss ich heute Folgendes in mein hinzufügen robots.txt, um ihre Bots zuzulassen:...
Ich verwende die folgende robots.txt-Datei für eine Site: Ziel ist es, Googlebot und Bingbot den Zugriff auf die Site mit Ausnahme der Seite zu ermöglichen /bedven/bedrijf/*und alle anderen Bots daran zu hindern, die Site zu crawlen . User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay:...
Wir haben eine Store Locater-Seite auf der Website unseres Kunden. Der Endbenutzer gibt seine Postleitzahl und einen Suchradius ein und wir zeigen die Ergebnisse auf einer Google Map an. Vor kurzem hatten wir festgestellt, dass die Website das kostenlose Kartensuchlimit (ca. 25.000 pro 24 Stunden)...
Ich habe eine Site auf eine neue Domain migriert. Die Seite selbst ist ziemlich unkompliziert (sie verwendet Jekyll) und alles ist gut gelaufen - außer der Migration von Disqus-Threads. Ich hatte teilweise Erfolg - einige der Threads wurden erfolgreich migriert, aber nicht alle. Ich habe den...
Ich habe eine Website, die aus regulatorischen Gründen möglicherweise nicht automatisch indiziert oder durchsucht wird. Dies bedeutet, dass wir alle Roboter fernhalten und verhindern müssen, dass sie die Site spinnen. Offensichtlich hatten wir eine robots.txt-Datei, die von Anfang an nicht erlaubt...
Ich habe Ask.comals eine der Suchmaschinen meine Sitemap gepingt. Als ich heute meine Sitemap anpingte, um meine Sitemap neu zu indizieren, wurde auf der Website ( http://submissions.ask.com/ping ) angegeben, dass sie nicht mehr existiert. Ich habe eine DNS-Suche durchgeführt submissions.ask.comund...
Jetzt hat Google das AJAX-Crawling-Schema abgelehnt . Sie sagen, dass sie sich nicht die Mühe machen sollen, es auf neuen Websites zu implementieren, da es nicht mehr benötigt wird, da Googlebot jetzt kein Problem damit hat, dynamische Inhalte anzusehen. Sollten wir dieser Aussage sofort vertrauen...
Ich möchte den archive.isZugriff auf meine Website verweigern . (Ich möchte nicht, dass diese Website meine ohne meine Zustimmung zwischenspeichert). Wissen Sie, ob es möglich
Wir sind kürzlich auf ein Problem gestoßen, bei dem wir var GLOBAL_VAR = true;einer HTML-Seite (z. B. ) eine JavaScript-Variable (z. B. ) hinzugefügt /Search/Indexund die separate JS-Datei (z. B. ) aktualisiert haben, /Scripts/search/index.jsum auf diese JS-Variable zuzugreifen und sie zu...
Auf Facebook registrierte Crawler (ipv6 mit der Endung: face: b00c :: 1) knallten unsere Website und sahen in nur 20 Minuten Zehntausende von Treffern. Wir haben festgestellt, dass sie keinen Benutzeragenten im Header haben, und haben eine Regel für Cloudflare implementiert, um uns selbst zu...
Ich habe einige 404-Fehler gesehen, als auf einigen von mir verwalteten Websites ads.txt angefordert wurde. Ich vermute, die Antwort ist möglicherweise identisch mit der Frage nach einer leeren robots.txt-Datei oder gar keiner Datei (verhindern Sie nur einige 404-Fehler). Es fällt mir jedoch...
Meine Frau arbeitet an einem Gymnasium in Deutschland. Ich habe kürzlich festgestellt, dass es extrem schwierig ist , die Homepage dieser Schule mit Google zu finden. Ich habe mir den Quellcode der Seite angesehen und glaube, ich habe den Grund gefunden: Es gibt zwei <meta name="robots">Tags;...
Wenn ich eine statische Seite in einer Domain erstelle (http://www.domain.com/page.html), kann ein Crawler sie dann weiterhin sehen, wenn auf der Site keine Links dazu vorhanden
Jemand, den ich kenne, behauptet, dass Suchmaschinen wie Google Probleme mit Schriftarten haben, die nicht die alten Standardschriftarten von gestern sind, was dazu führt, dass Seiten nicht von Suchspinnen analysiert werden. Um auf der sicheren Seite SEO zu sein, sollte ich mich an die Standbys...