Wie gehen große Websites wie StackOverflow mit ihren Zugriffsprotokollen um?

8

Ich frage mich, wie große Websites wie StackOverflow mit ihren Zugriffsprotokollen umgehen. Ein Schreibvorgang auf die Festplatte bei jeder Anfrage scheint ein wenig unwirtschaftlich zu sein. Ist Google Analytics jedoch so zuverlässig, um es als Ihre einzige Informationsquelle zu verwenden?

google-analytics analytics traffic logging apache-log-files Stephen Ostermiller
quelle
Sie können Apache so einrichten, dass es sich bei einer Datenbank anmeldet. Ich stelle mir vor, dass IIS dasselbe ist.
Lèse Majesté

Antworten:

2

Auf einem * nix-System können Sie syslog-ng verwenden , um Protokollnachrichten auf einem dedizierten Protokollserver für Ihre Cluster mit Lastenausgleich zu speichern, und dann eine Protokollanalyselösung wie Splunk verwenden , um die Dinge im Auge zu behalten - was die StackExchange-Sites betrifft tatsächlich ausgeführt, kann eine gute Frage für StackOverflow Meta sein .

danlefree
quelle
Hat jemand schon gefragt, was Stack Exchange verwendet?
theonlygusti
2

Es gibt viele Informationen in Webserver-Protokollen, die Google Analytics niemals zur Verfügung stehen. Zwei Dinge, die mir einfallen:

  • Fehler wie 404 usw.
  • Zugriff auf Mediendateien wie Bilder usw. (einschließlich externer Websites, die auf Ihre Bilder verweisen)
  • IP-Adressen, obwohl eine Antwort auf eine andere Frage darauf hinwies, dass sie als Benutzervariable festgelegt werden kann
  • Verweis-URLs in voller Länge, z. B. Google sendet Links von der Produktsuche, der Websuche usw. Jede Suche enthält Schlüsselwörter, Google Analytics zeigt jedoch keine anderen Variablen wie &source=productsusw. an.

Muss mehr Zeug sein, an das ich gerade nicht denken kann.

Und es gibt auch die Fehlerprotokolle; muss wichtig sein, damit eine Website meiner Meinung nach reibungslos funktioniert. Nicht etwas, das du ignorieren würdest.

Evgeny
quelle
Das ist richtig, aber wie speichern sie ihre Protokolle? Datei oder Datenbank, wie von Lèse majesté vorgeschlagen, scheint mir zu schwer.
Wenn Sie diese Art von sich wiederholenden Daten gzipen, werden sie tatsächlich sehr gut komprimiert. Ich kann mir also vorstellen, dass Sie es einfach als komprimierte Textdateien speichern und nach einer Weile entfernen können ... nur Ihre grundlegende Rotation.
Evgeny
0

Ich schaue mir diese Protokolle nicht wirklich an und lösche sie am Ende monatlich. Ich sehe sie nur zur Fehlersuche an. Als Überwachungsanwendung verwenden Sie Google Analytics. CrazyEgg und andere leisten hervorragende Arbeit.

Bevor solche Dienste existierten, waren diese Protokolle sehr wertvoll. Jetzt sind sie gute Entwicklertools, aber ich kenne keinen meiner Kollegen oder Freunde, die diese Protokolle aktiv archivieren oder nach Daten analysieren.

Frank
quelle