MongoDB protokolliert alle Abfragen

Die Frage ist so einfach wie einfach ... Wie protokollieren Sie alle Abfragen in einer "tail" -fähigen Protokolldatei in Mongodb?

Ich habe versucht:

• Festlegen der Profilierungsstufe
• Einstellen des langsamen ms-Parameters startet
• mongod mit der Option -vv

Das /var/log/mongodb/mongodb.log zeigt immer nur die aktuelle Anzahl aktiver Verbindungen an ...

Sie können alle Abfragen protokollieren:

$ mongo
MongoDB shell version: 2.4.9
connecting to: test
> use myDb
switched to db myDb
> db.getProfilingLevel()
0
> db.setProfilingLevel(2)
{ "was" : 0, "slowms" : 1, "ok" : 1 }
> db.getProfilingLevel()
2
> db.system.profile.find().pretty()

Quelle: http://docs.mongodb.org/manual/reference/method/db.setProfilingLevel/

db.setProfilingLevel(2) bedeutet "alle Operationen protokollieren".

Am Ende habe ich dieses Problem gelöst, indem ich mongod wie folgt gestartet habe (gehämmert und hässlich, ja ... aber funktioniert für die Entwicklungsumgebung):

mongod --profile=1 --slowms=1 &

Dies aktiviert die Profilerstellung und legt den Schwellenwert für "langsame Abfragen" auf 1 ms fest, wodurch alle Abfragen als "langsame Abfragen" in der Datei protokolliert werden:

/var/log/mongodb/mongodb.log

Jetzt erhalte ich fortlaufende Protokollausgaben mit dem folgenden Befehl:

tail -f /var/log/mongodb/mongodb.log

Ein Beispielprotokoll:

Mon Mar  4 15:02:55 [conn1] query dendro.quads query: { graph: "u:http://example.org/people" } ntoreturn:0 ntoskip:0 nscanned:6 keyUpdates:0 locks(micros) r:73163 nreturned:6 reslen:9884 88ms

Weil es die erste Antwort von Google ist ...
Für Version 3

$ mongo
MongoDB shell version: 3.0.2
connecting to: test
> use myDb
switched to db
> db.setLogLevel(1)

http://docs.mongodb.org/manual/reference/method/db.setLogLevel/

MongoDBhat eine ausgefeilte Funktion der Profilerstellung. Die Protokollierung erfolgt in der system.profileSammlung. Die Protokolle können gesehen werden von:

db.system.profile.find()

Es gibt 3 Protokollierungsstufen ( Quelle ):

• Stufe 0 - Der Profiler ist ausgeschaltet und sammelt keine Daten. mongod schreibt immer Operationen, die länger als der Schwellenwert für slowOpThresholdMs sind, in sein Protokoll. Dies ist die Standard-Profiler-Ebene.
• Stufe 1 - sammelt Profildaten nur für langsame Operationen. Standardmäßig sind langsame Operationen langsamer als 100 Millisekunden. Sie können den Schwellenwert für "langsame" Vorgänge mit der Laufzeitoption slowOpThresholdMs oder dem Befehl setParameter ändern. Weitere Informationen finden Sie im Abschnitt Festlegen des Schwellenwerts für langsame Vorgänge.
• Stufe 2 - sammelt Profildaten für alle Datenbankoperationen.

Verwenden Sie, um zu sehen, auf welcher Profilebene die Datenbank ausgeführt wird

db.getProfilingLevel()

und um den Status zu sehen

db.getProfilingStatus()

Verwenden Sie den Befehl, um den Profilstatus zu ändern

db.setProfilingLevel(level, milliseconds)

Wobei levelsich auf die Profilebene bezieht und millisecondsdie ms ist, von welcher Dauer die Abfragen protokolliert werden müssen. Verwenden Sie zum Deaktivieren der Protokollierung

db.setProfilingLevel(0)

Die Abfrage, die in der Systemprofilsammlung nach allen Abfragen gesucht werden soll, die länger als eine Sekunde gedauert haben, sortiert nach absteigendem Zeitstempel

db.system.profile.find( { millis : { $gt:1000 } } ).sort( { ts : -1 } )

Ich habe ein Befehlszeilen-Tool erstellt, um die Profiler-Aktivität zu aktivieren und die Protokolle auf "tail " -fähige Weise anzuzeigen : "mongotail" .

Das interessantere Feature (auch wie tail) ist es jedoch, die Änderungen in "Echtzeit" mit der -fOption zu sehen und gelegentlich das Ergebnis mit grepzu filtern , um eine bestimmte Operation zu finden.

Siehe Dokumentation und Installationsanweisungen unter: https://github.com/mrsarm/mongotail

Sobald die Profilstufe mit eingestellt ist db.setProfilingLevel(2).

Der folgende Befehl gibt die zuletzt ausgeführte Abfrage aus.
Sie können auch das Limit (5) ändern, um weniger / mehr Abfragen anzuzeigen.
$ nin - filtert Profil- und Indexabfragen heraus
. Verwenden Sie außerdem die Abfrageprojektion {'query': 1}, um nur das Abfragefeld anzuzeigen

db.system.profile.find(
{ 
    ns: { 
        $nin : ['meteor.system.profile','meteor.system.indexes']
    }
} 
).limit(5).sort( { ts : -1 } ).pretty()

Protokolle mit nur Abfrageprojektion

db.system.profile.find(
{ 
    ns: { 
        $nin : ['meteor.system.profile','meteor.system.indexes']
    }
},
{'query':1}
).limit(5).sort( { ts : -1 } ).pretty()

Wenn Sie möchten, dass die Abfragen in der Mongodb-Protokolldatei protokolliert werden, müssen Sie sowohl die Protokollstufe als auch die Profilerstellung festlegen, z. B.:

db.setLogLevel(1)
db.setProfilingLevel(2)

(Siehe https://docs.mongodb.com/manual/reference/method/db.setLogLevel )

Wenn Sie nur die Profilerstellung festlegen, werden die Abfragen nicht in der Datei protokolliert, sodass Sie sie nur von abrufen können

db.system.profile.find().pretty()

Die Profilerdaten werden in eine Sammlung in Ihrer Datenbank geschrieben und nicht in eine Datei. Siehe http://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/

Ich würde empfehlen, den MMS- Dienst von 10gen zu verwenden und dort Daten des Entwicklungsprofilers einzugeben , wo Sie sie in der Benutzeroberfläche filtern und sortieren können.

Ich denke , dass zwar nicht elegant, die oplog könnte teilweise für diesen Zweck verwendet werden: sie alle die Schreibvorgänge protokolliert - aber nicht das liest ...

Sie müssen die Replikation aktivieren, wenn ich recht habe. Die Informationen stammen aus dieser Antwort aus dieser Frage: Wie kann man auf Änderungen an einer MongoDB-Sammlung achten?

Das Festlegen der Profilebene auf 2 ist eine weitere Option zum Protokollieren aller Abfragen.

Ich empfehle mongosniff. Dieses Dosenwerkzeug kann alles tun, was Sie wollen und mehr. Insbesondere kann es dabei helfen, Probleme mit größeren Mongo-Systemen zu diagnostizieren und zu ermitteln, wie Abfragen weitergeleitet werden und woher sie kommen, da es auf Ihre Netzwerkschnittstelle für alle mongo-bezogenen Kommunikationen wartet.

http://docs.mongodb.org/v2.2/reference/mongosniff/

Ich habe ein Skript geschrieben, das das system.profile-Protokoll in Echtzeit ausgibt, wenn Abfragen eingehen. Sie müssen zuerst die Protokollierung aktivieren, wie in anderen Antworten angegeben. Ich brauchte das, weil ich Windows Subsystem für Linux verwende, für das Tail immer noch nicht funktioniert.

https://github.com/dtruel/mongo-live-logger

db.adminCommand( { getLog: "*" } )

Dann

db.adminCommand( { getLog : "global" } )

Dies wurde vor langer Zeit gefragt, aber dies kann immer noch jemandem helfen:

Der MongoDB-Profiler protokolliert alle Abfragen in der begrenzten Sammlung system.profile . Siehe dies: Datenbankprofiler

1. Start mongod Instanz mit --profile=2Option , die alle Abfragen aktiviert die Protokollierung oder wenn mongod Instanzen bereits ausgeführt wird , von mongoshell, führte db.setProfilingLevel(2)nach der Auswahl Datenbank. (es kann überprüft werden durch db.getProfilingLevel(), welche zurückkehren sollte 2)
2. Danach habe ich ein Skript erstellt, das den tailable Cursor von mongodb verwendet, um diese system.profile-Sammlung zu verfolgen und die Einträge in eine Datei zu schreiben. Um die Protokolle anzuzeigen, muss ich sie nur verfolgen : tail -f ../logs/mongologs.txt. Dieses Skript kann im Hintergrund gestartet werden und protokolliert alle Vorgänge auf der Datenbank in der Datei.

Mein Code für den abschließbaren Cursor für die system.profile-Auflistung befindet sich in nodejs. Es protokolliert alle Vorgänge zusammen mit Abfragen, die in jeder Sammlung von MyDb auftreten:

const MongoClient = require('mongodb').MongoClient;
const assert = require('assert');
const fs = require('fs');
const file = '../logs/mongologs'
// Connection URL
const url = 'mongodb://localhost:27017';

// Database Name
const dbName = 'MyDb';
//Mongodb connection

MongoClient.connect(url, function (err, client) {
   assert.equal(null, err);
   const db = client.db(dbName);
   listen(db, {})
});

function listen(db, conditions) {
var filter = { ns: { $ne: 'MyDb.system.profile' } }; //filter for query
//e.g. if we need to log only insert queries, use {op:'insert'}
//e.g. if we need to log operation on only 'MyCollection' collection, use {ns: 'MyDb.MyCollection'}
//we can give a lot of filters, print and check the 'document' variable below

// set MongoDB cursor options
var cursorOptions = {
    tailable: true,
    awaitdata: true,
    numberOfRetries: -1
};

// create stream and listen
var stream = db.collection('system.profile').find(filter, cursorOptions).stream();

// call the callback
stream.on('data', function (document) {
    //this will run on every operation/query done on our database
    //print 'document' to check the keys based on which we can filter
    //delete data which we dont need in our log file

    delete document.execStats;
    delete document.keysExamined;
    //-----
    //-----

    //append the log generated in our log file which can be tailed from command line
    fs.appendFile(file, JSON.stringify(document) + '\n', function (err) {
        if (err) (console.log('err'))
    })

});

}

Informationen zum abschließbaren Cursor in Python mit Pymongo finden Sie im folgenden Code, der nach MyCollection filtert und nur Operationen einfügt:

import pymongo
import time
client = pymongo.MongoClient()
oplog = client.MyDb.system.profile
first = oplog.find().sort('$natural', pymongo.ASCENDING).limit(-1).next()

ts = first['ts']
while True:
    cursor = oplog.find({'ts': {'$gt': ts}, 'ns': 'MyDb.MyCollection', 'op': 'insert'},
                        cursor_type=pymongo.CursorType.TAILABLE_AWAIT)
    while cursor.alive:
        for doc in cursor:
            ts = doc['ts']
            print(doc)
            print('\n')
        time.sleep(1)

Hinweis: Der Cursor "Tailable" funktioniert nur mit begrenzten Sammlungen. Es kann nicht verwendet werden, um Vorgänge in einer Sammlung direkt zu protokollieren. Verwenden Sie stattdessen den Filter:'ns': 'MyDb.MyCollection'

Hinweis: Ich verstehe, dass die oben genannten Nodejs und der Python-Code für einige möglicherweise keine große Hilfe sind. Ich habe gerade die Codes als Referenz bereitgestellt.

Verwenden Sie diesen Link, um eine Dokumentation für den anpassbaren Cursor in den Mongodb-Treibern Ihrer Sprache / Treiberauswahl zu finden

Eine weitere Funktion, die ich nach diesem Logrotate hinzugefügt habe .

Probieren Sie dieses Paket aus, um alle Abfragen (ohne Oplog-Operationen) zu bearbeiten: https://www.npmjs.com/package/mongo-tail-queries

(Haftungsausschluss: Ich habe dieses Paket genau für diesen Bedarf geschrieben)