Suchen Sie doppelte Datensätze in MongoDB

Wie würde ich doppelte Felder in einer Mongo-Sammlung finden?

Ich möchte überprüfen, ob eines der "Namens" -Felder Duplikate sind.

{
    "name" : "ksqn291",
    "__v" : 0,
    "_id" : ObjectId("540f346c3e7fc1054ffa7086"),
    "channel" : "Sales"
}

Danke vielmals!

Verwenden Sie die Aggregation für nameund erhalten Sie namemit count > 1:

db.collection.aggregate(
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
)

So sortieren Sie die Ergebnisse nach den meisten bis zu den wenigsten Duplikaten:

db.collection.aggregate(
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$sort": {"count" : -1} },
    {"$project": {"name" : "$_id", "_id" : 0} }     
)

Ändern Sie " $ name " in " $ column_name ", um es mit einem anderen Spaltennamen als "name " zu verwenden.

Sie können das finden listvon duplicateNamen unter Verwendung der folgenden aggregatePipeline:

• GroupAlle Datensätze haben ähnliche name.
• Matchdiejenigen groupsmit Aufzeichnungen größer als 1.
• Dann groupnochmal zu projectallen doppelten Namen als array.

Der Code:

db.collection.aggregate([
{$group:{"_id":"$name","name":{$first:"$name"},"count":{$sum:1}}},
{$match:{"count":{$gt:1}}},
{$project:{"name":1,"_id":0}},
{$group:{"_id":null,"duplicateNames":{$push:"$name"}}},
{$project:{"_id":0,"duplicateNames":1}}
])

o / p:

{ "duplicateNames" : [ "ksqn291", "ksqn29123213Test" ] }

Die Antwort, die anhic gegeben hat, kann sehr ineffizient sein, wenn Sie über eine große Datenbank verfügen und der Attributname nur in einigen Dokumenten vorhanden ist.

Um die Effizienz zu verbessern, können Sie der Aggregation eine $ -Match hinzufügen.

db.collection.aggregate(
    {"$match": {"name" :{ "$ne" : null } } }, 
    {"$group" : {"_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
)

db.getCollection('orders').aggregate([  
    {$group: { 
            _id: {name: "$name"},
            uniqueIds: {$addToSet: "$_id"},
            count: {$sum: 1}
        } 
    },
    {$match: { 
        count: {"$gt": 1}
        }
    }
])

Erste Gruppe Fragen Sie die Gruppe nach den Feldern ab.

Dann überprüfen wir die eindeutige ID und zählen sie. Wenn die Anzahl größer als 1 ist, ist das Feld in der gesamten Sammlung doppelt vorhanden, sodass das Ding von $ match query behandelt werden soll.