Benötigt LINQ wesentlich mehr Verarbeitungszyklen und Speicher als Dateniterationstechniken auf niedrigerer Ebene?

Hintergrund

Ich bin in letzter Zeit dabei, anstrengende Tech-Interviews für Positionen zu ertragen, die den .NET-Stack verwenden, von denen einige dumme Fragen wie diese enthalten , und einige Fragen, die gültiger sind. Ich bin kürzlich auf ein Problem gestoßen, das möglicherweise gültig ist, aber ich möchte mich hier bei der Community erkundigen, um sicherzugehen.

Auf die Frage eines Interviewers, wie ich die Häufigkeit von Wörtern in einem Textdokument zählen und die Ergebnisse bewerten würde, antwortete ich, dass ich dies tun würde

1. Verwenden Sie ein Stream-Objekt, um die Textdatei als Zeichenfolge zu speichern.
2. Teilen Sie die Zeichenfolge in ein Array auf Leerzeichen auf, während Sie die Interpunktion ignorieren.
3. Verwenden Sie LINQ für das Array .GroupBy()und .Count()dann die OrderBy()Anzahl.

Ich habe diese Antwort aus zwei Gründen falsch verstanden:

1. Das Streamen einer gesamten Textdatei in den Speicher kann katastrophal sein. Was wäre, wenn es eine ganze Enzyklopädie wäre? Stattdessen sollte ich jeweils einen Block streamen und mit dem Erstellen einer Hash-Tabelle beginnen.
2. LINQ ist zu teuer und erfordert zu viele Verarbeitungszyklen. Ich hätte stattdessen eine Hash-Tabelle erstellen und für jede Iteration nur ein Wort zur Hash-Tabelle hinzufügen sollen, wenn es sonst nicht vorhanden wäre, und dann die Anzahl erhöhen.

Der erste Grund scheint vernünftig. Aber der zweite gibt mir mehr Pause. Ich dachte, dass eines der Verkaufsargumente von LINQ darin besteht, dass es einfach Operationen auf niedrigerer Ebene wie Hash-Tabellen abstrahiert, aber dass es unter dem Schleier immer noch dieselbe Implementierung ist.

Frage

Erfordert LINQ, abgesehen von einigen zusätzlichen Verarbeitungszyklen zum Aufrufen abstrahierter Methoden, erheblich mehr Verarbeitungszyklen, um eine bestimmte Dateniterationsaufgabe auszuführen, als dies bei einer untergeordneten Aufgabe (z. B. beim Erstellen einer Hash-Tabelle) der Fall wäre?

Ich würde sagen, die Hauptschwäche dieser Antwort ist weniger die Verwendung von Linq als vielmehr die Auswahl der spezifischen Operatoren. GroupByNimmt jedes Element und projiziert es auf einen Schlüssel und einen Wert, die in eine Suche einfließen. Mit anderen Worten, jedes Wort fügt der Suche etwas hinzu.

Die naive Implementierung .GroupBy(e => e)speichert eine Kopie jedes Wortes im Quellmaterial, wodurch die endgültige Suche fast so groß ist wie das ursprüngliche Quellmaterial. Selbst wenn wir den Wert mit projizieren, .GroupBy(e => e, e => null)erstellen wir eine große Suche nach kleinen Werten.

Was wir wollen, ist ein Operator, der nur die benötigten Informationen beibehält, dh eine Kopie jedes Wortes und die Anzahl dieses Wortes. Dafür können wir verwenden Aggregate:

words.Aggregate(new Dictionary<string, int>(), (counts, word) => 
{
    int currentCount;
    counts.TryGetValue(word, currentCount);
    counts[word] = currentCount + 1;
    return counts;
} 

Von hier aus gibt es verschiedene Möglichkeiten, dies zu beschleunigen:

1. Anstatt beim Teilen viele Zeichenfolgen zu erstellen, könnten wir Strukturen weitergeben, die auf die ursprüngliche Zeichenfolge und das Segment verweisen, das das Wort enthält, und das Segment nur dann kopieren, wenn sich herausstellt, dass es sich um einen eindeutigen Schlüssel handelt
2. Verwenden Sie Parallel Linq, um mehrere Kerne zu aggregieren, und kombinieren Sie dann die Ergebnisse . Dies ist trivial im Vergleich zu der dafür erforderlichen Beinarbeit von Hand.

Ich denke, Sie hatten eine knappe Flucht, der Interviewer wusste nicht wirklich, wovon er sprach. Schlimmer noch, er glaubt, dass es eine "richtige" Antwort gibt. Wenn er jemand wäre, für den Sie arbeiten möchten, würde ich erwarten, dass er Ihre erste Antwort entgegennimmt, herausfindet, warum Sie sie gewählt haben, und Sie dann herausfordert, sie zu verbessern, wenn er Probleme damit findet.

LINQ macht den Menschen Angst, weil es wie Magie aussieht. Es ist eigentlich sehr einfach (so einfach, dass man ein Genie sein müsste, um es zu erfinden)

var result = from item in collection where item=>item.Property > 3 select item;

Ist zusammengestellt in:

IEnumerable<itemType> result = collection.Where(item=>item.property >3);

(Bitte schreien Sie nicht, wenn ich die falsche Syntax habe, es ist nach Mitternacht und ich bin im Bett :))

Wo ist eine Erweiterungsmethode auf IEnumerable, die ein Lambda nimmt. Das Lambda wird einfach (in diesem Fall) zu einem Delegierten zusammengestellt:

bool AMethod(ItemType item)
{
    return item.property >3;
}

Die Where-Methode fügt einfach ALLE Instanzen von Elementen hinzu, bei denen AMethod einer zurückgegebenen Sammlung true zurückgibt.

Es gibt keinen Grund, der langsamer wäre, als einen foreach durchzuführen und alle übereinstimmenden Elemente zu einer Sammlung in dieser Schleife hinzuzufügen. Tatsächlich macht die Where-Erweiterungsmethode wahrscheinlich genau das. Die wahre Magie kommt, wenn Sie eine Alternative injizieren müssen, wo Kriterien.

Wie ich oben in meinem Kommentar erwähnt habe, sind einige der verknüpften Beispiele sehr falsch. Und es ist diese Art von Fehlinformation, die die Probleme verursacht.

Wenn das Interview Ihnen eine Chance gegeben hätte, hätten Sie Folgendes sagen können:

• LINQ ist leicht zu lesen, insbesondere wenn Sie interessante Projektionen und Gruppierungen einführen. Einfach zu lesender Code ist einfacher zu pflegen, was ein Gewinn ist.

• Es wäre wirklich einfach, die Leistung zu messen, wenn es sich tatsächlich um einen Engpass handelt, und ihn durch etwas anderes zu ersetzen.