Was ist der schnellste Weg, um eine Tabelle in eine Textdatei zu exportieren

Ich werde eine SQL Server 2012-Datenbank und eine Tabelle mit 3 Millionen Zeilen und vielleicht 50 Spalten haben. Was ist der schnellste Weg für einen unbeaufsichtigten .net-Hintergrundprozess (gibt möglicherweise einen SQL- oder Powershell-Befehl aus), um ihn in eine Textdatei zu exportieren, eine Zeile für jede Datenzeile? Der .net-Prozess sollte wissen, wann der Export abgeschlossen wurde oder ob ein Fehler aufgetreten ist. Der Datentyp ist all intoder nvarchar.

Ich gehe davon aus, dass ein reiner C # -Code, der ado.net verwendet, um einen select *Befehl auszuführen, den Daten- Reader zu durchlaufen und für jeden Datensatz in eine Datei zu schreiben, langsam ist und ich dies auf keinen Fall parallelisieren kann.

Im Idealfall erfolgt der Export in einen freigegebenen Remote-Netzwerkordner und nicht in einen lokalen Ordner auf dem SQL Server-Computer. Der SQL Server wird ein HA-Cluster sein. Ist SSIS dafür besser geeignet, keine Datenumwandlung erforderlich?

Der .Net-Prozess würde auf Computer A und SQL Server auf Computer B ausgeführt, und das endgültige Dateiziel ist eine Netzwerkfreigabe. Eine Option ist, dass SQL Server die Datei direkt auf die Netzwerkfreigabe schreibt. Die andere Option besteht darin, dass SQL Server auf Computer A schreibt. Wenn die Datei geschrieben wird, kopiert der .NET-Prozess sie auf die Netzwerkfreigabe. Ich habe keine formelle SLA, erwarte aber 30 Minuten - 1 Stunde für das Schreiben der Datei.

Das Durchstöbern all dieser Artikel ist eine Option, wenn Sie sich die Zeit vertreiben möchten, während Sie sie ausführen.

Einige verschiedene Optionen, die Sie ausprobieren sollten, sind:

• das Dienstprogramm bcp (auch oben erwähnt, es ist ein Befehlszeilentool zum Importieren und Exportieren von Daten zu / von einem SQL Server);
• BULK INSERT- Anweisung - die T-SQL- Programmiersprache sugar, um mit Datenimporten aus Skripten zu arbeiten.
• SqlBulkCopy-Klasse aus .NET - wenn Sie innerhalb der App arbeiten möchten. Ein schönes Beispiel ist hier zu sehen: Linchi Sheas Leistungseffekt: Das optimalste Einfügeskript kann BulkCopy nicht schlagen .

Und Sie können all diese Optionen ausprobieren, während Sie in einer anderen Sitzung eine Schleife abspielen, nur zum Spaß :-).

Ich würde einfach den Import Export Wizard verwenden. Am Ende haben Sie die Möglichkeit, die Aufgabe zu speichern, die Sie dann mit dem SQL Server-Agenten planen können. Fügen Sie sich als Operator hinzu und konfigurieren Sie DB Mail auf dem Server. Sie erhalten dann eine E-Mail, wenn der Auftrag abgeschlossen ist oder fehlschlägt.

Ernsthaft, warum das Rad neu erfinden?

http://msdn.microsoft.com/en-us/library/ms140052.aspx

Andere haben angegeben, dass bcp der schnellste Weg sein sollte, aber ich sehe keinen Vorteil gegenüber einer CLR-Lösung. Bei Einfügungen in Datenbanktabellen gewinnen die verschiedenen Massenkopieimplementierungen immer. Dies liegt hauptsächlich an der Art und Weise, wie sie die Protokollierung minimieren und Multi-Thread-Schreibvorgänge ermöglichen. Sie haben diese Einschränkungen nicht, wenn Sie in eine flache Datei schreiben.

Bei meiner Arbeit verwenden wir eine CLR, um die Abfrageausgabe in eine Datei zu speichern. Wir integrieren auch die Ionic.Zip.dll, damit die Datei nach der Erstellung automatisch gezippt werden kann.

Hier ist ein Beispiel, von dem die Operation behauptet, dass sie bei Blobs doppelt so schnell ist wie bei BCP: /programming/10325338/fastest-way-to-export-blobs-from-table-into-individual-files

Sie können ein einfaches SSIS-Paket erstellen:

Hier erfahren Sie, wie Sie:

1. Erstellen Sie im Verbindungsmanager eine OLEDB-Verbindung zur Datenbank
2. Ziehen Sie eine Datenfluss-Transformation in den Kontrollfluss und klicken Sie darauf, um zum Datenfluss zu gelangen.
3. Ziehen Sie eine OLEDB-Quelle aus der Toolbox in den Datenfluss und bearbeiten Sie sie so, dass sie mit der in Schritt 1 erstellten Verbindung eine Verbindung zu Ihrer gewünschten Tabelle herstellt
4. Ziehen Sie ein Flat File-Ziel aus der Toolbox in den Datenfluss und verbinden Sie die OLEDB-Quelle damit.
5. Wählen Sie "Neu" im Flatfile-Ziel, und es wird eine neue Flatfile mit der gleichen Spaltenstruktur erstellt, und Sie können das gewünschte Trennzeichen verwenden, oder möglicherweise ein Fix mit Datei, wenn Sie das mögen.
6. Starte es.

Jeder Noob sollte das herausfinden können. Eine Anti-GUI-Person würde diese Lösung nicht mögen. Speichern Sie also die Kommentare in dieser Hinsicht. Es ist nur eine Alternative für weniger technisch versierte Personen, die Probleme mit der Verwendung von BCP haben.

Sie haben etwas mehr Flexibilität bei der Formatierung der Datendatei. Sie können dies in BCP und all dem tun, aber das entlastet die Komplexität. Es gibt jedoch einen kleinen Vorteil: Sie können einen benutzerdefinierten Dateiheader einfügen und einen "Spaltennamen" als erste Zeile erstellen, wodurch die flache Datei für den menschlichen Gebrauch besser geeignet ist.

Vergessen Sie nicht, es zu speichern. Wenn Sie es einmal erstellt haben, werden Sie wahrscheinlich erneut gefragt! Hoffe das hilft..

Ich denke, bcp.exe von der Kommandozeile sollte der schnellste Weg sein.

http://msdn.microsoft.com/en-us/library/ms162802.aspx