R- und Versionskontrolle für den Solo-Datenanalysten

Viele Datenanalysten, die ich respektiere, verwenden die Versionskontrolle. Beispielsweise:

• http://github.com/hadley/
• Siehe Kommentare unter http://permut.wordpress.com/2010/04/21/revision-control-statistics-bleg/

Ich prüfe jedoch, ob sich die Einführung eines Versionskontrollsystems wie git lohnt.

Ein kurzer Überblick: Ich bin ein Sozialwissenschaftler, der R verwendet, um Daten für Forschungspublikationen zu analysieren. Ich produziere derzeit keine R-Pakete. Mein R-Code für ein Projekt enthält normalerweise einige tausend Codezeilen für die Dateneingabe, -bereinigung, -manipulation, -analyse und -ausgabe. Veröffentlichungen werden normalerweise mit LaTeX geschrieben.

In Bezug auf die Versionskontrolle gibt es viele Vorteile, über die ich gelesen habe, die jedoch für den Solo-Datenanalysten weniger relevant zu sein scheinen.

• Backup: Ich habe bereits ein Backup-System eingerichtet.
• Gabeln und Zurückspulen: Ich hatte nie das Bedürfnis, dies zu tun, aber ich kann sehen, wie nützlich es sein könnte (z. B. bereiten Sie mehrere Zeitschriftenartikel auf der Grundlage desselben Datensatzes vor; Sie erstellen einen Bericht, der monatlich aktualisiert wird usw. )
• Zusammenarbeit: Die meiste Zeit analysiere ich Daten selbst, daher würde ich die Vorteile der Versionskontrolle für die Zusammenarbeit nicht nutzen.

Mit der Einführung der Versionskontrolle sind auch mehrere potenzielle Kosten verbunden:

• Zeit, ein Versionskontrollsystem zu evaluieren und zu erlernen
• Eine mögliche Erhöhung der Komplexität gegenüber meinem aktuellen Dateiverwaltungssystem

Ich habe jedoch immer noch das Gefühl, dass mir etwas fehlt. Allgemeine Leitfäden zur Versionskontrolle scheinen eher an Informatiker als an Datenanalysten gerichtet zu sein.

Insbesondere in Bezug auf Datenanalysten unter ähnlichen Umständen wie den oben aufgeführten:

1. Lohnt sich die Versionskontrolle?
2. Was sind die wichtigsten Vor- und Nachteile einer Versionskontrolle?
3. Was ist eine gute Strategie für den Einstieg in die Versionskontrolle für die Datenanalyse mit R (z. B. Beispiele, Workflow-Ideen, Software, Links zu Handbüchern)?

Ich bin der Meinung, dass die Antwort auf Ihre Frage ein klares Ja ist. Die Vorteile der Verwaltung Ihrer Dateien mit einem Versionskontrollsystem überwiegen bei weitem die Kosten für die Implementierung eines solchen Systems.

Ich werde versuchen, auf einige der von Ihnen angesprochenen Punkte im Detail zu antworten:

• Backup: Ich habe bereits ein Backup-System eingerichtet.

Ja, und ich auch. Es sind jedoch einige Fragen zu berücksichtigen, ob es angemessen ist, sich auf ein Allzweck-Backup-System zu verlassen, um wichtige und aktive Dateien in Bezug auf Ihre Arbeit angemessen zu verfolgen. Auf der Leistungsseite:

• In welchem ​​Intervall macht Ihr Backup-System Schnappschüsse?
• Wie lange dauert es, einen Schnappschuss zu erstellen?
• Muss es Ihre gesamte Festplatte abbilden, wenn Sie einen Schnappschuss machen, oder kann es leicht angewiesen werden, nur zwei Dateien zu sichern, die gerade kritische Updates erhalten haben?
• Kann Ihr Backup-System Ihnen genau zeigen, was sich in Ihren Textdateien von einem Backup zum nächsten geändert hat?

Und am wichtigsten:

• An wie vielen Orten werden die Backups gespeichert? Befinden sie sich am selben physischen Standort wie Ihr Computer?
• Wie einfach ist es, eine bestimmte Version einer einzelnen Datei von Ihrem Backup-System wiederherzustellen?

Besitzen Sie beispielsweise einen Mac und verwenden Sie Time Machine, um auf einer anderen Festplatte in meinem Computer zu sichern. Time Machine eignet sich hervorragend zum Wiederherstellen der ungeraden Datei oder zum Wiederherstellen meines Systems, wenn Probleme auftreten. Es hat jedoch einfach nicht das Zeug, meiner wichtigen Arbeit zu vertrauen:

• Beim Sichern muss Time Machine die gesamte Festplatte abbilden, was sehr viel Zeit in Anspruch nimmt. Wenn ich weiter arbeite, gibt es keine Garantie dafür, dass meine Datei in dem Zustand erfasst wird, in dem ich die Sicherung initiiert habe. Möglicherweise erreiche ich auch einen anderen Punkt, den ich speichern möchte, bevor die erste Sicherung abgeschlossen ist.

• Die Festplatte, auf der meine Time Machine-Backups gespeichert sind, befindet sich auf meinem Computer. Dadurch sind meine Daten anfällig für Diebstahl, Feuer und andere Katastrophen.

Mit einem Versionskontrollsystem wie Git kann ich ohne weiteren Aufwand eine Sicherung bestimmter Dateien initiieren, ohne dass ein Speichern in einem Texteditor angefordert werden muss. Die Datei wird sofort abgebildet und gespeichert. Außerdem ist Git so verteilt, dass jeder Computer, auf dem ich arbeite, eine vollständige Kopie des Repositorys hat.

Dies bedeutet, dass meine Arbeit auf vier verschiedenen Computern gespiegelt wird - nichts weniger als ein Akt Gottes könnte meine Dateien und Daten zerstören. An diesem Punkt würde es mich wahrscheinlich sowieso nicht sonderlich interessieren.

• Gabeln und Zurückspulen: Ich hatte nie das Bedürfnis, dies zu tun, aber ich kann sehen, wie nützlich es sein könnte (z. B. bereiten Sie mehrere Zeitschriftenartikel auf der Grundlage desselben Datensatzes vor; Sie erstellen einen Bericht, der monatlich aktualisiert wird usw. )

Als Solist gable ich auch nicht so viel. Die Zeit, die ich durch das Zurückspulen gespart habe, hat meine Investition in das Erlernen eines Versionskontrollsystems jedoch viele Male im Alleingang zurückgezahlt. Sie sagen, Sie hatten noch nie das Bedürfnis, dies zu tun - aber war das Zurückspulen einer Datei unter Ihrem aktuellen Backup-System wirklich eine schmerzlose und praktikable Option?

Manchmal sah der Bericht vor 45 Minuten, einer Stunde oder zwei Tagen einfach besser aus.

• Zusammenarbeit: Die meiste Zeit analysiere ich Daten selbst, daher würde ich die Vorteile der Versionskontrolle für die Zusammenarbeit nicht nutzen.

Ja, aber Sie würden ein Tool lernen, das sich als unverzichtbar erweisen könnte, wenn Sie am Ende mit anderen an einem Projekt zusammenarbeiten.

• Zeit, ein Versionskontrollsystem zu evaluieren und zu erlernen

Mach dir darüber keine Sorgen. Versionskontrollsysteme sind wie Programmiersprachen - sie haben einige Schlüsselkonzepte, die gelernt werden müssen, und der Rest ist nur syntaktischer Zucker. Grundsätzlich erfordert das erste Versionskontrollsystem, das Sie lernen, die meiste Zeit, um zu einem anderen zu wechseln. Sie müssen lediglich lernen, wie das neue System Schlüsselkonzepte ausdrückt.

Wählen Sie ein beliebtes System und machen Sie es!

• Eine mögliche Erhöhung der Komplexität gegenüber meinem aktuellen Dateiverwaltungssystem

Haben Sie beispielsweise einen Ordner, Projectsder alle Ordner und Dateien enthält, die sich auf Ihre Datenanalyseaktivitäten beziehen? Wenn dies der Fall ist, wird die Komplexität Ihres Dateisystems durch genaues Versetzen der Versionskontrolle erhöht 0. Wenn Sie Ihre Projekte über Ihre computer- verstreut sind , dann sollten Sie sie zentralisieren , bevor die Versionskontrolle anwenden , und dies wird am Ende Verringerung der Komplexität bei der Verwaltung Ihrer Dateien- Deshalb haben wir einen haben DocumentsOrdner , nachdem alle.

1. Lohnt sich die Versionskontrolle?

Ja! Sie erhalten eine große Schaltfläche zum Rückgängigmachen und können problemlos Arbeiten von Maschine zu Maschine übertragen, ohne sich Gedanken über den Verlust Ihres USB-Laufwerks machen zu müssen.

2 Was sind die wichtigsten Vor- und Nachteile der Versionskontrolle?

Der einzige Nachteil, den ich mir vorstellen kann, ist eine leichte Vergrößerung der Dateigröße - aber moderne Versionskontrollsysteme können mit Komprimierung und selektivem Speichern absolut erstaunliche Dinge bewirken, so dass dies so ziemlich ein strittiger Punkt ist.

3 Was ist eine gute Strategie für den Einstieg in die Versionskontrolle für die Datenanalyse mit R (z. B. Beispiele, Workflow-Ideen, Software, Links zu Handbüchern)?

Halten Sie Dateien, die Daten oder Berichte generieren, unter Versionskontrolle. Seien Sie selektiv. Wenn Sie so etwas wie verwenden Sweave, speichern Sie Ihre .RnwDateien und nicht die .texDateien, die daraus erstellt werden. Speichern Sie Rohdaten, wenn die erneute Erfassung schwierig wäre. Wenn möglich, schreiben und speichern Sie ein Skript, das Ihre Daten erfasst, und ein anderes, das sie bereinigt oder ändert, anstatt Änderungen an Rohdaten zu speichern.

Zum Erlernen eines Versionskontrollsystems empfehle ich Git und diese Anleitung .

Diese Websites enthalten auch einige nützliche Tipps und Tricks zum Ausführen bestimmter Aktionen mit Git:

• http://www.gitready.com/

• http://progit.org/blog.html

Ich habe neun Jahre in einem Analytics-Shop gearbeitet und diesem Shop die Idee der Versionskontrolle für unsere Analyseprojekte vorgestellt. Ich glaube natürlich fest an die Versionskontrolle. Ich würde jedoch die folgenden Punkte ansprechen.

1. Die Versionskontrolle ist möglicherweise nicht angemessen, wenn Sie eine Analyse für eine mögliche Verwendung vor Gericht durchführen. Es hört sich nicht so an, als würde dies auf Sie zutreffen, aber es hätte unsere Kunden sehr nervös gemacht zu wissen, dass jede Version jedes Skripts, das wir jemals erstellt haben, potenziell auffindbar ist. Wir haben die Versionskontrolle für Codemodule verwendet, die in mehreren Engagements wiederverwendet wurden, aus diesem Grund jedoch keine Versionskontrolle für engagierungsspezifischen Code.
2. Wir haben festgestellt, dass der größte Vorteil der Versionskontrolle darin besteht, dass vordefinierte Codemodule gespeichert werden, die in mehreren Projekten wiederverwendet wurden. Beispielsweise haben Sie möglicherweise eine bestimmte bevorzugte Methode zur Verarbeitung bestimmter Census PUMS-Extrakte. Organisieren Sie diesen Code in einem Verzeichnis und legen Sie ihn in Ihrem VCS ab. Sie können es dann jedes Mal, wenn Sie es benötigen, in jedes neue Projekt einchecken. Es kann sogar nützlich sein, bestimmte Zweige eines bestimmten Codes für ein bestimmtes Projekt zu erstellen, wenn Sie eine spezielle Verarbeitung eines bestimmten gemeinsamen Datensatzes für dieses Projekt durchführen. Wenn Sie mit diesem Projekt fertig sind, entscheiden Sie, wie viel von Ihrem speziellen Code in den Hauptzweig zurückgeführt werden soll.
3. Stellen Sie verarbeitete Daten nicht in die Versionskontrolle. Nur Code. Unser Ziel war es immer, einen vollständigen Satz von Skripten zu haben, damit wir alle intern verarbeiteten Daten löschen, einen Knopf drücken und jede Nummer für den Bericht von Grund auf neu generieren können. Nur so können Sie sicher sein, dass Ihre Daten keine alten Fehler enthalten, die auf mysteriöse Weise weiterleben.
4. Um sicherzustellen, dass Ihre Ergebnisse wirklich vollständig reproduzierbar sind, reicht es nicht aus, nur Ihren Code in einem VCS zu speichern. Es ist wichtig, sorgfältig zu verfolgen, welche Version von welchen Modulen verwendet wurde, um ein bestimmtes Ergebnis zu erstellen.
5. Was die Software betrifft, hatte ich viel Glück mit Subversion. Es ist einfach einzurichten und zu verwalten. Ich erkenne die Anziehungskraft der neuen verteilten VCSs wie Git und Mercurial, aber ich bin mir nicht sicher, ob es starke Vorteile gibt, wenn Sie alleine arbeiten. Andererseits kenne ich auch keine Nachteile bei der Verwendung - ich habe nur nicht mit ihnen in einer Analyseumgebung gearbeitet.

Der Vollständigkeit halber dachte ich, ich würde ein Update zu meiner Einführung der Versionskontrolle bereitstellen.

Ich habe festgestellt, dass die Versionskontrolle für Solo-Datenanalyseprojekte sehr nützlich ist.

Ich habe git als mein Hauptwerkzeug zur Versionskontrolle übernommen. Ich habe zuerst Egit in Eclipse mit StatET gestartet. Jetzt benutze ich im Allgemeinen nur die Befehlszeilenschnittstelle, obwohl die Integration mit RStudio ziemlich gut ist.

Ich habe über meine Erfahrungen beim Einrichten der Versionskontrolle aus der Perspektive von Datenanalyseprojekten gebloggt.

Wie in dem Beitrag erwähnt, hat die Einführung der Versionskontrolle viele sekundäre Vorteile für meine Meinung zu Datenanalyseprojekten, einschließlich der Klarstellung:

• die Unterscheidung zwischen Quell- und abgeleiteten Dateien
• die Art der Abhängigkeiten:
  • Abhängigkeiten zwischen Codeelementen
  • Abhängigkeiten zwischen Dateien innerhalb eines Projekts
  • und Abhängigkeiten mit Dateien und Programmen außerhalb des Repositorys
• die Art eines Repositorys und wie Repositorys aufgeteilt werden sollten
• die Art des Festschreibens und Dokumentierens von Änderungen und Projektmeilensteinen

Ich mache Wirtschaftsforschung mit R und LaTeX und stelle meine Arbeit immer unter Versionskontrolle. Es ist wie unbegrenztes Rückgängigmachen. Probieren Sie Bazaar aus, es ist eines der am einfachsten zu erlernenden und zu verwendenden. Unter Windows verfügt es über eine grafische Benutzeroberfläche (TortoiseBZR).

Ja, die Versionskontrolle bietet zusätzliche Vorteile, wenn Sie mit anderen zusammenarbeiten, aber selbst bei Soloprojekten ist dies sehr sinnvoll.

Im Moment denken Sie wahrscheinlich, dass Ihre Arbeit Code entwickelt, der das tut, was Sie wollen. Nachdem Sie ein Revisionskontrollsystem verwendet haben, werden Sie sich vorstellen, dass Ihre Arbeit Ihr Vermächtnis im Repository aufschreibt und brillante inkrementelle Änderungen daran vornimmt. Es fühlt sich viel besser an.

Ich würde die Versionskontrolle für einen Solo-Act wie Sie weiterhin empfehlen, da es eine großartige Sache sein kann, ein Sicherheitsnetz zu haben, um Fehler zu erkennen.

Ich habe als Solo-Java-Entwickler gearbeitet und verwende immer noch die Quellcodeverwaltung. Wenn ich ständig einchecke, kann ich nicht mehr als eine Stunde Arbeit verlieren, wenn etwas schief geht. Ich kann ohne Sorgen experimentieren und umgestalten, denn wenn es schief geht, kann ich immer zu meiner letzten Arbeitsversion zurückkehren.

Wenn dies bei Ihnen der Fall ist, würde ich die Verwendung der Quellcodeverwaltung empfehlen. Es ist nicht schwer zu lernen.

Sie müssen eine Versionskontrollsoftware verwenden, da Ihre Analyse sonst nicht perfekt reproduzierbar ist.

Wenn Sie Ihre Ergebnisse irgendwo veröffentlichen möchten, sollten Sie immer in der Lage sein, den Status Ihrer Skripte zu dem Zeitpunkt zu rekonstruieren, an dem Sie sie erstellt haben. Angenommen, einer der Prüfer entdeckt einen Fehler in einem Ihrer Skripte: Woher wissen Sie, welche Ergebnisse erzielt werden und welche nicht?

In diesem Sinne ist ein Sicherungssystem nicht ausreichend, da es wahrscheinlich nur einmal pro Tag durchgeführt wird und keine Beschriftungen auf die verschiedenen Sicherungen angewendet werden, sodass Sie nicht wissen, welche Versionen welchen Ergebnissen entsprechen. Das Erlernen eines VCS ist einfacher als das, was Sie denken. Wenn Sie lernen, wie Sie eine Datei hinzufügen und Änderungen festschreiben, reicht dies bereits aus.

Lohnt sich die Versionskontrolle?

ein großes JA.

Was sind die wichtigsten Vor- und Nachteile einer Versionskontrolle?

Profis: Sie können verfolgen, was Sie zuvor getan haben. Besonders nützlich für Latex, da Sie möglicherweise einen alten Absatz benötigen, der von Ihnen gelöscht wurde! Wenn Ihr Computer abstürzt oder Sie an einem neuen arbeiten, haben Sie Ihre Daten sofort wieder.

Nachteile: Sie müssen einige Einstellungen vornehmen.

Was ist eine gute Strategie für den Einstieg in die Versionskontrolle für die Datenanalyse mit R (z. B. Beispiele, Workflow-Ideen, Software, Links zu Handbüchern)?

Fangen Sie einfach an, es zu benutzen. Ich verwende Schildkröten-SVN unter Windows als Client-Tool und meine Abteilung verfügt über einen SVN-Server. Ich habe meinen gesamten Code und meine Daten (ja, Sie haben auch Ihre Daten dort abgelegt!) Dort abgelegt.

Machen Sie zuerst einen Schritt zurück und lernen Sie die Vorteile des Schreibens von R-Paketen kennen! Sie sagen, Sie haben Projekte mit mehreren tausend Codezeilen, die jedoch nicht so strukturiert oder dokumentiert sind wie der Paketcode? Sie erzielen große Gewinne, wenn Sie die Ideale des Pakets einhalten, einschließlich Dokumentation für jede Funktion, Tests für viele der üblichen schwer zu fassenden Fehler, die Möglichkeit, eigene Testsuiten zu schreiben usw. usw.

Wenn Sie nicht die Disziplin haben, ein Paket zu erstellen, bin ich mir nicht sicher, ob Sie die Disziplin haben, eine ordnungsgemäße Revisionskontrolle durchzuführen.

Ich würde den obigen Ansichten zustimmen und sagen, dass die Versionskontrolle nützlich ist.

Vorteile;

• Halten Sie Ihre Recherchen aufgezeichnet und gesichert (Tagging)
• Sie können verschiedene Ideen ausprobieren und zurückkehren, wenn sie nicht funktionieren (Verzweigung).
• Sie können Ihre Arbeit mit anderen Personen teilen, und sie können ihre Änderungen daran mit Ihnen teilen (ich weiß, dass Sie dies nicht angegeben haben, aber es ist großartig).
• Die meisten Versionskontrollsysteme machen es einfach, ein komprimiertes Bündel für alle kontrollierten Dateien zu einem bestimmten Zeitpunkt zu erstellen, z. B. an dem Punkt, an dem Sie einen Artikel zur Veröffentlichung einreichen. Dies kann hilfreich sein, wenn andere Ihre Artikel überprüfen. (Sie können dies manuell tun, aber warum sollten Sie diese Prozesse erfinden, wenn die Versionskontrolle dies nur tut?)

In Bezug auf Toolsets verwende ich Git zusammen mit StatEt und Eclipse, was gut funktioniert, obwohl Sie Eclipse sicherlich nicht verwenden müssen. Es gibt einige Git-Plugins für Eclipse , aber ich verwende im Allgemeinen die Befehlszeilenoptionen.

Eine Versionskontrolle für die Solo-Entwicklung (jeglicher Art) ist wirklich interessant für:

• Erkundung der Geschichte und Vergleich der aktuellen Arbeit mit früheren Verpflichtungen
• Verzweigen und Ausprobieren verschiedener Versionen für denselben Dateisatz

Wenn Sie nicht sehen, dass Sie eine dieser beiden grundlegenden Funktionen zur Versionskontrolle ausführen, ist möglicherweise nur ein einfaches Backup-Tool erforderlich.
Wenn Sie diese Funktionen benötigen, erhalten Sie auch ein Backup ( git bundlez. B. mit).

Ich mache auch Solo-Scripting-Arbeiten und finde, dass es die Dinge einfacher macht, anstatt sie komplexer zu machen. Die Sicherung ist in den Codierungsworkflow integriert und erfordert keine separaten Dateisystemprozeduren. Die Zeit, die benötigt wird, um die Grundlagen eines Versionskontrollsystems zu erlernen, wäre definitiv eine gute Zeit.

Dropbox verfügt über eine "ppor man" -Versionskontrolle, mit der Sie mit geringem Aufwand und vielen zusätzlichen Vorteilen einen Teil des Weges dorthin zurücklegen können.