Wie kann man die Testdatenbank von Django nur im Speicher ausführen?

Die Ausführung meiner Django-Komponententests dauert lange, daher suche ich nach Möglichkeiten, dies zu beschleunigen. Ich denke darüber nach, eine SSD zu installieren , aber ich weiß, dass dies auch Nachteile hat. Natürlich gibt es Dinge, die ich mit meinem Code tun könnte, aber ich suche nach einer strukturellen Lösung. Selbst das Ausführen eines einzelnen Tests ist langsam, da die Datenbank jedes Mal neu erstellt / nach Süden migriert werden muss. Also hier ist meine Idee ...

Da ich weiß, dass die Testdatenbank immer recht klein sein wird, warum kann ich das System nicht einfach so konfigurieren, dass immer die gesamte Testdatenbank im RAM bleibt? Berühren Sie niemals die Festplatte. Wie konfiguriere ich das in Django? Ich würde es vorziehen, MySQL weiter zu verwenden, da ich dies in der Produktion verwende, aber wenn SQLite  3 oder etwas anderes dies einfach macht, würde ich diesen Weg gehen.

Hat SQLite oder MySQL die Option, vollständig im Speicher ausgeführt zu werden? Es sollte möglich sein, eine RAM-Disk zu konfigurieren und dann die Testdatenbank so zu konfigurieren, dass ihre Daten dort gespeichert werden. Ich bin mir jedoch nicht sicher, wie ich Django / MySQL anweisen soll, ein anderes Datenverzeichnis für eine bestimmte Datenbank zu verwenden, zumal diese immer wieder gelöscht wird und jeden Lauf neu erstellt. (Ich bin auf einem Mac FWIW.)

Wenn Sie Ihre Datenbank-Engine beim Ausführen Ihrer Tests auf sqlite3 setzen, verwendet Django eine speicherinterne Datenbank .

Ich verwende Code in meinem settings.py, um die Engine beim Ausführen meiner Tests auf SQLite zu setzen:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Oder in Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

Und schließlich in Django 1.3 und 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Der vollständige Pfad zum Backend ist bei Django 1.3 nicht unbedingt erforderlich, macht die Vorwärtseinstellung jedoch kompatibel.)

Sie können auch die folgende Zeile hinzufügen, falls Sie Probleme mit Südmigrationen haben:

    SOUTH_TESTS_MIGRATE = False

Normalerweise erstelle ich eine separate Einstellungsdatei für Tests und verwende sie im Testbefehl, z

python manage.py test --settings=mysite.test_settings myapp

Es hat zwei Vorteile:

1. Sie müssen nicht nach testeinem solchen Zauberwort in sys.argv suchen, es test_settings.pykann einfach sein

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Oder Sie können es weiter an Ihre Bedürfnisse anpassen und die Testeinstellungen sauber von den Produktionseinstellungen trennen.

2. Ein weiterer Vorteil ist, dass Sie Tests mit der Produktionsdatenbank-Engine anstelle von sqlite3 ausführen können, um subtile Fehler zu vermeiden

   python manage.py test --settings=mysite.test_settings myapp

   und vor dem Festschreiben von Code einmal ausführen

   python manage.py test myapp

   Nur um sicherzugehen, dass alle Tests wirklich bestanden werden.

MySQL unterstützt eine Speicher-Engine namens "MEMORY", die Sie in Ihrer Datenbank config ( settings.py) als solche konfigurieren können :

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Beachten Sie, dass die MEMORY-Speicher-Engine keine Blob- / Textspalten unterstützt. Wenn Sie django.db.models.TextFielddiese verwenden, funktioniert dies für Sie nicht.

Ich kann Ihre Hauptfrage nicht beantworten, aber Sie können einige Dinge tun, um die Dinge zu beschleunigen.

Stellen Sie zunächst sicher, dass Ihre MySQL-Datenbank für die Verwendung von InnoDB eingerichtet ist. Dann kann es Transaktionen verwenden, um den Status der Datenbank vor jedem Test zurückzusetzen, was meiner Erfahrung nach zu einer massiven Beschleunigung geführt hat. Sie können einen Datenbank-Init-Befehl in Ihrer settings.py übergeben (Django 1.2-Syntax):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Zweitens müssen Sie die Südmigrationen nicht jedes Mal ausführen. SOUTH_TESTS_MIGRATE = FalseWenn Sie in Ihrer settings.py festlegen, wird die Datenbank mit einer einfachen Synchronisierung erstellt, die viel schneller ist als das Durchlaufen aller historischen Migrationen.

Sie können doppelte Anpassungen vornehmen:

• Verwenden Sie Transaktionstabellen: Der Status der anfänglichen Fixtures wird nach jedem TestCase mithilfe des Datenbank-Rollbacks festgelegt.
• Legen Sie Ihr Datenbankdatenverzeichnis auf Ramdisk: Sie werden viel an Datenbankerstellung gewinnen und auch das Ausführen von Tests wird schneller sein.

Ich benutze beide Tricks und bin ziemlich glücklich.

So richten Sie es für MySQL unter Ubuntu ein:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Achtung, es dient nur zum Testen, nach dem Neustart geht Ihre Datenbank aus dem Speicher verloren!

Ein anderer Ansatz: Lassen Sie eine andere Instanz von MySQL in einem tempfs laufen, das eine RAM-Disk verwendet. Anweisungen in diesem Blog-Beitrag: Beschleunigen von MySQL zum Testen in Django .

Vorteile:

• Sie verwenden genau dieselbe Datenbank, die Ihr Produktionsserver verwendet
• Sie müssen Ihre Standard-MySQL-Konfiguration nicht ändern

Als Erweiterung der Antwort von Anurag habe ich den Prozess vereinfacht, indem ich dieselben test_settings erstellt und der Datei manage.py Folgendes hinzugefügt habe

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

scheint sauberer zu sein, da sys bereits importiert ist und manage.py nur über die Befehlszeile verwendet wird, sodass die Einstellungen nicht überladen werden müssen

Verwenden Sie unten in Ihrem setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'