Ich installiere viele der gleichen Pakete in verschiedenen virtuellen Umgebungen. Gibt es eine Möglichkeit, ein Paket einmal herunterzuladen und dann pip aus einem lokalen Cache installieren zu lassen?

Dies würde die Download-Bandbreite und -Zeit reduzieren.

Aktualisierte Antwort 19-Nov-15

Laut Pip-Dokumentation :

Ab Version 6.0 bietet pip einen standardmäßig aktivierten Cache, der ähnlich wie der eines Webbrowsers funktioniert. Während der Cache standardmäßig aktiviert ist und standardmäßig das Richtige tut, können Sie den Cache deaktivieren und mithilfe der --no-cache-dirOption immer auf PyPI zugreifen .

Daher besteht die aktualisierte Antwort darin, pip nur mit seinen Standardeinstellungen zu verwenden, wenn Sie einen Download-Cache wünschen.

Ursprüngliche Antwort

Aus den Pip News , Version 0.1.4:

Unterstützung für eine Umgebungsvariable $ PIP_DOWNLOAD_CACHE hinzugefügt, die Paket-Downloads zwischenspeichert, sodass zukünftige Installationen keine großen Downloads erfordern. Netzwerkzugriff ist weiterhin erforderlich, aber nur einige Downloads werden vermieden, wenn Sie dies verwenden.

Um dies zu nutzen, habe ich Folgendes zu meinem hinzugefügt ~/.bash_profile:

export PIP_DOWNLOAD_CACHE=$HOME/.pip_download_cache

oder, wenn Sie auf einem Mac sind:

export PIP_DOWNLOAD_CACHE=$HOME/Library/Caches/pip-downloads

Anmerkungen

1. Wenn eine neuere Version eines Pakets erkannt wird, wird es heruntergeladen und dem PIP_DOWNLOAD_CACHEVerzeichnis hinzugefügt . Zum Beispiel habe ich jetzt einige Django-Pakete.
2. Dies beseitigt nicht die Notwendigkeit eines Netzwerkzugriffs, wie in den Pip-Nachrichten angegeben . Es ist also nicht die Antwort für das Erstellen neuer virtualenvsDaten im Flugzeug, aber es ist trotzdem großartig.

Meiner Meinung nach pip2piist eine viel elegantere und zuverlässigere Lösung für dieses Problem.

Aus den Dokumenten:

pip2pi erstellt aus den Pip-Anforderungen ein PyPI-kompatibles Paket-Repository

pip2pi Mit zwei einfachen Befehlen können Sie Ihren eigenen PyPI-Index erstellen:

1. Verwenden Sie zum Spiegeln eines Pakets und aller seiner Anforderungen pip2tgz:

   $ cd /tmp/; mkdir package/
   $ pip2tgz packages/ httpie==0.2
   ...
   $ ls packages/
   Pygments-1.5.tar.gz
   httpie-0.2.0.tar.gz
   requests-0.14.0.tar.gz
   

2. So erstellen Sie einen Paketindex aus dem vorherigen Verzeichnis:

   $ ls packages/
   bar-0.8.tar.gz
   baz-0.3.tar.gz
   foo-1.2.tar.gz
   $ dir2pi packages/
   $ find packages/
   /httpie-0.2.0.tar.gz
   /Pygments-1.5.tar.gz
   /requests-0.14.0.tar.gz
   /simple
   /simple/httpie
   /simple/httpie/httpie-0.2.0.tar.gz
   /simple/Pygments
   /simple/Pygments/Pygments-1.5.tar.gz
   /simple/requests
   /simple/requests/requests-0.14.0.tar.gz
   

3. Um von dem in Schritt 2 erstellten Index zu installieren, können Sie einfach Folgendes verwenden:

   pip install --index-url=file:///tmp/packages/simple/ httpie==0.2
   

Sie können sogar Ihren eigenen Index auf einen Remote-Host mit spiegeln pip2pi.

Für neuere Pip-Versionen:

Neuere Pip-Versionen speichern Downloads jetzt standardmäßig im Cache. Siehe diese Dokumentation:

https://pip.pypa.io/en/stable/reference/pip_install/#caching

Für ältere Pip-Versionen:

Erstellen Sie eine Konfigurationsdatei mit dem Namen ~/.pip/pip.confund fügen Sie den folgenden Inhalt hinzu:

[global]
download_cache = ~/.cache/pip

Unter OS X wäre ein besserer Weg zu wählen, ~/Library/Caches/pipda er der Konvention folgt, die andere OS X-Programme verwenden.

PIP_DOWNLOAD_CACHE hat einige schwerwiegende Probleme. Am wichtigsten ist, dass der Hostname des Downloads in den Cache codiert wird, sodass die Verwendung von Spiegeln unmöglich wird.

Die bessere Möglichkeit, einen Cache mit Pip-Downloads zu verwalten, besteht darin, den Schritt "Paket herunterladen" vom Schritt "Paket installieren" zu trennen. Die heruntergeladenen Dateien werden üblicherweise als "SDIST-Dateien" (Quelldistributionen) bezeichnet und ich werde sie in einem Verzeichnis $ SDIST_CACHE speichern.

Die zwei Schritte sind:

pip install --no-install --use-mirrors -I --download=$SDIST_CACHE <package name>

Dadurch wird das Paket heruntergeladen und in dem Verzeichnis abgelegt, auf das $ SDIST_CACHE verweist. Das Paket wird nicht installiert. Und dann rennst du:

pip install --find-links=file://$SDIST_CACHE --no-index --index-url=file:///dev/null <package name> 

So installieren Sie das Paket in Ihrer virtuellen Umgebung Im Idealfall wird $ SDIST_CACHE unter Ihrer Quellcodeverwaltung festgeschrieben. Bei der Bereitstellung in der Produktion würden Sie nur den zweiten Befehl pip ausführen, um die Pakete zu installieren, ohne sie herunterzuladen.

Ab Version 6.0 wird pipjetzt ein eigenes Caching durchgeführt:

• DEPRECATION- pip install --download-cache und pip wheel --download-cacheBefehlszeilenflags sind veraltet und die Funktionalität wurde entfernt. Da pip jetzt automatisch den internen HTTP-Cache konfiguriert und verwendet, der --download-cachedie vorhandenen Optionen ersetzt, wurden diese nicht mehr funktionsfähig gemacht, werden jedoch bis zu ihrer Entfernung in pip v8.0 weiterhin akzeptiert. Weitere Informationen finden Sie unter https://pip.pypa.io/en/latest/reference/pip_install.html#caching

Weitere Informationen über den obigen Link :

Ab Version 6.0 bietet pip einen standardmäßig aktivierten Cache, der ähnlich wie der eines Webbrowsers funktioniert. Während der Cache standardmäßig aktiviert ist und standardmäßig das Richtige tut, können Sie den Cache deaktivieren und mithilfe der --no-cache-dirOption immer auf PyPI zugreifen .

Pip Wheel ist eine hervorragende Option, die mit der zusätzlichen Funktion des Vorkompilierens der Pakete das macht, was Sie wollen. Aus den offiziellen Dokumenten :

Bauen Sie Räder für eine Anforderung (und alle ihre Abhängigkeiten):

$ pip wheel --wheel-dir=/tmp/wheelhouse SomePackage

Jetzt sind in Ihrem /tmp/wheelhouseVerzeichnis alle Abhängigkeiten vorkompiliert, sodass Sie den Ordner auf einen anderen Server kopieren und alles mit diesem Befehl installieren können:

$ pip install --no-index --find-links=/tmp/wheelhouse SomePackage

Beachten Sie, dass nicht alle Pakete maschinenübergreifend vollständig portierbar sind. Einige Pakete werden speziell für die von Ihnen verwendete Python-Version, Betriebssystemverteilung und / oder Hardwarearchitektur erstellt. Dies wird im Dateinamen angegeben, wie -cp27-none-linux_x86_64bei CPython 2.7 unter 64-Bit-Linux usw.

Wenn Sie nur pip verwenden (meine Version ist 1.2.1), können Sie auch ein lokales Repository wie folgt erstellen:

if ! pip install --find-links="file://$PIP_SDIST_INDEX" --no-index <package>; then
    pip install --download-directory="$PIP_SDIST_INDEX" <package>
    pip install --find-links="file://$PIP_SDIST_INDEX" --no-index <package>
fi

Beim ersten Aufruf von pip werden die Pakete aus der Anforderungsdatei (nur) im lokalen Repository nachgeschlagen und von dort aus installiert. Wenn dies fehlschlägt, ruft pip die Pakete von ihrem üblichen Speicherort (z. B. PyPI) ab und lädt sie auf das herunter PIP_SDIST_INDEX(installiert jedoch nichts!). Der erste Aufruf wird "wiederholt", um das Paket ordnungsgemäß aus dem lokalen Index zu installieren.

( --download-cacheErstellt einen lokalen Dateinamen, der die vollständige (maskierte) URL ist, und pip kann diesen nicht als Index mit verwenden --find-links. --download-cacheVerwendet die zwischengespeicherte Datei, falls gefunden. Wir könnten diese Option zum zweiten Aufruf von pip hinzufügen, jedoch seit dem Index Funktioniert bereits als eine Art Cache, bringt es nicht unbedingt viel. Es würde helfen, wenn Ihr Index zum Beispiel geleert wird.)

Hierfür gibt es eine neue Lösung namens Pip-Accel , ein Drop-In-Ersatz für das integrierte pipCaching.

Das pip-accel-Programm ist ein Wrapper für pip, den Python-Paketmanager. Es beschleunigt die Verwendung von pip zum Initialisieren von virtuellen Python-Umgebungen bei einer oder mehreren Anforderungsdateien. Dazu werden die folgenden beiden Ansätze kombiniert:

• Quelldistributions-Downloads werden zwischengespeichert und verwendet, um einen lokalen Index der Quelldistributionsarchive zu generieren.

• Binärverteilungen werden verwendet, um die Installation von Abhängigkeiten mit Binärkomponenten (wie M2Crypto und LXML) zu beschleunigen. Anstatt diese Abhängigkeiten für jede virtuelle Umgebung erneut zu kompilieren, kompilieren wir sie einmal und speichern das Ergebnis als binäre * .tar.gz-Verteilung zwischen.

Paylogic verwendet pip-accel, um virtuelle Umgebungen in seiner Farm von Slaves mit kontinuierlicher Integration, die ständig Unit-Tests ausführen, schnell und zuverlässig zu initialisieren (dies war einer der ursprünglichen Anwendungsfälle, für die pip-accel entwickelt wurde). Wir verwenden es auch auf unseren Build-Servern.

Wir haben eine etwa 10-fache Beschleunigung beim Wechsel von pipzu gesehen pip-accel.

Eine einfachere Option ist basket.

Wenn ein Paketname angegeben wird, werden dieser und alle Abhängigkeiten an einen zentralen Ort heruntergeladen. ohne die Nachteile des Pip-Cache. Dies ist ideal für die Offline-Verwendung.

Sie können dieses Verzeichnis dann als Quelle verwenden für pip:

pip install --no-index -f file:///path/to/basket package

Oder easy_install:

easy_install -f ~/path/to/basket -H None package

Sie können damit auch den Warenkorb aktualisieren, wenn Sie online sind.

Ich denke, das Paket "pip-accel" muss eine gute Wahl sein.