Ich verstehe nicht, wie man mit FPGA einen Algorithmus beschleunigen kann. Momentan verwende ich einen zeitaufwändigen Echtzeitalgorithmus auf einem Quadcore-Laptop, sodass vier Berechnungen parallel durchgeführt werden können.
Ich wurde kürzlich darauf hingewiesen, dass FPGA möglicherweise eine noch bessere Leistung liefert. Ich verstehe nicht, wie das funktioniert. Kann mir jemand erklären, wie FPGA einen Algorithmus beschleunigt und ob ich zu einer Xilinx- oder Altera-FPGA-Lösung wechseln oder die Berechnungen auf meinem Quadcore-Laptop fortsetzen sollte?
Zusätzliche Details: Der Algorithmus betreibt 20 künstliche neuronale Netze unter Verwendung von Eingaben, die über die Wavelet-Pakettransformation eingespeist werden
Vielen Dank für die tollen Antworten.
Antworten:
Ein Kollege von mir bewertete dies und kam zu dem Schluss, dass FPGAs einen PC übertreffen würden, wenn Sie mehr als 100 unabhängige , ganzzahlige Aufgaben hätten, die in den FPGA passen würden. Für Gleitkomma-Aufgaben schlägt GPGPU das FPGA. Für den Narrow-Multithreading- oder SIMD-Betrieb sind die CPUs extrem optimiert und werden mit einer höheren Taktrate betrieben, als dies bei FPGAs normalerweise der Fall ist.
Die anderen Vorbehalte: Aufgaben müssen unabhängig sein. Wenn zwischen den Tasks Datenabhängigkeiten bestehen, wird der kritische Berechnungspfad dadurch eingeschränkt. FPGAs eignen sich für Boolesche Auswertungen und Ganzzahlberechnungen sowie für Hardware-Schnittstellen mit geringer Latenz, nicht jedoch für speicherabhängige Workloads oder Gleitkommazahlen.
Wenn Sie die Arbeitslast im DRAM halten müssen, ist dies eher der Engpass als der Prozessor.
quelle
Ein FPGA funktioniert ganz anders als ein Prozessor.
Für einen Prozessor schreiben Sie Software, die der Hardware mitteilt, was zu tun ist. Auf einem FPGA beschreiben Sie intern, wie die Hardware aussehen soll. Es ist, als würden Sie einen Chip herstellen, der speziell für Ihren Algorithmus hergestellt wurde.
Dies beschleunigt viele Dinge und kann den Stromverbrauch senken. Aber es hat seine Nachteile: Die Entwicklung dauert viel länger und ist viel komplizierter. Sie müssen ganz anders denken und können keine Algorithmen verwenden, die in Software auf einfache Weise funktionieren.
Für künstliche neuronale Netze ist das FPGA eine gute Wahl. In diesem Bereich wird viel geforscht.
quelle
Es hängt sehr vom Algorithmus ab, aber das Prinzip kann ganz einfach erklärt werden.
Angenommen, Ihr Algorithmus muss viele 8-Bit-Zahlen summieren. Ihre CPU muss weiterhin jeden Befehl abrufen, die Operanden aus dem RAM oder dem Cache-Speicher abrufen, die Summe ausführen, das Ergebnis im Cache speichern und mit der nächsten Operation fortfahren. Die Pipeline hilft, aber Sie können nur so viele gleichzeitige Vorgänge ausführen, wie Sie über Kerne verfügen.
Wenn Sie ein FPGA verwenden, können Sie eine große Anzahl einfacher Addierer implementieren, die parallel arbeiten und möglicherweise Tausende von Summen parallel verarbeiten. Obwohl eine einzelne Operation mehr Zeit in Anspruch nimmt, besteht ein hohes Maß an Parallelität.
Sie können auch eine GPGPU verwenden, um ähnliche Aufgaben auszuführen, da diese auch aus vielen einfacheren Kernen bestehen.
quelle
Es gibt ungefähr 3 Spezialisierungsebenen für Computerausrüstung:
CPU (wie in Ihrem Laptop) ist die allgemeinste von allen. Es kann alles, aber diese Vielseitigkeit geht mit langsamer Geschwindigkeit und hohem Stromverbrauch einher. Die CPU ist unterwegs programmiert, die Anweisungen kommen aus dem RAM. Programme für die CPU sind schnell, billig und einfach zu schreiben und sehr einfach zu ändern.
FPGA (Field Programmable Gate Array) ist die mittlere Ebene. Wie der Name schon sagt, kann es "vor Ort", also außerhalb einer Fabrik, programmiert werden. FPGA wird normalerweise einmal programmiert, dieser Prozess kann als Aufbau seiner internen Struktur beschrieben werden. Nach diesem Vorgang verhält es sich wie ein winziger Computer, der auf die von Ihnen ausgewählte Aufgabe spezialisiert ist. Aus diesem Grund kann es besser abschneiden als eine generische CPU. Das Programmieren von FPGA ist sehr schwierig und teuer, und das Debuggen ist sehr schwierig.
ASIC (Application Specific Integrated Circuit) ist der ultimative Spezialist. Es ist ein Chip, der für eine einzige Aufgabe entwickelt und hergestellt wurde - eine Aufgabe, die extrem schnell und effizient erledigt wird. Es gibt keine Möglichkeit, den ASIC neu zu programmieren. Er verlässt das Werk vollständig und ist unbrauchbar, wenn der Job nicht mehr benötigt wird. Das Entwerfen von ASICs ist etwas, das sich nur große Unternehmen leisten können, und das Debuggen ist praktisch unmöglich.
Wenn Sie in "Kernen" denken, dann sehen Sie es so: CPUs haben 4, 6, vielleicht 8 große Kerne, die alles können. ASICS haben oft Tausende von Kernen, aber sehr kleine, die nur zu einer Sache fähig sind.
Sie können sich die Bitcoin-Mining-Community ansehen. Sie führen SHA256-Hashes durch.
Natürlich kosten diese ASIC-Babys bei Massenproduktion fast 2000 US-Dollar, aber es gibt Ihnen eine Vorstellung davon, wie sich ein Alleskönner gegen einen Spezialisten behaupten kann.
Die Frage ist nur: Kann FPGA Ihnen mehr Einsparungen bringen, als das Design kosten würde? Anstatt es auf EINEM Laptop auszuführen, können Sie es natürlich auch auf 20 PCs ausführen.
quelle
Ja, FPGA kann moderne CPUs (wie Intel i7) bei bestimmten Aufgaben übertreffen, aber es gibt einfachere und kostengünstigere Methoden zur Verbesserung der Leistung neuronaler Netzwerke.
Mit billiger meine ich den Gesamtaufwand, nicht die FPGA-IC-Kosten, sondern auch den sehr schnellen Speicher für FPGA (den Sie für ein neuronales Netzwerk benötigen würden) und den gesamten Entwicklungsprozess.
Verwenden Sie SSE - Ich habe ziemlich einfache Implementierungen von neuronalen Netzen mit 2-3x besserer Leistung gesehen. Dies ist möglicherweise eine gute Idee, wenn Sie keine dedizierte GPU in Ihrem Laptop haben.
Verbesserung der Geschwindigkeit neuronaler Netze auf CPUs von Vincent Vanhoucke und Andrew Senior
Verwenden Sie GPGPU (Allzweck-Computing auf Grafikprozessoren) - Ich denke, Sie können 100-200x Leistungssteigerung auf einer GPU mittlerer Klasse für Laptops wie GeForce 730M erzielen.
Hier ist die Implementierung eines neuronalen Netzwerks (und kostenloser Code). Es verwendet Nvidia CUDA.
Der GPGPU-Ansatz ist sehr skalierbar, wenn Sie irgendwann feststellen, dass Sie mehr Rechenleistung benötigen - Sie können nur Desktop-Computer mit einer leistungsstärkeren GPU oder sogar Nvidia Tesla K80 mit 4992 Kernen (das ist teuer) verwenden.
quelle