Ich muss mein Windows 8.1 auf einen Web Scraper abstimmen
Ich verwende Tausende von Threads für das gleichzeitige Crawlen
Für den Crawlerprozess verwende ich mein eigenes geschriebenes c # HttpWebRequest mit Crawler
Ich habe jedoch Probleme, wenn ich Proxies verwende
Ich weiß nicht, welche Ursachen Fehler verursachen. Die Anzahl der Verbindungsaufrufe bleibt jedoch stapelbar, während nichts auf dem System eine Verbindung herstellen kann, bis die Anwendung beendet, die Netzwerkkarte deaktiviert und wieder aktiviert wird
Ich verwende jede Verbindung ordnungsgemäß, auch wenn die Verbindung unerwartet beendet wird
Dies sind die Stimmungen, die ich bisher gefunden habe, aber ich frage mich, gibt es noch andere Stimmungen, die ich machen kann?
Mein Computer ist sehr stark, daher habe ich keine Hardwarebeschränkung
Regedit optimiert TCPIP
- setze TcpTimedWaitDelay auf 30 Sekunden
- TcpFinWait2Delay: 30 Sekunden
- Sekunden setzen MaxUserPort auf 32k
- EnableDynamicBacklog: 1
- MinimumDynamicBacklog: 20
- MaximumDynamicBacklog: 10k
- DynamicBacklogGrowthDelta: 100
- EnableTCPA: 1
- TcpAckFrequency: 1
- TCPNoDelay: 1
- TcpDelAckTicks: 1
- LocalPriority = 4
- HostsPriority = 5
- DnsPriority = 6
- NetbtPriority = 7
Cmd-Befehle:
- netsh int tcp set global autotuninglevel = deaktiviert
- netsh int tcp set global ecncapability = aktiviert
- netsh int tcp set global rss = aktiviert
- netsh int tcp set global chimney = enabled
- netsh int tcp set heuristics deaktiviert
- netsh int tcp set global dca = aktiviert
meine aktuellen Einstellungen
Mein Computer ist Core i7 2600k @ 4,5 GHz = 8 Threads 32 GB RAM Raid 0 SSD-Festplatten als Laufwerk C
Nach einer Weile werden die Verbindungszahlen nie verringert und steigen weiter. In diesem Fall geht die Internetverbindung verloren
quelle