So erhalten Sie HTTP-Antwortcode mit Selenium WebDriver

109

Ich habe Tests mit Selenium2 / WebDriver geschrieben und möchte testen, ob HTTP Request ein HTTP 403 Forbidden zurückgibt.

Ist es möglich, den HTTP-Antwortstatuscode mit Selenium WebDriver abzurufen?

Ralph
quelle
Mögliches Duplikat von Wie man Statuscode mit
selenium.py
Dies ist kein Duplikat, da sich die andere Frage auf Python konzentriert, aber diese ist in Java,
Ralph
1
Danke, ich habe es. Aber schließlich endete die Frage mit den webdriverEinschränkungen des, und diese Einschränkungen sind für Python und Java gleich;)
maxkoryukov
2
@maxkoryukov: aber es gibt sprachabhängige Workarounds,
Ralph

Antworten:

66

Mit einem Wort, nein. Die Verwendung der Selenium WebDriver-API ist nicht möglich. Dies wurde im Issue-Tracker für das Projekt ad nauseam erläutert , und die Funktion wird der API nicht hinzugefügt.

JimEvans
quelle
42

Es ist möglich, den Antwortcode einer http-Anfrage mit Selenium und Chrome oder Firefox abzurufen. Sie müssen lediglich Chrome oder Firefox im Protokollierungsmodus starten. Ich werde Ihnen unten einige Beispiele zeigen.

Java + Selen + Chrome Hier ist ein Beispiel für Java + Selen + Chrome, aber ich denke, dass dies in jeder Sprache (Python, C #, ...) möglich ist.

Sie müssen chromedriver lediglich anweisen, "Network.enable" auszuführen. Dies kann durch Aktivieren der Leistungsprotokollierung erfolgen.

LoggingPreferences logPrefs = new LoggingPreferences();
logPrefs.enable(LogType.PERFORMANCE, Level.ALL);
cap.setCapability(CapabilityType.LOGGING_PREFS, logPrefs);

Nachdem die Anforderung abgeschlossen ist, müssen Sie lediglich die Leistungsprotokolle abrufen und iterieren und "Network.responseReceived" für die angeforderte URL suchen:

LogEntries logs = driver.manage().logs().get("performance");

Hier ist der Code:

import java.util.Iterator;
import java.util.logging.Level;

import org.json.JSONException;
import org.json.JSONObject;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.logging.LogEntries;
import org.openqa.selenium.logging.LogEntry;
import org.openqa.selenium.logging.LogType;
import org.openqa.selenium.logging.LoggingPreferences;
import org.openqa.selenium.remote.CapabilityType;
import org.openqa.selenium.remote.DesiredCapabilities;

public class TestResponseCode
{
    public static void main(String[] args)
    {
        // simple page (without many resources so that the output is
        // easy to understand
        String url = "http://www.york.ac.uk/teaching/cws/wws/webpage1.html";

        DownloadPage(url);
    }

    private static void DownloadPage(String url)
    {
        ChromeDriver driver = null;

        try
        {
            ChromeOptions options = new ChromeOptions();
            // add whatever extensions you need
            // for example I needed one of adding proxy, and one for blocking
            // images
            // options.addExtensions(new File(file, "proxy.zip"));
            // options.addExtensions(new File("extensions",
            // "Block-image_v1.1.crx"));

            DesiredCapabilities cap = DesiredCapabilities.chrome();
            cap.setCapability(ChromeOptions.CAPABILITY, options);

            // set performance logger
            // this sends Network.enable to chromedriver
            LoggingPreferences logPrefs = new LoggingPreferences();
            logPrefs.enable(LogType.PERFORMANCE, Level.ALL);
            cap.setCapability(CapabilityType.LOGGING_PREFS, logPrefs);

            driver = new ChromeDriver(cap);

            // navigate to the page
            System.out.println("Navigate to " + url);
            driver.navigate().to(url);

            // and capture the last recorded url (it may be a redirect, or the
            // original url)
            String currentURL = driver.getCurrentUrl();

            // then ask for all the performance logs from this request
            // one of them will contain the Network.responseReceived method
            // and we shall find the "last recorded url" response
            LogEntries logs = driver.manage().logs().get("performance");

            int status = -1;

            System.out.println("\nList of log entries:\n");

            for (Iterator<LogEntry> it = logs.iterator(); it.hasNext();)
            {
                LogEntry entry = it.next();

                try
                {
                    JSONObject json = new JSONObject(entry.getMessage());

                    System.out.println(json.toString());

                    JSONObject message = json.getJSONObject("message");
                    String method = message.getString("method");

                    if (method != null
                            && "Network.responseReceived".equals(method))
                    {
                        JSONObject params = message.getJSONObject("params");

                        JSONObject response = params.getJSONObject("response");
                        String messageUrl = response.getString("url");

                        if (currentURL.equals(messageUrl))
                        {
                            status = response.getInt("status");

                            System.out.println(
                                    "---------- bingo !!!!!!!!!!!!!! returned response for "
                                            + messageUrl + ": " + status);

                            System.out.println(
                                    "---------- bingo !!!!!!!!!!!!!! headers: "
                                            + response.get("headers"));
                        }
                    }
                } catch (JSONException e)
                {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }

            System.out.println("\nstatus code: " + status);
        } finally
        {
            if (driver != null)
            {
                driver.quit();
            }
        }
    }
}

Die Ausgabe sieht folgendermaßen aus:

    Navigate to http://www.york.ac.uk/teaching/cws/wws/webpage1.html

    List of log entries:

    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameAttached","params":{"parentFrameId":"172.1","frameId":"172.2"}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameStartedLoading","params":{"frameId":"172.2"}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameNavigated","params":{"frame":{"securityOrigin":"://","loaderId":"172.1","name":"chromedriver dummy frame","id":"172.2","mimeType":"text/html","parentId":"172.1","url":"about:blank"}}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameStoppedLoading","params":{"frameId":"172.2"}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameStartedLoading","params":{"frameId":"3928.1"}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.requestWillBeSent","params":{"request":{"headers":{"Upgrade-Insecure-Requests":"1","User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"},"initialPriority":"VeryHigh","method":"GET","mixedContentType":"none","url":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html"},"frameId":"3928.1","requestId":"3928.1","documentURL":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html","initiator":{"type":"other"},"loaderId":"3928.1","wallTime":1.47619492749007E9,"type":"Document","timestamp":20226.652971}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.responseReceived","params":{"frameId":"3928.1","requestId":"3928.1","response":{"headers":{"Accept-Ranges":"bytes","Keep-Alive":"timeout=4, max=100","Cache-Control":"max-age=300","Server":"Apache/2.2.22 (Ubuntu)","Connection":"Keep-Alive","Content-Encoding":"gzip","Vary":"Accept-Encoding","Expires":"Tue, 11 Oct 2016 14:13:47 GMT","Content-Length":"1957","Date":"Tue, 11 Oct 2016 14:08:47 GMT","Content-Type":"text/html"},"connectionReused":false,"timing":{"pushEnd":0,"workerStart":-1,"proxyEnd":-1,"workerReady":-1,"sslEnd":-1,"pushStart":0,"requestTime":20226.65335,"sslStart":-1,"dnsStart":0,"sendEnd":31.6569999995409,"connectEnd":31.4990000006219,"connectStart":0,"sendStart":31.5860000009707,"dnsEnd":0,"receiveHeadersEnd":115.645999998378,"proxyStart":-1},"encodedDataLength":-1,"remotePort":80,"mimeType":"text/html","headersText":"HTTP/1.1 200 OK\r\nDate: Tue, 11 Oct 2016 14:08:47 GMT\r\nServer: Apache/2.2.22 (Ubuntu)\r\nAccept-Ranges: bytes\r\nCache-Control: max-age=300\r\nExpires: Tue, 11 Oct 2016 14:13:47 GMT\r\nVary: Accept-Encoding\r\nContent-Encoding: gzip\r\nContent-Length: 1957\r\nKeep-Alive: timeout=4, max=100\r\nConnection: Keep-Alive\r\nContent-Type: text/html\r\n\r\n","securityState":"neutral","requestHeadersText":"GET /teaching/cws/wws/webpage1.html HTTP/1.1\r\nHost: www.york.ac.uk\r\nConnection: keep-alive\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\r\nAccept-Encoding: gzip, deflate, sdch\r\nAccept-Language: en-GB,en-US;q=0.8,en;q=0.6\r\n\r\n","url":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html","protocol":"http/1.1","fromDiskCache":false,"fromServiceWorker":false,"requestHeaders":{"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Upgrade-Insecure-Requests":"1","Connection":"keep-alive","User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36","Host":"www.york.ac.uk","Accept-Encoding":"gzip, deflate, sdch","Accept-Language":"en-GB,en-US;q=0.8,en;q=0.6"},"remoteIPAddress":"144.32.128.84","statusText":"OK","connectionId":11,"status":200},"loaderId":"3928.1","type":"Document","timestamp":20226.770012}}}
    ---------- bingo !!!!!!!!!!!!!! returned response for http://www.york.ac.uk/teaching/cws/wws/webpage1.html: 200
    ---------- bingo !!!!!!!!!!!!!! headers: {"Accept-Ranges":"bytes","Keep-Alive":"timeout=4, max=100","Cache-Control":"max-age=300","Server":"Apache/2.2.22 (Ubuntu)","Connection":"Keep-Alive","Content-Encoding":"gzip","Vary":"Accept-Encoding","Expires":"Tue, 11 Oct 2016 14:13:47 GMT","Content-Length":"1957","Date":"Tue, 11 Oct 2016 14:08:47 GMT","Content-Type":"text/html"}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.dataReceived","params":{"dataLength":2111,"requestId":"3928.1","encodedDataLength":1460,"timestamp":20226.770425}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameNavigated","params":{"frame":{"securityOrigin":"http://www.york.ac.uk","loaderId":"3928.1","id":"3928.1","mimeType":"text/html","url":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html"}}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.dataReceived","params":{"dataLength":1943,"requestId":"3928.1","encodedDataLength":825,"timestamp":20226.782673}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.loadingFinished","params":{"requestId":"3928.1","encodedDataLength":2285,"timestamp":20226.770199}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.loadEventFired","params":{"timestamp":20226.799391}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.frameStoppedLoading","params":{"frameId":"3928.1"}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Page.domContentEventFired","params":{"timestamp":20226.845769}}}
    {"webview":"3b8eaedb-bd0f-4baa-938d-4aee4039abfe","message":{"method":"Network.requestWillBeSent","params":{"request":{"headers":{"Referer":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html","User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"},"initialPriority":"High","method":"GET","mixedContentType":"none","url":"http://www.york.ac.uk/favicon.ico"},"frameId":"3928.1","requestId":"3928.2","documentURL":"http://www.york.ac.uk/teaching/cws/wws/webpage1.html","initiator":{"type":"other"},"loaderId":"3928.1","wallTime":1.47619492768527E9,"type":"Other","timestamp":20226.848174}}}

    status code: 200

Java + Selen + Firefox Ich habe endlich auch den Trick für Firefox gefunden. Sie müssen Firefox mit MOZ_LOGund MOZ_LOG_FILEUmgebungsvariablen starten und http-Anforderungen auf Debug-Ebene protokollieren (4 = PR_LOG_DEBUG) - map.put("MOZ_LOG", "timestamp,sync,nsHttp:4"). Speichern Sie das Protokoll in einer temporären Datei. Rufen Sie danach den Inhalt der gespeicherten Protokolldatei ab und analysieren Sie ihn nach dem Antwortcode (mithilfe einiger einfacher regulärer Ausdrücke). Ermitteln Sie zuerst den Beginn der Anforderung, identifizieren Sie ihre ID (nsHttpChannel::BeginConnect [this=000000CED8094000])und suchen Sie dann im zweiten Schritt den Antwortcode für diese Anforderungs-ID (nsHttpChannel::ProcessResponse [this=000000CED8094000 httpStatus=200]).

import java.io.File;
import java.io.IOException;
import java.net.MalformedURLException;
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.io.FileUtils;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.firefox.GeckoDriverService;

public class TestFirefoxResponse
{
  public static void main(String[] args)
      throws InterruptedException, IOException
  {
    GeckoDriverService service = null;

    // tell firefox to log http requests
    // at level 4 = PR_LOG_DEBUG: debug messages, notices
    // you could log everything at level 5, but the log file will 
    // be larger. 
    // create a temporary log file that will be parsed for
    // response code
    Map<String, String> map = new HashMap<String, String>();
    map.put("MOZ_LOG", "timestamp,sync,nsHttp:4");
    File tempFile = File.createTempFile("mozLog", ".txt");    
    map.put("MOZ_LOG_FILE", tempFile.getAbsolutePath());      

    GeckoDriverService.Builder builder = new GeckoDriverService.Builder();
    service = builder.usingAnyFreePort()
      .withEnvironment(map)
      .build();

    service.start();      

    WebDriver driver = new FirefoxDriver(service);

    // test 200
     String url = "https://api.ipify.org/?format=text";
    // test 404
    // String url = "https://www.advancedwebranking.com/lsdkjflksdjfldksfj";
    driver.get(url);

    driver.quit();

    String logContent = FileUtils.readFileToString(tempFile);

    ParseLog(logContent, url);
  }

  private static void ParseLog(String logContent, String url) throws MalformedURLException
  {
    // this is how the log looks like when the request starts
    // I have to get the id of the request using a regular expression
    // and use that id later to get the response
    //
    //    2017-11-02 14:14:01.170000 UTC - [Main Thread]: D/nsHttp nsHttpChannel::BeginConnect [this=000000BFF27A5000]
    //    2017-11-02 14:14:01.170000 UTC - [Main Thread]: D/nsHttp host=api.ipify.org port=-1
    //    2017-11-02 14:14:01.170000 UTC - [Main Thread]: D/nsHttp uri=https://api.ipify.org/?format=text
    String pattern = "BeginConnect \\[this=(.*?)\\](?:.*?)uri=(.*?)\\s";

    Pattern p = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE | Pattern.DOTALL);
    Matcher m = p.matcher(logContent);

    String urlID = null;
    while (m.find())
    {
      String id = m.group(1);
      String uri = m.group(2);

      if (uri.equals(url))
      {
        urlID = id;
        break;
      }      
    }

    System.out.println("request id = " + urlID);

    // this is how the response looks like in the log file
    // ProcessResponse [this=000000CED8094000 httpStatus=200]
    // I will use another regular espression to get the httpStatus
    //
    //    2017-11-02 14:45:39.296000 UTC - [Main Thread]: D/nsHttp nsHttpChannel::OnStartRequest [this=000000CED8094000 request=000000CED8014BB0 status=0]
    //    2017-11-02 14:45:39.296000 UTC - [Main Thread]: D/nsHttp nsHttpChannel::ProcessResponse [this=000000CED8094000 httpStatus=200]    

    pattern = "ProcessResponse \\[this=" + urlID + " httpStatus=(.*?)\\]";

    p = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE | Pattern.DOTALL);
    m = p.matcher(logContent);

    if (m.find())
    {
      String responseCode = m.group(1);
      System.out.println("response code found " + responseCode);
    }
    else
    {
      System.out.println("response code not found");
    }
  }
}

Die Ausgabe dafür wird sein

Anforderungs-ID = 0000007653D67000 Antwortcode gefunden 200

Die Antwortheader finden Sie auch in der Protokolldatei. Sie können sie bekommen, wenn Sie wollen.

    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp http response [
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   HTTP/1.1 404 Not Found
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Accept-Ranges: bytes
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Cache-control: no-cache="set-cookie"
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Content-Type: text/html; charset=utf-8
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Date: Thu, 02 Nov 2017 14:54:36 GMT
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   ETag: "7969-55bc076a61e80"
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Last-Modified: Tue, 17 Oct 2017 16:17:46 GMT
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Server: Apache/2.4.23 (Amazon) PHP/5.6.24
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Set-Cookie: AWSELB=5F256FFA816C8E72E13AE0B12A17A3D540582F804C87C5FEE323AF3C9B638FD6260FF473FF64E44926DD26221AAD2E9727FD739483E7E4C31784C7A495796B416146EE83;PATH=/
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Content-Length: 31081
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Connection: keep-alive
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp     OriginalHeaders
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Accept-Ranges: bytes
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Cache-control: no-cache="set-cookie"
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Content-Type: text/html; charset=utf-8
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Date: Thu, 02 Nov 2017 14:54:36 GMT
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   ETag: "7969-55bc076a61e80"
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Last-Modified: Tue, 17 Oct 2017 16:17:46 GMT
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Server: Apache/2.4.23 (Amazon) PHP/5.6.24
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Set-Cookie: AWSELB=5F256FFA816C8E72E13AE0B12A17A3D540582F804C87C5FEE323AF3C9B638FD6260FF473FF64E44926DD26221AAD2E9727FD739483E7E4C31784C7A495796B416146EE83;PATH=/
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Content-Length: 31081
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp   Connection: keep-alive
    2017-11-02 14:54:36.775000 UTC - [Socket Thread]: I/nsHttp ]
    2017-11-02 14:54:36.775000 UTC - [Main Thread]: D/nsHttp nsHttpChannel::OnStartRequest [this=0000008A65D85000 request=0000008A65D1F900 status=0]
    2017-11-02 14:54:36.775000 UTC - [Main Thread]: D/nsHttp nsHttpChannel::ProcessResponse [this=0000008A65D85000 httpStatus=404]
Stefan Matei
quelle
2
Beachten Sie für Benutzer, die dies betrachten, dass das network.enable von Chrom einen zusätzlichen Header in jede HTTP-Anforderung einfügt, die bei aktivierter HTTP-Anforderung gestellt wird.
Gefälschter Name
2
Hallo, ich kann den Antwortcode abrufen, aber wie kann ich den Antworttext abrufen? Ich sehe es nicht in der Antwort JSONObject.
LINGS
@LINGS Sie können driver.getPageSource () verwenden, aber seien Sie vorsichtig, da es normalerweise mehrere seitliche Javascript-Anforderungen gibt, die den Dom ändern können. Sie können warten, bis ein Element Ihrer Seite im Dom vorhanden ist, und dann die Seitenquelle abrufen. Ein anderes Szenario ist mit Frames. Wenn Sie Frames haben, müssen Sie zum Frame wechseln und dann den Quellcode dieses Frames abrufen - driver.switchTo (). Frame ();
Stefan Matei
Ich habe versucht, Ihren Code mit RemoteWebDriver zu implementieren , da meine Methoden mit RemoteWebdriver geschrieben wurden. Haben Sie eine Idee, wie Sie es mit RemoteWebDriver verwenden können ?
M3trix
2
@IvayloSlavov Chrome-Skript funktioniert für mich mit 4.0.0-alpha-4. Schauen Sie sich dieses Beispiel an. Github.com/smatei/SeleniumChromeHTTPResponse
Stefan Matei
16

Sie können den BrowserMob-Proxy verwenden, um die Anforderungen und Antworten mit einem zu erfassen HttpRequestInterceptor. Hier ist ein Beispiel in Java:

// Start the BrowserMob proxy
ProxyServer server = new ProxyServer(9978);
server.start();

server.addResponseInterceptor(new HttpResponseInterceptor()
{
    @Override
    public void process(HttpResponse response, HttpContext context)
        throws HttpException, IOException
    {
        System.out.println(response.getStatusLine());
    }
});

// Get selenium proxy
Proxy proxy = server.seleniumProxy();

// Configure desired capability for using proxy server with WebDriver
DesiredCapabilities capabilities = new DesiredCapabilities();
capabilities.setCapability(CapabilityType.PROXY, proxy);

// Set up driver
WebDriver driver = new FirefoxDriver(capabilities);

driver.get("http://stackoverflow.com/questions/6509628/webdriver-get-http-response-code");

// Close the browser
driver.quit();
Kalle
quelle
Ich verwende Ihre Lösung, aber mit dem Proxy werden die Seiten sehr langsam geladen. Irgendeine Idee, wie es kommt? Siehe auch meine Frage: stackoverflow.com/questions/21043928/…
Charlie
1
Der ursprüngliche BrowserMob-Proxy wird jetzt nicht mehr unterstützt und verrottet. Wir haben eine Open-Source-Verzweigung des Browsermob-Proxys, die auch integrierte Leistungs-, Seiten- und Netzwerk-Assertions enthält. github.com/browserup/browserup-proxy
ebeland
13

Für Benutzer von Python könnte Selenium Wire in Betracht gezogen werden , eine Bibliothek, die ich entwickelt habe, um Anforderungen des Browsers während eines Tests zu überprüfen.

Sie erhalten Zugriff auf Anfragen über das driver.requestsAttribut:

from seleniumwire import webdriver  # Import from seleniumwire

# Create a new instance of the Firefox driver
driver = webdriver.Firefox()

# Go to the Google home page
driver.get('https://www.google.com')

# Access requests via the `requests` attribute
for request in driver.requests:
    if request.response:
        print(
            request.url,
            request.response.status_code,
            request.response.headers['Content-Type']
        )

Drucke:

https://www.google.com/ 200 text/html; charset=UTF-8
https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_120x44dp.png 200 image/png
https://consent.google.com/status?continue=https://www.google.com&pc=s&timestamp=1531511954&gl=GB 204 text/html; charset=utf-8
https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png 200 image/png
https://ssl.gstatic.com/gb/images/i2_2ec824b0.png 200 image/png
https://www.google.com/gen_204?s=webaft&t=aft&atyp=csi&ei=kgRJW7DBONKTlwTK77wQ&rt=wsrt.366,aft.58,prt.58 204 text/html; charset=UTF-8
...

Die Bibliothek bietet Ihnen die Möglichkeit, auf Header, Statuscode und Textinhalte zuzugreifen sowie Header zu ändern und URLs neu zu schreiben.

Will Keeling
quelle
Ich versuche, dies mit webdriver.Remote zu verwenden, erhalte jedoch "AttributeError: 'WebDriver'-Objekt hat kein Attribut' Anfragen '". Liegt dies daran, dass der Remote-Treiber nicht von Selenium-Wire unterstützt wird? Offizielle Unterlagen fehlen hoffnungslos. Vielen Dank!
Lennart Rolland
@LennartRolland Eine der Einschränkungen von Selenium Wire ist, dass es nur auf demselben Computer funktioniert, auf dem der Browser ausgeführt wird. Die Verwendung eines Remote-Setups wird derzeit nicht unterstützt.
Will Keeling
1
@MohamedImran Wenn Sie an einer bestimmten Antwort interessiert sind, können Sie die driver.wait_for_request()Methode verwenden, um die Anfrage zu finden, deren Antwort Sie interessiert. Weitere Informationen finden Sie in den Dokumenten .
Will Keeling
1
@MohamedImran Die Methode verwendet einen regulären Ausdruck, sodass Sie nur einen Teil der URL übergeben können, die eindeutig übereinstimmt. Zum Beispiel http://myserver.com/some/path/12345/können Sie passendriver.wait_for_request(‘.*/12345/‘)
Will Keeling
1
@MohamedImran du brauchst die for-Schleife nicht
Will Keeling
10

Ich hatte auch das gleiche Problem und steckte einige Tage fest, aber nach einigen Recherchen stellte ich fest, dass wir tatsächlich den "--remote-debugging-port" von Chrome verwenden können, um Anfragen in Verbindung mit dem Selenium-Webtreiber abzufangen. Verwenden Sie den folgenden Pseudocode als Referenz: -

Erstellen Sie eine Instanz des Chrome-Treibers mit Remote-Debugging

int freePort = findFreePort();

chromeOptions.addArguments("--remote-debugging-port=" + freePort);

ChromeDriver driver = new ChromeDriver(chromeOptions);`

Rufen Sie http://127.0.0.1:freePort an

String response = makeGetCall( "http://127.0.0.1" + freePort  + "/json" );

Extrahieren Sie die webSocket-URL von Chrome, um sie anzuhören. Sie können die Antwort sehen und herausfinden, wie Sie sie extrahieren können

String webSocketUrl = response.substring(response.indexOf("ws://127.0.0.1"), response.length() - 4);

Stellen Sie eine Verbindung zu diesem Socket her, und verwenden Sie asyncHttp

socket = maketSocketConnection( webSocketUrl );

Aktivieren Sie die Netzwerkerfassung

socket.send( { "id" : 1, "method" : "Network.enable" } );

Jetzt sendet Chrome alle netzwerkbezogenen Ereignisse und erfasst sie wie folgt

socket.onMessageReceived( String message ){

    Json responseJson = toJson(message);
    if( responseJson.method == "Network.responseReceived" ){
       //extract status code
    }
}

driver.get("http://stackoverflow.com");

Sie können alles tun, was auf der Dev Tools-Website erwähnt wird. Siehe https://chromedevtools.github.io/devtools-protocol/ Hinweis: - Verwenden Sie chromedriver 2.39 oder höher.

Ich hoffe es hilft jemandem.

Referenz: Verwenden des Remote-Debugging-Protokolls von Google Chrome

Mayank Senani
quelle
Genial, ich bin froh, dass es einen Weg gibt, dies zu tun! Ich wünschte nur, es gäbe eine Bibliothek ( selenium-webdriverin meinem Fall für Ruby ), die automatisch Network.enableeine einfache Möglichkeit zum Überprüfen der letzten Antwort aktiviert und verfügbar macht ... wie driver.response.status_code. Vielleicht werde ich eines Tages dazu kommen, das hinzuzufügen ... :)
Tyler Rick
Für den Fall, dass andere Ruby-Programmierer darauf stoßen, habe ich mit github.com/TylerRick/capybara-chrome_response_headers ein Juwel erstellt, mit dem Sie den HTTP-Statuscode einfach aus einem Capybara / RSpec-Test abrufen können, indem Sie einfach aufrufen status_code. Es verwendet das Chrome-Remote-Debugging-Protokoll wie in diesem Beispiel.
Tyler Rick
Danke, Alter! funktioniert für mich Chrom 76 + Selen 3.141
Jessez
9

Erhalten Sie den Antwortcode in einer beliebigen Sprache (mit JavaScript):

Wenn Ihre Selenium-Tests in einem modernen Browser ausgeführt werden, können Sie den Antwortcode auf einfache Weise erhalten, indem Sie ein synchrones XMLHttpRequest* senden und statusdie Antwort überprüfen :

var xhr = new XMLHttpRequest();
xhr.open('GET', 'http://exampleurl.ex', false);
xhr.send(null);

assert(200, xhr.status);

Sie können diese Technik mit jeder Programmiersprache verwenden, indem Sie Selenium auffordern, das Skript auszuführen. In Java können Sie beispielsweise Folgendes JavascriptExecutor.executeScript()senden XMLHttpRequest:

final String GET_RESPONSE_CODE_SCRIPT =
    "var xhr = new XMLHttpRequest();" +
    "xhr.open('GET', arguments[0], false);" +
    "xhr.send(null);" +
    "return xhr.status";
JavascriptExecutor javascriptExecutor = (JavascriptExecutor) webDriver;
Assert.assertEquals(200,
    javascriptExecutor.executeScript(GET_RESPONSE_CODE_SCRIPT, "http://exampleurl.ex"));

* Sie könnten XMLHttpRequeststattdessen eine asynchrone Datei senden , müssen jedoch warten, bis sie abgeschlossen ist, bevor Sie mit dem Test fortfahren.

Erhalten Sie den Antwortcode in Java:

Sie können den Antwortcode in Java erhalten, indem Sie URL.openConnection()und verwenden HttpURLConnection.getResponseCode():

URL url = new URL("http://exampleurl.ex");
HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
httpURLConnection.setRequestMethod("GET");

// You may need to copy over the cookies that Selenium has in order
// to imitate the Selenium user (for example if you are testing a
// website that requires a sign-in).
Set<Cookie> cookies = webDriver.manage().getCookies();
String cookieString = "";

for (Cookie cookie : cookies) {
    cookieString += cookie.getName() + "=" + cookie.getValue() + ";";
}

httpURLConnection.addRequestProperty("Cookie", cookieString);
Assert.assertEquals(200, httpURLConnection.getResponseCode());

Diese Methode könnte wahrscheinlich auch auf andere Sprachen verallgemeinert werden, müsste jedoch an die API der Sprache (oder Bibliothek) angepasst werden.

stiemannkj1
quelle
8

Ich bin mir nicht sicher, ob dies das ist, wonach Sie suchen, aber ich hatte ein etwas anderes Ziel: zu überprüfen, ob ein Remote-Image vorhanden ist, und ich werde keinen 403-Fehler haben, sodass Sie Folgendes verwenden können:

public static boolean linkExists(String URLName){
    try {
        HttpURLConnection.setFollowRedirects(false);
        HttpURLConnection con = (HttpURLConnection) new URL(URLName).openConnection();
        con.setRequestMethod("HEAD");
        return (con.getResponseCode() == HttpURLConnection.HTTP_OK);
    }
    catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}
Volodymyr Prysiazhniuk
quelle
4
Praktisch für einfache Fälle, aber Sie haben keinen Browserstatus mit dieser Methode (z. B. Benutzeranmeldungen).
Roger Keays
Ich glaube, Sie könnten Anmeldeinformationen als Teil der Header-Anfrage senden. Ich würde mich freuen, wenn Sie das versuchen können.
Volodymyr Prysiazhniuk
4

Es ist nicht möglich, HTTP-Antwortcode direkt mit Selenium WebDriver abzurufen. Der Code kann mithilfe von Java-Code abgerufen und in Selenium WebDriver verwendet werden.

So erhalten Sie den HTTP-Antwortcode von Java:

public static int getResponseCode(String urlString) throws MalformedURLException, IOException{
    URL url = new URL(urlString);
    HttpURLConnection huc = (HttpURLConnection)url.openConnection();
    huc.setRequestMethod("GET");
    huc.connect();
    return huc.getResponseCode();
}

Jetzt können Sie Ihren Selenium WebDriver-Code wie folgt schreiben:

private static int statusCode;
public static void main(String... args) throws IOException{
    WebDriver driver = new FirefoxDriver();
    driver.manage().window().maximize();
    driver.get("https://www.google.com/");
    driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);

    List<WebElement> links = driver.findElements(By.tagName("a"));
    for(int i = 0; i < links.size(); i++){
        if(!(links.get(i).getAttribute("href") == null) && !(links.get(i).getAttribute("href").equals(""))){
            if(links.get(i).getAttribute("href").contains("http")){
                statusCode= getResponseCode(links.get(i).getAttribute("href").trim());
                if(statusCode == 403){
                    System.out.println("HTTP 403 Forbidden # " + i + " " + links.get(i).getAttribute("href"));
                }
            }
        }   
    }   
}
Ripon Al Wasim
quelle
1
Was ist, wenn es sich um ein POST-Formular handelt? Was ist, wenn es Cookies gibt?
Nafg
1
Dies ist nur das Senden einer HTTP-Anfrage außerhalb von Selen.
Matthias Winkelmann
2

Sie können Mobilenium ( https://github.com/rafpyprog/Mobilenium ) ausprobieren , ein Python-Paket, das BrowserMob Proxy und Selenium verbindet.

Ein Anwendungsbeispiel:

>>> from mobilenium import mobidriver
>>>
>>> browsermob_path = 'path/to/browsermob-proxy'
>>> mob = mobidriver.Firefox(browsermob_binary=browsermob_path)
>>> mob.get('http://python-requests.org')
301
>>> mob.response['redirectURL']
'http://docs.python-requests.org'
>>> mob.headers['Content-Type']
'application/json; charset=utf8'
>>> mob.title
'Requests: HTTP for Humans \u2014 Requests 2.13.0 documentation'
>>> mob.find_elements_by_tag_name('strong')[1].text
'Behold, the power of Requests'
Rafael Ribeiro
quelle