Wie kann ich mit Selenium Webdriver in Python eine Webseite scrollen?

Ich verwende derzeit Selenium Webdriver, um die Facebook-Seite mit Freunden von Freunden zu analysieren und alle IDs aus dem AJAX-Skript zu extrahieren. Aber ich muss nach unten scrollen, um alle Freunde zu bekommen. Wie kann ich in Selen nach unten scrollen? Ich benutze Python.

Sie können verwenden

driver.execute_script("window.scrollTo(0, Y)") 

Dabei ist Y die Höhe (auf einem Full-HD-Monitor sind es 1080). (Danke an @lukeis)

Sie können auch verwenden

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

um zum Ende der Seite zu scrollen .

Wenn Sie zu einer Seite mit unendlichem Laden scrollen möchten , z. B. zu sozialen Netzwerken, Facebook usw. (danke an @Cuong Tran)

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

Eine andere Methode (dank Juanse) ist, ein Objekt auszuwählen und

label.sendKeys(Keys.PAGE_DOWN);

Wenn Sie zum Ende der unendlichen Seite scrollen möchten (wie linkedin.com ), können Sie diesen Code verwenden:

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

Referenz: https://stackoverflow.com/a/28928684/1316860

Sie können send_keyseinen END(oder PAGE_DOWN) Tastendruck simulieren (der normalerweise die Seite scrollt):

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.END)

gleiche Methode wie hier gezeigt :

In Python können Sie einfach verwenden

driver.execute_script("window.scrollTo(0, Y)")

(Y ist die vertikale Position, zu der Sie scrollen möchten)

element=find_element_by_xpath("xpath of the li you are trying to access")

element.location_once_scrolled_into_view

Dies half, als ich versuchte, auf ein 'li' zuzugreifen, das nicht sichtbar war.

Zu meinem Zweck wollte ich mehr nach unten scrollen und dabei die Position der Fenster berücksichtigen. Meine Lösung war ähnlich und verwendetwindow.scrollY

driver.execute_script("window.scrollTo(0, window.scrollY + 200)")

Dies wird zur aktuellen y-Bildlaufposition + 200 gehen

So scrollen Sie auf der Webseite nach unten:

driver.execute_script("window.scrollTo(0, 1000);")

Der einfachste Weg, dieses Problem zu lösen, bestand darin, ein Etikett auszuwählen und dann zu senden:

label.sendKeys(Keys.PAGE_DOWN);

Hoffe, es funktioniert!

Keine dieser Antworten hat bei mir funktioniert, zumindest nicht beim Scrollen einer Facebook-Suchergebnisseite, aber ich habe nach vielen Tests dieser Lösung Folgendes gefunden:

while driver.find_element_by_tag_name('div'):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    Divs=driver.find_element_by_tag_name('div').text
    if 'End of Results' in Divs:
        print 'end'
        break
    else:
        continue

Wenn Sie mit YouTube arbeiten, geben die schwebenden Elemente den Wert "0" als Bildlaufhöhe an. Verwenden Sie also "return document.body.scrollHeight" , anstatt "return document.documentElement.scrollHeight" zu verwenden. Passen Sie die Bildlaufpausenzeit gemäß Ihrem Internet an Geschwindigkeit sonst läuft es nur einmal und bricht danach ab.

SCROLL_PAUSE_TIME = 1

# Get scroll height
"""last_height = driver.execute_script("return document.body.scrollHeight")

this dowsnt work due to floating web elements on youtube
"""

last_height = driver.execute_script("return document.documentElement.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0,document.documentElement.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_height == last_height:
       print("break")
       break
    last_height = new_height

Ich suchte nach einer Möglichkeit, durch eine dynamische Webseite zu scrollen und automatisch anzuhalten, sobald das Ende der Seite erreicht ist, und fand diesen Thread.

Der Beitrag von @Cuong Tran mit einer Hauptänderung war die Antwort, nach der ich gesucht habe. Ich dachte, dass andere die Änderung hilfreich finden könnten (sie hat einen ausgeprägten Einfluss auf die Funktionsweise des Codes), daher dieser Beitrag.

Die Änderung besteht darin, die Anweisung zu verschieben, die die letzte Seitenhöhe innerhalb der Schleife erfasst (sodass jede Prüfung mit der vorherigen Seitenhöhe verglichen wird).

Also, der Code unten:

Scrollt kontinuierlich eine dynamische Webseite ( .scrollTo()) nach unten und stoppt nur, wenn für eine Iteration die Seitenhöhe gleich bleibt.

(Es gibt eine weitere Änderung, bei der sich die break-Anweisung in einer anderen Bedingung befindet (falls die Seite "klebt"), die entfernt werden kann.)

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

Dieser Code scrollt nach unten, erfordert jedoch nicht, dass Sie jedes Mal warten. Es wird kontinuierlich gescrollt und dann unten angehalten (oder Timeout)

from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('https://example.com')

pre_scroll_height = driver.execute_script('return document.body.scrollHeight;')
run_time, max_run_time = 0, 1
while True:
    iteration_start = time.time()
    # Scroll webpage, the 100 allows for a more 'aggressive' scroll
    driver.execute_script('window.scrollTo(0, 100*document.body.scrollHeight);')

    post_scroll_height = driver.execute_script('return document.body.scrollHeight;')

    scrolled = post_scroll_height != pre_scroll_height
    timed_out = run_time >= max_run_time

    if scrolled:
        run_time = 0
        pre_scroll_height = post_scroll_height
    elif not scrolled and not timed_out:
        run_time += time.time() - iteration_start
    elif not scrolled and timed_out:
        break

# closing the driver is optional 
driver.close()

Dies ist viel schneller als jedes Mal 0,5 bis 3 Sekunden auf eine Antwort zu warten, wenn diese Antwort 0,1 Sekunden dauern kann

Bildlaufseiten scrollen. Beispiel: Medium, Quora usw.

last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight-1000);")
        # Wait to load the page.
        driver.implicitly_wait(30) # seconds
        new_height = driver.execute_script("return document.body.scrollHeight")

        if new_height == last_height:
            break
        last_height = new_height
        # sleep for 30s
        driver.implicitly_wait(30) # seconds
        driver.quit()

Wenn Sie innerhalb einer bestimmten Ansicht / eines bestimmten Rahmens (WebElement) scrollen möchten, müssen Sie nur "body" durch ein bestimmtes Element ersetzen, in dem Sie scrollen möchten . Ich erhalte dieses Element über "getElementById" im folgenden Beispiel:

self.driver.execute_script('window.scrollTo(0, document.getElementById("page-manager").scrollHeight);')

Dies ist zum Beispiel bei YouTube der Fall ...

Die ScrollTo()Funktion funktioniert nicht mehr. Das habe ich benutzt und es hat gut funktioniert.

driver.execute_script("document.getElementById('mydiv').scrollIntoView();")

driver.execute_script("document.getElementById('your ID Element').scrollIntoView();")

es funktioniert für meinen Fall.