Ich habe ein Skript in Python geschrieben, um mich auf einer Website anzumelden und den Benutzernamen zu analysieren, um sicherzustellen, dass ich mich wirklich anmelden konnte. Die unten beschriebene Methode scheint mich dorthin zu bringen. Ich habe jedoch fest codierte Cookies verwendet, die aus Chrome-Entwicklungstools im Skript stammen, um Erfolg zu haben.
Ich habe versucht mit:
import requests
from bs4 import BeautifulSoup
url = 'https://secure.imdb.com/ap/signin?openid.pape.max_auth_age=0&openid.return_to=https%3A%2F%2Fwww.imdb.com%2Fap-signin-handler&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.assoc_handle=imdb_pro_us&openid.mode=checkid_setup&siteState=eyJvcGVuaWQuYXNzb2NfaGFuZGxlIjoiaW1kYl9wcm9fdXMiLCJyZWRpcmVjdFRvIjoiaHR0cHM6Ly9wcm8uaW1kYi5jb20vIn0&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0'
signin = 'https://secure.imdb.com/ap/signin'
mainurl = 'https://pro.imdb.com/'
with requests.Session() as s:
res = s.get(url,headers={"User-agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text,"lxml")
payload = {i['name']: i.get('value', '') for i in soup.select('input[name]')}
payload['email'] = 'some username'
payload['password'] = 'some password'
s.post(signin,data=payload,headers={
"User-agent":"Mozilla/5.0",
"Cookie": 'adblk=adblk_yes; ubid-main=130-2884709-6520735; _msuuid_518k2z41603=95C56F3B-E3C1-40E5-A47B-C4F7BAF2FF5D; _fbp=fb.1.1574621403438.97041399; pa=BCYm5GYAag-hj1CWg3cPXjfv2X6NGPUp6kLguepMku7Yf0W9-iSTjgmVNGmQLwUfJ5XJPHqlh84f%0D%0Agrd2voq0Q7TR_rdXU4T1BJw-1a-DdvCNSVuWSm50IXJDC_H4-wM_Qli_%0D%0A; uu=BCYnANeBBdnuTg3UKEVGDiO203C7KR0AQTdyE9Y_Y70vpd04N5QZ2bD3RwWdMBNMAJtdbRbPZMpG%0D%0AbPpC6vZvoMDzucwsE7pTQiKxY24Gr4_-0ONm7hGKPfPbMwvI1NYzy5ZhTIyIUqeVAQ7geCBiS5NS%0D%0A1A%0D%0A; session-id=137-0235974-9052660; session-id-time=2205351554; session-token=jsvzgJ4JY/TCgodelKegvXcqdLyAy4NTDO5/iEvk90VA8qWWEPJpiiRYAZe3V0EYVFlKq590mXU0OU9XMbAzwyKqXIzPLzKfLf3Cc3k0g/VQNTo6roAEa5IxmOGZjWrJuhkRZ1YgeF5uPZLcatWF1y5PFHqvjaDxQrf2LZbgRXF5N7vacTZ8maK0ciJmQEjh; csm-hit=tb:8HH0DWNBDVSWP881GYKG+s-8HH0DWNBDVSWP881GYKG|1574631571950&t:1574631571952&adb:adblk_yes'
})
r = s.get(mainurl,headers={
"Cookie": 'adblk=adblk_yes; ubid-main=130-2884709-6520735; _msuuid_518k2z41603=95C56F3B-E3C1-40E5-A47B-C4F7BAF2FF5D; _fbp=fb.1.1574621403438.97041399; pa=BCYm5GYAag-hj1CWg3cPXjfv2X6NGPUp6kLguepMku7Yf0W9-iSTjgmVNGmQLwUfJ5XJPHqlh84f%0D%0Agrd2voq0Q7TR_rdXU4T1BJw-1a-DdvCNSVuWSm50IXJDC_H4-wM_Qli_%0D%0A; csm-hit=tb:KV47B1QVKP4DNB3QGY95+b-NM69W1Y35R7ARV0639V5|1574631544432&t:1574631544432&adb:adblk_yes; session-id=137-0235974-9052660; session-id-time=2205351554; session-token="EsIzROiSTmFDfXd5jnBPIBOpYG9jAu7tiWXDF8R52sUw5jS6OjddfOOQB+ytCmq0K3UnXs9wKBvQtkB4aVNsXieVbRcIUrKf3iPnYeJchbOlShMjg+MR+O7IQgPKkw0BKihdYQ1YIl7KQS8VeLxZjtzJ5sj5ocnY72fCKdwq/fGOjfieFYbe9Km3a8h++1GpC738JbwcVdpTG08v1pjhQKifqPQXnqhcyVKhi8CD1qk="; x-main="C1KbtQgFFBAYfwttdRSrU5CpCe@Fn6SPHnBTY6dO2ppimt@u1P1L7G0PueQMn6X3"; at-main=Atza|IwEBICfS3UKNp2mwmbyUPY1QzjXRHMcL6fjv2ND7BDXsZ1G-qDPJKsLJXeU9gJOvRpWsofSpOJCyhnap-bIOWCutU6VMIS9bn3UkNVRP8WFVqrs-CLB5opLbrEx6YxVGQlfaxx54gzuuGO4D30z-AgBpGe64_bn0K1iLOT3P3i7S3nBzvP_0AopwKlbU7SRnE5m21cVfVK7bwbtfZO4cf7DrpGcaHK4dlY5jKHPzNx_AR4ypqsEBFbHon36N1j8foty6wLJhFP1gNCvs24mVCec24TRho5ZXFDYqhLB-dw9V3XY1eq7q1QNgtAdYkDSJ6Mq1nllFu59WqIVs1Y3lLEaxDUExLtCt-VQArpS_hZtZR8C_kevhV01jEhWg8RUQaCdYTMwZHwa778MiEOrrrdGqFnR5; sess-at-main="tWwUfkZLx+mDAPqZo+J6yJlnjqBJvYJ0oVMS6/NcIKQ="; id=BCYhnxuM-3g3WFo4uvCv6C5LdGLJKaIcZj8E-rQwU_YsF991I3Tqe94W6IlU27FvaNcnuCyv5Te3%0D%0A0c3O1mMYhEE14wMdByo2SvGXkBS0A4oFMJMEIe0aC1X4fyNRwWYNZ72a6NDzAOqeDQi3_7sZZGH8%0D%0AxQ%0D%0A; uu=BCYsGSOaee6VbhMOMXpG3F_6i7cTIkPCN0S0_Jv7c3bVkUQ5gp9vqtfvVlOMOIOqXv-uHSTSibBp%0D%0ATO1e4tRpT1DolY2qkoOW8yICF7ZrXqAgont_ShTy8zVEg1wxWCxg3_XQX8r8_dGFCO4NWZiyLH-f%0D%0A2RpBF2IJLUSd8R4UCbbbtgo%0D%0A; sid=BCYp9inRAYR9sJgmF1FcA9Vgto81vmiCYHP_gEVv6r2ZdBtz1bKtOQg4_0iSwREudsZrPM8SHMUk%0D%0A5jFMp74veGrdwNTf8DONXPUCExLgkHzfeoZr-KHf4VbI7aI5TrJhqSioYbEhHYqm6q5RGrXfCVPr%0D%0AqA%0D%0A'
})
sauce = BeautifulSoup(r.text,"lxml")
name = sauce.select_one("span.display-name").text
print(name)
Ich habe mit den folgenden Versuchen versucht, festzustellen, ob es funktioniert, um die Verwendung von fest codierten Cookies zu vermeiden, aber leider ist dies fehlgeschlagen:
cookie_string = "; ".join([str(x)+"="+str(y) for x,y in s.cookies.items()])
So habe ich es automatisch versucht:
cookie_string = "; ".join([str(x)+"="+str(y) for x,y in s.cookies.items()])
s.post(signin,data=payload,headers={
"User-agent":"Mozilla/5.0",
"Cookie": cookie_string
})
cookie_string_ano = "; ".join([str(x)+"="+str(y) for x,y in s.cookies.items()])
r = s.get(mainurl,headers={
"Cookie": cookie_string_ano
})
Als ich versuchte mit oben kann ich sehen cookie_string
, cookie_string_ano
produzieren session-id=130-0171771-5726549; session-id-time=2205475101l
und session-id=130-0171771-5726549; session-id-time=2205475101l; ubid-main=135-8050026-6353151
.
Wie kann ich den Benutzernamen abrufen, ohne fest codierte Cookies im Skript zu verwenden?
quelle
print(s.cookies.items())
? Sind Sie sicher, dass Sie alle erforderlichen Cookies erhaltens.get(url)
?session-id
undsession-id-time
und ihre Werte in den Cookies sehen kann, aber in Wirklichkeit gibt es in den fest codierten @Simas Joneliunas noch viel mehr.metadata1
Parameter, der js generiert zu sein scheint, aber ich kann nicht sicher sein.Antworten:
Holen
cookies
von Chrome Entwickler - Tool , gibt es einen Bedarf zu interagieren mit Chrome DevTools Protokoll innerhalb eines Python - Skript mit Google Chrome.Hier ist ein Python-Plugin, mit dem Sie Cookies erhalten können. Dies wird Ihnen helfen, das damit verbundene Problem zu lösen
hard-coded cookies
. Besuchen Sie die Referenz: PyChromeDevTools .Voraussetzungen:
Dazu müssen Sie zunächst einstellen Chrome-Pfad in Systemumgebungsvariablen .
Danach müssen Sie eine Instanz von Google Chrome mit der Remote-Debugging-Option ausführen - Besuchsreferenz: Remote-Debugging mit Chrome Developer Tools .
Verwenden Sie den folgenden Befehl in
command-prompt
oderterminal
, um die Instanz wie angegeben auszuführen.chrome.exe --remote-debugging-port=9222 --user-data-dir=remote-profile
Problemumgehung:
Nach dem Ausführen der Google-Instanz können Sie dieses Programm wie im folgenden Beispiel ausführen.
Im obigen Skript habe ich zwei Methoden beibehalten:
# To Parse Cookies from IMDB before and after sign-in
# To do slicing for { name=values; } pattern
Hier sind die Ergebnisse des obigen Skripts.
quelle
Scheint, als würden Sie die Cookies vom Browser kopieren, also werde ich hier mit dieser Theorie fortfahren.
Die erste Post-API, die Sie drücken, setzt einige Cookies, gibt eine Seite zurück, die einige weitere URLs aufruft, die mehr Cookies setzen, und das geht weiter. Überprüfen Sie alle Anforderungen auf der Registerkarte "Netzwerk", um festzustellen, ob mehrere Anrufe vorhanden sind, die unterschiedliche Cookies setzen.
Wenn dies der Fall ist, müssen Sie alle in der Reihenfolge aufrufen, in der sie auf der Seite aufgerufen werden. Bei jedem Aufruf werden neue Cookies hinzugefügt. Schließlich sollten Sie alle Cookies sehen können, die Sie kopieren.
Wenn jedoch zufällige Daten berechnet und in einem der Aufrufe gesendet werden, kann dies für den CSRF- oder Bot-Schutz sein. In diesem Fall ist es besser, http://www.omdbapi.com/ oder https: / zu verwenden. /imdbpy.github.io/, um auf offizielle APIs anstatt auf interne zuzugreifen.
quelle