Python Selenium greift auf HTML-Quelle zu

Wie kann ich die HTML- Quelle in einer Variablen mithilfe des Selenium-Moduls mit Python abrufen?

Ich wollte so etwas machen:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

Wie kann ich das machen? Ich weiß nicht, wie ich auf die HTML-Quelle zugreifen soll.

Sie müssen auf die page_sourceEigenschaft zugreifen :

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

Mit Selenium2Library können Sie verwenden get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_source hilft Ihnen beim Abrufen des Seitenquellcodes . Sie können überprüfen, ob der Text in der Seitenquelle vorhanden ist oder nicht.

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

Wenn Sie die Seitenquelle in einer Variablen speichern möchten, fügen Sie nach driver.get die folgende Zeile hinzu :

var_pgsource=driver.page_source

und ändern Sie das if Bedingung in:

if "your text here" in var_pgsource:

Wenn Sie die Seitenquelle verwenden, erhalten Sie den gesamten HTML-Code.
Entscheiden Sie also zuerst den Code- oder Tag-Block, in dem Sie die Daten abrufen oder auf das Element klicken möchten.

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

Sie finden die Elemente nach Name, XPath, ID, Link und CSS-Pfad.

Führen Sie einfach diesen JavaScript-Code aus, um Ihre Frage zu beantworten, wie die URL für urllib verwendet werden soll:

url = browser.execute_script("return window.location;")

Sie können das WebDriverObjekt einfach verwenden und über das @propertyFeld auf den Seitenquellcode zugreifen page_source...

Probieren Sie dieses Code-Snippet aus :-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

Jetzt können Sie die BeautifulSoup-Funktion anwenden, um Daten zu extrahieren ...

Ich würde empfehlen, die Quelle mit urllib zu erhalten und, wenn Sie analysieren wollen, etwas wie Schöne Suppe zu verwenden .

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.