Als «scrapy» getaggte Fragen

23
Lxml kann nicht auf Mac OS X 10.9 installiert werden
Ich möchte Lxml installieren, damit ich dann Scrapy installieren kann. Wenn ich heute meinen Mac aktualisierte, konnte ich lxml nicht neu installieren. Ich erhalte die folgende Fehlermeldung: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with …
234 python  xcode  macos  scrapy  lxml 
18
"OSError: [Errno 1] Operation nicht zulässig" bei der Installation von Scrapy unter OSX 10.11 (El Capitan) (System Integrity Protection)
Ich versuche, das Scrapy Python-Framework in OSX 10.11 (El Capitan) über pip zu installieren. Das Installationsskript lädt die erforderlichen Module herunter und gibt irgendwann den folgenden Fehler zurück: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Ich habe versucht, die Rootless-Funktion in OSX 10.11 mit dem folgenden Befehl zu deaktivieren: sudo …
17
Scraping: SSL: CERTIFICATE_VERIFY_FAILED-Fehler für http://en.wikipedia.org
Ich übe den Code aus 'Web Scraping with Python' und habe weiterhin das folgende Zertifikatsproblem: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not …
2
Selen mit Scrapy für dynamische Seite
Ich versuche, Produktinformationen mithilfe von Scrapy von einer Webseite zu entfernen. Meine zu kratzende Webseite sieht folgendermaßen aus: Beginnt mit einer product_list-Seite mit 10 Produkten Ein Klick auf "Weiter" lädt die nächsten 10 Produkte (URL ändert sich nicht zwischen den beiden Seiten) Ich benutze LinkExtractor, um jedem Produktlink auf der …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.