Verwendung von grep und cut in script zum Abrufen von Website-URLs aus einer HTML-Datei

Ich versuche, grep and cut zu verwenden, um URLs aus einer HTML-Datei zu extrahieren. Die Links sehen so aus:

<a href="http://examplewebsite.com/">

Andere Websites haben .net, .govaber ich gehe davon aus, dass ich den Cut-Off-Punkt direkt vorher machen könnte >. Also weiß ich, dass ich grep und cut irgendwie verwenden kann, um alles vor http und nach .com abzuschneiden, aber ich bin schon eine Weile dabei geblieben.

Wie ich in meinem Kommentar sagte, ist es im Allgemeinen keine gute Idee, HTML mit regulären Ausdrücken zu analysieren, aber Sie können manchmal damit durchkommen, wenn sich das HTML, das Sie analysieren, gut verhält.

Um nur URLs zu erhalten, die in den hrefAttributen von <a>Elementen enthalten sind, ist es für mich am einfachsten, sie in mehreren Schritten auszuführen. Aus Ihren Kommentaren geht hervor, dass Sie nur die Top-Level-Domain und nicht die vollständige URL wünschen. In diesem Fall können Sie Folgendes verwenden:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

Wo source.htmlist die Datei, die den zu analysierenden HTML-Code enthält?

Dieser Code gibt alle URLs der obersten Ebene aus, die als hrefAttribut aller <a>Elemente in jeder Zeile auftreten. Die -iOption für den ersten grepBefehl besteht darin, sicherzustellen, dass er sowohl für Elemente <a>als auch für <A>Elemente funktioniert . Ich vermute, Sie könnten auch -idie 2. eingeben, grepum HREFAttribute in Großbuchstaben zu erfassen , OTOH. :)

Zum Verarbeiten des Inhalts von http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

Ausgabe

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Meine Ausgabe unterscheidet sich ein wenig von den anderen Beispielen, da ich auf die australische Google-Seite weitergeleitet werde.

Nicht sicher, ob Sie auf Werkzeuge beschränkt sind:

Aber Regex ist vielleicht nicht der beste Weg, wie erwähnt, aber hier ist ein Beispiel, das ich zusammengestellt habe:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: ist dasselbe wie egrep
• grep -o: gibt nur das aus, was gegriffen wurde
• (http | https): ist entweder / oder
• az: ist alles in Kleinbuchstaben
• AZ: Ist alles in Ordnung
• . : ist Punkt
• \ ?: ist?
• *: ist die Wiederholung der [...] Gruppe
• uniq: entfernt alle Duplikate

Ausgabe:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Sie können auch hinzufügen \d, um andere Zifferntypen abzufangen.

Wenn Ihr grep Perl-Regexes unterstützt:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")und (?=")sind Lookaround- Ausdrücke für das hrefAttribut. Dies erfordert die -POption.
• -o druckt den passenden Text.

Beispielsweise:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Wie üblich kann nicht garantiert werden, dass es sich um gültige URIs handelt oder dass der von Ihnen analysierte HTML-Code gültig ist.

Verwenden Sie als nicht reguläre Alternative pup :

pup 'a[href] attr{href}' < yourfile.html

Findet alle aElemente, die ein hrefAttribut haben, und zeigt dann den Wert des hrefAttributs an.

Zur Installation pupbenötigen Sie Go (eine Programmiersprache):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

Der Vorteil dieser Lösung besteht darin, dass das HTML nicht ordnungsgemäß formatiert werden muss .

Ich habe hier eine Lösung gefunden , die meiner Meinung nach viel einfacher und potenziell schneller ist als das, was hier vorgeschlagen wurde. Ich habe ein wenig angepasst, um https-Dateien zu unterstützen. Aber die TD; TR-Version ist ...

PS: Sie können die Site-URL durch einen Pfad zu einer Datei ersetzen, und das funktioniert genauso.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Wenn Sie nur die Links sehen möchten, anstatt sie in einer Datei zu platzieren, versuchen Sie dies stattdessen ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

Das Ergebnis sieht ungefähr so ​​aus ...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

Für meinen Anwendungsfall hat dies einwandfrei funktioniert. Hüten Sie sich jedoch vor der Tatsache, dass heutzutage Links wie src = "// blah.tld" für die CDN-URI von Bibliotheken hinzugefügt werden. Ich wollte die in den abgerufenen Links nicht sehen.

Sie müssen nicht versuchen, nach href oder anderen Quellen für Links zu suchen, da "lynx -dump" standardmäßig alle anklickbaren Links von einer bestimmten Seite extrahiert. Der einzige Gedanke, den Sie danach tun müssen, ist, das Ergebnis von "lynx -dump" mit grep zu analysieren, um eine sauberere Rohversion desselben Ergebnisses zu erhalten.

wget -qO- google.com |
tr \" \\n | grep https\*://

... würde sich wohl ganz gut machen. Wie geschrieben wird gedruckt:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

Wenn es wichtig ist, dass Sie nur Links und Domains der obersten Ebene zuordnen, können Sie Folgendes tun:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... oder so ähnlich - für einige seds müssen Sie jedoch möglicherweise \njedes der letzten beiden ns durch ein wörtliches ewline-Zeichen ersetzen .

Der obige Befehl gibt wie geschrieben aus:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... und in beiden Fällen (aber wahrscheinlich am nützlichsten bei letzteren) können Sie einen |sort -uFilter bis zum Ende anheften , um die Liste zu sortbearbeiten und Duplikate zu löschen.

Kürzeste

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'