So finden Sie alle Links / Seiten auf einer Website

Ist es möglich, alle Seiten und Links auf einer bestimmten Website zu finden? Ich möchte eine URL eingeben und einen Verzeichnisbaum aller Links von dieser Site erstellen.

Ich habe mir HTTrack angesehen, aber das lädt die gesamte Site herunter und ich brauche einfach den Verzeichnisbaum.

Check out linkchecker - Es wird die Site crawlen (während es gehorcht robots.txt) und einen Bericht erstellen. Von dort aus können Sie eine Lösung zum Erstellen des Verzeichnisbaums erstellen.

Wenn Sie die Entwicklerkonsole (JavaScript) in Ihrem Browser haben, können Sie diesen Code eingeben:

urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href);

Verkürzt:

n=$$('a');for(u in n)console.log(n[u].href)

Eine andere Alternative könnte sein

Array.from(document.querySelectorAll("a")).map(x => x.href)

Mit Ihrem ist es $$(noch kürzer

Array.from($$("a")).map(x => x.href)

Wenn dies eine Programmierfrage ist, würde ich vorschlagen, dass Sie Ihren eigenen regulären Ausdruck schreiben, um alle abgerufenen Inhalte zu analysieren. Ziel-Tags sind IMG und A für Standard-HTML. Für JAVA

final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";

Dies sollte zusammen mit Pattern- und Matcher-Klassen den Anfang der Tags erkennen. Fügen Sie ein LINK-Tag hinzu, wenn Sie auch CSS möchten.

Es ist jedoch nicht so einfach, wie Sie vielleicht ursprünglich gedacht haben. Viele Webseiten sind nicht gut geformt. Das programmgesteuerte Extrahieren aller Verknüpfungen, die der Mensch "erkennen" kann, ist wirklich schwierig, wenn Sie alle unregelmäßigen Ausdrücke berücksichtigen müssen.

Viel Glück!

function getalllinks($url) {
    $links = array();
    if ($fp = fopen($url, 'r')) {
        $content = '';
        while ($line = fread($fp, 1024)) {
            $content. = $line;
        }
    }
    $textLen = strlen($content);
    if ($textLen > 10) {
        $startPos = 0;
        $valid = true;
        while ($valid) {
            $spos = strpos($content, '<a ', $startPos);
            if ($spos < $startPos) $valid = false;
            $spos = strpos($content, 'href', $spos);
            $spos = strpos($content, '"', $spos) + 1;
            $epos = strpos($content, '"', $spos);
            $startPos = $epos;
            $link = substr($content, $spos, $epos - $spos);
            if (strpos($link, 'http://') !== false) $links[] = $link;
        }
    }
    return $links;
}

versuchen Sie diesen Code ....