Ein einfacher Crawler mit Cheerio
Dies ist meine Formel, um einen einfachen Crawler in Node.js zu erstellen. Dies ist der Hauptgrund für die DOM-Manipulation auf der Serverseite und wahrscheinlich der Grund, warum Sie hierher gekommen sind.
Verwenden Sie zunächst request, um die zu analysierende Seite herunterzuladen. Wenn der Download abgeschlossen ist, gehen Sie zucheerio und beginnen mit der DOM-Manipulation, genau wie mit jQuery.
Arbeitsbeispiel:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
In diesem Beispiel werden alle wichtigen Fragen, die auf der SO-Homepage angezeigt werden, auf der Konsole gedruckt. Deshalb liebe ich Node.js und seine Community. Einfacher geht es nicht :-)
Abhängigkeiten installieren:
npm Installationsanfrage Cheerio
Und führen Sie aus (vorausgesetzt, das obige Skript befindet sich in der Datei crawler.js):
Knoten crawler.js
Codierung
Einige Seiten enthalten nicht englischen Inhalt in einer bestimmten Codierung, und Sie müssen ihn dekodieren UTF-8. Beispielsweise wird eine Seite in brasilianischem Portugiesisch (oder einer anderen Sprache lateinischen Ursprungs) wahrscheinlich in ISO-8859-1(auch bekannt als "latin1") codiert . Wenn eine Dekodierung erforderlich ist, fordere ich Sie requestauf, den Inhalt in keiner Weise zu interpretieren und stattdessen zu verwendeniconv-lite für die Arbeit zu verwenden.
Arbeitsbeispiel:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Installieren Sie vor dem Ausführen Abhängigkeiten:
npm install request iconv-lite cheerio
Und dann endlich:
Knoten crawler.js
Folgende Links
Der nächste Schritt wäre, Links zu folgen. Angenommen, Sie möchten alle Poster aus jeder Top-Frage auf SO auflisten. Sie müssen zuerst alle Top-Fragen auflisten (Beispiel oben) und dann jeden Link eingeben und die Seite jeder Frage analysieren, um die Liste der beteiligten Benutzer zu erhalten.
Wenn Sie Links folgen, kann eine Rückruf-Hölle beginnen. Um dies zu vermeiden, sollten Sie Versprechen, Futures oder was auch immer verwenden. Ich halte immer asynchron in meinem Werkzeuggürtel. Hier ist ein vollständiges Beispiel für einen Crawler, der Async verwendet:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Vor dem Laufen:
npm install request async cheerio
Führen Sie einen Test durch:
Knoten crawler.js
Beispielausgabe:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
Und das ist die Grundvoraussetzung, die Sie kennen sollten, um Ihre eigenen Crawler zu erstellen :-)
Verwendete Bibliotheken