Als «large-data-volumes» getaggte Fragen

Ich bin auf eine Interviewfrage gestoßen: "Wenn Sie einen Webcrawler entwerfen würden, wie würden Sie vermeiden, in Endlosschleifen zu geraten?", Und ich versuche, sie zu beantworten. Wie fängt alles von vorne an? Angenommen, Google hat mit einigen Hub-Seiten begonnen, von denen Hunderte (wie diese Hub-Seiten überhaupt gefunden wurden, ist eine …

72 data-structures  search-engine  web-crawler  google-search  large-data-volumes