Entwerfen eines Webcrawlers

Ich bin auf eine Interviewfrage gestoßen: "Wenn Sie einen Webcrawler entwerfen würden, wie würden Sie vermeiden, in Endlosschleifen zu geraten?", Und ich versuche, sie zu beantworten. Wie fängt alles von vorne an? Angenommen, Google hat mit einigen Hub-Seiten begonnen, von denen Hunderte (wie...