Wie verbiete ich ein gesamtes Verzeichnis mit robots.txt?

Ich habe zwei Sites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen

http://example.com/first_url 
http://example.com/second_url 

Unter diesen beiden URLs befinden sich unzählige Seiten

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Wie verbiete ich die Haupt-URL /first_urlund /second_urlauch alle Unterseiten und Unterverzeichnisse? Ich habe mir so etwas überlegt, aber ich weiß nicht, ob das funktioniert oder nicht und ob es die richtige Syntax war

Disallow: /first_url/*/
Disallow: /second_url/*/

Sie brauchen den abschließenden Schrägstrich nicht, um diese Verzeichnisse zu blockieren. Das wird funktionieren:

Disallow: /first_url/*
Disallow: /second_url/*

Diese Google-Hilfeseite deckt dies ziemlich gut ab.

Sie können dies als Standard verwenden robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Mit dem Stern kann alles unter dieser Kategorie nicht zugelassen werden. Sie können sogar eine bestimmte Sache unter dieser Kategorie verbieten, indem Sie diese bestimmte URL eingeben.