Wie konfiguriere ich Robots.txt in Magento?

Ich versuche, de robots.txtin unserem Magento-Shop einzurichten . Eigentlich habe ich keine Ahnung, wie ich das am besten einrichten kann robots.txt.

Schreiben robots.txtist schwierig. Roboter definieren die Architektur Ihrer Website für Crawler.

Normalerweise benutze ich die folgenden Roboter für meine Website

# Website Sitemap
Sitemap: www.example.com/sitemap.xml


User-agent: Googlebot-Image
Disallow: /
Allow: /media/catalog/product/

# Crawlers Setup
User-agent: *

# Directories
User-agent: *
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /skin/
Disallow: /var/

# Paths (clean URLs)
User-agent: *
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /customer/
Disallow: /customize/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /wishlist/

# Files
User-agent: *
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /api.php
Disallow: /get.php
Disallow: /mage


# Paths (no clean URLs)
User-agent: *
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?p=*&
Disallow: /*?SID=

Es gibt einen sehr schönen Artikel von inchoo über robots.txt. Der Link des Artikels ist Inchoo Robots.txt Artikel

BEARBEITEN

Gemäß den neuen Richtlinien wird nicht empfohlen, Ihre js / css / images vor Google Bots zu verbergen. Daher ist es falsch, sie nicht zuzulassen. Bitte entfernen Sie die folgenden Tags von den oben genannten Robotern

Disallow: /js/
Disallow: /media/ 
Disallow: /skin/

Erstellen Sie einfach eine Datei robots.txt im Stammpfad Ihrer Installation wie folgt:

# Sitemap
Sitemap: http://example.com/sitemap.xml

# Google Images
User-agent: Googlebot-Image
Disallow: /
Allow: /media/catalog/product/
Allow: /media/wysiwyg/

# Crawlers Setup
User-agent: *

# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/

# Paths (clean URLs)
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /onestepcheckout/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
Disallow: /catalog/product/gallery/

# Files
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /mage
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt

# Paths (no clean URLs)
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?p=*&
Disallow: /*?SID=
Disallow: /*?dir*
Disallow: /*?mode*
Disallow: /*?limit*

# System files
Disallow: /CVS
Disallow: /*.git$
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$

# PHP
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php

Das Erstellen und Konfigurieren robots.txtist sehr einfach. Sie können es mit einem einfachen Texteditor erstellen. Das beste Beispiel finden Sie hier http://www.robotstxt.org/robotstxt.html , wie man eine robots.txtDatei erstellt.

Sobald Sie eine Robots.txtDatei erstellt haben, soll diese im Stammverzeichnis Ihres Webstores gesendet werden. Wenn sich Ihre Store-Domain beispielsweise befindet www.example.com, sollten Sie die robots.txtDatei unter dem Domain-Stammverzeichnis ablegen, in dem sich auch das App-Verzeichnis befindet. So sitzt es und wie zugegriffenwww.example.com/robots.txt

Legen Sie robots.txt im Stammverzeichnis Ihrer Magento-Installation ab

Hier sind die Standardregeln, die robots.txt hat

User-agent: *
Disallow: /

---- Dadurch wird einfach die gesamte Website für die Indizierung und das Crawlen durch Suchmaschinen blockiert. Definieren Sie daher besser Ordner und Dateien, die nicht von Suchmaschinen gesucht werden sollen.

So können Sie die Ordner und Dateien definieren, die von Suchmaschinen nicht gecrawlt werden sollen

User-agent: *
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /README.txt
Disallow: /sample.html
Disallow: /sample.php
Disallow: /sample.conf
Disallow: /sample_svn.

Sie können Suchmaschinen auch in robots.txt definieren

User-agent: Googlebot
User-agent: Slurp
User-agent: msnbot 
User-agent: Mediapartners-Google*
User-agent: Googlebot-Image 
User-agent: Yahoo-MMCrawler

Hier erfahren Sie, welche Suchmaschine zum Crawlen der Site zugelassen werden soll

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: Yahoo-slurp
Disallow: 

User-agent: Msnbot
Disallow:

In beiden Fällen können Sie Ihre robots.txt online generieren, indem Sie nur einige grundlegende Informationen zu Ihrer Site eingeben. http://www.robotsgenerator.com/