10 Mayıs 2009 Pazar

Meta Robots ve Robot.txt Hakkındaki Herşey

Robotlar Seo konusunda önemli role sahiptirler. Sayfaları ve Folderları kontrol edebilmek için Robot META talarını ve Robots.txt dosyasını kullanırız.
Websayfasını tasarlayan kişi hangi sayfaların arama motorları tarafınfan indexlenmesi gerektiğini, hangi sayfaların indexlememesi gerektiğini HTML alanındaki Robots META tagların yerleşimiyle belirleyebilir. Aşağıda genel olarak kullanılan Robots taglarını görebilirsiniz.

< content="NOINDEX" name="ROBOTS">- Ignore content and follow links
< content="NOFOLLOW, INDEX " name="ROBOTS">- Include content and do not follow links
< content="NOINDEX,NOFOLLOW" name="ROBOTS">- Ignore content and do not follow links
< content="INDEX,FOLLOW" name="ROBOTS">- Include content and follow links
< content="NOARCHIVE" name="ROBOTS">- Cache link should not show Search results pages
< content="NOODP" name="ROBOTS">- The Open Directory Project (ODP) title and description for the page should not be displayed in Search results
< content="NOYDIR" name="ROBOTS">- The Yahoo Directory title and description for the page should not be displayed in Search results
< content="NOSNIPPET" name="ROBOTS">- Titles are only displayed in Search results page and not description or text context for this page

Özellikle folderları yönetmek için robot.txt dosyası kullanılabilir. Bu dosya her serverın root dizinine yerleştirilir ve bunun formatı HTML değildir. Tipik bir robot.txt dosyası aşağıdaki gibidir.

User-agent: *
Allow: /
Disallow: /admin*
Allow: *content*
Disallow: /test/
Disallow: /paypal/
Disallow: /credit/
Disallow: /cgi/



Hiç yorum yok:

Yorum Gönder