robots.txt是一種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。 因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。
robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那麼可以將自定的設置合並到根目錄下的robots.txt，或者使用robots元數據。這個協議也不是一個規范，而只是約定俗成的，通常搜索引擎會識別這個元數據，不索引這個頁面，以及這個頁面的鏈出頁面。
www.robotstxt.org - 4006 - robots.txt
