robots文件是一種機器人文件，就是我們給搜索引擎蜘蛛看的一種文件，搜索引擎的蜘蛛在爬行我們網站的時候一把都會先爬行我們的robots文件，然后根據robots文件的要求，進行對我們網站的爬行。那么我們在寫robots文件的時候應該注意哪些技巧呢。

　　一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。這個時候我們就可以通過以下的方法來設置robots文件。

　　User-agent: *
　　Disallow: /admin/ 后臺管理文件
　　Disallow: /require/程序文件
　　Disallow: /attachment/ 附件
　　Disallow: /images/ 圖片
　　Disallow: /data/數據庫文件
　　Disallow: /template/ 模板文件
　　Disallow: /css/ 樣式表文件
　　Disallow: /lang/ 編碼文件
　　Disallow: /script/腳本文件
　　Disallow: /js/js文件

　　如果你想讓你的哪一個文件不被搜索引擎抓取的話，那么你就要按照以上的方法來設置你的robots文件。

　　如果你的網站是動態網頁，并且這些動態頁面都做了靜態的版本，為了更好的讓蜘蛛抓取。那么你需要在robots.txt文件里設置避免動態網頁被蜘蛛索引，這樣就能保證這些頁面不被搜索引擎重復的抓取了。

　　以上就是匯仁智杰網絡推廣整理的一些robots文件的使用方法，robots文件的使用方法還有很多，在后續的文章中我們還會有更多的說明。