了解robots文件的用法！

　　1.“user-agent：*disallow：/”表示“禁止所有搜索引擎訪問網站的任何部分”，這相當于該網站在搜索引擎里沒有記錄，也就談不上排名。

　　2.“user-agent：*disallow：”表示“允許所有的robots訪問”，即允許蜘蛛任意抓取并收錄該網站。這里需要注意，前兩條語法之間只相差一個“/”。

　　3.“user-agent：badbot disallow：/”表示“禁止某個搜索引擎的訪問”。

　　4.“user-agent：baiduspider disallow：user-agent：*disallow：/”表示“允許某個搜索引擎的訪問”。這里面的“baiduspider”是百度蜘蛛的名稱，這條語法即是允許百度抓取該網站，而不允許其他搜索引擎抓取。

　　我們在來看看使用robots文件應該注意什么？首先，在不確定文件格式怎么寫之前，可以先新建一個文本文檔，注意robots文件名必須是robots.txt，其后綴是txt并且是小寫的，不可以隨便更改，否則搜索引擎識別不了。然后打開該文件，可以直接復制粘貼別人的格式。

　　Robots文件格式是一條命令一行，下一條命令必須換行。還有，“disallow： ”后面必須有一個空格，這是規范寫法。