Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，這是網(wǎng)站管理員和搜錄引擎對(duì)話的一個(gè)通道。在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問(wèn)的部分，或者指定搜索引擎只收錄指定的內(nèi)容。

當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。

創(chuàng)建robots協(xié)議，首先，要先建立一個(gè)空白文本文檔（記事本），然后命名為：robots.txt。文檔根據(jù)需要選擇以下寫(xiě)法：
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為 后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖

建立好之后再用flashFXP上傳到根目錄上面。常規(guī)的根目錄一般是wwwroot和web。
也許這么說(shuō)你還不懂得具體怎么操作，下面就以imcart中如何使用robots.txt為例為您詳細(xì)解答。

在登陸后臺(tái)系統(tǒng)后找到常用工具中插件管理功能，在插件頁(yè)面的免費(fèi)插件查找關(guān)鍵詞：robots，就出現(xiàn)了robots在線編輯1.5.

點(diǎn)擊運(yùn)行，便跳轉(zhuǎn)到robots.txt編輯頁(yè)面。

在這個(gè)頁(yè)面可以快速選擇開(kāi)啟收錄的瀏覽器引擎范圍或者關(guān)閉收錄。當(dāng)然你還可以使用點(diǎn)擊“編輯收錄”進(jìn)行自定義。

在點(diǎn)擊“編輯收錄”后，出現(xiàn)imcart的在線編輯頁(yè)面。關(guān)于這一點(diǎn)，imcart具有自己獨(dú)特的優(yōu)勢(shì)?？梢圆恍枰⒁粋€(gè)新的文檔或者記事本，然后再通過(guò)flashFXP上傳到根目錄上面，可通過(guò)在線收錄編輯直接定義，更加簡(jiǎn)單、快捷，不懂robots協(xié)議創(chuàng)建的商家也可以快速上手。

編輯完成之后點(diǎn)擊“確認(rèn)提交”就完成了robots.txt的編輯。
下圖為imcart網(wǎng)站的robots協(xié)議：

其表示的robots協(xié)議：
User-agent: *Allow:　/
是指可以被所有的搜索引擎收錄；
Sitemap: http://www.imcart.com/sitemap.xml
是指：這個(gè)頁(yè)面是網(wǎng)站地圖。網(wǎng)站中不是所有的東西都需要被收錄的，就如網(wǎng)頁(yè)地圖。

需要注意的是，文檔文件名稱不能寫(xiě)錯(cuò)，而且必須小寫(xiě)，后綴必須是.txt.文件必須放在網(wǎng)站的根目錄，比如：http://www.imcart.com/robots.txt，要可以訪問(wèn)。并且文件內(nèi)容語(yǔ)法要正確。對(duì)于新建立還未完善的網(wǎng)站，建議暫時(shí)屏蔽Google的收錄。等網(wǎng)站信息、功能完備后再對(duì)其開(kāi)放。