限制目錄設置 / 不用輸入域名,以 ‘/’ 開始

Sitemap設置 / 需要域名+路徑,支持txt,xml,html ,并且區分https & http

搜索引擎檢索間隔 / 表示搜索引擎爬取間隔時間,過短壓力較大,不設置表示沒有限制

搜索引擎設置 / 默認都是允許

  • 國內搜索引擎

  • 國外搜索引擎
  • 特殊搜索引擎
  • Robots 生成結果 下載/復制生成結果(必須命名為robots.txt),上傳到服務器根目錄,并且使之可以訪問

反饋:有需求,有BUG,千萬要告訴我們,點擊反?。?a target="_blank" class="blue" rel="external nofollow noindex">BUG反饋,或者加QQ8446666,反饋問題。

天津11选55开奖号码:Robots 文件生成工具介紹

Robots 文件介紹

Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內容,或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。

使用方法:

Robots.txt 文件應該放在網站根目錄下,并且該文件是可以通過互聯網進行訪問的。

例如:如果您的網站地址是天津11选5预测官方那么,該文件必須能夠通過 //www.vocquh.com.cn/robots.txt 打開并看到里面的內容。

Robots 格式:

User-agent:

用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則該協議對任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"這樣的記錄只能有一條。

Disallow:

用于描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow開頭的URL均不會被Robot訪問到。

舉例:

例一:"Disallow:/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。

例二:"Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

例三:Disallow記錄為空說明該網站的所有頁面都允許被搜索引擎抓取,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件,則對于所有的搜索引擎蜘蛛,該網站都是開放的可以被抓取的。

#:Robots.txt 協議中的注釋符。

綜合例子 :

例一:通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄,以及 "/tmp/"目錄和 /foo.html 文件,設置方法如下:

User-agent: *

Disallow: /bin/cgi/

Disallow: /tmp/

Disallow: /foo.html

例二:通過"/robots.txt"只允許某個搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允許名為"slurp"的搜索引擎蜘蛛抓取,而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容,設置方法如下:

User-agent: *

Disallow: /cgi/

User-agent: slurp

Disallow:

例三:禁止任何搜索引擎抓取我的網站,設置方法如下:

User-agent: *

Disallow: /

例四:只禁止某個搜索引擎抓取我的網站如:只禁止名為“slurp”的搜索引擎蜘蛛抓取,設置方法如下:

User-agent: slurp

Disallow: /

更多參考資料 (英文版)

工具導航地圖

JSON在線解析、JSON格式化、JSON對比、JSON壓縮

在線加密/解密 | AES | DES | MD5 | Base64

在線壓縮/格式化/美化 | JSON | JS | HTML | Java | SQL

開發文檔/API文檔

前端WEB工具/前端工具

在線轉換 | 單位轉換 | 數據轉換 | 格式轉換

二維碼生成 | 二維碼解析 | 動態二維碼 | 二維碼美化

正則表達式 | 正則表達式測試工具 | 正則表達式教程

備案查詢 | SEO查詢 | Robots生成 | 站長工具

HTTP模擬請求 | HTTP測試工具 | HTTP協議 | GET/POST

房貸計算器 | 最新房貸計算器 | 2019房貸利率

時間 | 萬年歷 | 放假 | 老黃歷 | 測網速 | 天氣

開發工具 | API文檔 | API手冊下載

工具破解 | 注冊碼 | 漢化工具

在線修改圖片 | 圖片尺寸修改 | 圖片壓縮 | 圖片美化 | 圖片批量處理 | 圖片水印

JS解密 | JS加密 | JS 美化 | JS格式化 | JS混淆

支付掃碼

所有贊助/開支都講公開明細,用于網站維護:贊助名單查看

正在加載... ...