robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的蜘蛛（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的蜘蛛获取的，哪些是可以被蜘蛛获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的蜘蛛访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元资料）。
robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有与没有斜杠“/”表示的是不同的URL。robots.txt允许使用类似"Disallow: *.gif"这样的通配符
<meta name="robots" content="noindex,nofollow" />
例子：
允许所有的蜘蛛：
User-agent: * Disallow:
另一写法
User-agent: * Allow:/
仅允许特定的蜘蛛：
User-agent: baiduspider Allow:
拦截所有的蜘蛛：
User-agent: * Disallow: /
禁止所有蜘蛛访问特定目录：
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/
仅禁止坏爬虫访问特定目录（BadBot用真实的名字代替）：
User-agent: BadBot Disallow: /private/
禁止所有蜘蛛访问特定文件类型：
User-agent: * Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$
自动发现Sitemaps文件
Sitemap指令被几大搜索引擎支持（包括Google、Yahoo、Bing和Ask），指定了网站Sitemaps文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。Sitemap指令并不受User-agent指令的限制，所以它可以放在robots.txt文件中的任意位置。[3] 唯一要注意的就是要使用网站地图指令，<sitemap_location>,并将URL的"location"值换成网站地图的地址，例如，下面就是一个网站地图指令的例子：
Sitemap: <http://www.example.com/sitemap.xml>
虽然robots.txt是最为广泛接受的方法，但也可以与robots METa标签一起使用。robots META标签主要是针对一个独立的页面设定，与其他的META标签（如使用的语言、页面的描述、关键词等）一样，robots META标签也是放在页面的HEAD标签中，专门用来告诉搜索引擎robots如何抓取该页的内容。
<head> <meta name="robots" content="noindex,nofollow" /> </head>
了解 robots.txt 文件的限制
在创建或修改 robots.txt 文件之前，您应了解这种网址屏蔽方法的限制。根据您的目标和具体情况，您可能需要考虑采用其他机制来确保搜索引擎无法在网络上找到您的网址。
并非所有搜索引擎都支持 robots.txt 指令。
robots.txt 文件中的命令并不能强制规范抓取工具对网站采取的行为；是否遵循这些命令由抓取工具自行决定。其他正规的网页抓取工具都会遵循 robots.txt 文件中的命令，但一些抓取工具未必如此。因此，如果您想确保特定信息不会被网页抓取工具抓取，我们建议您采用其他屏蔽方法，例如用密码保护服务器上的隐私文件。
不同的抓取工具会以不同的方式解析语法。
虽然正规的网页抓取工具会遵循 robots.txt 文件中的指令，但每种抓取工具可能会以不同的方式解析这些指令。您需要好好了解一下适用于不同网页抓取工具的正确语法，因为有些抓取工具可能会无法理解某些命令。
如果其他网站上有链接指向被 robots.txt 文件屏蔽的网页，则此网页仍可能会被编入索引
尽管一些不会抓取被 robots.txt 文件屏蔽的内容或将其编入索引，但如果网络上的其他位置有链接指向被禁止访问的网址，我们仍可能会找到该网址并将其编入索引。因此，相关网址和其他公开显示的信息（如相关页面链接中的定位文字）仍可能会出现在搜索结果中。若要正确阻止您的网址出现在搜索结果中，您应为服务器上的文件设置密码保护、使用 noindex 元标记或响应标头，或者彻底移除网页。
本文来源：重庆seo博客
本文地址：https://focusonseo.cn/seojichu/113.html
文章声明：以上内容(如有图片或视频亦包括在内)除非注明，否则均为重庆seo博客原创文章，转载或复制请以超链接形式并注明出处。
相关文章
下一篇：什么是死链接？