robots.txt是什么?怎么运用
作为一个网站建设加优化的公司,是必须要回的就是robots.txt文件,所以我们就来看看这个文件的意思
robots.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗
当蜘蛛访问一个站点时,它会首先检查该站点是否存在robots.txt
如果找到,蜘蛛就会按照该文件中的内容来确定抓取的范围
如果该文件不存在,那么蜘蛛就沿着链接直接抓取
robots.txt的作用
1、防止私密或重要内容被搜索引擎抓取
2、节省服务器资源,从而提高服务质量
3、减少重复抓取,提高网站质量
4、指定sitemap文件位置
User-agent: *
针对哪个搜索引擎蜘蛛
这里的*代表搜索引擎种类,*是通配符
Allow
定义的是允许蜘蛛抓取某个栏目或文件
Allow: /cgi-bin/
这里定义是允许访问cgi-bin目录
Allow:/* .htm$
允许访问以".htm"为后缀的URL
$指的是匹配行结束符
*指的是匹配任何字符
Disallow
定义的是禁止蜘蛛抓取某个栏目或文件
Disallow: /admin/
这里定义是禁止抓取admin目录
Disallow: /cgi-bin/*.htm
禁止抓取/cgi-bin/目录下的所有以".htm"为后缀的URL
Disallow: /*?*
禁止抓取网站中所有包含问号 “?”的网址
用法:sitemap: http://www.google.com/sitemap.xml
sitemap:URL全称(包含http://部分)
告诉搜索引擎蜘蛛这个页面是网站地图
robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况,而robots meta标签则主要是针对某个具体的页面
扫一扫,加微信
相关新闻
- 菏泽外卖小程序开发多少钱?揭秘市场价位与避坑指南,助您精准投···
- 从创意到指尖:揭秘App开发如何重塑商业未来与用户体验
- 甄选卓越伙伴:如何选择一家真正优秀的APP开发公司?
- 小程序开发制作:解锁企业数字化转型新引擎,引领未来商业浪潮
- 从零到一:解锁企业数字化转型的基石——专业建站全攻略
- 超越平庸:高端网站建设如何重塑企业数字形象与商业未来
- 网站搭建费用全解析:从几百到几十万,你的网站究竟要花多少钱?
- 软件开发费用全解析:从预算到交付,一文读懂成本构成与省钱秘诀
- 菏泽APP开发指南:解锁企业数字化转型新机遇,本地化服务如何···
- 做一个小程序到底要花多少钱?揭秘从千元到万元的成本真相与避坑···