robots.txt是什么?怎么运用

发布时间:2021-07-07 08:46:28 作者:厚德网络 来源:本站 浏览量:(89) 点赞:(68) 收藏:(68)
摘要:菏泽厚德网络专业网站建设,网站设计,网站制作,网页设计,小程序,app开发公司,专注于菏泽企业互联网品牌营销策划,已为上千家服务,专业团队,值得信赖!

作为一个网站建设加优化的公司,是必须要回的就是robots.txt文件,所以我们就来看看这个文件的意思

robots.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗

当蜘蛛访问一个站点时,它会首先检查该站点是否存在robots.txt

如果找到,蜘蛛就会按照该文件中的内容来确定抓取的范围

如果该文件不存在,那么蜘蛛就沿着链接直接抓取

网站建设

robots.txt的作用

1、防止私密或重要内容被搜索引擎抓取

2、节省服务器资源,从而提高服务质量

3、减少重复抓取,提高网站质量

4、指定sitemap文件位置

robots.txt是什么

User-agent: *

针对哪个搜索引擎蜘蛛

这里的*代表搜索引擎种类,*是通配符

Allow

定义的是允许蜘蛛抓取某个栏目或文件

Allow: /cgi-bin/

这里定义是允许访问cgi-bin目录

Allow:/* .htm$

允许访问以".htm"为后缀的URL

$指的是匹配行结束符

*指的是匹配任何字符

网站建设

Disallow

定义的是禁止蜘蛛抓取某个栏目或文件

Disallow: /admin/

这里定义是禁止抓取admin目录

Disallow: /cgi-bin/*.htm

禁止抓取/cgi-bin/目录下的所有以".htm"为后缀的URL

Disallow: /*?*

禁止抓取网站中所有包含问号 “?”的网址robots.txt是什么

用法:sitemap: http://www.google.com/sitemap.xml

sitemap:URL全称(包含http://部分)

告诉搜索引擎蜘蛛这个页面是网站地图

robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况,而robots meta标签则主要是针对某个具体的页面

厚德网络微信

扫一扫,加微信

TAGS

网站功能 网站结构 网页布局 公众媒体 内部员工 投资合作 用户体验 SEO优化 营销功能 .com域名 .cn域名 .net域名 自适应 网页设计 屏幕宽度 网站图片 网站导航栏 网站板块 网站优化 Google PR值 网站流量 外贸网站建设 产品展示 企业文化 在线咨询 企业网站 颜色 布局 企业形象 品牌知名度 品牌定位 Title标题 论坛博客 内部链接 系统平台 屏幕尺寸 屏幕定向 后台开发 网站推广 触手可及 扫一扫 用完即走 WAP WML GPRS 百度搜索 百度联盟 企业推广 ICP ICP备案 ICP证 成品模板 仿制型模板 手工模板 搜索引擎 综合性 地方生活 电脑 用户依赖度 宣传广泛 碎片化 多感官体验 交互性 稳定性 安全性 速度快 网站改版 自定义栏目 提高排名 404页面 301重定向 动态url HTML CSS JavaScript B2B模式 B2C模式 C2C模式 虚拟主机 网站空间 服务器 微官网 微信 HTML5 App IOS Android 关键词 点击付费 竞价 内容更新 网站维护 搜索优化 https http ssl 幼儿园课程宣传 幼儿园网站建设 办公用品公司网站建设案例 大学网站优化案例 设计公司网站建设案例模板 学校网站设计模板 财税服务网站制作模板案例 户外运动网站设计案例模板 网络硬件网站建设案例模板 翻译公司网站建设实例 眼镜行业网站开发案例模板 印刷公司网站设计模板 珠宝首饰网站建设制作案例 农家乐网站制作案例模板 瑜伽舞蹈培训学校网站建设实例 健身器材网站设计案例 小程序建设 关键词优化推广 教育类小程序开发 家居定制公司网站建设案例 关键词推广案例 汽车4s店网站开发案例 seo优化推广 五金水龙头网站建设案例模板 餐厅网站制作模板案例 照明行业小程序 关键词seo优化 苗木公司网站建设模板 光伏网站建设 关键词推广 教育小程序开发 商城小程序建设 瑜伽网站设计 瑜伽网站制作 家居小程序搭建 建材网站建设 建材官网制作 肥料公司网站搭建 官网建设 杂志社网站搭建 杂志网站设计 关键词优化案例 改灯公司网站设计 改灯网站制作 肥料公司网站建设 桥梁模板网站搭建 杂志社网站制作 餐饮公司网站设计 建材公司网站设计 建材公司网站制作 医院网站建设 医院品牌营销 工业吸尘器网站制作


感兴趣吗?

欢迎联系我们,我们愿意为您解答任何有关网站疑难问题!

您身边的【网站建设专家】

搜索千万次不如咨询1次

主营项目:网站建设,营销型网站,手机网站,响应式网站,SEO优化,小程序开发

立即咨询 155-6200-1135