robots内容详细解读
robots.txt是纯文本文件,用于声明网站中不想被蜘蛛抓取的部分,robots不是一个规定,是一种约束
蜘蛛访问网站的时候首先查看的是robots:如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行
1.robots作用
1.1、防止私密或重要的内容被搜索引擎抓取
1.2、节省服务器资源
1.3、减少重复抓取,提高网站质量
1.4、制定sitemap文件位置
2.写法
该文件放置在文件的根目录下,并且文件名必须小写:http://www.dbgzs.shop/robots.txt
3.语法
3.1、User-agent:
3.1.1、指定哪个搜索引擎蜘蛛:Baiduspider(百度)、Googlebot(谷歌)、Sogouspider(搜狗)
3.1.2、*代码所有搜索引擎
3.2、Allow:表示允许蜘蛛抓取的栏目或文件
3.2.1、Allow:/web/ 表示允许访问web目录
3.2.2、Allow:/*.htm$ 表示允许访问html文件
3.3、Disallow:禁止抓取栏目或文件
Disallow:/web/:禁止抓取web目录
Disallow:/*.htm$:禁止抓取html文件
Disallow:/ 禁止抓取网站所有内容:
/表示根目录
4.工具:http://tool.chinaz.com/robots/
5.问题
5.1、如果搜索引擎已经收录了你的网页,这时候你不想让搜索引擎收录网页 咋办?
5.2、robots是不能删除搜索引擎中已经收录的页面
5.3、robots meta标签来解决该问题
6.robots meta标签:针对具体的页面
6.1、语法
6.1.1、():允许搜索引擎抓取页面与页面的链接
:不允许搜索引擎抓取页面与允许页面的链接
:允许搜索引擎抓取页面与不允许页面的链接
():不允许搜索引擎抓取页面与不允许页面的链接
7.解释
index:表示搜索引擎可以抓取该页面
noindex:表示搜索引擎不可以抓取该页面
follow:表示搜索引擎蜘蛛可以爬寻该页面的上的链接
nofollow:表示搜索引擎蜘蛛不可以爬寻该页面的上的链接
提醒:有些时候也友情链接交换可能会被加上nofollow,大家可以查看一下(避免灰帽)
资讯来源:https://www.pos56.cn/SEOyouhua/133.html
|
友情提示:
信息由用户自行发布,如果发现错误或不符合法规或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。 |
当前页在本站[名站在线]7天内点击次数(点击次数为零的日期不显示): |
信息评估: |
(还没有网友对该信息作出评估,你想为该信息提供第一个评估吗?) |
北京有卖二手四氯乙烯干洗机二手皮草干洗机北京有卖二手四氯乙烯干洗机的吗?二手皮草干洗机至少节省一半的成本>----石家庄鸿胜二手洗涤设备销售经理林峰咨询热线13333111592QQ2328063702----设备九成新,质量有保障,让客户花*少的钱买**的二手洗涤设备,低投入高回报,买二手洗涤设备,就到石家庄找林峰!!北京有卖二手四氯乙烯干洗机的吗?二手皮草干洗机洁鸿二手洗涤设备
北京哪有卖二手四氯乙烯干洗机的石油干洗机,干衣机,熨台熨斗蒸汽发生器价位10000-38000元不...北京洗床单用的二手航星100公斤水洗机北京洗床单用的二手航星100公斤全自动水洗机多少钱至少节省一半的成本>----石家庄鸿胜二手洗涤设备销售经理林峰咨询热线13333111592QQ2328063702----设备九成新,质量有保障,让客户花*少的钱买**的二手洗涤设备,低投入高回报,买二手洗涤设备,就到石家庄找林峰!!
北京洗床单用的二手100公斤全自动水洗机多少钱,[洁鸿二手洗涤设备公司]水洗设备**北京洁鸿洗涤设备有限公司。洁鸿公司专业销售宾馆酒店洗衣房大型水洗设备...北京有卖航星二手100公斤水洗机的吗北京有卖航星二手100公斤水洗机的吗至少节省一半的成本>----石家庄鸿胜二手洗涤设备销售经理林峰咨询热线13333111592QQ2328063702----设备九成新,质量有保障,让客户花*少的钱买**的二手洗涤设备,低投入高回报,买二手洗涤设备,就到石家庄找林峰!!北京有卖航星二手100公斤水洗机的吗北京卖二手大型水洗机的公司在哪有专业的售后吗
二手工业水洗机价格,二手洗衣房设备我们二手工业洗衣机是您不可错过的选择,不买是您的损...北京卖二手航星大型水洗机航星二手水洗机北京卖二手航星大型水洗机,航星二手水洗机处理至少节省一半的成本>----石家庄鸿胜二手洗涤设备销售经理林峰咨询热线13333111592QQ2328063702----设备九成新,质量有保障,让客户花*少的钱买**的二手洗涤设备,低投入高回报,买二手洗涤设备,就到石家庄找林峰!!北京卖二手航星大型水洗机,航星二手水洗机处理北京哪有卖二手航星大型水洗机的?**北京洁鸿二手洗涤设备有限公司。洁鸿公司专业销售二手宾馆酒店洗衣房大型水洗...北京100公斤二手脱水机多少钱北京二手工业脱水机多少钱100公斤二手脱水机至少节省一半的成本>----石家庄鸿胜二手洗涤设备销售经理林峰咨询热线13333111592QQ2328063702----设备九成新,质量有保障,让客户花*少的钱买**的二手洗涤设备,低投入高回报,买二手洗涤设备,就到石家庄找林峰!!北京二手工业脱水机多少钱100公斤二手脱水机北京洁鸿二手洗涤设备有限公司成立于1998年,,对离心机的设计、研究、制造已有十多年的历史,技术力量雄厚,生产设备齐全...
|
|
|
|
|