软月互动-基于网络营销的完美网站建设服务商

    Robots协议中致命的小细节 却最容易被忽略

  • 来源:
    南京网站制作公司
    栏目:
    网站建设
  • 在我看来Robots协议就是网站运营者行使网站支配权的一种执行文件,也是网站运营者最基本的权利。它是搜索引擎蜘蛛爬取网站之前重要的第一道关口,所以Robots协议的重要性我想大家也心知肚明了。

    俗话说细节决定成败,那么越重要的东西,细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。现在就跟大家分享一下,就是希望大家以后自己优化网站的时候可以避免犯类似的错误,影响网站的SEO排名。

    新网站刚做好的时候,很多站长都习惯将还未全部完成的站点直接提交到服务器上,解析正式域名,方便更新和调试。同时,为了避免网站还在调整的过程中就被搜索引擎抓取到,往往我们会在站点Robots协议中注明禁止所有搜索引擎爬取网站的任何指令。

    调试网站期间,我们会更新一些内容,如公司新闻,行业动态。待所有内容都调试完毕后我们会把Robots协议重新更换过来,让搜索引擎蜘蛛的爬虫能快点抓取网站内容。

    但是,这个时候可能意想不到的事情发生了,在我们屏蔽了搜索引擎抓取期间,通过SITE网站查询的时候发现,搜索引擎还是在调试期间正常抓取了网站内容,这个又是为什么呢,很多人都百思不得其解。

    但我们通过一些工具检测后就能找到答案,如站长平台提供的“Robots检测工具”就能很好的帮助我们检查出问题。原来百度蜘蛛早就在我们网站上线后的没几天就抓取了Robots协议,因此当前生效的协议也就是当时它抓取到的把蜘蛛全部屏蔽的那个版本,而最新的Robot协议还没有生效...

    一般通过百度站长工具更新Robots协议以后几分钟内就能更新过来了。更新过后,我们会收到百度站长平台新消息提醒,网站成功解封。至此网站已经解除了Robots协议对百度的全面封禁,如果快的话,很快我们就能查询到网站被收录的信息。

    总结:

    Robots协议在封禁蜘蛛之后直至后期在解封的时候,一定要记得及时更新Robots协议,这是一个不容被忽视的小细节。不要偷懒的通过输入http:\\abc.com\robots.txt看一下网站的协议是否改过来,发现已经更改了就不管了。切记Robots一旦进行调整就一定要记得及时向搜索引擎提交更新,不然被蜘蛛抓取了不该抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的太可惜了。

    软月互动成立于2008年,先后在南京江北新区、山东济南成立办事处,总部位于南京市大行宫。软月是一家集网站建设、网页设计、软件开发、企业画册设计、企业宣传片制作和动漫动画设计制作于一体的企业信息化服务机构。欢迎广大新老用户来电洽谈咨询,我们将竭诚为您服务!热线:025-81559996
      最新文章
  • 过去的2018,腾讯都发生了哪些变革
    过去的2018,腾讯都发生了哪些变革

    2018年是农历戊戌年。对于腾讯来说,最大的变化,就是在当年的9月30日宣布了腾讯宣布了历史上第三次组织架构调整,为了整合了B、C端业务,腾讯将由原来的七大事业...

  • 19年1月7日早报:权健创始人等18人被刑拘;全国首个5G地铁站开通;小米入股TCL;故宫口红宣布全线停产
    19年1月7日早报:权健创始人等18人被刑拘;全国首个5G地铁站开通;小米入股TCL;故宫口红宣布全线停产

    权健公司实际控制人束某某等18人被依法刑事拘留2019年1月1日,天津市公安机关对权健自然医学科技发展有限公司涉嫌组织、领导传销活动罪和虚假广告罪立案侦查。1月...

  • 南京网站制作:SEO关键词优化的考核指标有哪些
    南京网站制作:SEO关键词优化的考核指标有哪些

    利用数据化统计考核指标核定SEO工作成效才是科学的SEO。我们做SEO工作也好,做关键词带来的流量转化也罢,都要以数据分析为前提的。没有数据指标考核的工作室一头...

  • 周五早报:苹果暴跌10%,巴菲特一夜损失30亿美元;途歌CEO遭用户围堵;瑞幸咖啡今年要开2500家新店
    周五早报:苹果暴跌10%,巴菲特一夜损失30亿美元;途歌CEO遭用户围堵;瑞幸咖啡今年要开2500家新店

    百度搜狐被约谈整改,新闻客户端等部分频道停更一周1月2日,国家互联网信息办公室指导北京市互联网信息办公室,针对百度部分产品和频道传播低俗庸俗信息、严重破坏网上舆...

  • 周四早报:权健涉嫌传销犯罪被立案侦查;今日头条有意收购锤子部分专利;原金立总裁卢伟冰加盟小米,或负责红米手机业务
    周四早报:权健涉嫌传销犯罪被立案侦查;今日头条有意收购锤子部分专利;原金立总裁卢伟冰加盟小米,或负责红米手机业务

    1、公安机关对权健涉嫌传销犯罪和涉嫌虚假广告犯罪立案侦查 联合调查组介绍,经前期工作发现,权健公司在经营活动中,涉嫌传销犯罪和涉嫌虚假广告犯罪,公安机关已于20...

  • 微信公众号侵权葛优躺表情 致歉并赔偿9500元
    微信公众号侵权葛优躺表情 致歉并赔偿9500元

    不难发现很多网友喜欢用“葛优躺”表情包做配图,不过如果是企业在微博或者公众号等平台使用就要当心有侵权风险了。近期,以基金公众号因擅自使用葛优躺表情包做配图,赔偿...

  • 顺丰回应申请冻结ofo资金:因后者未按时支付运输费用
    顺丰回应申请冻结ofo资金:因后者未按时支付运输费用

    近日,据中国裁判文书网信息显示,因运输合同纠纷,顺丰向广东省深圳市宝安区人民法院提出财产保全申请,请求冻结被东峡大通(北京)管理咨询有限公司(ofo运营主体)在...

  • 火狐官方回应Firefox浏览器插入广告只是试验
    火狐官方回应Firefox浏览器插入广告只是试验

    除了自家的Chrome浏览器,Google Chromium事实上已经成为市面上绝大多数主流浏览器的核心引擎,一直坚持自主引擎的Opera、微软Edge也最终举...

  • 工作时间:周一至周五 9:00-18:00
  • 创意部地址:南京市中山东路198号龙台国际大厦1717室
  • CopyRight © 2008-2019 All Rights Reserved. 南京软月科技有限公司 苏ICP备08110927号-6