robots协定最轻易疏忽却很致命的小细节

seo问答评论0阅读模式
摘要

在我看来robots协议就是站长利用网站支配权的执行文件,这是我们作为站长最根基的权力。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关隘,以是robots协议的重要

在我看来robots协议就是站长利用网站支配权的执行文件,这是我们作为站长最根基的权力。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关隘,以是robots协议的重要性也是可想而知了。都说细节抉择成败,那么越重要的对象细节就 […]

在我看来robots协议就是站长利用网站支配权的执行文件,这是我们作为站长最根基的权力。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关隘,以是robots协议的重要性也是可想而知了。都说细节抉择成败,那么越重要的对象细节就显得尤为重要,每每本身一不警惕忽略的一个细节到最后就也许会成为你的致命一击。本人之以是会这么说,是由于我差点就成了这个题目的后面课本了,还好发明的实时也算是亡羊补牢吧!之以是想当即分享给各人,就是但愿各人往后本身做站的时辰要停止犯相同的错误。

工作着实就产生在本日,颠末是这样的:由于小明SEO博客也刚做好不久,前几天网站上线之后发明尚有许多小题目必要处理赏罚,为了停止网站还在调解的进程中就被搜索引擎抓取到,以是我在robots协议内里写了榨取全部搜索引擎爬取网站任何部门的指令,网站的调解一向一连了几天(之以是会弄这么长时刻是由于我是一个不能容忍瑕疵的人,不知道这算不算强制症的一种),直到昨天也就是2月3号才全面完工,可是这时代我天天都在僵持添加原创文章。昨天网站搜查完毕,所有题目都办理好往后,我就把robots协议从头改换了过来,而且发了一篇帖子引了蜘蛛但愿爬虫能快点过来爬我的网站。就这样,到了本日早上发明网站照旧没有被收录,于是我就去百度站长器材平台看一下我的网站到底是个什么环境,进去一看吓我一跳,由于我看到了下面一则(如图所示)信息:

我的网站竟然对百度举办了全面封禁,检测时刻是在本日(2月4号)早上破晓5点整的时辰,这让我像丈二的僧人摸不着脑子了,太不科学了,由于我在昨天2月3号上午已经把网站的robots协议变动过来了,真的是太稀疏了。就在我百思不得其解的时辰总算是通过站长平台器材的“robots检测”找到了谜底,看下图:

原本百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,以是当前世效的协议也就是其时它抓取到的我把蜘蛛所有屏障时的谁人,而本站最新的robot协议还没有见效。这下我总算是大白了过来了,既然弄清晰了缘故起因那工作就好办了。于是我当即把协议提交更新了一下,如下图:

更新往后一分钟内协议就更新过来了,如下图:

可以看到,当前本站最新的robots已经开始见效了,就这样到了下战书,当我再次进入百度站长平台就收到了新动静,如下图所示:

至此网站已经扫除了robots协议对百度的全面封禁,检测时刻表现的是本日下战书两点整。到了晚上也差不多就是在三个多小时早年,当我再次搜查网站收录环境的时辰,网站首页已经被收录了。如下图:

网站终于被收录了,但让我最开心的照旧我通过本身的全力找到题目并办理了题目,这才是我本日最大的收成。虽然了假如这个题目我发明不了,也许网站再过十天半个月也会毫无转机,以是我要提示各人的就是关于robots协议在封禁蜘蛛之后到后期在解封的时辰必然要记得实时更新robots协议,这是一个不容被忽视的小细节。大概凭证本身的不停知识认为只要通过输入“http:\\域名\robots.txt看一下网站的协议悔改来了没有就可以了,可是通过实践证明这种方法也不是完端赖得住的,以是必然要记着我这次的履历教导,robots一旦举办调解就必然要记得实时提交更新,否则被蜘蛛抓取了不应抓的可能一向把蜘蛛拒之门外延伸了本身的时刻那就真的是反悔莫及了。

温馨小提醒:适才看了一下时刻,已经转钟到了第二天了,写这篇文章的时辰是在2月4号,可是此刻宣布的时刻已经转点到2月5号了,以是文章提到的“本日”也就是2月4号,但愿各人不要看糊涂了。

如何发外链不会被删

说起发外链的工作,估计只要做SEO的没有谁敢说自己没发过,因为外链建设是网站外部优化的一个非常重要的环节,外链发布的质量直接影响着咱们SEO工作的进展。和所

蒲公英博客
  • 本文由 发表于 2024年12月27日 04:58:58
  • 转载请务必保留本文链接:https://www.yjro.com/12515.html

发表评论