robots.txt这个robots必需是要小写的，这是跟收集蜘蛛成立的一个协议，收集蜘蛛来你的网站的时辰第一会去看的就是你网站根目次的robots.txt协议文件，它会按照你的划定来举办抓取，可是有些傲娇的收集蜘蛛它不遵循法则，一样平常收集蜘蛛城市会遵循的，要是你网站根目次没有这个文件的话收集蜘蛛就会沿着我们网站上面的链接一个一个举办抓取。
2.robots.txt的浸染
（1）它可以引导搜索引擎的蜘蛛抓取指定的栏目可能是内容。相等于你去一个生疏的都市，有人给你带路一样。
（2）当我们网站改版可能是URL重写优化时屏障欠好的链接。不到万不得已万万不要举办网站改版，这个对网站危险很大的，会引起降权可能是排名收录全掉。
（3）可以屏障死链接和404错误页面。跟着网站壮大，死链接和404错误页面是在所不免的。
（4）屏障那些无内容和无代价的页面。
（5）屏障一再页面，好比说评述页、搜索功效页。
（6）屏障任何不想被收录的页面。
（7）引导蜘蛛来抓取网站舆图。让蜘蛛更快速来爬取我们网站的链接。
【天蝎网站推广优化】DK两大标签
【天蝎网站推广优化】DK两大标签
