普通都说可以使用robots.txt 文件来屏蔽不想被搜索引擎抓取的页面，但是这些“不想被抓取的页面”般都会有哪些呢?下面来举几个简单的例子。
(1)多版本URL情况下，非主显URL 的其他版本。比如网站链接伪静态后就不希翼搜索引擎抓取动态版本了，这时就可以使用robots.txt 屏蔽掉站内所有动态链接。
(2) 假如网站内有大量的交叉组合查询所生成的页面，肯定有大量页面是没有内容的，对于没有内容的页面可以单独设置一个URL 特征，然后使用robots.txt 举行屏蔽，以防被搜索引擎认为网站创造垃圾页面。
(3) 假如网站改版或因为某种原因蓦地删除了大量页面，众所周知。网站蓦地浮上大量死链接对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链接，但是还不如直接屏蔽百度对死链接的抓取，这样理论上百度就不会蓦地发觉网站多了太多死链接，或者两者同时举行。固然站长自己最好把站内的死链接清理干净。
(4) 假如网站有类似UGC 的功能，且为了提高用户提供内容的积极性并没有禁止用户在内容中夹杂链接，此时为了不让这些链接白费网站权重或牵连网站，就可以把这些链接做成站内的跳转链接，然后使用robots.txt举行屏蔽。现在有不少论坛已经这样操作了。
(5) 常规的不希翼被搜索引擎索引的内容，比如隐私数据、用户信息、治理后台页面等都可以使用robots.txt 举行屏蔽。
本文由SEO优化整理，本文不代表本站观点
解析网站SEO优化当中文章内容优化技巧有什么
网站seo优化当中的站内优化，需要持续不断的举行技术操作的环节就是对网站内容的更新，因此，在执行seo优化方案的同时对于网站内容的更新方向要达到很高的准确度
