网站建树初期，页面数目有限，团队人数有限，网站种种页面元素变换不大。但到了网站建树中期，网站需求方需求变多，网站变动对比于之前越发频仍，XX部分提的XX需求也许会影响SEO流量，若未实时发明，时刻拉长，也许造成较为严峻，乃至不行逆转的效果。这个锅，谁来背呢？
这点可以通过完美需求上线流程来办理一部门，好比：任何涉及页面变换的需求（新增页面 & 已有页面元素变动）在提交RD前，需求评审阶段均必要SEO部分参与，确认该需求对SEO渠道的用户拉新无影响后，在正式提交RD。
忧伤的是，有相等比例的公司，SEO由于汗青结果各种不行控，可能 SEO并非用户拉新的首要渠道，SEO较难搞定在PM和RD眼前话语权的题目，他们也许不怎么care，老健忘评审的时辰叫上SEO一路玩耍。这种环境必要具有八卦特性的SEO，没事跟RD、PM扯扯皮，问问最近上了什么新需求…
可是，即便在流程上可以或许搞定，也是会呈现页面元素的窜改，却未实时关照到SEO的环境，好比新入职的产物提需求，不知道有这个流程。
另外，因为SEO部分人事务换，呈现老员工去职、新员工入职的环境。新入职的SEO不能快速相识网站汗青配景，老员工与新员工交代，许多细节会漏掉，导致新入职的SEO，日后会踩到本可停止的一些坑。
一些下层SEO针对爬虫日记，也没有足够的说明手段，可能必要天天手动拿软件或shell等说明一次数据，然后在执行的SEO举措，操纵伟大且服从低下。
为办理以上两点题目，必要有一套“实时止损机制”，用于实时发明隐藏风险，并进步一般SEO服从。
“实时止损机制”，必要人工设定N个会影响SEO的特性，措施24小时监控这些特性，如呈现切合特性的元素，则实时关照SEO，并提醒响应提议，措施每次搜查都做一次数据备份。并按照网站成长环境，不绝添加、删除监控特性。
我把“实时止损机制”分为两部门：“爬虫日记监控”和“页面特性监控”
爬虫日记监控
上图为“爬虫日记监控模块”的逻辑，分“搜查字段”、“触发前提”、“执行举措”三个步调。以下是几点也许必要声名的：
爬虫IP的利害名单
按照UA为baiduspider的爬虫，检测IP是否为真实的Baiduspider，若为假spider，则插手黑名单，若为真spider，则插手baiduspider的白名单。
其他主流搜索引擎，则将呈现的ip完好加到对应的白名单，后期按照ip段举办解除。
网络白名单IP，可作为日后SEO之用，好比某个SEO的小需求产物不让上，SEO退而求其次，只针对白名单的IP表现该元素，对正常用户会见不表现等。
提前清算站内已知页面
提前统计站内全部URL范例，并清算对应URL范例的正则表达式，这些正则均是统计站内已知页面的爬虫环境。
由于大部门SEO包罗产物司理，也许都不破除站内到底有几多套URL，以是也有须要通过日记，找到未知的URL，并举办响应的SEO举措。
返回内容巨细字段统计
为啥要统计“$body_bytes_sent（发给来访者的文件巨细）”这个字段呢？
由于之前经验过屡次相同环境：某类页面流量逐镌汰，经排查爬虫日记，360Spider会见部门该页面，返回的文件巨细为54k，并不是该页面html文件的正常巨细，扣问技能，发明不久上线的新反爬虫计策，未把360Spider插手白名单，导致触发反爬虫计策，返回空缺页面。
页面特性监控
针对模板监控页面，是由于网站也许存在一套URL有N套模板的环境，其他需求方也许只变动了个中一个模板。
如何分析某个行业网站SEO流量呢
所谓良知知彼攻无不克，接办一个新网站，除了要相识网站自己的环境，也有须要摸清整个行业搜索流量分发的环境，目标在于： 相识自身站点，在行业全部网站中所处
