网上有不少关于正文提取的算法,有基于dom树,文字长度,投票,视觉信息的,这些都可以简单了解一下,不过对于国内主要搜索引擎百度,我们就得尽量找找他有没有这方面的专利.
百度专利<<一种用于对页面进行主体识别的方法与设备>> 申请于2011年,里面是这样识别主体的
1.对页面进行分块,分块就是对一些标签进行合并,html标签中一般来讲p,span,font等是常见的用于文本的标签,div,table,td等是用于块的标签,通过合并,可以简化页面的结构,便于分析.
2.对块进行合并,当属于同一层级,并且是属于可合并类型(这里类型不限于图片,文本,链接等)的块进行合并,可以简单理解为段落的合并.
3.对合并后的块进行字体格式信息,行数,宽度,位置进行识别
4.对主体进行识别,这里有相应的投票机制和算法,举例:如果块位于网页的中部,行数和宽度大于预设阈值,标题字号和文本字号不同,就识别为主体.
上面是这篇专利主要讲的方法,但要明白,不同的行业其实是有不同的识别规则的,有些行业由于数据结构的特殊性,所以并不是字数多就是主体,比如商品页,字段最多的可能是评论区块.所以对于不同行业要做不同的分析
崔涛SEO:模板向量
根据网页的 DOM 树确定网页的模板特征向量；对模板特征向量计算网页结构相似性，并进行查找或类聚。通过上述处理，克服了现有技术中不能够计算网页结构相似性的
