申永SEO:基于TFIDF的SEO体系底层想象

seo问答评论71阅读模式
摘要

系统里面用到了一套基于TFIDF算法的东西,打算把流程设想一下,整理开发成一套系统化的工具。

  最近搞的一套系统里面用到了一套基于TFIDF算法的东西,打算把流程设想一下,整理开发成一套系统化的工具。

  首先要使用TFIDF得明白它需要的几个东西

  1是要处理的文章,得分词之后,2是核心计算。

  尝试了10万个简单的文章处理之后,发觉这块并不是想像中的那么简单。

  光是计算TFIDF这块,就把8个G的内存全部占满了。

  目前想到的方案大概是:

  1、使用盘古分词,清理标点符号做为停用词进行过滤,生成切词之后的结果。

  必要时可以加一些自定义词库到词库中备用,外开二元分词功能保证结果的准确性。

  越大量的文章越要使用多线程进行处理。这块还要研究一下。

  2、使用TFIDF进行词频计算,传入分词之后的文章,计算所有词,所在词在某个文章中的TF和IDF。越大量的数据越难以处理。

德煊SEO:集中网站权重的几个常见方法

许多做网站优化的企业都比较注重首页关键词排名,这个主要以小型企业网站为主,那么今天小编就来跟大家谈谈如何集中网站首页权重,不让权重过于分散,这里说的是

蒲公英博客
  • 本文由 发表于 2023年3月24日 16:32:53
  • 转载请务必保留本文链接:https://www.yjro.com/8311.html

发表评论