admin管理员组

文章数量:1037775

上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。

系统包括几个独立的部分：

  • 使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子；

  • 使用 PHP CI 框架开发的简易网站；

  • 搜索引擎目前直接使用的 MySQL，将来可以考虑使用 sphinx；

  • 中文分词。

    用 PHP 写了一个简陋版的基于逆向最大匹配算法的小类，词库呢，哈哈，直接使用了 Chrome 的分词表，分词表可以在这个地址下载：http://www.mdbg/chindict/chindict.php?page=cedict。

  • 新词发现机制

    基于搜索关键词的新词发现机制。

    目前词库方面还有一个很大的问题，比如最新的电影无法分词，例如

上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。

系统包括几个独立的部分：

  • 使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子；

  • 使用 PHP CI 框架开发的简易网站；

  • 搜索引擎目前直接使用的 MySQL，将来可以考虑使用 sphinx；

  • 中文分词。

    用 PHP 写了一个简陋版的基于逆向最大匹配算法的小类，词库呢，哈哈，直接使用了 Chrome 的分词表，分词表可以在这个地址下载：http://www.mdbg/chindict/chindict.php?page=cedict。

  • 新词发现机制

    基于搜索关键词的新词发现机制。

    目前词库方面还有一个很大的问题，比如最新的电影无法分词，例如

本文标签： 磁力架构种子搜索引擎链接

版权声明：本文标题：基于 DHT 网络的磁力链接和BT种子的搜索引擎架构 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://it.en369.cn/jiaocheng/1740360543a1756466.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。