采集

Drupal8采集构思

admin 提交于 周四, 06/08/2017 - 17:22

大致规划了一下采集的结构,其中有几个重要的概念:1.采集任务 2.获取采集内容页列表 3.采集内容页信息

系统允许执行多个采集任务,每个采集任务都有配置项,运行采集之前必须设定采集规则。最后采集内容信息并保存,其中需要进行冗余信息检测,避免重复的内容信息。

数据库设计

1.采集任务表

2.列表获取规则表(获取采集列表,添加到cron,然后cron采集内容)

3.内容获取规则表

4.采集内容表

标签