33 lines
1006 B
Python
33 lines
1006 B
Python
|
#encoding:utf-8
|
|||
|
|
#爬虫配置文件
|
|||
|
|
##########################################
|
|||
|
|
#筛选条件设计为：
|
|||
|
|
#出现任意【排除词】，则不显示
|
|||
|
|
#必须包含全部【必须词】，否则不显示
|
|||
|
|
#满足前两条件下，出现任意【包含词】，则显示
|
|||
|
|
#若没有【包含词】，则不显示
|
|||
|
|
##########################################
|
|||
|
|
|
|||
|
|
#【排除词】。出现任意一个词，将被筛掉。优先级最高
|
|||
|
|
exclude = ['停止招生']
|
|||
|
|
|
|||
|
|
#【必须词】。必须出现这个词，否则不显示。优先级为中
|
|||
|
|
focus_include = ['2020']
|
|||
|
|
|
|||
|
|
#【包含词】。出现任意一个词，将显示。优先级为低
|
|||
|
|
include = ['计算机', '软件', '电子信息', '人工智能', '网络', '大数据']
|
|||
|
|
|
|||
|
|
#找多少页
|
|||
|
|
page_end= 50
|
|||
|
|
|
|||
|
|
#爬虫的时间间隔，切勿将本选项设置过低，否则坐等被封IP
|
|||
|
|
interval= 3
|
|||
|
|
|
|||
|
|
#缓存文件目录
|
|||
|
|
cache_file = '/cache.dat'
|
|||
|
|
|
|||
|
|
#是否开启调试报告
|
|||
|
|
debug_info = False
|
|||
|
|
|
|||
|
|
if __name__ == "__main__":
|
|||
|
|
print("execute spider.py!!!\n NOT config.py")
|