我正在尝试使用puppeteer & cron抓取一个网站。它工作得很好,除了我不知道如何停止程序执行,如果检测到重复的url?grab all data
// save it to the file 虽然这段代码运行良好,但当我在scheduler/cron上运行这段脚本时,我想以某种方式检测来自源站点的<a>标记是否已经被抓取,并在每次运行cron函数时停止代码再次抓取旧链接并将重复数据保存到字段中。
正在尝试从CSV文件中抓取URL列表。\Python36\lib\site-packages\requests\sessions.py", line 616, in send File "C:\Users\windowshopr\AppData\Local\Programs\Python\Python</em