我正在尝试写这个函数,它得到一个搜索字符串,并返回它得到的第一个结果,但是在所说的结果中,我只得到页面url和一些其他基本信息,没有id,没有页面内容。我想把它作为一个单独的json来获取,而不是发出另一个请求。而且这种方法也不起作用,因为即使我只发送标题,它似乎也找不到页面。 我有没有可能在没有图像和链接的情况下以某种方式提取页面信息?term) term = 'Nto'
我正在尝试建立一个脚本,从网站上抓取特定的数据。该脚本使用的是网站搜索api。搜索结果给出页面的结果,每个页面有大约20个帖子,然后我必须深入每个帖子并提取数据。这会导致数据通过500 Internal Server Error。我认为这是服务器过载的结果,因为有时它必须搜索大约400个页面。我尝试每隔特定数量的结果刷新一次页面,并将数据保存在CSV文件中