首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

python中scrapy点击按钮

最初遇到的问题的是在用scrapy爬取微博时需要按照指定关键字来爬取特定微博,主要还是解决需要输入关键字然后点击搜索按钮的问题。...于是: 首先 找了scrapy的官方文档,发现有FormRequest.from_request()函数,于是试着用了,官方文档说函数默认会找到第一个submit的按钮,试了下没有结果,然后把clickdata...设成d字典{'name':'button_name'},button_name为按钮的名字,还是没有任何反应(不知道是不是我的问题)。...所以萌生了,使用selenium来实现点击功能。 但是,这样也需要先登录然后才能实现搜索。怎么登录呢?cookies!...(“error message:cannot only add cookies in current domain”) 最后 在无奈之际,手动搜索了微博,然后点击到下一页。

4.3K70
领券