首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >python中的Selenium问题(instagram爬虫)

python中的Selenium问题(instagram爬虫)
EN

Stack Overflow用户
提问于 2019-04-06 18:00:09
回答 2查看 640关注 0票数 0

我刚写了这个instagram爬虫,这是大学的一个小项目。我会给你看代码并上传一张图片给你看我的问题是什么。

代码语言:javascript
复制
from time import sleep
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

class App:
    def __init__(self,username="Enter your username here",password="Enter your password here",target_username="shriar.ha"):
        self.username = username
        self.password = password
        self.target_username = target_username
        self.driver = webdriver.Chrome("/Users/Shahriar/Desktop/Selenium and BS projects/chromedriver.exe") #This is the path to webdriver in my PC ,you should change it and give the path of where your webdriver is located.
        self.main_url = "https://www.instagram.com"
        self.driver.get(self.main_url)
        sleep(5)
        self.log_in()
        self.close_notification()
        self.go_to_target_profile()
        sleep(3)
        self.click_on_following()
        self.move_mouse()
        self.scroll_down()
        self.driver.close()

    def move_mouse(self):
        actions = ActionChains(self.driver)
        following_list = self.driver.find_element_by_xpath("//div[@class='isgrP']//div[@role = 'button']")
        actions.move_to_element(following_list).perform()
        sleep(3)

    def scroll_down(self):
        number_of_following = self.driver.find_element_by_xpath("//a[@href='/shriar.ha/following/']/span").get_attribute("innerHTML")
        print(number_of_following)
        number_of_following = int(number_of_following)
        if number_of_following > 7:
            number_of_scrolls = (number_of_following / 7)+3
            for i in range(int(number_of_scrolls)):
                self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
                sleep(2)

    def click_on_following(self):
        following_button = self.driver.find_element_by_xpath("//a[@href='/shriar.ha/following/']")
        following_button.click()
        sleep(5)

    def close_notification(self):
        try: 
            sleep(3)
            close_noti_btn = self.driver.find_element_by_xpath("//button[contains(text(),'Not Now')]")
            close_noti_btn.click()
            sleep(2)
        except:
            pass

    def go_to_target_profile(self):
        target_profile_url = self.main_url + "/" + self.target_username + "/"
        self.driver.get(target_profile_url)

    def log_in(self):
        login_button = self.driver.find_element_by_xpath("//a[@href='/accounts/login/?source=auth_switcher']")
        login_button.click()
        sleep(5)
        username_input = self.driver.find_element_by_xpath("//input[@name='username']")
        username_input.send_keys(self.username)
        password_input = self.driver.find_element_by_xpath("//input[@name='password']")
        password_input.send_keys(self.password)
        password_input.submit()

if __name__ == "__main__":
    app = App()

如您所见,它在instagram中登录,然后转到给程序的目标用户名,然后单击以下命令,所以它显示了下面的列表。这还没有完成,它应该做其他的事情,但现在我仍然停留在这一步。

我的问题是,当我点击下面。它打开了一扇小窗户。在这里,你可以看到下面的列表,我想向下滚动这个列表。见下图:

看这张照片

我想向下滚动下面的列表,但是相反,我的代码向下滚动主页面,我指的是后面的页面。我意识到,当我把鼠标光标放在下面的列表中时,我可以用鼠标滚动它,所以我决定编写一个函数,将鼠标光标放到列表上,然后滚动它,但没有成功。

有人知道我该怎么做吗?

谢谢

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-04-07 09:36:59

下面的代码对我很好:

代码语言:javascript
复制
def scroll_down(self):
    number_of_following = self.driver.find_element_by_xpath("//a[@href='/shriar.ha/following/']/span").get_attribute("innerHTML")
    print(number_of_following)
    number_of_following = int(number_of_following)
    if number_of_following > 7:
        number_of_scrolls = (number_of_following / 7)+3
        for i in range(int(number_of_scrolls)):
            #scroll by element
            self.driver.execute_script("arguments[0].scrollIntoView(true)",self.driver.find_element_by_xpath("(//div[@role='dialog']//button[text()='Follow'])["+number_of_following+"]"))
            time.sleep(2)
票数 3
EN

Stack Overflow用户

发布于 2019-04-06 18:27:56

你为什么要费心移动鼠标和点击呢?您应该能够使用像请求这样的库来爬行帐户。

或者,有一些程序已经在做这件事,你可以从中得到启发。

以下是一些:

除非您被特别要求,否则我不认为这是移动光标并单击每个链接的可行解决方案。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55551925

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档