首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >用于LinkedIn数据提取的scrapy-linkedin

用于LinkedIn数据提取的scrapy-linkedin
EN

Stack Overflow用户
提问于 2013-03-18 15:54:58
回答 1查看 1.8K关注 0票数 3

我使用scrapy 0.16从LinkedIn中提取数据。

代码语言:javascript
运行
复制
    from scrapy.selector import HtmlXPathSelector
    from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
    from scrapy.contrib.spiders import CrawlSpider, Rule
    from scrapy.http import Request
    from scrapy import log
    from linkedin.items import LinkedinItem, PersonProfileItem
    from os import path
    from linkedin.parser.HtmlParser import HtmlParser
    import os
    import urllib
    from bs4 import UnicodeDammit
    from linkedin.db import MongoDBClient

https://github.com/pondering/scrapy-linkedin

错误来了

代码语言:javascript
运行
复制
Traceback (most recent call last):
  File "C:\Users\TAWANE DUDEZ\Desktop\linkedin\linkedin\spiders\LinkedinSpider.py", line 6, in <module>
    from linkedin.items import LinkedinItem, PersonProfileItem
ImportError: No module named linkedin.items

找不到linkedin.items模块。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-03-18 17:13:23

我怀疑您试图从错误的目录运行scrapy crawl LinkedinSpider命令。请尝试导航到C:\Users\TAWANE DUDEZ\Desktop\linkedin,然后再次运行该命令。

由于crawler现在正在启动,因此在启动crawler之前,您还需要运行MongoDB实例。正在使用的github项目的自述文件显示输入mongod来启动一个实例。只是为了检查一下,你确实安装了MongoDB和pymongo,对吗?

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/15472006

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档