我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
发布于 2009-06-04 14:37:20
您可以在HTTP服务器之外使用Django ORM。
基本上,您需要设置DJANGO_SETTINGS_MODULE
环境变量。然后,您可以导入并使用django代码。这是一个article on stand-alone Django scripts。
或者,您可以选择通过custom management commands与您的Django服务器交互。这将是一个更多的工作。但最终,这种方法可以在爬虫和控制器之间实现更大的解耦(Django项目)。
发布于 2009-06-04 14:15:20
可以,您可以使用相同的数据库。
有些人在PHP应用程序之上使用Django实现其管理功能,或者使用Django及其ORM构建新特性。
我想说的是,如果您将爬行中的数据放入与Django存储数据相同的位置,则只要为每个表创建Django模型,就可以访问它们。
然而,我不明白为什么爬虫不能在Django中编写。我用Django写了一些非基于web的应用程序(爬虫和聚合器),它工作得很好。
https://stackoverflow.com/questions/950790
复制相似问题