ValueError:信号只在主线程中工作(Python / Scrapy + Flask )
这个错误是Python中的一个异常类型，称为ValueError（数值错误）。该错误通常在使用多线程编程时出现，表明信号（Signal）只能在主线程中工作。
在Python中，使用多线程编程可以提高程序的性能和响应能力。然而，在某些情况下，Python的某些库或框架可能对线程和信号处理机制的使用有限制，特别是在涉及到网络通信和Web开发的应用中。
对于给出的问答内容中提到的Python框架Scrapy和Flask，以及涉及到多线程编程和信号处理的场景，可以采取以下几个方法来解决这个错误：
- 确保信号只在主线程中使用：信号是由操作系统向进程发送的消息，用于通知进程发生了某种事件。在Python中，通过使用信号处理模块（如signal模块），可以注册信号处理函数并处理相应的事件。然而，由于信号是全局的，因此在多线程环境下，可能会导致竞争条件或其他意外行为。因此，建议将信号处理函数限制在主线程中使用，避免多线程中对信号的操作。
- 将信号处理函数与主线程绑定：在多线程编程中，可以使用Python的线程库（如threading模块）来创建和管理线程。为了避免在其他线程中处理信号，可以将信号处理函数与主线程绑定。可以使用threading模块的方法（如threading.current_thread()）来判断当前线程是否为主线程，如果不是，则跳过信号处理函数的执行。
- 调整程序逻辑：有时候，如果不是必须要使用信号处理函数，可以尝试通过调整程序逻辑来避免使用信号。例如，在涉及到异步任务处理的情况下，可以考虑使用回调函数或异步编程框架（如asyncio）来替代信号处理。
需要注意的是，上述方法是一般性的解决方案，具体要根据代码和应用场景来进行调整。另外，腾讯云也提供了一系列的云计算产品和服务，可以满足各种应用场景的需求。但是根据要求，不可以提及具体的腾讯云产品和产品介绍链接地址。
相关·内容
你好，当我试图在instagram上发帖时，烧瓶不让我这样做，我也不知道为什么。我测试了instagram机器人的库，它可以工作，但它不想在烧瓶里工作。有人能帮我解决这个问题吗？
Python给出了这个错误：
2021-09-11 12:23:38,852 - INFO - Instabot version: 0.117.0 Started
2021-09-11 12:23:38,853 - INFO - Not yet logged in starting: PRE-LOGIN FLOW!
2021-09-11 12:23:41,559 - INFO - Logged-in successf
浏览 4提问于2021-09-11得票数 0
回答已采纳
1回答
瓶子关闭
、、
我有一个简单的REST API，使用python 2.7.2，瓶子0.10.9和“瑞士军刀”scrapy 0.14.1编写。
简而言之，只有一种方法(myserver:8081/doparse?address=" url ")可以使用scrapy来抓取url，并在json中返回响应。
在使用瓶子内置服务器部署脚本时，我得到了以下输出：
Shutdown...
Traceback (most recent call last):
File "parser/main.py", line 67, in <module>
run(host
浏览 0提问于2012-03-14得票数 1
回答已采纳
当我运行这段代码时，我会得到以下错误：
ValueError:信号只在主线程中工作
我在用ActiveMQ。
RealTor是我的蜘蛛侠(SelogerSpider)的名字，这个名字帮我刮刮。
import stomp
from RealTor import selogerSpider
from scrapy.crawler import CrawlerProcess
from scrapy.settings import Settings
class MyListener(stomp.ConnectionListener):
def on_error(self, head
浏览 2提问于2019-02-18得票数 7
回答已采纳
3回答
我使用scrapy来获取数据，我想使用flask web框架在网页中显示结果。但我不知道怎么调用flask应用中的蜘蛛。我曾尝试使用CrawlerProcess调用我的爬行器，但得到的错误如下：
ValueError
ValueError: signal only works in main thread
Traceback (most recent call last)
File "/Library/Python/2.7/site-packages/flask/app.py", line 1836, in __call__
return self.wsgi_app(envi
浏览 0提问于2016-04-03得票数 24
1回答
我正在开发一个使用和的应用程序。当我的应用程序的根URL被访问时，它会处理一些数据并显示出来。此外，如果蜘蛛还没有运行，我还想重新启动它。因为我的爬行器需要大约1.5个小时才能完成运行，所以我使用作为后台进程运行它。下面是一个很小的例子(您还需要)：
import os
from flask import Flask, render_template
import threading
from twisted.internet import reactor
from scrapy import log, signals
from scrapy.crawler import Crawler
fr
浏览 1提问于2014-03-20得票数 6
回答已采纳
我是Python和这些库/模块的新手。我正在编写一个简单的ping测试网络扫描仪作为一个学习项目。
我首先开发了一个使用异步到ping网络地址的脚本。
#ip_test.py
import asyncio
import ipaddress
async def ping(addr):
proc = await asyncio.create_subprocess_exec(
'ping','-W','1','-c','3',addr,
stdout=asyncio.subpro
浏览 2提问于2019-08-23得票数 3
回答已采纳
当运行我的flask应用程序时，它使用Python子进程在这里指定的flask应用程序()中使用scrapy，并调用在flask应用程序中指定的适当端点时，我收到错误消息: ERR_EMPTY_RESPONSE。在我的docker容器(python app.py，其中有我的flask代码)之外执行flask应用程序，一切都按预期工作，并且我的爬行器是使用flask应用程序中的子进程调用的。
我没有使用flask & subprocess在web应用程序中调用我的爬行器，而是尝试使用twisted & twisted-klein python库，与从docker Containe
浏览 0提问于2019-08-14得票数 0
1回答
我是python的新手。我想了解python execute signal .I是如何开始阅读官方文档的。下面的语句没有任何意义 1. 1.Python信号处理程序不会在低级(C)信号处理程序中执行。相反，低级信号处理程序设置一个标志，该标志告诉虚拟机在稍后的点(例如，在下一个字节码指令处)执行相应的Python信号处理程序。 2."Python信号处理程序总是在主解释器的主Python线程中执行，即使信号是在另一个线程中接收到的。“有人能帮帮我吗？
浏览 15提问于2021-01-24得票数 1
1回答
我是新来姜戈的。我正在尝试通过django视图运行我的抓取爬行器。当我通过命令提示符运行时，我的scrapy代码运行得很好。但是当我尝试在django上运行它时，它失败了。错误消息: signal只在主线程中工作。
django视图中的代码(如下所示)
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.crawler import CrawlerProcess
from scrapy import log, signals
from Working.spiders.workSp
浏览 1提问于2016-03-10得票数 23
我试图使用烧瓶做视频流，按照的指示。这是可行的，但我注意到一些事情，和一些奇怪的行为与多处理。
下面是密码。背景进程从摄像机馈送中获取，并将帧保存在共享数组frame中。前台循环将帧数组编码为.jpg字节。web服务器在后台守护进程线程中运行，路由/video_feed发送一个长连接的多部分响应。
from multiprocessing import Process, Lock, Value, Array
from threading import Thread
import sys
import ctypes
import numpy as np
import cv2
from flask
浏览 1提问于2017-08-05得票数 2
1回答
我有一个Python项目(运行在Ubuntu12.04上)，它使用cx_Oracle (在虚拟环境中)。当我运行这个项目时，导入这个模块没有问题。现在我想使用主管来控制我的项目。当我从主管处启动项目时，启动崩溃并引发此异常：
File "/home/vagrant/scrapy/local/lib/python2.7/site-packages/gunicorn/arbiter.py", line 578, in spawn_worker
worker.init_process()
File "/home/vagrant/scrapy/local/lib/p
浏览 4提问于2017-04-27得票数 0
回答已采纳
5回答
我目前正在开发一个Python应用程序，我希望看到实时统计数据。为了便于使用和理解，我想使用Flask。
问题是，我的Flask服务器应该从Python应用程序的一开始就开始，在最后停止。它应该是这样的：
def main():
""" My main application """
from watcher.flask import app
# watcher.flask define an app as in the Quickstart flask documentation.
# See: http://f
浏览 10提问于2015-07-07得票数 76
回答已采纳
5回答
发送定制的PyQt信号？
、、、
我正在通过制作一个简单的Twitter客户端来练习PyQt和(Q)线程。我有两条线。
主/GUI线程。
Twitter线程-每隔X分钟从Twitter获取数据。
所以，每隔X分钟，我的Twitter线程就会下载一组新的状态更新( Python列表)。我想把这个列表交给主/GUI线程，这样它就可以用这些状态更新窗口了。
我假设我应该使用信号/插槽系统将“statuse”Python列表从Twitter线程传输到主/GUI线程。所以，我的问题有两个：
如何从Twitter线程发送状态？
如何在主/GUI线程中接收它们？
据我所知，PyQt默认只能通过信号/时隙发送P
浏览 7提问于2010-04-06得票数 30
回答已采纳
我可以通过运行
python create-flask-model.py
create-flask-model.py
##points in square that are in or out of a quarter circle
import random
import math
import numpy as np
from keras.models import Sequential
from keras.layers import Dense
training_size = 8000
testing_size = 2000
batch_size = 10
epoch_no = 30
浏览 0提问于2018-09-16得票数 0
我在将Python requests模块post到同一服务器上的端点时遇到了问题。 服务器正在运行flask，而我想要发送到的路由是/new_applet。 我的代码如下。它在一个不同的flask路由函数中，这可能是一个问题？ url = "http://0.0.0.0:5000/new_applet"
data = {
"action": "add",
"plugin": plugin,
"version": version,
"component": compo
浏览 117提问于2020-08-30得票数 0
1回答
>>>import scrapy
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "D:\SoftWare\Python27\lib\site-packages\scrapy\__init__.py", line 56, in
<module>
from scrapy.spider import Spider
File "D:\SoftWare\Python27\lib\sit
浏览 2提问于2015-09-21得票数 0
我是Scrapy和Scrapyd的新手，我正在尝试使用它们。
我已经用Gunicorn部署了一个简单的Flask应用程序，它有一个API端点，可以向scrapyd发送一个调用来调度一个爬行器。
在本地，我必须在单独的终端中启动scrapyd来监听来自Flask端点的调用，但是如何在Heroku上执行相同的操作呢？我的意思是能够处理对Flask端点的请求，同时侦听从Flask到scrapyd的调用。
任何帮助都非常感谢。谢谢!
浏览 1提问于2018-05-08得票数 0
1回答
我对刮伤和蟒蛇很陌生。我已经编写了一个蜘蛛，它可以很好地处理初始化的start_urls值。
如果我在Init中的代码中放入一个文字作为
{ self.start_urls = '‘}
但是，当我从json文件中读取值并创建一个列表时，我得到了与缺少的%20相同的错误
我觉得我错过了一些显而易见的东西，无论是刮伤还是巨蟒，因为我是一个裸体的人。
class SiteFeedConstructor(CrawlSpider, FeedConstructor):
name = "Data_Feed"
start_urls = ['http://www
浏览 6提问于2014-06-16得票数 2
2回答
我想从python脚本中运行我的刮破的sprider。我可以用下面的代码调用我的蜘蛛，
subprocess.check_output(['scrapy crawl mySpider'])
直到一切都好为止。但在此之前，我通过初始化start_urls来实例化蜘蛛的类，然后对scrapy爬行的调用就无法工作，因为它找不到变量start_urls。
from flask import Flask, jsonify, request
import scrapy
import subprocess
class ClassSpider(scrapy.Spider):
name
浏览 6提问于2020-06-07得票数 0
回答已采纳
1回答
我正在使用ThreadingMixIn HTTP服务器告诉制作一个HTTP。
from BaseHTTPServer import HTTPServer, BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn
import threading
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
/* DO NLP ANALYSIS USING TOPIA MODULE HERE , WHICH CALLS SIGALRM TO MAK
浏览 2提问于2013-12-18得票数 1
每次我运行代码时都会看到Serving Flask-SocketIO app "app.py"
我的系统里连SpcketIO都没有
import os, passlib ,requests ,time ,json
from flask import Flask, session , render_template , request,redirect,url_for ,jsonify
from flask_session import Session
import pandas as pd
from flask_uploads import UploadSet, config
浏览 1提问于2018-12-23得票数 0
回答已采纳
我使用的是macOS Mojave和Python3.7。在我的工作中，我希望从信号处理程序中完全关闭flask-socketio服务器，这在我的代码中定义为SignalHandler。我注意到，在没有信号处理程序的情况下，可以使用Ctrl-C完全关闭服务器。但是，信号处理程序对于我的工作是必要的。我在网上搜索，找不到关闭我的服务器的解决方案。供您参考，我找到了通过"“或"”关闭服务器的解决方案。
示例代码如下：
import os
import threading
import signal
import requests
from flask import Flask, s
浏览 43提问于2019-11-21得票数 0
1回答
我试图在我的蜘蛛中启用mongodb，在scrapinghub平台上。为此，我必须通过UI中的“扩展”设置启用扩展。但是，在运行蜘蛛时，我得到以下错误：
ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings
我的背景如下：
EXTENSIONS = {'scrapy.contrib.feedexport.FeedExporter': No
浏览 1提问于2015-06-23得票数 2
回答已采纳
我正在编写我的第一个无容器API，并谈到了一个小问题，是有点烦扰我。
如果我没有处于调试模式，它可以正常工作。
但是，如果我将调试模式设置为True，则应用程序在尝试重新加载时似乎会中断(但在访问任何端点时会发生这种情况)，而重新加载则无法工作。
我附带了这个小例子，所以您可以看到，即使在非常小的应用程序中，我也可以复制它：
import flask_sqlalchemy
import flask_restless
import flask
app = flask.Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] =
浏览 4提问于2017-11-30得票数 0
回答已采纳
1回答
我有start.sh bash脚本，它通过ubuntu服务器上的CRON作业运行。
start.sh包含下面提到的代码行
start.sh的路径是/home/ubuntu/folder1/folder2/start.sh
#!/bin/bash
crawlers(){
nohup scrapy crawl first &
nohup scrapy crawl 2nd &
wait $!
nohup scrapy crawl 3rd &
nohup scrapy crawl 4th &
wait
}
cd /ho
浏览 2提问于2013-01-03得票数 15
回答已采纳
1回答
我有一个烧瓶应用程序，将运行一个刮破蜘蛛。这个应用程序在我的开发机器上工作得很好，但是当我在容器中运行它时，就不会执行爬行器的关闭方法。
下面是蜘蛛的代码：
# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup
from scrapy.exceptions import CloseSpider
class ToScrapeCSSSpider(scrapy.Spider):
name = "toscrape-css"
start_urls = [
'htt
浏览 5提问于2020-10-14得票数 0
回答已采纳
我有一个主线程，它停留在主函数中，也就是说，我不像在pthread_create中那样专门创建它，因为它是不必要的。这个线程打开一个文件，然后创建其他线程，等待它们完成它们的工作(例如，连接)，清理所有的内容(指针、信号量、条件变量等等)。
现在，我必须应用这个代码来阻止SIGINT：
sigset_t set;
int sig;
sigemptyset(&set);
sigaddset(&set, SIGINT);
pthread_sigmask(SIG_BLOCK, &set, NULL);
while (1) {
sigwait(&a
浏览 2提问于2010-12-11得票数 4
2回答
我已经创建了一个运行良好的爬行器(它完成了应该做的事情)，但是当完成工作时，它不会执行析构函数代码(del)
版本为：- python 2.7.3 - scrapy 0.24.6 - Fedora 18
class MySpider(scrapy.Spider):
stuff
def __del__(self):
stuff_1
当MySpider完成时，我如何执行我的“add-1”代码？
浏览 3提问于2015-07-09得票数 0
我有一个flask python文件，我想在启动主python文件时打开它。 main python file
start flask python file
continue with it's own independent processes (threading) 由于我不希望flask应用程序的执行妨碍后续进程的性能，因此应采用哪种解决方案。不确定应该使用子进程还是exec文件？ 这两个文件都是非常独立的。
浏览 11提问于2020-07-14得票数 0
我有一个烧瓶应用程序，我正在使用命令行运行。然而，当我检查进程时，它显示了两个进程正在运行，难道不是一个进程吗？
#!/usr/bin/env bash
# Activate virtual environment
source .venv/bin/activate
export FLASK_APP=migration_status.py
export FLASK_ENV=development
flask run --host=0.0.0.0 --port=5005
如果我运行上面的脚本，然后运行检查linux进程。它给我看了两个例子。
igns 6590 324 1 1
浏览 1提问于2018-11-29得票数 1
回答已采纳
1回答
我有一个有两个端点的api，一个是接收json的简单post，另一个是根据json列表的长度多次调用第一个并将返回保存到列表的端点。
第一种方法
@app.route('/getAudience', methods=['POST', 'OPTIONS'])
def get_audience(audience_=None):
try:
if audience_:
audience = audience_
else:
audience = request.get_
浏览 0提问于2017-08-11得票数 1
我正在使用CrawlerProcess从脚本中运行Scrapy (版本1.4.0)。Urls来自用户输入。第一次运行良好，但在第二次，它给出twisted.internet.error.ReactorNotRestartable错误。所以程序卡在那里了。
爬虫处理部分：
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(GeneralSpider)
print('~~~~~
浏览 3提问于2017-07-17得票数 3
3回答
针对本地文件的刮取外壳
、、、、
在Scrapy1.0之前，我可以很简单地对本地文件运行Scrapy：
$ scrapy shell index.html
升级到1.0.3之后，它开始抛出一个错误：
$ scrapy shell index.html
2015-10-12 15:32:59 [scrapy] INFO: Scrapy 1.0.3 started (bot: scrapybot)
2015-10-12 15:32:59 [scrapy] INFO: Optional features available: ssl, http11, boto
2015-10-12 15:32:59 [scrapy] INFO: O
浏览 3提问于2015-10-12得票数 8
回答已采纳
1回答
我在PythonAnywhere.com ( PA )上部署了一个scrappy/flask项目，该项目在我的本地机器上工作，几乎完全在PA上工作。我的问题是，当我计划一个任务来运行我的爬行器时，没有启用任何管道。这显然是一个问题，因为我的MongoDB和图像管道不会更新。关于我为什么会有这个问题以及如何解决这个问题，你有什么想法吗？我能够查询MongoDB，并且我的站点呈现了预期的效果，只是在爬行过程中没有启用管道，所以我留下了一个过时的站点。仔细检查后，crawler似乎使用了不正确的bot。查看以下输出；第一个来自我的本地计算机，第二个来自PA： 正确-我的本地机器： 2019-03-
浏览 21提问于2019-03-17得票数 2
回答已采纳
当我在Windows10专业版上用Apache2.4.41 +Python3.8.1+ Django 3.0.2 + MySQL 8.0.19运行我的Django Web应用程序时，它在/抛出了值错误。set_wakeup_fd只能在主线程中工作。
此问题是Python 3.8中回归的结果，已在11月份的Python后续版本中修复。有关更多细节，请访问。
错误的堆栈跟踪如下-
Environment:
Request Method: GET
Request URL: http://127.0.0.1/
Django Version: 3.0.2
Python Version: 3.8.1
浏览 6提问于2020-02-23得票数 8
这个问题扩展/恢复了。恢复这一主题的相关性是由于未能用给定的答案解决同样的问题。
bash脚本执行嵌入的python脚本。有点像
#!/bin/bash
./pyscript.py
chmod +x pyscript.py允许。
使用了运行脚本的替代方法。(python -u pyscript.py或/usr/bin/python pyscript.py)
正如标题所述，python程序不退出。
我在python脚本中尝试了以下尝试来解决这个问题：
sys.exit(0)；%程序捕获正确的异常
os._exit(1) %不工作，并捕获正确的异常
sys.stdout.fl
浏览 21提问于2014-09-11得票数 3
回答已采纳
1回答
示范摘要：
Layer (type) Output Shape Param #
=================================================================
dense_1 (Dense) (None, 195) 38220
_________________________________________________________________
dense_2 (Dense) (
浏览 3提问于2020-01-08得票数 0
我正在设置一个简单的蜘蛛来从xkcd下载图像，这是我当前的代码：
蜘蛛：
import scrapy
from scrapy.loader import ItemLoader
from test_im.items import TestImItem
class SpiderSpider(scrapy.Spider):
name = 'spider_'
allowed_domains = ['xkcd.com/']
start_urls = ['http://xkcd.com//']
def parse(sel
浏览 0提问于2019-07-09得票数 2
回答已采纳
我来自Java世界，我对Python中的变量范围非常困惑：
from flask import Flask, request
@app.route('/', methods=['POST'])
def handle():
form = request.form
在我工作过的HTTP服务器中，我习惯于约定像request这样的变量要么作为方法参数传递，要么从检索。为什么在这种情况下，Flask/Python使用全局变量？线程安全吗？
浏览 2提问于2019-10-24得票数 1
回答已采纳
1回答
我想从Flask request中启动我永不结束的Python脚本：
def start_process():
exec(open("./process/main.py").read(), globals())
print("Started")
return
并通过请求：
@app.route("/start")
def start():
from threading import Thread
thread = Thread(target=start_process, args=())
threa
浏览 3提问于2016-09-17得票数 1
我正在使用Python和Flask。当我在我的计算机上运行我的主Python文件时，它工作得很好，但是当我激活venv并在终端中运行Flask Python文件时，它显示我的主Python文件有"No Module Named bs4“。任何意见或建议都是非常感谢的。
浏览 2提问于2012-08-03得票数 161
回答已采纳
下面是我的测试代码。
当使用python2.7运行时，它表明程序在所有生成的线程完成之前不会接收任何信号。
使用python3.2时，只调用主线程的sigintHandler。
我对python如何处理线程和信号感到困惑，那么如何生成一个线程并在该线程中进行信号处理呢？有可能吗？
from __future__ import print_function
from threading import Thread
import signal, os, sys
from time import sleep
def sigintHandler(signo, _):
print("s
浏览 5提问于2013-10-31得票数 2
回答已采纳
1回答
我正在尝试构建一个使用水瓶WTF的GUI。我在网上跟踪了一段视频，并准确地复制了代码。但是，当我导航到时，我得到：
“ValueError:视图函数没有返回响应”
...plus进行以下跟踪。
文件"C:\Users\jpetrie\AppData\Local\Programs\Python\Python35\lib\site-packages\flask\app.py"，行1997，在call中
返回self.wsgi_app(环境，start_response)
文件"C:\Users\jpetrie\AppData\Local\Programs\Pyt
浏览 0提问于2018-02-03得票数 1
2回答
我已经成功地将我的PyQT4图形用户界面中的一个昂贵的例程外包给了一个worker QThread，以防止图形用户界面变得没有响应。但是，我希望GUI等到工作线程完成处理后再继续执行它自己的代码。
我马上想到的解决方案是让线程在完成时发出一个信号(据我所知，QThreads已经这样做了)，然后在执行其余代码之前在主窗口中查找该信号。这是不是被黑了？
我知道QThread提供了这里描述的wait()函数，但我不清楚它的用法。我想我想在主线程上调用它，但我不确定如何在我的应用程序中调用它...？
浏览 0提问于2012-07-28得票数 1
1回答
我需要澄清一下python中的信号处理程序，因为我不太清楚它们是如何工作的，如何使用它们，以及限制是什么。
我打算在linux上使用USR信号，以便与在后台作为服务运行的python程序进行通信。
我发现，正如预期的那样，我发送的信号似乎是立即以异步方式处理的。
因此，我曾经认为注册的信号处理程序在它们自己的线程中运行，我认为这将解释为什么在循环中发送信号时，下面的代码将同时打印多行Signal handler called with signal 10。
#!/usr/bin/python3.5
# This is the file signal_example.py
import sig
浏览 5提问于2018-09-12得票数 2
回答已采纳
我正试图每分钟从窗口任务计划程序()中的bat文件中运行Scrapy的python脚本。
然而，python脚本不知何故没有退出，它阻止了任务计划程序中所有未来的任务启动。
所以，我的问题是，
在蜘蛛完成运行后，我如何优雅地退出我的Scrapy脚本？
当遇到异常(特别是ReactorNotRunning错误)时，如何退出Scrapy脚本？
先谢谢大家。
这是我要运行python脚本的bat文件。
@echo off
python "C:\Scripts\start.py"
pause
这是我的python脚本
from cineplex.spiders impo
浏览 7提问于2017-04-18得票数 2
2回答
API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。
下面的代码适用于第一个http请求，但是在扭曲的反应堆停止后，它不会重新启动。我甚至可能不会这样做，但我只想在Heroku上安装一个RESTful擦伤API，到目前为止，我所能想到的就是。
有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下返回？
from flask import Flask
import os
import sys
import json
from n_grams.spiders.n_gram_spider import
浏览 9提问于2015-09-22得票数 10
回答已采纳
2回答
我正在做一个小项目，将纳入更大的项目。基本上，它所做的是跟踪通过将线程添加到主结构来创建的线程，该结构跟踪线程所做的事情(其主要功能)和它的pthread_t id。另一个结构跟踪要传递给函数的数据和pthread_t id存储在threads[]中的元素号。它有点米奇老鼠，它跳了一点，但这一切都工作时，是时候杀死线程。我没有得到分段错误，也没有错误，程序完成得很好，但是当调用pthread_kill()时线程不会被杀死(函数返回0表示没有错误，并且它工作了)，尽管线程继续运行直到主应用程序返回。
浏览 3提问于2012-02-18得票数 2
回答已采纳
1回答
从烧瓶应用程序中运行刮擦
、、、、
我有一个爬虫，我想运行每次一个人去链接。因为所有其他模块都在水瓶中，所以我也被告知要在烧瓶中构建这个模块。我已经在虚拟环境中安装了scrapy和selenium，并在带有root的机器上安装了全局。
当我在终点站运行爬行器时，一切正常。当我启动Flask应用程序并在浏览器中访问xx.xx.xx.xx:8080/whats时，它也可以正常工作，运行我的爬虫并为我获取文件。但是，一旦我活了下来，只要一个人去链接，它就会给我浏览器中的内部错误。
为了运行爬虫，我们必须在终端输入“刮刮爬行”。我使用Python的os模块完成了这个任务。
这是我的酒瓶代码：
import sys
from flask
浏览 4提问于2015-08-17得票数 3
回答已采纳
我正在尝试用Flask + Scrapy做一个API。主要是当用户向我发送带有一些信息(如国家、位置和职位)作为参数的请求时，在Scrapy上发出请求。我尝试过使用scrapyrt，但我不能让它接收参数(它不能在元数据上)，这就是为什么我现在尝试使用Flask，但它总是返回这个错误： Traceback (most recent call last):
File "/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 2464, in __call__
return self.wsgi_app
浏览 46提问于2021-01-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
