在HDFS上写入会导致502响应

文章/答案/技术大牛

发布

1回答

hdfs、gateway

我正在HDFS上写一个文本文件。此操作每分钟都会执行一次。如果尝试写10次，我会得到7个502响应和3个201响应。即使相同的代码重复，也会发生这种情况。这可能是什么原因？？

浏览 16提问于2020-06-29得票数 0

1回答

在HDFS上写入会导致数据混乱

hive、hdfs

我试图将配置单元查询的输出保存到HDFS上，但数据发生了更改。有什么想法吗？请看下面的数据和更改后的数据。

浏览 0提问于2013-03-20得票数 1

1回答

使用Hive在HDFS中插入数据

hadoop、hive、hdfs

让我们假设有一个外部Hive表指向hdfs目录中的CSVs文件。提前谢谢！

浏览 2提问于2016-03-01得票数 0

回答已采纳

2回答

Google Cloud HTTPS负载均衡是否记录后端错误？

google-cloud-platform、apache-nifi、stackdriver、google-cloud-stackdriver

我在Google云上创建了一个NIFI集群(版本1.9.0，HDF 3.1.1.4，AMBARI 2.7.3)。创建HTTPS负载均衡销毁https前端，后端为启用SSL的NIFI集群的实例组。当我访问负载均衡器的url时，浏览器中出现502后端错误。有没有办法让Google Cloud记录这个错误？必须在某处返回错误才能排除根本原因。我在nifi日志或vm实例/var/ log /messages中看不到消息。Stackdriver没有给我显示错误。我创建了密钥库和信任库，并遵循NIFI S

浏览 0提问于2019-11-13得票数 1

2回答

azure应用程序网关不使用502。

azure、azure-application-gateway

下面是Azure教程上的示例502 - Web服务器在充当网关或代理服务器时收到无效响应。

浏览 0提问于2018-09-28得票数 1

1回答

NameNode堆使用率和ResourceManager堆使用率之间的差异(试图找到NameNode堆使用率的原因)？

hadoop、resourcemanager、namenode

在安巴里的仪表盘上我看到了..。 ? 在运行某些sqoop作业时。不确定是什么原因导致NN使用率如此之高(在hadoop管理方面没有太多经验)？这是一个不寻常的数量(最近才注意到)吗？此外，在mapreduce任务100%完成后，sqoop作业似乎会被冻结，因为时间比平时长，例如。看到..。

浏览 51提问于2020-02-01得票数 0

回答已采纳

1回答

日志和DBs在专用服务器上单独的SAS HDD上的优势？

performance、logging、storage、database、sas

在单独的SAS驱动器上(对于运行CentOS的专用服务器)拥有日志数据(应用程序+ DB)和DB数据有任何显著的性能优势吗?因为日志记录和db的写入会导致写入是随机的，而保持单独的操作将允许更多的顺序写入(我可能错了！)。另外，日志大多是只写的，而我希望我的DB是90/10读/写。

浏览 0提问于2016-10-30得票数 0

回答已采纳

2回答

facebook 502 nginx + fpm

facebook、nginx、php

我无法在facebook上发布任何图片或其他媒体。我使用了调试器(http://developers.facebook.com/tools/debug)，我总是得到：Response Code: 502 我使用它发生在我的所有其他网站位于这台机器上，所以它一定是all服务器配置问题，我猜。我使用centos x64

浏览 0提问于2013-03-24得票数 1

2回答

nginx给出502的未处理异常500在烧瓶中的错误

python、nginx、flask、uwsgi

这可能是一个愚蠢的问题，但我面临的问题是，每当在Flask代码中出现异常时(例如，1/0没有处理的异常)，我的nginx就会给出502而不是500。我在某个地方读到，对于异常，Flask不会自动生成500条错误消息。任何评论都是有帮助的。谢谢。

浏览 1提问于2018-02-12得票数 0

回答已采纳

2回答

Azure web应用程序在配置更改或交换后崩溃，并停留数小时。

asp.net、azure、web-applications、deployment、crash

由于我们将大多数用户转移到作为web应用程序在Azure中运行的asp.net web应用程序，我们经历了一个间歇性的问题，应用程序将对所有用户崩溃，只响应超时或502/503错误。最令人沮丧的是，在它最终清理出来之前，似乎没有办法把它拿回来。在停机期间和之前，诊断看起来很好--最小的CPU和内存使用量。错误很多，但它们大多是超时错误。

浏览 0提问于2018-12-24得票数 0

回答已采纳

1回答

AWS API网关总是返回502坏网关

amazon-web-services、aws-lambda

我在AWS中创建了一个简单的lambda函数，从DynamoDB返回列表。我还创建了API来触发lambda函数。当我在AWS控制台中进行测试时，该函数可以正常工作。但是当我在邮递员中测试这个功能时，我总是得到502坏网关下面的错误。知道为什么我在从邮递员打API网关的时候一直收到502个坏网关错误吗？

浏览 1提问于2019-04-02得票数 4

回答已采纳

1回答

设置高I/O超时的缺点？

linux、virtual-machines、timeout、iowait

我正在处理几个Linux，其分区被挂载在NetApp NAS上。这种NAS周期性地经历一个非常高的iowait，这会导致VM磁盘切换到只读模式、崩溃或损坏。在VMware KB上，建议增加超时值，作为姑息治疗：设置一个非常高的超时(1800或更多)会有什么负面影响？在我看来，风险在于延迟写入会累积和填充I/O写缓冲区，从而

浏览 0提问于2015-11-16得票数 3

回答已采纳

3回答

PHP在NFS共享目录中创建空会话

php、session、ubuntu、vagrant、nfs

我在OSX主机上的Vagrant VM中运行Ubuntu 12.04。下面是Vagrant用于挂载文件夹的配置片段：我发现PHP无法正确地在NFSsession.save_path is correct (/project/sessions) in Unknown on line 0$ ls -

浏览 1提问于2014-07-21得票数 3

1回答

Sparklyr copy_to失败

r、hadoop、apache-spark、sparklyr

我使用Sparklyr库从R到HDFS读取和写入数据。读取数据的工作原理是预期的，但是写入会带来问题。TRUE)错误：错误: org.apache.hadoop.mapred.InvalidInputException:输入路径不存在: hdfs一个可能的原因可能是sdf_copy_to函数将数据存储在我的linux /tmp文件夹中，而写函数则在/tmp文件夹上查找数据。

浏览 2提问于2017-03-01得票数 3

1回答

在HTTP 502中，无效响应意味着什么？

http、httpresponse、rfc、standards-compliance

我试图测试一个服务器，看看它是否按照下面的定义运行，为此，我需要从上游服务器构造并向网关服务器发送无效的响应。HTTP规范说明了有关状态代码502 -坏网关的如下内容。502 (坏网关)状态代码指示服务器在充当网关或代理时，在试图满足请求时从它访问的入站服务器接收无效响应。说，不完整的头和响应<

浏览 3提问于2016-02-26得票数 12

回答已采纳

3回答

当HAProxy发送503 HTTP代码时，如何使用自定义503错误文档？

haproxy、http-status-code

当后端服务器(后端)发送HTTP 503代码时，我希望HTTP使用自己的503文档页。有可能吗？曾见过类似“监视器失败”的情况，但不知道如何将其添加到前端。

浏览 0提问于2011-03-18得票数 22

回答已采纳

1回答

当向没有响应的服务器发出node.js错误时

node.js、asynchronous、express

我需要抓住那个事件，就像我能赶上502或302.这是我的代码： [ else { res.send('not 200 and not 502'); } }) ]

浏览 5提问于2013-03-02得票数 2

回答已采纳

1回答

创建私有API

aws-api-gateway

我试图在aws中创建一个非常简单的api网关。这个api不需要任何身份验证。为。使用VPC端点启用资源策略谢谢。

浏览 1提问于2019-09-11得票数 0

3回答

计算引擎HTTP负载平衡502错误

google-compute-engine

我们的http负载均衡器只在某些IP上有严重的问题。<meta http-equiv="content-type" content="text/html;charset=utf-8"><h2></

浏览 59提问于2015-09-14得票数 21

1回答

使用Python在hdfs上读/写文件

python、hdfs

我是Python的新手，我想从hdfs中读取一个文件(我已经实现了)。现在，如何将修改后的内容写入输出文件是一个问题

浏览 0提问于2016-05-17得票数 1

点击加载更多