我正在尝试索引一个超过10.000.000的大型数据库表，而logstash内存不足。:(logstash_1 | Error: Your application used more memory than the safety cap of 1G.logstash_1 | Specify -wf
浏览 28提问于2017-01-12得票数 0
回答已采纳
我在postgres中有一个大表，有200列和100多万行。我想使用logstash将这些数据迁移到elasticsearch中。我目前正在迁移大约50列。我当前的logstash配置文件如下所示： jdbc {
jdbc_user => "
浏览 0提问于2019-10-14得票数 0
我在我的ubuntu服务器中有我的logstash配置，它从postgres数据库读取数据并将数据发送到弹性搜索。我已经在每15分钟配置了一个日程，logstash将查看postgres表，如果表中有任何更改，它会将数据发送给弹性搜索。
但是，每次logstash也将日志发送到syslog，这是我不需要的。那么，如何停止logstash将其日志发送到syslog。logstash.yml中是否有任何配置以避免将日志发
浏览 3提问于2019-10-23得票数 2
回答已采纳
我在一台非常小的机器上运行postgres 10.4，在Debian上有严格的内存限制(例如200MB)。在我的情况下，必须禁用系统交换空间，但SSD磁盘空间充足(例如，>500 is )。我使用瀑布方法将所有可用内存分配给postgres中的不同用途，遵循以下逻辑：---max_worker_processestemp_file_limit = -1 (i.e. unlimited)
effective_cache_size = 200MB &#
浏览 0提问于2018-09-29得票数 4
我正在使用LogStash从我的服务中收集日志。数据量太大了(20 at /天)，我担心有些数据会在高峰时间被丢弃。因此，我在这里请求，并决定添加一个Redis作为ELB和LogStash之间的缓冲区，以防止数据丢失。
但是，我对很好奇，LogStash什么时候会超过队列容量并丢弃消息？因为我做了一些实验，结果表明LogStash可以完全处理所有的数据而不会丢失，例如本地文件-> LogStash ->本地文件，netcat -> LogStash ->
浏览 7提问于2014-08-22得票数 4
回答已采纳
我有一个非常大的xls文件，其中包含两个工作表。我想将这两个工作表合并为一个工作表，然后复制到新的工作簿。但是当我尝试访问这个大型xls时，会出现内存不足异常，如下所示：HSSFWorkbookworkbook = new HSSFWorkbook(fis);
我尝试使用xls：的event api，但使用它只能读取单
浏览 0提问于2016-05-30得票数 0
现在有一个JDBC任务从db读取为 jdbc { }/usr/share/logstash/pipeline/sql/select_posts.sql
SELE
浏览 5提问于2020-12-24得票数 0
回答已采纳
我试图读取一个巨大的csv文件CUDF，但获得内存问题。cudf.set_allocator("managed")
cudf.
浏览 6提问于2021-02-01得票数 0
我想用PostgreSQL + TimeScaleDB对一个70 GB的表进行查询，并将结果复制到另一个表中。问题是，Postgres似乎试图在将新表写入磁盘之前先在内存中构建它，这显然会产生内存不足错误。 我要复制的表包含精度为1秒的时间序列数据。我想用较低的精度创建该表的副本，以便更快地在大的时间范围内进行查询-在这些时间范围内，这样的精度是不必要的。当我以1周、1天或1小时的精度执行此操作时，它会起作用。该问题
浏览 45提问于2019-05-08得票数 1
回答已采纳
我想使用logstash从数据库中的表中读取数据，并为表中的每个条目创建一个单独的json文件……
我看到logstash已经解释了json中的数据，因为当我输出到现有的json对象时，数据已经是json是否可以单独创建json文档并将其存储在logstash的输出块中的一个文件夹中？
浏览 1提问于2016-07-01得票数 0
我可以像下面这样运行logstash：但将logstash作为服务运行Configuration OK
任
浏览 1提问于2015-12-08得票数 7
回答已采纳
1回答
我有一个postgres数据库，包含3个模式和大约1200个表。当我尝试使用命令pg_dump -h localhost -p 5432 -U postgres -d my_test_db -s只获取模式的D0时，有时会出现错误这种情况也是随机发生的，当我重新运行相同的查询时，它运行得很好。
浏览 0提问于2018-06-25得票数 1
我已经有了包含空表的Mysql数据库。通过使用PGAdmin，我得到了一个备份(只有数据，没有数据库模式)。我试着使用PSQL工具，但它一直给出分段错误，我目前无法修复。我正在使用Ubuntu。
浏览 4提问于2009-11-05得票数 1
4回答
将一个长字符串读入内存
、、、
我有一个非常大的字符串，当我在Java中读取它时，我得到了内存不足的错误。实际上，我需要将所有这些字符串读取到内存中，然后拆分成单独的字符串，并根据值对它们进行排序。做这件事最好的方法是什么？
谢谢
浏览 0提问于2010-10-01得票数 1
回答已采纳
2回答
我想知道使用非顺序UUID作为表中的主键对性能的影响，这个表在PosgreSQL中会变得非常大。在对表记录使用集群存储DBMS中，一旦表太大而不能在内存中容纳，使用UUID将增加插入的成本，这是因为一旦表太大而不能在内存中容纳，则必须从磁盘读取以找到要执行插入的数据页。据我所知，Postgres不维护插入上的行聚类，所以我认为在Postgres中使用UUID PK不会影响插入的性能。但是我认为，一旦表很大，它会使primary key
浏览 1提问于2015-12-11得票数 47
回答已采纳
尝试将500MB的.xlsm文件加载到内存中，并从中删除特定的工作表。wb = new XSSFWorkbook(pkg);将pkg加载到工作簿时内存不足有没有其他方法可以加载这么大的文件而不会出现内存问题？它工作得很好。
浏览 0提问于2019-04-09得票数 0
4回答
我使用logstash和ElasticSearch进行解析、索引和搜索。
现在我使用文件输入插件来读取下载的文件并解析它。我没有设置sincedb_path，所以它存储在$HOME中。但问题是它只读取了一天的日志文件。
浏览 0提问于2014-01-20得票数 7
回答已采纳
我需要在不增加默认堆空间的情况下在Java Applet上显示大图像的功能。在使用ImageIO.read()将大图像读取到BufferedImage中时，我得到了“内存不足”异常(这是意料之中的事情)。有没有人有一些关于实现这个功能的方向的提示(包括在滚动图像时显示正确的部分)？Java有没有内置的东西来支持这一点？有什么例子吗？
浏览 0提问于2010-02-03得票数 0
回答已采纳
2回答
我有一个托管在azure平台上的web应用程序和一个托管在虚拟机上的ELK堆栈，也在azure (相同的订阅)中，我正在努力寻找一种方法来将日志从应用程序发送到logstash。web应用程序将其所有文件存储在只能通过FTP访问的存储上，而logstash没有针对该存储的输入插件。
人们使用什么将日志从web应用程序发送到ELK？
浏览 7提问于2015-11-17得票数 8
扫码
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
实时音视频活动推荐
腾讯云开发者
