优化Data Streamer池大小以提高ignite性能
优化Data Streamer池大小以提高ignite性能
提问于 2019-09-17 18:15:16
我使用的是Ignite 2.6和数据流节点，这些节点使用kafka中的数据并将其放入ignite缓存中。观察到服务器平均负载较高，但吞吐量降低。
我已经尝试为缓存中定义的索引提供索引内联大小，这提供了良好的性能，但也增加了服务器内存利用率和高平均负载。在这种情况下，增加datastreamer线程池大小会有什么影响。
Stack Overflow用户
发布于 2019-09-23 19:48:24
在优化数据流性能时，您需要了解瓶颈在哪里。它可以在数据节点上，也可以在流节点上。服务器可能正在缓慢地插入数据，或者拖缆可能只是提供了太少的负载。CPU、内存、网络和磁盘资源可以在任一端耗尽。因此，在尝试优化配置参数之前，请尝试查找导致速度变慢的原因。使用JFR、JProfiler、VisualVM或类似的工具可能会对你有所帮助。
如果瓶颈在流端，那么在大多数情况下，从多个线程调用单个数据流上的IgniteDataStreamer#addData会增加服务器的利用率。
如果您在服务器端看到问题，则可能需要增加服务器数量或尝试优化插入时间。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57972096
复制相关文章
相似问题
腾讯云开发者
