有人能帮我理解火花作业日志中出现以下几行的可能原因吗?
2018-06-11T05:35:46,181 - INFO Executor任务启动工作任务328 :登录$class@54- TID 328等待堆上执行池的至少1/2N空闲2018-06-11T05:35:46,182 - INFO Executor任务启动工作任务329:UnsafeExternalSorter@202 - Thread 151溢出50.0 MB的排序数据到磁盘(迄今20次)
2018-06-11T05:35:46,188 - INFO Executor任务启动工作者任务322:UnsafeExternalSort
我有一个问题,我使用gen server做一些简单的工作,如下所示:
one handle_cast to do a long time work(takes 60 seconds)
one handle_cast to do a very fast work
当客流量低时,一切都很好。但当服务器进程第一次长时间工作,客户端向服务器发送数以千计的消息(例如邮箱中的1000000条消息)时,长时间的工作将变得极其缓慢,可能需要600秒才能完成。
这个问题就像堆栈溢出上的这个问题。
但我还是不明白。如果是因为垃圾收集,垃圾收集怎么会花这么长时间或者这么频繁呢?