如何加快splunk导出速度？
如何加快splunk导出速度？
提问于 2020-02-14 11:29:16
我正在使用python 3 splunk应用程序接口导出一些大容量日志。我的代码基本上遵循splunk应用编程接口指南：
import splunklib.client as client
import splunklib.results as results
import pandas as pd
kwargs_export = {"earliest_time": "2019-08-19T12:00:00.000-00:00",
"latest_time": "2019-08-19T14:00:00.000-00:00",
"search_mode": "normal"}
exportsearch_results = service.jobs.export(mysearchquery, **kwargs_export)
reader = results.ResultsReader(exportsearch_results)
df = pd.DataFrame(list(reader))但这是非常慢的。
最终，我希望将搜索的输出作为csv存储到磁盘。有什么方法可以加快出口速度吗？
谢谢!
Stack Overflow用户
发布于 2020-07-10 15:06:33
在它工作时检查这一点
kwargs_export = {"earliest_time": "-1d",
"latest_time": "now",
"search_mode": "normal"}
service = client.connect(**args)
job = service.jobs.create(query, **kwargs_export)
with open(filename, 'wb') as out_f:
try:
job_results = job.results(output_mode="csv", count=0)
for result in job_results:
out_f.write(result)
except :
print("Session timed out. Reauthenticating")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60219585
复制相关文章
相似问题
腾讯云开发者
