我需要加载很多顶点和边到JanusGraph与卡桑德拉后端从其他存储。我读过有关批量加载和Spark配置(https://docs.janusgraph.org/advanced-topics/bulk-loading/和https://docs.janusgraph.org/advanced-topics/hadoop/)的文章。很清楚如何配置JanusGrap
浏览 63提问于2020-07-04得票数 3
回答已采纳
1回答
我试图导入1GB的图形数据(包括大约100 k的顶点，360万个边)，这是gryo格式。我试图通过gremlin客户机导入，我得到了以下错误：
有什么方法可以导出数据块并以块形式导入吗?
提前谢谢。也许，对Gremli
浏览 8提问于2020-10-07得票数 2
我是Spark的新手，我发现文档上说Spark会将数据加载到内存中，以加快迭代算法的速度。
但是，如果我有一个10 2GB的日志文件，而内存只有2 2GB，该怎么办呢？Spark会一如既往地将日志文件加载到内存中吗？
浏览 2提问于2013-11-30得票数 18
回答已采纳
4回答
在我的iPhone应用程序中，我需要在Core Data中插入大约2000条记录，然后用户才能使用该应用程序的任何特性。我正在将记录从本地JSON文件加载到CoreData中。这个过程需要很长的时间(2.5+分钟)，但只需要发生一次(或者每10个应用程序打开一次以获取更新的数据)。
核心数据是否有批量插入？如何加快此插入过程？如果我不能使用Core Data加快速度，还有其他推荐的选项吗？
浏览 2提问于2010-11-10得票数 27
回答已采纳
我一直在查找Spark和MapReduce之间的区别，我真正发现的是Spark在内存和磁盘上运行，这使得它的速度大大加快。我还读到，MapReduce对于非常庞大的数据集更好，这仅仅是因为你可以将更多的数据加载到磁盘上而不是内存中？但想必，使用Spark，您无论如何都会在内存和磁盘之间移动数据，因此如果内存空间不足，您可以将一些数据移回磁盘，然后引入新数据进行处理。
基本上，还有没
浏览 0提问于2018-05-02得票数 0
2回答
有没有mysql参数可以提高LOAD DATA INFILE的速度？
我使用1个MyISAM和1个TokuDB表。数据保存为制表符分隔的文本文件。
浏览 5提问于2012-09-11得票数 0
回答已采纳
2回答
金光星火番石榴版
、、、、
我的问题是：:load data/call-janusgraph-schema-groovy下面是我如何启动gremlin外
浏览 2提问于2017-06-06得票数 1
回答已采纳
在使用mlib和DataFrame (Spark2.0)在PipelineModel中训练RandomForestRegressor后，我将保存的模型加载到我的RT环境中，以便使用该模型进行预测，每个请求都通过加载的PipelineModel进行处理和转换，但在此过程中，我必须使用spark.createdataframe将单个请求向量转换为单行DataFrame，所有这一切大约需要700ms！有没有办法使用新的mlib来预测单个向量，而无需转换为DataFrame或执
浏览 0提问于2016-08-02得票数 2
3回答
是否有一种方法可以设置Spark用于加载和处理数据的节点数？这是我如何处理数据的一个例子：SqlData = sqlContext.sql("SELECT * FROM table")
Context：数据不太大，加载到Spark需要很长时间，也需要很长时间来查询。定义一:通常被称为“分区键”，其中一个列被选中并索引以加快查询速度(这不是我想要<e
浏览 0提问于2016-01-04得票数 17
刚从Tinkerpop和Janusgraph开始，我正试图从文档中找出这一点。
可能存在这样的脚本。但否则，是否需要用python编写一些东西，打开csv文
浏览 0提问于2018-11-13得票数 6
回答已采纳
1回答
我是这个领域的新手。我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.sparkoptions(collection.immutable.Map(
浏览 26提问于2021-06-26得票数 0
2回答
最近我读了一篇关于的文章，除了第12条，“不可颠覆”规则之外，我都懂了。如果有人能给我解释一下规则(最好是举个例子)，那将非常有帮助。
谢谢。
浏览 8提问于2009-09-03得票数 5
回答已采纳
4回答
如何加快批量文件的读取速度
、、、、
我从我的系统中读取了很多文件。任何建议都是值得感谢的。我不想使用线程的原因是因为它会让我的代码变得不可读，我想找到一种非常巧妙的方法来让速度更快，代码更少，更容易def
浏览 2提问于2010-10-06得票数 1
回答已采纳
我需要批量编辑HBase数据，为每一行编辑特定单元格的内容。通过HBase PUT/GET API不是一种选择，因为这会非常慢。我想设置一个Spark任务，它将HBase HFile加载到正确定义的DFs中，让我编辑特定列中的数据，然后将数据保存回HDFS，保持HFile格式。我找到了关于如何将HFile从Spark批量写入HDFS的几个指南，但是，我不确定如何从HDFS中获取数据。哪种类
浏览 0提问于2019-01-24得票数 1
回答已采纳
我有几个从CCSprite继承的对象。每个对象都有CCSprite子对象和重写的draw方法。我想将这些对象添加到单个批处理节点(CCSpriteBatchNode)中。一切正常，但我在draw方法中执行的绘图不会显示。有没有办法将这些对象中的任何GL绘图合并到一个批处理节点中？谢谢!
浏览 5提问于2011-11-02得票数 1
回答已采纳
我需要从我的Azure Blob存储下载1000张小图片。我不想对每个文件提出单独的请求。如何在c#中做到这一点？
浏览 3提问于2020-03-31得票数 5
回答已采纳
为此，我使用jar文件：greenplum-spark_2.11-1.6.0.jarval yearDF = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider:49)早些时候我使用了jar：greenplum.jar，它工作得很好，但速度较慢，因为它通过GP Master拉取数据。greenplum-<
浏览 1提问于2019-03-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
