在以下场景中,在EC2中加载php类的最佳方式是什么(#用于说明目的)?运行apache和APC的-> 100 EC2实例每次请求加载100个PHP类(通过__autoload)在这些类之间每天进行100次代码更改(许多类包含通过->定期更新的自动生成的代码)。
据我所知,有3种方法可以在EC2中加载php类文件:
A. InstanceStore - The local (virtual) hard drive of an EC2 instance
-> Code must be pushed separately to each instance.
-> Faste
我在试图保存一个非常大的SchemaRDD时遇到了许多问题,就像S3上的Parquet格式一样。我已经发布了关于这些问题的具体问题,但这才是我真正需要做的。代码应该如下所示
import org.apache.spark._
val sqlContext = sql.SQLContext(sc)
val data = sqlContext.jsonFile("s3n://...", 10e-6)
data.saveAsParquetFile("s3n://...")
如果我有超过2000个分区,或者有大于5G的分区,就会遇到问题。这就为我所能处理的最大Schem