我们正在运行一个用于数据分析的数据库支持的web应用程序,该应用程序目前基于C#.NET,服务器上有EntityFramework,客户端主要是HTML+Javascript框架(基于web)。
我们的应用程序定期接收大量批量的测量X/Y数据点,即1e6或更多,由用户上传或由其他基础设施接收。
目前,我们在MSSQL中有一个名为Values和id, series_id as int; x, y, z as float的表。此表是客户端上传数据时填充的BULK INSERT,关联的元数据保存在Series表中。数据库的总大小目前正在接近1TB,其中99.99%是Values数据。
这种方法很容易
我使用下面的函数来加载数据。由于某些原因,它不适用于非常大的数据集(100M),但它适用于我的玩具数据集。是否存在某种大小限制或参数,使我能够加载这些大型数据集?:
function loadData(nameOfFile){
$(function(){
$.getJSON("//www.yadayada" + nameOfFile + ".json",function(data){
//load the data into new objects
}).error(function()