数据即索引-大数据索引漫谈

传统意义上的索引，目标是为了加快查询速度，但独立于数据，通常可以加载到内存，典型的比如B-Tree等。

为什么需要一个聪明且强势的编译器

我从2005年开始学习编程。到现在为止的这段期间，我已经使用了非常多的语言。包括C, Java, Ruby,JavaScript, Groovy, Scala.

How delta works

Most existing big data storages based on HDFS are lack of feature upsert(if exis...

Introducing Spark-Kafka integration for realtime Kafka SQL queries

Apache Kafka has been all the rage for the key join of the data pipeline. But in...

数据SCT定律：存储，计算，时间

其实没有SCT定律，这个是我根据分布式CAP定律瞎造的。不过呢，从大数据这个行业来说，我们始终都是在存储，计算和时间进行权衡，博弈以及突破。某种程度上来说，当拥...

MLSQL 内置Delta数据湖以及Compaction功能介绍

之前写过一篇文章 Delta的真正用处和价值，你可知道，该项目开源的那天我就集到MLSQL了。不过当时只是尝鲜性质，主要原因是因为我一直觉得delta缺了Com...

多个不同类型对象如何统一JSon序列化小技巧

标题其实没说明白，就是假设我有四个不同类型的对象：A,B,C,D 但是呢，我序列化的时候不知道这对象会是哪个，反序列化的时候也不知道应该用哪个进行反序列化。

为 Delta 新增 Upsert(Merge)功能

今天花了一早上以及午休时间，终于把delta的Upsert功能做完了。加上上周周四做的Delta Compaction支持,我想要的功能基本就都有了。

MLSQL Stack 让流调试更加简单

有一位同学正在调研MLSQL Stack对流的支持。然后说了流调试其实挺困难的。经过实践，希望实现如下三点：

try.mlsql.tech 上线，快来体验

好友借了一台服务器给我用，2核4G, 虽然配置有点低，但是已经超开心了，一直希望能搭建一个能运行一些简单脚本的服务，这样用户就不需要自己搭建了，但一直碍于现在服...

MLSQL Stack指南

The next goal of MLSQL Stack

MLSQL is a SQL-Based language and MLSQL Stack is a platform including many syste...

Your Guide to DL with MLSQL Stack (3)

This is the third article of Your Guide with MLSQL Stack series. We hope this ar...

Your Guide to NLP with MLSQL Stack (一)

MLSQL stack supports a complete pipeline of train/predict. This means the follow...

Your Guide to Python with MLSQL Stack (二)

In the previous post Your Guide to NLP with MLSQL Stack (一), we already have kno...

Delta的真正用处和价值，你可知道

应该说，Delta是最近几年Databricks开源的最有价值的东西。Databricks这几年对外致力于AI,对内则努力给客户提供一站式分析处理平台。这个一站...

MLSQL 1.3.0开发版中最新三个MPIPs--调度，资源，缓存

MPIP 是新Feature提案。全称 MLSQL Project Improvement Proposals 。当然这个是学习Spark 的 SPIP，作为一...

Rust FFI 实践

部门算法团队开始成长起来，开始有越来越多的尝试以及成果，但是现在工程方面严重的限制了（主要是做预测服务）他们的研究成果转化为实际输出的能力。去年下半年，我们就发...