作者：Harry Zhu 链接：https://zhuanlan.zhihu.com/p/21574497 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 相关内容：
Spark一直都在快速地更新中，性能越来越快，功能越来越强大。我们既可以参与其中，也可以乐享其成。 目前，Spark 1.4版本在社区已经进入投票阶段，在Github上也提供了1.4的分支版本。最近，Databricks的工程师撰写了博客，介绍了Spark 1.4为DataFrame新增的统计与数学函数。这篇博客介绍的函数主要包括： 随机数据生成（Random Data Generation） 概要与描述性统计（Summary and descriptive statistics） 协方差与相关性（Sa
RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。 RDD和DataFrame 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema。RDD是分布式的Java对象
你曾经是否有构建一个开源数据湖[1]来存储数据以进行分析需求？数据湖包括哪些组件和功能？
如果在训练和推理系统中特征工程代码不相同，则存在代码不一致的风险，因此，预测可能不可靠，因为特征可能不相同。一种解决方案是让特征工程作业将特征据写入在线和离线数据库。训练和推理应用程序在做出预测时都需要读取特征-在线应用可能需要低延迟（实时）访问该特征数据，另一种解决方案是使用共享特征工程库（在线应用程序和训练应用程序使用相同的共享库）。
就在本周一，大数据初创公司Databricks在官网宣布他们完成了10亿美元的G轮融资，对公司的估值为280亿美元。作为同类公司，之前Snowflake的IPO就引发资本的热捧，此次Databricks的融资也印证了这点。为什么资本对数据平台公司如此关注？正如之前我的一篇《当红炸子鸡Snowflake》中谈到，“云计算+大数据”催收了无限遐想空间。下面就让我们来看看这个独角兽Databricks的情况。本文内容部分摘自Databricks官网。
2020年9月，Power BI Desktop 随着微软 Ignite 大会而发布更新。
DataBricks最近新开源了一个项目Delta Lake。这其实不算是个新项目了。DataBricks在其商业版里面提供这样的功能已经有一段时日了。对我来说Delta Lake就是久闻大名，但是不知道庐山真面目。
TiDB Cloud 是为开源分布式数据库 TiDB 打造的全托管 DBaaS (Database-as-a-Service) 服务。
大数据和人工智能软件的公司Databricks近日宣布完成1.4亿美元融资，本轮融资由Andreessen Horowitz牵头，New Enterprise Associates(NEA)跟投，新投资人包括Battery Ventures、Future Fund Investment、A.Capital，Geodesic Capital和Green Bay Ventures。 Databricks联合创始人兼CEO Ali Ghodsi在采访中表示： 在利用人工智能技术处理和分析大数据方面，只有1%的公司
在2014年11月5日举行的Daytona Gray Sort 100TB Benchmark竞赛中，Databricks 用构建于206个运算节点之上的spark运算框架在23分钟内完成100TB数据的排序，一举击败了该赛事2013年的冠军—Yahoo团队建立在2100个运算节点之上的Hadoop MapReduce集群，该集群耗时72分钟排序了102.5TB的数据。换句话说，Spark用了十分之一的资源在三分之一的时间里完成了Hadoop做的事情。 HadoopSpark被排序数据大小102.5 TB
编者按： 每年仲夏之际，全球两大数据平台巨头 Snowflake、Databricks 均会召开各自的年度大会，成为数据圈的“超级碗”。随着竞争的加剧，Snowflake、Databricks 把 2023 年度重磅市场大会放在相同日期（6.26-6.29），充满着火药味。大会召开在即，云器科技作为专注数据领域的创业公司，策划一系列文章，从主题演讲、重点发布、客户案例等方面对比和解读这两个年度大会。本文是第一篇，对两个大会做前瞻对比，并预测最值得听的场。
Databricks研究调查的初步结果显示，96％的组织认为数据相关的挑战是将AI项目移至生产时最常见的障碍。数据是人工智能的关键，但数据和人工智能则处在孤岛中。Databricks是统一分析领域的领导者，由Apache Spark的原创者创建，利用统一分析平台解决了这一AI难题。今天在旧金山召开的Spark + AI峰会上，由4,000位数据科学家，工程师和分析领导者组成的年度盛会，为企业降低AI创新障碍创造了新的能力。这些新功能统一了数据和AI团队和技术：用于开发端到端机器学习工作流的MLflow，用于ML的Databricks Runtime以简化分布式机器学习，用Databricks Delta以提高数据的可靠性和性能。
无需额外花费过多的学习成本，sparklyr（https://spark.rstudio.com）可以让R用户很方便的利用Apache Spark的分布式计算能力。之前Fayson介绍了什么是sparklyr，大家知道R用户可以编写几乎相同的代码运行在Spark之上实现本地或者分布式计算。
作为 DeNexus 安全服务提供商，需要良好选型的数据平台实现巨量数据的分析和管理。DeNexus 根据自身需求选型了 Databricks 的湖仓一体解决方案，满足自身对数据类型、用户类型、可扩展性、版本管理和 MLOps 上的需求。
新粉请关注我的公众号 我收到了一封邮件，具体内容截图如下： 简单说，就是官宣Delta Lake 2.0正式发布了。这个距离Databricks的年度大会上面宣布，也有些时日了。 Databricks在发布里面指出了一些新功能。我挑重点讲几个。 首先是Change Data Feed。这个东西的作用就是你对Delta Table做的数据改变，它都会生成Change Data Feed。你要是订阅了这个东西，比如说把它放进一个Kafka集群里面，理论上就可以准实施复制出一份数据来。 这个东西有点像什么呢
翻译 | 王柯凝 责编 | suisui 【导读】Numpy是一个开源的Python科学计算库，专用于存储和处理大型矩阵，相比Python自身的嵌套列表结构要高效很多，是数据分析、统计机器学习的必备工具。Numpy还是深度学习工具Keras、sk-learn的基础组件之一。 此处的70个numpy练习，可以作为你学习numpy基础之后的应用参考。练习难度分为4层：从1到4依次增大。 快来试试你的矩阵运算掌握到了什么程度： 1.导入模块numpy并以np作为别名，查看其版本 难度：1 问题：导入模块num
编译 ｜ 核子可乐、Tina 全球首个完全开源的大语言模型，性能堪比 GPT3.5！ 大数据热潮催生了许多成功的公司，例如 Snowflake、Databricks、Splunk 和 Cloudera。现在我们进入了生成式人工智能时代，那么会不会有新的“人工智能和大数据”结合方式？ 最近，大数据公司 Databricks 就在生成式人工智能领域采取了行动。两周前，该公司发布了一个名为 Dolly 的开源大型语言模型，旨在应对市场对于生成式 AI 及相关应用的旺盛需求，我们可以称之为 Dolly 1.0
我们（RStudio Team）今天很高兴的宣布一个新的项目sparklyr（https://spark.rstudio.com），它是一个包，用来实现通过R连接Apache Spark。
Databricks CEO Ali Ghodsi 曾表达过这样的观点：Databricks 的目标是实现数据普惠和 AI 普惠，数据普惠使得数据能够触达企业内的每一名员工，而 AI 普惠则将人工智能引入每一个产品中。他强调“每个组织都应该从 AI 革命中获益，并更好地掌控数据的使用方式。”在过去，Databricks 在 AI 领域积累了大量经验，如今在大模型的潮流下，他们不仅推出了自家的开源大模型 Dolly 2.0，还以 13 亿美元的价格收购了生成式 AI 公司 MosaicML，迅速强化了大模型方面的实力。最近，Databricks 发布了一系列创新产品，例如 Lakehouse IQ、AI Gateway, Unity Catalog 等。作为大数据领域的领军企业，我们相信 Databricks 正在塑造着未来。在 QCon 北京到来之际，我们采访了 Databricks Engineering Lead 李潇，以深入了解他们在数据领域的创新思想。
CSV data source does not support struct<type:tinyint,size:int,indices:array<int>,values:array<double>> data type.
编译 | 核子可乐、Tina Databricks 与 Snowflake 之间的激烈竞争再上新台阶，甚至有可能给整个数据仓库领域带来更加深远的影响。 短短半个月，大数据领域新一代领军企业 Databricks 和 Snowflake 就互撕了几回。 11 月 2 日，Databricks 在其官方博客发布声明，表示其数据湖仓（lake house）技术创下 TPC-DS 基准测试新记录，并强调第三方研究表明实际性能可达 Snowflake 的 2.5 倍。 在博客中，Databricks 声称这是一
目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。Apache Hudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg目前看则会显得相对平庸一些，简单说社区关注度暂时比不上delta，功能也不如Hudi丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。
随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。
Azure Synapse Analytics 是一项针对大型公司的无限信息分析服务，它被呈现为 Azure SQL 数据仓库 (SQL DW) 的演变，将业务数据存储和宏或大数据分析结合在一起。 在处理、管理和提供数据以满足即时商业智能和数据预测需求时，Synapse 为所有工作负载提供单一服务。后者通过与 Power BI 和 Azure 机器学习的集成而成为可能，因为 Synapse 能够使用 ONNX 格式集成数学机器学习模型。它提供了处理和查询大量信息的自由度.作为微软在西班牙为数不多的 Pow
1.MySQL中关于函数的说明 2.单行函数分类 3.字符函数 1）length(str)：获取参数值的字节个数； 2） concat(str1,str2,…)：拼接字符串； 3）upper(str)：将字符中的所有字母变为大写； 4）lower(str)：将字符中所有字母变为小写； 5）substr(str,start,[len])：从start位置开始截取字符串，len表示要截取的长度； 6）instr(str,要查找的子串)：返回子串第一次出现的索引，如果找不到，返回0； 7）trim(str)：去掉字符串前后的空格； 8）lpad(str,len,填充字符)：用指定的字符，实现对字符串左填充指定长度； 9）rpad(str,len,填充字符)：用指定的字符，实现对字符串右填充指定长度； 10） replace(str,子串,另一个字符串)：将字符串str中的字串，替换为另一个字符串； 4.数学函数 1）round(x,[保留的位数])：四舍五入； 2）ceil(x)：向上取整，返回>=该参数的最小整数。(天花板函数) 3）floor(x)：向下取整，返回<=该参数的最大整数。（地板函数） 4）truncate(x,D)：截断； 5）mod(被除数,除数)：取余； 5.日期时间函数 1）now()：返回系统当前的日期和时间； 2）curdate()：只返回系统当前的日期，不包含时间； 3）curtime()：只返回系统当前的时间，不包含日期； 4）获取日期和时间中年、月、日、时、分、秒； 5）weekofyear()：获取当前时刻所属的周数； 6）quarter()：获取当前时刻所属的季度； 7）str_to_date()：将日期格式的字符串，转换成指定格式的日期； 8）date_format()：将日期转换成日期字符串； 9）date_add() + interval：向前、向后偏移日期和时间； 10）last_day()：提取某个月最后一天的日期； 11）datediff(end_date,start_date)：计算两个时间相差的天数； 12）timestampdiff(unit,start_date,end_date)：计算两个时间返回的年/月/天数； 6.其它常用系统函数 7.流程控制函数 1）if函数：实现if-else的效果； 2）ifnull函数：判断值是否为null，是null用指定值填充； 3）case…when函数的三种用法； ① case … when用作等值判断的语法格式； ② case … when用作区间判断的语法格式； ③ case…when与聚合函数的联用 8.聚合函数 1）聚合函数的功能和分类； ① 聚合函数的功能； ② 聚合函数的分类； 2）聚合函数的简单使用； 3）五个聚合函数中传入的参数，所支持的数据类型有哪些？ ① 测试数据； ② sum()函数和avg()函数：传入整型/小数类型才有意义； ③ max()函数和min()函数：传入整型/小数类型、日期/时间类型意义较大； ④ count()函数：可以传入任何数据类型，但是碰到null要注意； ⑤ count()函数碰到null值需要特别注意； ⑥ count(1),count(0)表示的是啥意思呢？ ⑦ count(*)计数的效率问题； 4）聚合函数和group by的使用“最重要”；
目前市面上流行的三大开源数据湖方案分别为：Delta、Apache Iceberg 和 Apache Hudi。其中，由于 Apache Spark 在商业化上取得巨大成功，所以由其背后商业公司 Databricks 推出的 Delta 也显得格外亮眼。Apache Hudi 是由 Uber 的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的 fast upsert/delete 以及 compaction 等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg 目前看则会显得相对平庸一些，简单说社区关注度暂时比不上 Delta，功能也不如 Hudi 丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。
本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。
翻译自 Multiple Vendors Make Data and Analytics Ubiquitous 。
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半： 有超过50个机构250个工程师贡献过代码 和去年六月相比，代码行数几乎扩大三倍。 随着1.0版本于5月30日推出，Spark提供了一个稳定的API，开发人员可以依靠它来保证代码的兼容性。所有主流的Hadoop发行商，包括Hortonworks、IBM、Cloudera、MapR和Pivotal都提供了Spark的包装和技术支持
VLOOKUP、数据透视表、条件格式…你用这几个技巧做，80%的工作需求都能解决。今天特意整理了这些操作技巧，拯救同在“表海”中挣扎的你，让你的工作效率超乎想象。
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站，经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大，迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库，你可以用它做各种变换，可以处理各种类型的数据，例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
语法：docker run [OPTIONS] IMAGE [COMMAND] [ARG...]
对开发人员来说，Django的ORM 确实非常实用，但是将数据库的访问抽象出来本身是有成本的，那些愿意在数据库中探索的开发人员，经常会发现修改 ORM 的默认行为可以带来性能的提升。在本文中，我将分享在 Django 中使用数据库的 9 个技巧。
Carmel是eBay内部基于Apache Spark打造的一款SQL-on-Hadoop查询引擎。通过对Apache Spark的改进，我们为用户提供了一套高可用高性能的服务，以满足eBay内部大量分析型的查询需求（如今单日查询量已超过30万）。
一年一度的 Databricks Data+AI 峰会于上周在旧金山 Moscone 会议中心热闹开展。作为全美乃至全球最大的科技会议之一，Data+AI 峰会自然吸引了大量数据与人工智能领域工作者的目光。而以往年不同的是，今年的峰会在举办之前便火药味十足。在今年早些时候，Databricks 与 Snowflake 这两家最大的云数据平台厂商便先后宣布将在同一时间，也就是六月最后一周，举行各自的年度会议。这意味着，广大科技工作者们只能在这两家公司的活动中做出二选一的艰难抉择。而在峰会期间，Databricks 更是大规模投放广告，直接叫板 Snowflake，高调宣称自家的数据湖仓相比于 Snowflake 拥有 9 倍性价比提升。
新粉请关注我的公众号 昨天写了一篇文章Apache Kyuubi：一个有趣的大数据开源项目，介绍了网易开源的Apache Kyuubi，是如何把Spark变成为一个数仓的。 有一些人联系我，有问我是不是不知道有个产品叫Databricks SQL的，也有问我Databricks SQL和这个比起来怎么样。 有这么多问题，我想我应该没办法一个接一个回答。所以我还是简单写一篇文章。 首先，大家不用怀疑我知道还是不知道Databricks SQL这个产品。我是不是大数据专家这一点大家可以质疑。我是不是大数据八卦专
新粉请关注我的公众号 Delta Lake 2.0 正式发布了。网易的大数据产品也没闲着，这就搞了点事情：从Delta 2.0开始聊聊我们需要怎样的数据湖。 这篇文章的内容很多，大家有需要的可以自己读读，肯定有收获。我就不展开一一分析了。 今天的重点是看看这篇文章网易是如何打脸Databricks的。 这是Databricks在官宣要发布Delta Lake 2.0的讲座的时候的一张PPT。网易的文章也引用了。简单来说就是Delta Lake 2.0快，Iceberg Hudi都是渣渣。 这个测试是第三方
假设你有1亿条记录，有时候用到75%数据量，有时候用到10%。也许你该考虑10%的使用率是不是导致不能发挥最优性能模型的最关键原因。
最近在了解 Presto 和 Trino 对于 Deltalake Connector 的相关实现原理，这里了解完刚好用一篇文章总结下，一是可以帮助自己未来的回顾，二是也希望能够帮助大家，下面都是个人理解，若理解有误，欢迎指出，共勉。
在过去十年里，随着公有云的崛起、数据激增和人工智能的兴起等浪潮席卷，整个数据架构经历了巨大的变革和更新。这些激变使得数据架构发生了天翻地覆的变化。作为一家领先的大数据处理平台提供商，Databricks 一直扮演着引领者的角色。
在本系列中，大部分内容都是在阐述特定数组公式如何工作的逻辑，但是假设你有一个大型的数组公式，却不知道它是如何工作的，你该怎么办？你已经学到了许多技术，弄清楚为什么一个公式正在做它该做的事。
Databricks是spark商业孵化公司，主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展： Databricks把这个称为Runtime artifact，包括Apache Spark和其他软件，如Scala，Python，DBIO和DBES。 以前，云上的版本和spark是同一个版本，Databricks准备和spark版本解耦出来，单独命名版本号，Databricks Runtime3.0配套spark 2.2。 相比spark，D
Uber 的全球用户每天会产生500万条行程，保证数据的准确性至关重要。如果所有的数据都得到有效利用，t通过元数据和聚合的数据可以快速检测平台上的滥用行为，如垃圾邮件、虚假账户和付款欺诈等。放大正确的数据信号能使检测更精确，也因此更可靠。
新粉请关注我的公众号 在今年的Data+AI summit上，Databricks宣布了不少东西，其中之一就是2019年同样的Data+AI Summit上开源的Delta Lake，这次宣布开源2.0。 这个2.0按照Databricks的说法，就是把之前藏着的捏着的“高级”功能全部都开源出来了。这也包括了Databricks之前觉得特别重要的Z-Ordering。 Delta Lake这个项目Databricks最开始做的应该是最早的，但是不开源，只是卖钱给付费客户用。 2019年的时候终于开源了。开
2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0正式发布！
最近群里朋友让解释下flink的watermark机制，那就顺便也简单聊聊flink本身的二三事，本篇写扯一扯历史： 大家都知道，大数据的起源在美国，当前的最热门的技术也都是美国掌握，hadoop，spark，学术界牛逼高校有伯克利，斯坦福等，商业上也比较成功，比如做平台的cloudera，hortonworks等都在美国。 讲到组件最热的当前应该属于spark，前面刚写一篇文章《Spark这是要一统江湖的节奏》，介绍Spark创始人Matei最近在spark submmit上做了一次演讲，spark开始一
在本文中，我想向您介绍如何在Django中使用聚合，聚合的含义是“内容相关项的集合，以便它们可以显示或链接到”。在Django中，我们使用的情况例如：
Databricks公司（点击阅读原文可访问该公司首页）通过简化对GPU加速型机器学习方案的访问支持自家云Spark服务。 作为Apache Spark内存内大数据项目的支持与开发合作厂商，Databricks公司已经对其自家Apache Spark云实现方案进行两轮支持升级，旨在让更多IT用户享受其便利。 此次推出的新功能——即GPU加速与多套深度学习库集成——在理论上能够实现Apache Spark在任意位置的安装工作。不过Databricks方面表示，其版本目前仍处于调整阶段，这是为了避免资源争用情况
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
