文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗？
是的
没有找到

大数据和云计算硬币的正反面

2014年7月，阿里云ODPS项目正式对外开放。...经过五年的积累，阿里云计算发布核武器级别的大数据产品——ODPS。通过ODPS在线服务，小公司与小团队可以对拥有的海量数据进行快速分析挖掘。...到底什么是ODPS 简单来说，ODPS(Open Data Processing Service)是一项Web服务，大家不用花大钱建数据中心，就能分析海量数据。...ODPS到底能做些什么 在国内，说得再好不如有个好的案例。ODPS已经在阿里内部进行了大量的使用与测试。...阿里内部的登月计划 2013年10月，为了融合阿里小贷和支付宝的数据，支付宝希望ODPS团队协助他们搬家，将支付宝数仓业务从Hadoop机群搬到ODPS上，登月1号项目启动。

1.6K60

SQL解析过程详解

作者：一帅 简介 SQL任务是ODPS中使用最频繁的一类作业,大部分用户开始使用ODPS时要做的第一件事情就是学习怎么写ODPS的SQL。...ODPS SQL是一种非常灵活的语言,兼容大部分的SQL92规范,也对大规模计算场景做了一些特别的定制。...ps.在ODPS中,真实的抽象语法树会复杂许多,为了方便大家理解,我将输出的抽象语法树做了一些简化。...（ScalarFunction） ,但又有逻辑判断,返回值又不固定,并且还可以嵌套使用,而且在语法上还有两种形式(简单CASE函数和CASE搜索函数) – -!...需要注意的是,在聚合函数里的值函数、Group by列表中的值函数,需要在聚合操作以前就计算完成,否则无法进行聚合操作,于是乎,出现了一个叫 初始投影 的东西,本质上这是一个SelectOperator

3.4K20

如何快速搭建一个类似于神策数据或诸葛IO的数据分析平台？

阿里大数据计算平台好像也是今年9月份左右开始对外公测，之前的名称叫做ODPS，后来改名叫做大数据计算服务（MaxCompute），虽然对于我来说都一样拗口难懂（后面我就用ODPS来统一代指这个服务）……...， 数据运算和运维则基于ODPS实现多人协作开发数据处理任务并进行上线管理。...步骤一：同步LogStore和RDS Mysql数据到ODPS数据库表 1、LogStore的数据同步 基本做法就是在IDE的数据管理模块中创建和LogStore相同结构的ODPS表，然后回到日志服务控制台相应的...（非常有用的是，在ODPS表中可配置一个时间分区，按天同步日志，这样方便的实现后面的按天调度和计算任务，也可以提升查询效率）。...图7 数据同步任务开发 步骤二：基于ODPS数据库表的定时任务开发 步骤一基本上完成了数据在ODPS平台上的准备，如每日的用户行为数据和注册数据，下面所需的就是开发定时计算任务了（如计算每天的七日留存指标

2.7K60

洞察|淘宝大数据之路：回顾这些年淘宝大数据所经历过的故事

第三个阶段：MaxCompute(原ODPS)时代 就在Hadoop大量应用的同时，另外一个项目正在悄悄进行，那就是阿里云团队自主研发的ODPS系统，ODPS所有的代码都由阿里自己完成，在统一、安全、可管理...、能开放方面相比于Hadoop做了大量的完善，ODPS系统命名为云梯二，从2010年开始，在很长一段时间内，一直处于云梯一和云梯二并存的状态; 这期间，集团为更好的打造数据生态，成立了CDO，统一数据平台事业群...元数据血缘系统、数据质量管理系统、还有DQC等; 这个状态持续到2013年4月， 这时出现了一个新的挑战，Hadoop集群的上限是5000个节点，按照当时数据增长数据的推算，集群存储即将撞墙，但是基于当时的状况，ODPS...”，同时进行云梯一和云梯二的跨机房集群项目，当时世界上没有任何一家公司具备跨机房的能力，存在非常大的技术挑战，最后项目历经近5个月的周期，攻克大量技术难点，项目取得了成功; 在“5K项目”成功的同时，ODPS...架构逐步成熟，于是全集团又启动了一个规模更庞大的项目，叫做“登月项目”，将全集团的数据加工应用全部搬移到ODPS，项目一直持续到2015年，Hadoop正式下线，淘宝大数据彻底进入ODPS时代，整个数据的生态圈也越来越丰富

2.5K50

【Kotlin】标准库函数总结 ( apply 函数 | let 函数 | run 函数 | with 函数 | also 函数 | takeIf 函数 | takeUnless 函数 )

文章目录 一、apply 标准库函数 二、let 标准库函数 三、run 标准库函数 1、run 函数传入 Lambda 表达式作为参数 2、run 函数传入函数引用作为参数 四、with 标准库函数...五、also 标准库函数 六、takeIf 标准库函数 七、takeUnless 标准库函数 Kotlin 语言中 , 在 Standard.kt 源码中 , 为所有类型定义了一批标准库函数 , 所有的...Kotlin 类型都可以调用这些函数 ; 一、apply 标准库函数 ---- Kotlin 标准库函数 中的 apply 函数 , 该函数可以看作 实例对象 的 配置函数 , 传入 T.() ->...apply 函数与 let 函数的区别 : apply 函数的 返回值是 调用者 ; let 函数的 返回值是 Lambda 表达式的最后一行 ; let 函数原型 : /** * 调用以' this..., 在 let 函数中 , 将首字母变为大写 , 并返回 , let 函数返回的是 匿名函数 的最后一行 , 因此将 “Tom” 字符串 返回了 ; 如果将 let 函数换成 apply 函数 ,

1.7K10

strlen函数，strcat函数，strcpy函数，strncpy函数，strcmp函数

strcpy函数： char *strcpy(char *Dest , const char *Src)   {       assert((Dest != NULL) && (Src !...= '\0')           NULL;   return address;   }   strncpy函数： 利用标准库函数strncpy()，可以将一字符串的一部分拷贝到另一个字符串中...strncpy()函数有3个参数：第一个参数是目录字符串；第二个参数是源字符串；第三个参数是一个整数，代表要从源字符串拷贝到目标字符串中的字符数。...： strcmp函数是C/C++中基本的函数，它对两个字符串进行比较，然后返回比较结果，函数形式如下：     int strcmp(constchar*str1,constchar*str2);...无论两个字符串是什么样，strcmp函数最多比较到其中一个字符串遇到结束符'/0'为止，就能得出结果。

2.4K60

swift 函数（函数定义、函数调用、函数类型、嵌套函数）

函数的类型由函数的参数类型和返回类型组成 func add(_ a:Int, _ b:Int) -> Int { return a + b } 这个函数的类型是(Int, Int) -> Int...，返回Void类型的函数” 函数类型的使用 定义一个类型为函数的常量或变量，并将适当的函数赋值给它 func add(_ a:Int, _ b:Int) -> Int { return a +...函数类型作为返回值 定义了两个简单函数，分别是 sayHI(_:) 和 sayHello(_:),这两个函数的类型都是 (String) -> String。...之后在定义一个showResult(:) 的函数，它的返回类型是(String) -> String 类型的函数。...sayHI : sayHello } let show = showResult(true) print(show("world")) //HI world 嵌套函数 把函数定义在别的函数体中

12410

【JavaScript】函数 ① ( 函数引入 | 函数声明 | 函数调用 )

中 ; JavaScript 函数 是一段可以重复使用的代码块 , " 函数 " 可以 接受 若干输入参数 , 在 函数体 中进行 计算 或 执行操作，并返回 返回值 ; 借助 函数 可以 组织和重用代码..., 使代码更加清晰和易于维护 ; 函数 的 目的 就是 重复使用代码 ; 使用函数 就是 声明函数 和 调用函数 ; 2、函数声明 在 JavaScript 中 , 使用 function 关键字 声明函数...字符串 ; 3、函数调用 函数声明后 , 本身不会自动执行 函数体中的代码 , 只有 调用函数后 , 才会执行 函数体代码 ; 函数调用 语法格式 : functionName(argument1, argument2...是传递给函数的 实参列表 , 该 实参列表 与 函数定义的 形参列表一一对应 , 这些实际参数值值将替换函数定义中的形式参数 , 并在函数执行时 作为 函数体的 局部变量 使用 ; 4、代码示例 - 函数声明调用...在下面的代码中 , 定义了 hello 函数 , 传入 name 形参 , 在 函数体中 , 该形参可以作为局部变量使用 ; 调用 hello() 函数时 , 传入 实参 'Tom' 字符串 , 在函数体中会向

9210

函数|匿名函数|偏函数|装饰器函数

文章目录 1、 函数递归 2、 函数变量赋值 3、 参数中的函数 4、 匿名函数 5、 返回值中的函数：闭包 6、 偏函数 7、装饰器函数处理 1、 函数递归 函数的递归，就是让在函数的内部调用函数自身的情况...，这个函数就是递归函数。...2、 函数变量赋值 函数，是一种操作行为 函数名称，其实是这种操作行为赋值的变量 调用函数，其实是通过这个赋值的变量加上一堆圆括号来进行函数的执行 # 定义了一个函数，函数命名为printMsg def...3、 参数中的函数 函数作为一个对象，我们同样可以将函数当成一个实际参数传递给另一个函数进行处理 # 系统内置求绝对值函数abs()，赋值给变量f f = abs; # 定义一个函数，用于获取两个数据绝对值的和...5、 返回值中的函数：闭包 函数作为对象，同样也可以出现在返回值中，其实就是在函数中又定义了另外的函数 在一个函数中定义并使用其他的函数，这样的方式在不同的编程语言中有不同的管理方式，在Python中

1.3K10

【Flutter】Dart 函数 ( 函数构成 | 私有函数 | 匿名函数 | 函数总结 )

文章目录 一、Dart 函数构成 二、Dart 私有函数 三、Dart 匿名函数 四、完整代码示例 五、Dart 方法总结 六、 相关资源 一、Dart 函数构成 ---- Dart 函数构成 : 方法名...参数类型 , 参数名 ; ② 类型缺省 : 参数类型可以缺省 ; ③ 参数分类 : 可选参数 , 默认参数 ; 标准方法示例 : /// 标准方法 /// 返回值是 int 类型 /// 函数名是...sum /// 参数是 int num1, int num2 int sum(int num1, int num2){ return num1 + num2; } 二、Dart 私有函数...标识该方法是私有方法 ; 私有方法示例 : /// 该方法是私有方法 int _minus(int num1, int num2){ return num1 - num2; } 三、Dart 匿名函数...list.indexOf(i)); } ); } 四、完整代码示例 ---- class Function{ /// 标准方法 /// 返回值是 int 类型 /// 函数名是

1.7K00

得物App万米高空WiFi拦截记

rand() 随机数的生成规律跟数学概率有莫大的关系，尤其在算法中，会被经常性问到，给定随机生成的N个数，构造等概率事件的发生器，跑题了，继续说回在hive 或odps 场景下，rand() 函数是随机生成的...Hive 和odps 场景中，随机函数多与pmod()、mod()、floor()、ceil() 等函数结合使用，可以根据不同的业务场景，来构造任意范围内的随机整数，比如在处理数据重分发解决数据倾斜的问题时...UDTF函数来支持，可以支撑任意膨胀量级的数据进行膨胀。...只需要构造膨胀区间对应的随机函数即可，还是需要用到Rand()函数来实现。 数据膨胀方式带来的问题： 在解决了数据倾斜重新打散的问题之后，在计算层面会增加一定的数据计算量。...社区版hive 如下所示，我们的ODPS 下，大家无需太多关注，这部分做技术扩展和了解即可。 图片图片 FROM使用（一读多写） FROM也是本人在实际研发中遇到多路输出时采用比较多的一种手段之一。

29400

得物数据研发优化策略

rand() 随机数的生成规律跟数学概率有莫大的关系，尤其在算法中，会被经常性问到，给定随机生成的N个数，构造等概率事件的发生器，跑题了，继续说回在hive 或odps 场景下，rand() 函数是随机生成的...Hive 和odps 场景中，随机函数多与pmod()、mod()、floor()、ceil() 等函数结合使用，可以根据不同的业务场景，来构造任意范围内的随机整数，比如在处理数据重分发解决数据倾斜的问题时...UDTF函数来支持，可以支撑任意膨胀量级的数据进行膨胀。...只需要构造膨胀区间对应的随机函数即可，还是需要用到Rand()函数来实现。 数据膨胀方式带来的问题： 在解决了数据倾斜重新打散的问题之后，在计算层面会增加一定的数据计算量。...社区版hive 如下所示，我们的ODPS 下，大家无需太多关注，这部分做技术扩展和了解即可。 图片图片 FROM使用（一读多写） FROM也是本人在实际研发中遇到多路输出时采用比较多的一种手段之一。

47030
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券