腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

黑泽君的专栏

专栏作者

708

文章

1689621

阅读量

102

订阅数

大数据技术之_28_电商推荐系统项目_02

云计算 scala mongodb 数据库

离线推荐服务建设 + 实时推荐服务建设 + 基于隐语义模型的协同过滤推荐（相似推荐）+ 基于内容的协同过滤推荐（相似推荐）+ 基于物品的协同过滤推荐（相似推荐）

2019-06-15

4.3K0

大数据技术之_26_交通状态预测项目_01

kafka bash bash 指令 scala 腾讯云测试服务

该项目以车辆预测为基础，学习业务解决的方法论。学习完本项目后，可以解决如下问题或适用于如下业务场景： 1、公路堵车预测 2、地铁人流量预测 3、共享单车聚集点预测等等

2019-05-30

1.1K0

大数据技术之_19_Spark学习_06_Spark 源码解析小结

spark scala rpc java

1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间无法通信，即 akka 兼容性问题。 2、RpcEnv：RPC 上下文环境，每个 Rpc 端点运行时依赖的上下文环境称之为 RpcEnv。类似于 SparkContext，默认由 NettyRpcEnv 实现，由 NettyRpcEnvFactory 创建 RpcEnv。 3、RpcEndpoint：RPC 端点，Spark 针对于每个节点（Client/Master/Worker）都称之一个 Rpc 端点且都实现 RpcEndpoint 接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询问）则调用 Dispatcher。代理是 RpcEndpointRef。 4、Dispatcher：消息分发器，针对于 RPC 端点需要发送消息或者从远程 RPC 接收到的消息，分发至对应的指令收件箱/发件箱。 5、Inbox：指令消息收件箱，一个本地端点对应一个收件箱，Dispatcher 在每次向 Inbox 存入消息时，都将对应 EndpointData 加入内部待 Receiver Queue 中。 6、OutBox：指令消息发件箱，一个远程端点对应一个发件箱，当消息放入 Outbox 后，紧接着将消息通过 TransportClient 发送出去。 7、TransportClient：Netty 通信客户端，主要负责将相对应的 OutBox 中的数据发送给远程 TransportServer。 8、TransportServer：Netty 通信服务端，主要用于接收远程 RpcEndpoint 发送过来的消息，并把消息传送给 Dispatcher。

2019-05-14

5140

大数据技术之_16_Scala学习_08_数据结构(下)-集合操作+模式匹配

scala 编程算法

第十一章数据结构(下)-集合操作11.1 集合元素的映射-map11.1.1 map 映射函数的操作11.1.2 高阶函数基本使用案例1+案例211.1.3 使用 map 映射函数来解决11.1.4 模拟实现 map 映射函数的机制11.1.5 课堂练习11.2 集合元素的扁平-flatMap11.3 集合元素的过滤-filter11.4 集合元素的化简-reduce11.5 集合元素的折叠-fold11.6 集合元素的扫描-scan11.7 集合的综合应用案例11.8 集合的合并-zip11.9 集合的迭代器-iterator11.10 流-Stream11.11 视图-view11.12 线程安全的集合11.13 并行集合11.14 操作符第十二章模式匹配12.1 match12.2 守卫12.3 模式中的变量12.4 类型匹配12.5 数组匹配12.6 列表匹配12.7 元组匹配12.8 对象匹配12.9 变量声明中的模式12.10 for表达式中的模式12.11 样例(模板)类12.12 case 语句的中置(缀)表达式12.13 匹配嵌套结构12.14 密封类

2019-04-18

1.6K0

大数据技术之_16_Scala学习_12_设计模式+泛型、上下界、视图界定、上下文界定、协变逆变不变

第十七章设计模式17.1 学习设计模式的必要性17.2 掌握设计模式的层次17.3 设计模式的介绍17.4 设计模式的类型17.5 简单工厂模式(生产类)17.5.1 基本介绍17.5.2 看一个具体的需求17.5.3 使用传统的方式来完成17.5.4 使用简单工厂模式来完成17.6 工厂方法模式(生产方法)17.6.1 看一个新的需求17.6.2 工厂方法模式介绍17.6.3 工厂方法模式应用案例17.7 抽象工厂模式(生产类)17.7.1 基本介绍17.7.3 抽象工厂模式应用案例17.8 工厂模式小结17.9 单例模式17.9.1 什么是单例模式+单例模式的应用场景17.9.2 单例模式的应用案例-懒汉式17.9.2 单例模式的应用案例-饿汉式17.10 装饰者模式(Decorator)17.10.1 看一个具体的需求17.10.2 方案1-较差的方案+小结和分析17.10.3 方案2-好点的方案+小结和分析17.10.4 装饰者模式原理17.10.5 装饰者模式定义17.10.6 用装饰者模式设计重新设计的方案17.10.7 装饰者模式咖啡订单项目应用实例17.10.8 Java 中装饰者模式的经典使用17.11 观察者模式(Observer)17.11.1 看一个具体的需求17.11.2 气象站设计方案1-普通方案17.11.3 观察者模式原理17.11.4 气象站设计方案2-观察者模式17.11.5 Java 内置观察者模式17.12 代理模式(Proxy)17.12.1 代码模式的基本介绍17.12.2 看一个具体的需求17.12.3 完成监控本地糖果机17.12.4 完成监控远程糖果机17.12.6 Java RMI实现远程代理17.12.7 使用远程代理模式完成远程糖果机监控17.12.8 动态代理17.12.9 几种常见的代理模式介绍-几种变体第十八章泛型、上下界、视图界定、上下文界定、协变逆变不变18.1 泛型18.2 类型约束-上界(Upper Bounds)/下界(Lower Bounds)18.3 类型约束-视图界定(View Bounds)18.4 类型约束-上下文界定(Context Bounds)18.5 协变、逆变和不变

2019-04-18

7940

大数据技术之_16_Scala学习_11_客户信息管理系统+并发编程模型 Akka+Akka 网络编程-小黄鸡客服案例+Akka 网络编程-Spark Master Worker 进程通讯项目

scala tcp/ip maven

模拟实现基于文本界面的《客户信息管理软件》。该软件 scala 能够实现对客户对象的插入、修改、删除、显示、查询（用 ArrayBuffer 或者 ListBuffer 实现），并能够打印客户明细表。

2019-04-17

1.8K0

大数据技术之_16_Scala学习_07_数据结构(上)-集合

scala java hashmap 编程算法

　　1、Set、Map 是 Java 中也有的集合。　　2、Seq 是 Java 中没有的，我们发现 List 归属到 Seq 了，因此这里的 List 就和 java 不是同一个概念了。　　3、我们前面的 for 循环有一个 1 to 3，就是 IndexedSeq 下的 Vector。　　4、String 也是属于 IndexeSeq。　　5、我们发现经典的数据结构，比如Queue 和 Stack 被归属到 LinearSeq。　　6、大家注意 Scala 中的 Map 体系有一个SortedMap，说明 Scala 的 Map 可以支持排序。　　7、IndexSeq 和 LinearSeq 的区别　　IndexSeq 是通过索引来查找和定位，因此速度快，比如 String 就是一个索引集合，通过索引即可定位。　　LineaSeq 是线型的，即有头尾的概念，这种数据结构一般是通过遍历来查找，它的价值在于应用到一些具体的应用场景(比如：电商网站，大数据推荐系统：最近浏览的10个商品)。

2019-04-09

1.2K0

大数据技术之_16_Scala学习_04_函数式编程-基础+面向对象编程-基础

java 面向对象编程编程算法 scala

第五章函数式编程-基础5.1 函数式编程内容说明5.1.1 函数式编程内容5.1.2 函数式编程授课顺序5.2 函数式编程介绍5.2.1 几个概念的说明5.2.2 方法、函数、函数式编程和面向对象编程关系分析图5.2.3 函数式编程小结5.3 为什么需要函数5.4 函数的定义5.4.1 函数的定义5.4.2 快速入门案例5.5 函数的调用机制5.5.1 函数的调用过程5.5.2 函数的递归调用5.5.3 递归练习题5.6 函数注意事项和细节讨论5.7 函数练习题5.8 过程5.8.1 基本概念5.8.2 注意事项和细节说明5.9 惰性函数5.9.1 看一个应用场景5.9.2 画图说明（大数据推荐系统）5.9.3 Java 实现懒加载的代码5.9.4 惰性函数介绍5.9.5 案例演示5.9.6 注意事项和细节5.10 异常5.10.1 介绍5.10.2 Java 异常处理回顾5.10.3 Java 异常处理的注意点5.10.4 Scala 异常处理举例5.10.5 Scala 异常处理小结5.11 函数的练习题第六章面向对象编程-基础6.1 类与对象6.1.1 Scala 语言是面向对象的6.1.2 快速入门-面向对象的方式解决养猫问题6.1.3 类和对象的区别和联系6.1.4 如何定义类6.1.5 属性6.1.6 属性/成员变量6.1.7 属性的高级部分6.1.8 如何创建对象6.1.9 类和对象的内存分配机制（重要）6.2 方法6.2.1 基本说明和基本语法6.2.2 方法的调用机制原理6.2.3 方法练习题6.3 类与对象应用实例6.4 构造器6.4.1 看一个需求6.4.2 回顾-Java 构造器的介绍+基本语法+特点+案例6.4.3 Scala 构造器的介绍+基本语法+快速入门6.4.4 Scala 构造器注意事项和细节6.5 属性高级6.5.1 构造器参数6.5.2 Bean 属性6.6 Scala 对象创建的流程分析6.7 作业03

2019-04-09

2K0

大数据技术之_16_Scala学习_02_变量

scala 编程算法 java 数据结构

第二章变量2.1 变量是程序的基本组成单位2.2 Scala 变量的介绍2.2.1 概念2.2.2 Scala 变量使用的基本步骤2.3 Scala 变量的基本使用2.4 Scala 变量使用说明2.4.1 变量声明基本语法2.4.2 注意事项2.5 Scala 程序中 +号的使用2.6 Scala 数据类型2.6.1 scala 数据类型体系一览图2.6.2 scala 数据类型列表2.7 整数类型2.7.1 基本介绍2.7.2 整型的类型2.7.3 整型的使用细节2.8 浮点类型2.8.1 基本介绍2.8.2 浮点型的分类2.8.3 浮点型使用细节2.9 字符类型：Char2.9.1 基本介绍2.9.2 案例演示2.9.3 字符类型使用细节2.9.4 字符类型本质探讨2.10 布尔类型：Boolean2.11 Unit 类型、Null 类型和 Nothing 类型2.11.1 基本说明2.11.2 使用细节和注意事项2.12 值类型转换2.12.1 值类型隐式转换2.12.2 自动类型转换细节说明2.12.3 高级隐式转换和隐式函数2.12.4 强制类型转换2.13 值类型转换练习题2.14 值类型和 String 类型的转换2.14.1 介绍2.14.2 基本数据类型转 String 类型2.14.3 String 类型转基本数据类型2.14.4 注意事项2.15 标识符的命名规范2.15.1 标识符概念2.15.2 标识符的命名规则(要记住)2.15.3 标识符举例说明2.15.4 标识符命名注意事项2.15.5 Scala 关键字2.16 作业01

2019-04-09

1.2K0

大数据技术之_16_Scala学习_01_Scala 语言概述

scala ide jvm java

第一章 Scala 语言概述1.1 why is Scala 语言?1.2 Scala 语言诞生小故事1.3 Scala 和 Java 以及 jvm 的关系分析图1.4 Scala 语言的特点1.5

2019-04-09

9030

大数据技术之_16_Scala学习_03_运算符+程序流程控制

编程算法 scala java

运算符是一种特殊的符号，用以表示数据的运算、赋值和比较等。 1、算术运算符 2、赋值运算符 3、比较运算符(关系运算符) 4、逻辑运算符 5、位运算符

2019-03-29

1.2K0

从Java的前景与就业情况看，Java是你首选的编程语言，没有之一

java python go scala kotlin

原文链接：https://zhuanlan.zhihu.com/p/35011523

2018-10-11

8540

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态