腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

git

专栏作者

86

文章

79691

阅读量

14

订阅数

李刚+第一次作业

缓存架构设计压力测试大数据数据安全

我个人对中台的理解：我理解的数据中台不只是把各个子系统集成起来，应该还有计算平台（离线和实时的），还有调度平台，指标，权限，集群监控等等的一个集合。同步架构还是异步架构是一种计数手段，具体使用哪种取决于实际应用场景。数据中台使用场景很丰富，所以两种架构应该都有使用。

2022-03-30

1730

spark作业-源码分析

core join rdd shuffle

b.默认分区器，对于第一个join会返回一个以电脑core总数为分区数量的HashPartitioner.第二个join会返回我们设定的HashPartitioner(分区数目3)

2021-12-28

2080

1 将sample.log的数据发送到Kafka中，经过Spark Streaming处理，将数据格式变为以下形式： commandid | houseid | gathertime | srcip | destip |srcport| destport | domainname | proxytype | proxyip | proxytype | title | content | url | logid 在发送到kafka的另一个队列中要求： 1、sample.log => 读文件，将数

2021-12-28

2950

shell脚本分发

for ((host = 101 ; host < 104 ; host ++ )) ; do

2021-12-28

1790

大数据篇---ClickHouse学习第一部分概述

第一部分概述 *** ClickHouse是一个快速开源的OLAP数据库管理系统，它是面向列的，允许使用SQL查询实时生成分析报告*** 随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越大，有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节。当然近两年开启的开源大潮，为大数据分析工程师提供了十分富余的工具。但这同时也增加了开发者选择合适的工具的难度，尤其对于新入行的开发者来说。学习成本，框架的多样化和复杂度成了很大的难题。例如kafka,hdfs,spark,hive

2021-05-06

4640

大数据高速计算引擎Spark

spark mapreduce yarn hadoop node.js

从狭义的角度上看：Hadoop是一个分布式框架，由存储、资源调度、计算三部分组成； Spark是一个分布式计算引擎，由 Scala 语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎；从广义的角度上看，Spark是Hadoop生态中不可或缺的一部分；

2021-03-15

7780

大数据--scala学习第一章：基础第二章：控制结构和函数第三章：数组第四章：字典和元组第五章：类第六章：对象第七章：包和引入第八章：继承第九章文件和正则表达式第十章特质：接口第十一章操作符第十二章函

正则表达式 actor 泛型

第一章：基础 1、声明变量：val name1，name2: String=”hello” val不可变变量，var可变。 2、常用类型：Byte、Char、Short、Int、Long、Float、Double、Boolean。但是不像Java这里是是实实在在的类，具有方法。 3、+-*/等操作符其实是方法:a + b类似于a.+(b).Scala中可以将方法调用的.省略：如1.to(10) 类似于1 to 10。 4、没有++操作符，因为Scala中大部分的算术类型都是不可变的如Int类型。 5、Sca

2021-03-04

4.4K0

企业电商离线数仓项目实战第一部分数据仓库理论1.5 元数据第二部分电商离线数仓设计第三部分电商分析之--会员活跃度第四部分电商分析之--广告业务

数据仓库(DataWarehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化的(Time Variant)数据集合，用于支持管理决策(Decision-Making Support)

2021-02-04

4740

大数据--kafka学习第一部分 Kafka架构与实战

kafka api node.js

每个集群都有一个broker是集群控制器（自动从集群的活跃成员中选举出来）控制器负责管理工作：将分区分配给broker 监控broker 集群中一个分区属于一个broker，该broker称为分区首领。一个分区可以分配给多个broker，此时会发生分区复制。分区的复制提供了消息冗余，高可用。副本分区不负责处理消息的读写。

2021-01-13

5320

大数据篇---redis学习Redis安装Redis启动redis集群搭建

云数据库 Redis 打包

Redis安装 1 第一步：安装 C 语言需要的 GCC 环境 yum install -y gcc-c++ yum install -y wget 第二步：下载并解压缩 Redis 源码压缩包 wg

2020-12-22

8380

大数据篇---ZooKeeper+ HBase学习1. Zookeeper简介2. Zookeeper环境搭建

ZK也是Master/slave架构，但是与之前不同的是zk集群中的Leader不是指定而来，而是通过选举产生。

2020-11-25

3830

大数据篇---Impala学习第 1 部分 Impala概述第 2 部分 Impala 安装与⼊⻔案例第 3 部分 Imapla的架构原理第 4 部分 Impala的使用

shell hive 数据库 sql 云推荐引擎

invalidate metadata全量刷新，性能消耗较⼤，主要⽤于hive当中新建数据库或者数据库表的时候来进⾏刷新。

2020-11-25

9350

大数据篇---hive学习第一部分 Hive概述

hive python sql 全文检索

如果你使用的是centOS系统，或者支持yum的系统，那么可以通过如下方式进行安装：

2020-11-24

4080

大数据篇---hadoop学习一、搭建hadoop环境(centos7)二、hadoop知识点

unix hadoop yarn mapreduce tcp/ip

大咖揭秘Java人都栽在了哪？点击免费领取《大厂面试清单》，攻克面试难关~>>>

2020-11-13

4430

Python3 的面向对象

# 面向对象 import abc from enum import Enum, unique @unique # unique确保无重复值 class Weekday(Enum): """ 枚举类 """ # 左边为name，右边为value Sun = 0 Mon = 1 Tue = 2 Wed = 3 Thu = 4 Fri = 5 Sat = 6 class Person(metaclass=abc

2020-10-26

3100

Java_web 学习1 Maven安装和使用2 mybatis的配置文件的详解mybatis缓冲mybatis注解延迟加载${} 与 #{} 区别【笔试题】

maven jar xml sql mybatis

1 Maven安装和使用 1.1 下载 Maven官网下载地址：http://maven.apache.org/download.cgi 1.2 安装 Maven使用java语言开发的，解压即可运行注意：maven依赖 JAVA_HOME 1.3 目录 bin：存放了 maven 的命令 boot：存放了一些 maven 本身的引导程序，如类加载器等 conf：存放了 maven 的一些配置文件，如 setting.xml 文件 lib：存放了 maven 本身运行所需的一些

2020-10-26

3910

查看当前在那个分支 git branch 创建分支并切换分支 git checkout -b chart 查看栈存区修改的文件 git status 添加代码到栈存区 git add . 提交代码到仓库中 git commit -m "xxx" 提交代码到远程仓库 git push -u origin chart 把分支的代码合并到master分支 git checkout master ---切换master分支 git merge chart.

2020-10-26

2310

Python3面试--300题

django 云数据库 Redis python flask

再将以上二进制拼接起来计算十进制结果：00001010 00000011 00001001 00001100 = ？

2020-05-18

3.6K0

模式登陆的两种方式

selenium jwt request session 登录

模式登陆的两种方式 1.request+session 1.1: import requests from urllib.parse import urljoin BASE_URL = "https://login2.scrape.cuiqingcai.com" LOGIN_URL = urljoin(BASE_URL, '/login') INDEX_URL = urljoin(BASE_URL, '/page/1') USERNAME = "admin" PASSWORD = "admin" r

2020-05-06

5610

99题--Python闯关

编程算法 python https 网络安全

5、分别统计列表 [True,False,0,1,2] 中 True,False,0,1,2的元素个数，发现了什么？

2020-05-04

1.5K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态