首页
学习
活动
专区
工具
TVP
发布

桥路_大数据

专栏作者
179
文章
228692
阅读量
36
订阅数
MySQL数据导出导出的三种办法(13/16)
在选择使用哪种方法时,还需要考虑数据的大小、是否需要跨平台迁移、是否有权限访问服务器文件系统、是否需要保留表结构等因素。通常,如果需要快速迁移大量数据并且对数据的完整性有高要求,物理拷贝表空间是一个好选择。如果数据量较小或者需要跨平台迁移,使用mysqldump或导出CSV文件可能更合适。
十里桃花舞丶
2024-04-12
830
MPP技术的优势与严重缺陷
MPP代表"Massively Parallel Processing",是一种计算机架构,旨在通过分布式处理来实现大规模数据处理和分析。它使用多个处理器或计算节点同时工作,以加快数据处理速度和提高性能。MPP架构通常用于处理海量数据的应用程序,如数据仓库、商业智能和大数据分析。
十里桃花舞丶
2023-10-16
3690
大数据技术生态全景一览
大数据有很多的产品,琳琅满目。从架构图上就能看出产品很多。这些产品它们各自的功能是什么,它们又是怎么样相互配合来完成一整套的数据存储,包括分析计算任务。这里要给大家进行一个讲解与分析。
十里桃花舞丶
2023-10-16
3720
大数据技术为何诞生,它究竟解决了哪些问题?
大数据是什么?其实大数据是满足数据达到海量这个规模以后,对这部分数据要完成存储包括计算的一种技术。
十里桃花舞丶
2023-10-16
2780
【原理】数据模型&系统架构
HBase表,本质是以Key-Value的方式存储,然后使用二维表的形式进行组织。每张表都属于一个NameSpace(命名空间)之下,它是对表的逻辑分组,类似于关系数据库中的Database;利用命名空间,在多租户场景下可做到更好的资源和数据隔离。
十里桃花舞丶
2021-12-06
5920
【简介】分布式NoSQL数据库
NoSQL是一些分布式非关系型数据库的统称,它采用非关系的数据模型,弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制,可能无法支持,或不能完整的支持SQL语句。
十里桃花舞丶
2021-12-06
9200
SQL DDL:基本操作
Hive DDL根据操作对象的不同可分为:数据库操作、表的基本操作、表的高级操作、函数操作。
十里桃花舞丶
2021-09-10
2710
【微课】MySQL快速解除死锁
其中DML锁是因为SQL执行异常,导致更新事务无法提交,如更新语句中的查询语句无索引,造成全表扫描而阻塞。
十里桃花舞丶
2021-02-05
8630
Hive Schema Tool元数据运维
较早的Hive版本,不会在MetaStore中写入版本号。所以升级到新版本之后,会报错:
十里桃花舞丶
2021-01-07
1.5K0
实时数仓:Kappa架构
上一期讲了Lambda架构,对于实时数仓而言,Lmabda架构有很明显的不足,首先同时维护两套系统,资源占用率高,其次这两套系统的数据处理逻辑相同,代码重复开发。
十里桃花舞丶
2021-01-06
6.1K0
实时数仓:流式数据建模
数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。
十里桃花舞丶
2021-01-06
1.3K0
【项目实战】架构设计&环境规划
根据企业的需求,业务数据存储在 MySQL 中,选择 Sqoop 作为 ETL 工具,HDFS 临时保存 Sqoop 抽取的数据。数据仓库部分选择主流的 Hive,并使用 Tez 进行优化;其中 ADS 层的数据会导出到 MySQL 中,便于前端业务进行快速调用。使用 Presto 作为快速查询的工具,Azkaban 作为调度工具。
十里桃花舞丶
2020-09-24
3820
【课后作业】ADS 层数据导出
在 MySQL 节点(Node02)的 /home/warehouse/sql 目录下编写 mysql_gmv_ddl.sql,创建数据表:
十里桃花舞丶
2020-09-24
7840
【课后作业】Azkaban 自动化调度
最后,将完成的 Shell 脚本交由 Azkaban 进行自动化调度。具体步骤讲解如下。
十里桃花舞丶
2020-09-24
3450
【项目实战】ADS 层数据导出
为了业务系统进行更快速的查询,需要将 ADS 层的结果数据导出到 MySQL 中,这个过程因为涉及到数据流转,所以需要通过 ETL 工具 Sqoop 来进行。
十里桃花舞丶
2020-09-24
8970
【项目实战】ODS 层创建&数据接入
此时已经将数据从 MySQL 中导入到 HDFS 中了,接下来就需要将数据导入到数据仓库的 ODS 层中,完成原始数据的存储。
十里桃花舞丶
2020-09-24
1.5K0
Python3将API返回的bytes解码为str
如果将这种类型的字串直接存入到数据库的话,从数据库中读取出的字串进行操作会出现问题,比如上面的字串直接进行解析的话会直接报错,原因是str存着的实际上是一串没有解码的bytes。所以存入数据库时,要对bytes进行解码的操作。各位看官,详细操作请往下看。
十里桃花舞丶
2019-02-20
8040
CentOS7安装mysql
https://dev.mysql.com/downloads/repo/yum/
十里桃花舞丶
2019-02-20
26.7K0
CentOS7, mysql主从同步数据库配置
前言     最近免费试用了一下云服务器,然后在两台服务器上安装了Mysql并搭建了主从同步数据库。mysql数据库的安装,大家可以去查看我的另一篇博客文章,下面为大家介绍搭建步骤及原理。 原理     mysql主节点即master节点在每次对数据库执行操作后会将操作写入到本地的二进制日志(binary log)中,从节点slave会使用I/O Thread线程去监听和读取主节点的binary log数据,如果有修改,则更新自己的Relay log日志,然后使用SQL thread线程将Relay log
十里桃花舞丶
2018-05-17
2.2K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档