首页
学习
活动
专区
工具
TVP
发布

最新最全的大数据技术体系

专栏成员
751
文章
643069
阅读量
35
订阅数
数据结构填空题专项.docx
4. 在包含 n 个元素的顺序表中删除一个元素,需要平均移动 (n-1)/2 个元素,其中具体移动的元素个数与 所删除元素索引 有关。
Maynor
2024-05-26
520
数据结构基础题复习
分析:看下图,表中每一行(相当于结点中每一个结点)就是一个数据元素;数据元素中的每一项,比如张三的数学分析是90分就是一个数据项;整个表格是一个数据对象,它代表的都是学生的信息(具有相同性质的数据元素的集合)。
Maynor
2024-05-26
960
FastGPT知识库结构讲解
本节会详细介绍 FastGPT 知识库结构设计,理解其 QA 的存储格式和多向量映射,以便更好的构建知识库。这篇介绍主要以使用为主,详细原理不多介绍。
Maynor
2024-05-26
6990
下一代实时数据库:Apache Doris 【七】数据模型
Doris 的数据模型主要分为 3 类:Aggregate 、Uniq 、Duplicate
Maynor
2023-12-20
3890
下一代实时数据库:Apache Doris 【六】数据划分
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型, 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。
Maynor
2023-12-19
2760
手把手做一个公众号GPT智能客服(三)客服消息
https://developers.weixin.qq.com/doc/offiaccount/Message_Management/Service_Center_messages.html
Maynor
2023-09-28
2760
下一代实时数据库:Apache Doris 【五】数据表的创建
一张表包括行(Row)和列(Column)。Row 即用户的一行数据。Column 用于描述一
Maynor
2023-09-25
4100
助力工业物联网,工业大数据之服务域:项目总结【三十九】
开启动态分区裁剪:自动在Join时对两边表的数据根据条件进行查询过滤,将过滤后的结果再进行join
Maynor
2023-08-24
2180
流数据湖平台Apache Paimon(一)概述
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合,推出新一代的 Streaming Lakehouse 技术,促进数据在数据湖上真正实时流动起来,并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store (简称 FTS )子项目,一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日,FTS进入 Apache 软件基金会 (ASF) 的孵化器,改名为 Apache Paimon (incubating)。
Maynor
2023-07-31
2.2K0
Hudi:数据湖技术引领大数据新风口
Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发,同时保持数据的开源文件格式。
Maynor
2023-07-25
6910
助力工业物联网,工业大数据之分层总体设计【六】
Oracle:hostname、port、username、password、sid
Maynor
2023-02-17
5130
金三银四V2.0之大数据面试常见的10个问题
面试官你好,我是面试咱们公司大数据开发实习岗位的xxx,曾就读于xx学校数据科学与大数据专业,2022年毕业。
Maynor
2023-02-01
9310
大数据物流项目:Kudu 入门使用(五)
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则,如下图:
Maynor
2022-11-30
1.1K0
Hive的基本知识(一)
💃 Hive架构 📷 💃Hive 组件 用户接口:包括 CLI、JDBC/ODBC、WebGUI。其中,CLI(command line interface)为shell命令行; Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBC或ODBC协议。WebGUI是 通过浏览器访问Hive。 元数据存储:通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 Dri
Maynor
2022-05-08
3790
大数据开发岗面试30天冲刺 - 日积月累,每日五题【Day01】——Hive1
Hive 和数据库除了拥有类似的查询语言,再无类似之处。 1)数据存储位置 Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。 2)数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的, 3)执行延迟 Hive 执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优势。 4)数据规模 Hive支持很大规模的数据计算;数据库可以支持的数据规模较小。
Maynor
2022-05-08
3450
hive 内部表和外部表的区别
未被 external 修饰的是内部表(managed table),被 external 修饰的为外部表 (external table)
Maynor
2022-05-08
1K0
大数据面试题百日更新_Hive专题(Day13)
查询语言不同,传统数据库用的是SQL语句,hive是集成的HQL语句. 数据存储地方不同,不同于传统数据库存储在原始设备或本地文件系统(Raw Device or Local FS),Hive 存储在HDFS. 执行方式不同,传统数据库是Excutor单元执行,hive是MapReduce 同时hive执行延迟高,处理数据规模大,无索引(0.8版本后才加入位图索引,mysql有复杂的索引),都是hive与传统的区别.
Maynor
2022-05-08
2440
知行大数据分析平台需求说明
尽管学校多年的信息化应用积累了大量的数据,但信息孤岛的壁垒一直没有打破,对这些数据无法进一步的挖掘、分析、加工、整理,不能给学校教育、教学、研发、总务等各方面管理决策提供科学、有效的数据支撑。目前的公司现状:
Maynor
2022-05-03
7710
大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理
索引服务是数据摄入创建和销毁Segment的重要方式,Druid提供一组支持索引服务(Indexing Service)的组件,即Overlord和MiddleManager节点。
Maynor
2022-04-21
6070
今日指数项目之数据实时业务开发(需求说明)【九】
秒级行情(Hbase):存储5日内秒级行情,数据量为2.88亿条 分时行情(Druid):存储半年内分时行情数据,数据量为8.64亿条; 历史数据(Hive数仓):以沪深市场2万只证券,存储时间按1年统计: 秒级行情: 210亿条以上 分时行情: 20亿条以上 K线: 1500万条以上
Maynor
2022-04-18
2870
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档