首页
学习
活动
专区
工具
TVP
发布

大数据-BigData

大数据系列文章,涵盖离线数仓、实时数仓等文章
专栏作者
347
文章
419073
阅读量
36
订阅数
Langchain入门
LangChain 是一个用于开发由语言模型支持的应用程序的框架。 它使应用程序能够:
从大数据到人工智能
2023-12-11
3530
flink datastream api实现数据实时写入hudi
Apache Hudi(发音为“hoodie”)是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据集群/压缩优化和并发性,同时将您的数据保持为开源文件格式。
从大数据到人工智能
2023-10-18
5710
深入探究kubernetes resources – Part 1
在开始使用 Kubernetes 时,社区教给我们的第一件事就是始终为我们 pod 中的每个容器设置 CPU 和内存的请求和限制。
从大数据到人工智能
2023-10-18
1430
深入探究kubernetes resources – Part 2
在上一篇文章中,我谈到了 Kubernetes 资源管理的基础。 在这篇文章中,我们将深入探讨当我们将 CPU 请求配置到 pod 的容器时幕后发生的事情。
从大数据到人工智能
2023-10-18
1300
debezium采集MySQL CDC指南
Debezium 是一个开源的分布式平台,用于捕获数据库的变更数据(Change Data Capture,CDC)。它支持多种数据库,包括 MySQL。下面我们详细说一下如何进行配置。
从大数据到人工智能
2023-10-18
3750
Flink SQL Gateway提交任务到flink on k8s集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例,介绍一种在K8s中启动Flink SQL Gateway,并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
4980
Flink SQL Gateway提交任务到flink on k8s集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例,介绍一种在K8s中启动Flink SQL Gateway,并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
5370
Alluxio权限体系
当alluxio.security.authentication.type 被设置为SIMPLE时,身份验证被启用。 在客户端访问Alluxio服务之前,该客户端将按以下列次序获取用户信息以汇报给Alluxio服务进行身份验证:
从大数据到人工智能
2023-10-18
2800
Harbor镜像仓库安装指南
Harbor 是一个开源的企业级容器镜像注册中心和仓库管理系统。它提供了一个安全可靠的平台,用于存储、分发和管理容器镜像。以下是 Harbor 的基本介绍:
从大数据到人工智能
2023-10-18
3450
程序员不能不知道的13个AI开发工具
随着人工智能的进步,开发行业已经发展到了新的水平。 目前,人工智能工具在开发者中很受欢迎,因为它正在迅速重塑开发行业。
从大数据到人工智能
2023-10-18
1.1K0
使用 Kubernetes 进行蓝绿部署
蓝绿部署是一种用于设置两个相同环境的软件部署技术。 服务实时流量的活动环境称为蓝色环境,空闲环境称为绿色环境。 新版本软件部署在绿色环境中,经过测试验证正常后,流量从蓝色环境转移到绿色环境。 这种方法可确保部署期间的零停机时间,并提供一种快速、简单的方法来在出现问题时进行回滚。
从大数据到人工智能
2023-10-18
2980
Kubernetes 1.28:Sidecar 容器、Job和Proxy的新功能
Kubernetes 1.28 现已发布,具有 44 项新的或改进的增强功能! 此版本包含许多主要功能,例如对 sidecar 容器的内置支持、作业优化和更好的代理。 这些新功能可以帮助您提高 Kubernetes 集群的性能、效率和安全性。
从大数据到人工智能
2023-10-18
4230
OPPO 大数据诊断平台“罗盘”正式开源
OPPO 大数据平台目前有 20+个服务组件,数据量超 1EB,离线任务数近百万,实时任务数千,数据开发分析师超千人。这也带来了系统复杂度的问题,一方面是用户经常对自己的任务运行状况“摸不着头脑”,不管是性能问题,还是参数配置问题,甚至是一些常见的权限报错问题,都需要咨询平台给出具体的解决方案;另一方面是平台面对各类繁杂任务,运维人员经常需要对任务故障定位和排除,由于任务链路长,组件日志多,运维压力大。因此急需对任务进行实时监控和诊断,不仅要能够帮助用户快速定位异常问题,还需给出具体的建议和优化方案,同时还能治理各类“僵尸”和不合理任务,从而达到降本增效的目的。据调研,目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台,通过诊断平台周优化任务实例数超2 万,取得了良好的效果。
从大数据到人工智能
2023-05-14
7460
云原生架构下B站Flink存算分离的改造实践
在当前整个行业及公司内部降本增效的大背景下,B站内部也在积极推进实时与在线业务资源的整合,往云原生架构迁移,统一资源池与调度,提升资源利用效率。不过面临的现实问题就是,不同业务场景下,资源的规格诉求不尽相同。在线的业务资源池,由于在线业务的属性,一般只具备很强的计算能力而基本不带存储以及io能力。Flink虽然是一个计算引擎,但是由于其stateful的特性,在很多计算场景下,对存储和io其实有比较强的诉求,因此实时的资源池,同时具备很强的存算能力。两种资源池的整合,必然面临兼容性问题,考虑到大数据整体的存算分离发展趋势,我们尝试对Flink进行存算分离的改造,核心工作就是statebackend的远程化。
从大数据到人工智能
2023-05-03
7390
尘锋信息基于 Apache Paimon 的流批一体湖仓实践
尘锋信息 (www.dustess.com) 是基于企业微信生态的一站式私域运营管理解决方案供应商,致力于成为全行业首席私域运营与管理专家,帮助企业构建数字时代私域运营管理新模式,助力企业实现高质量发展。
从大数据到人工智能
2023-05-03
2.9K1
scala中的伴生类和伴生对象
由于static定义的类和对象破坏了 面向对象编程的规范完整性,因此scala 在设计之初就没有static关键字概念,类相关的静态属性都放在伴生对象object中。
从大数据到人工智能
2023-04-27
6750
微博增值团队可观测性实践落地与回顾-上篇
前言、理论,实践请参考 微博增值团队可观测性探索与实践-初探 、微博增值团队可观测性探索与实践-实践 强烈建议优先阅读。
从大数据到人工智能
2023-04-18
2630
基于 eBPF 的云原生可观测性深度实践
本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享,主题为“基于 eBPF 的云原生可观测性深度实践”。
从大数据到人工智能
2023-04-18
6931
GraalVM基本介绍
GraalVM 是一种高性能 JDK,旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行,同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 GraalVM 提供两种运行 Java 应用程序的方法:在 HotSpot JVM 上使用 Graal 即时 (JIT) 编译器或作为提前 (AOT) 编译的本机可执行文件。 GraalVM 的多语言能力使得在单个应用程序中混合多种编程语言成为可能,同时消除了外语调用成本。
从大数据到人工智能
2023-04-06
2.2K0
Alluxio性能调优
检查 Alluxio 集群是否健康。 您可以在 http://:19999 检查 web 用户界面,看看是否可以从浏览器访问 master。 类似地,可以通过单击 Alluxio master UI 的“workers”选项卡或导航到 http://:30000/ 来访问 workers 或者,运行 bin/alluxio fsadmin report 从控制台收集类似信息。 Web 界面和命令行输出都包含用于验证是否有任何节点停止服务以及最后已知心跳时间的指标。
从大数据到人工智能
2023-04-03
1.4K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档