腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据-BigData
大数据系列文章,涵盖离线数仓、实时数仓等文章
专栏作者
举报
347
文章
419073
阅读量
36
订阅数
订阅专栏
申请加入专栏
全部文章
大数据
sql
flink
数据库
https
编程算法
hive
java
apache
存储
kafka
网络安全
spark
linux
云数据库 SQL Server
文件存储
node.js
hadoop
html
人工智能
容器
开源
数据湖
缓存
打包
kubernetes
数据分析
xml
git
api
github
jar
深度学习
http
分布式
jdbc
tcp/ip
windows
python
腾讯云开发者社区
数据集成
javascript
json
unix
神经网络
腾讯云测试服务
yarn
zookeeper
hbase
实时数仓
数据
协议
bash
ide
容器镜像服务
TDSQL MySQL 版
jvm
配置
机器学习
c++
android
ubuntu
网站
数据安全
rpc
uml
安全
数据处理
数据结构
微服务
云计算
部署
进程
实践
NLP 服务
php
scala
maven
bash 指令
spring
kerberos
服务
对象存储
mongodb
日志数据
数据迁移
集群
css
硬件开发
oracle
access
centos
mapreduce
日志服务
消息队列 CMQ 版
自动化
shell
gradle
数据可视化
sdk
迁移
实时数据集成
Elasticsearch Service
隐私计算
gateway
proxy
resources
监控
客户端
框架
模型
内存
权限
系统
优化
云原生
负载均衡
ios
go
actionscript
bootstrap
react
arm
sqlite
nosql
云数据库 Redis
postgresql
django
搜索引擎
全文检索
nginx
专用宿主机
批量计算
访问管理
命令行工具
云数据库 MongoDB
海外加速
消息队列 CKafka 版
SSL 证书
图像处理
DevOps 解决方案
电商
渲染
vr 视频解决方案
serverless
运维
html5
jdk
强化学习
yum
dns
hashmap
grep
kotlin
单元测试
markdown
jenkins
模式识别
socket编程
迁移学习
机器人
架构设计
processing
云数据库 postgresql
flutter
对话机器人
特征工程
ipv6
groovy
raft
es
emr
实时风控
事件总线
联邦学习
智能客服机器人
汽车
alert
alignment
bi
cat
centos7
class
commit
cpu
date
debezium
debug
deployment
diff
duration
etl
glibc
google
history
import
io
kill
linkedin
log4j
logback
ls
max
minimum
mysql
oop
oss
prometheus
rpm
service
sh
shift
shutdown
slack
space
threadpoolexecutor
time
video
变量
编码
编译
编译器
程序
程序员
磁盘
代理
队列
对象
服务器
工具
管理
继承
架构
接口
镜像
开发
开发工具
快捷键
连接
流量
路由
日志
入门
软件
设计模式
视频
实时计算
数据仓库
同步
统计
文件系统
线程池
性能
虚拟机
异常
语法
装饰器
搜索文章
搜索
搜索
关闭
Langchain入门
部署
接口
框架
模型
入门
LangChain 是一个用于开发由语言模型支持的应用程序的框架。 它使应用程序能够:
从大数据到人工智能
2023-12-11
353
0
flink datastream api实现数据实时写入hudi
api
apache
flink
import
数据
Apache Hudi(发音为“hoodie”)是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据集群/压缩优化和并发性,同时将您的数据保持为开源文件格式。
从大数据到人工智能
2023-10-18
571
0
深入探究kubernetes resources – Part 1
容器
kubernetes
resources
进程
内存
在开始使用 Kubernetes 时,社区教给我们的第一件事就是始终为我们 pod 中的每个容器设置 CPU 和内存的请求和限制。
从大数据到人工智能
2023-10-18
143
0
深入探究kubernetes resources – Part 2
容器
kubernetes
resources
进程
配置
在上一篇文章中,我谈到了 Kubernetes 资源管理的基础。 在这篇文章中,我们将深入探讨当我们将 CPU 请求配置到 pod 的容器时幕后发生的事情。
从大数据到人工智能
2023-10-18
130
0
debezium采集MySQL CDC指南
数据库
debezium
mysql
服务器
配置
Debezium 是一个开源的分布式平台,用于捕获数据库的变更数据(Change Data Capture,CDC)。它支持多种数据库,包括 MySQL。下面我们详细说一下如何进行配置。
从大数据到人工智能
2023-10-18
375
0
Flink SQL Gateway提交任务到flink on k8s集群
sql
flink
gateway
部署
集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例,介绍一种在K8s中启动Flink SQL Gateway,并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
498
0
Flink SQL Gateway提交任务到flink on k8s集群
sql
flink
gateway
部署
集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例,介绍一种在K8s中启动Flink SQL Gateway,并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
537
0
Alluxio权限体系
服务
客户端
配置
权限
文件系统
当alluxio.security.authentication.type 被设置为SIMPLE时,身份验证被启用。 在客户端访问Alluxio服务之前,该客户端将按以下列次序获取用户信息以汇报给Alluxio服务进行身份验证:
从大数据到人工智能
2023-10-18
280
0
Harbor镜像仓库安装指南
容器
部署
管理
镜像
同步
Harbor 是一个开源的企业级容器镜像注册中心和仓库管理系统。它提供了一个安全可靠的平台,用于存储、分发和管理容器镜像。以下是 Harbor 的基本介绍:
从大数据到人工智能
2023-10-18
345
0
程序员不能不知道的13个AI开发工具
人工智能
编码
程序员
工具
开发工具
随着人工智能的进步,开发行业已经发展到了新的水平。 目前,人工智能工具在开发者中很受欢迎,因为它正在迅速重塑开发行业。
从大数据到人工智能
2023-10-18
1.1K
0
使用 Kubernetes 进行蓝绿部署
kubernetes
部署
服务
流量
路由
蓝绿部署是一种用于设置两个相同环境的软件部署技术。 服务实时流量的活动环境称为蓝色环境,空闲环境称为绿色环境。 新版本软件部署在绿色环境中,经过测试验证正常后,流量从蓝色环境转移到绿色环境。 这种方法可确保部署期间的零停机时间,并提供一种快速、简单的方法来在出现问题时进行回滚。
从大数据到人工智能
2023-10-18
298
0
Kubernetes 1.28:Sidecar 容器、Job和Proxy的新功能
容器
kubernetes
存储
proxy
连接
Kubernetes 1.28 现已发布,具有 44 项新的或改进的增强功能! 此版本包含许多主要功能,例如对 sidecar 容器的内置支持、作业优化和更好的代理。 这些新功能可以帮助您提高 Kubernetes 集群的性能、效率和安全性。
从大数据到人工智能
2023-10-18
423
0
OPPO 大数据诊断平台“罗盘”正式开源
开源
大数据
内存
数据
异常
OPPO 大数据平台目前有 20+个服务组件,数据量超 1EB,离线任务数近百万,实时任务数千,数据开发分析师超千人。这也带来了系统复杂度的问题,一方面是用户经常对自己的任务运行状况“摸不着头脑”,不管是性能问题,还是参数配置问题,甚至是一些常见的权限报错问题,都需要咨询平台给出具体的解决方案;另一方面是平台面对各类繁杂任务,运维人员经常需要对任务故障定位和排除,由于任务链路长,组件日志多,运维压力大。因此急需对任务进行实时监控和诊断,不仅要能够帮助用户快速定位异常问题,还需给出具体的建议和优化方案,同时还能治理各类“僵尸”和不合理任务,从而达到降本增效的目的。据调研,目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台,通过诊断平台周优化任务实例数超2 万,取得了良好的效果。
从大数据到人工智能
2023-05-14
746
0
云原生架构下B站Flink存算分离的改造实践
flink
架构
实践
数据
云原生
在当前整个行业及公司内部降本增效的大背景下,B站内部也在积极推进实时与在线业务资源的整合,往云原生架构迁移,统一资源池与调度,提升资源利用效率。不过面临的现实问题就是,不同业务场景下,资源的规格诉求不尽相同。在线的业务资源池,由于在线业务的属性,一般只具备很强的计算能力而基本不带存储以及io能力。Flink虽然是一个计算引擎,但是由于其stateful的特性,在很多计算场景下,对存储和io其实有比较强的诉求,因此实时的资源池,同时具备很强的存算能力。两种资源池的整合,必然面临兼容性问题,考虑到大数据整体的存算分离发展趋势,我们尝试对Flink进行存算分离的改造,核心工作就是statebackend的远程化。
从大数据到人工智能
2023-05-03
739
0
尘锋信息基于 Apache Paimon 的流批一体湖仓实践
apache
开发
模型
实践
数据
尘锋信息 (www.dustess.com) 是基于企业微信生态的一站式私域运营管理解决方案供应商,致力于成为全行业首席私域运营与管理专家,帮助企业构建数字时代私域运营管理新模式,助力企业实现高质量发展。
从大数据到人工智能
2023-05-03
2.9K
1
scala中的伴生类和伴生对象
scala
class
变量
对象
语法
由于static定义的类和对象破坏了 面向对象编程的规范完整性,因此scala 在设计之初就没有static关键字概念,类相关的静态属性都放在伴生对象object中。
从大数据到人工智能
2023-04-27
675
0
微博增值团队可观测性实践落地与回顾-上篇
监控
实践
数据
系统
优化
前言、理论,实践请参考 微博增值团队可观测性探索与实践-初探 、微博增值团队可观测性探索与实践-实践 强烈建议优先阅读。
从大数据到人工智能
2023-04-18
263
0
基于 eBPF 的云原生可观测性深度实践
分布式
服务
进程
实践
云原生
本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享,主题为“基于 eBPF 的云原生可观测性深度实践”。
从大数据到人工智能
2023-04-18
693
1
GraalVM基本介绍
编译
编译器
程序
框架
虚拟机
GraalVM 是一种高性能 JDK,旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行,同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 GraalVM 提供两种运行 Java 应用程序的方法:在 HotSpot JVM 上使用 Graal 即时 (JIT) 编译器或作为提前 (AOT) 编译的本机可执行文件。 GraalVM 的多语言能力使得在单个应用程序中混合多种编程语言成为可能,同时消除了外语调用成本。
从大数据到人工智能
2023-04-06
2.2K
0
Alluxio性能调优
缓存
客户端
配置
数据
性能
检查 Alluxio 集群是否健康。 您可以在 http://:19999 检查 web 用户界面,看看是否可以从浏览器访问 master。 类似地,可以通过单击 Alluxio master UI 的“workers”选项卡或导航到 http://:30000/ 来访问 workers 或者,运行 bin/alluxio fsadmin report 从控制台收集类似信息。 Web 界面和命令行输出都包含用于验证是否有任何节点停止服务以及最后已知心跳时间的指标。
从大数据到人工智能
2023-04-03
1.4K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档