腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能
专栏成员
举报
974
文章
2436089
阅读量
707
订阅数
订阅专栏
申请加入专栏
全部文章（974）
hive（209）
其他（200）
github（175）
专用宿主机（165）
hadoop（161）
大数据（141）
kerberos（120）
sql（115）
https（99）
数据库（98）
spark（96）
apache（70）
git（56）
hbase（54）
node.js（53）
云数据库 SQL Server（52）
java（49）
yarn（49）
开源（47）
api（46）
kafka（38）
python（35）
parcel（34）
http（31）
编程算法（30）
TDSQL MySQL 版（29）
存储（29）
网络安全（28）
jdbc（26）
访问管理（25）
xml（23）
腾讯云测试服务（23）
shell（22）
linux（21）
jdk（21）
bash（20）
lucene/solr（17）
bash 指令（17）
ssh（17）
mapreduce（15）
dns（15）
网站（14）
负载均衡（13）
html（13）
打包（13）
jar（13）
安全（13）
windows（13）
postgresql（12）
负载均衡缓存（12）
zookeeper（12）
文件存储（11）
tcp/ip（11）
数据（11）
容器（10）
oracle（9）
flink（9）
机器学习（8）
json（8）
windows server（8）
nginx（8）
容器镜像服务（8）
人工智能（7）
数据分析（7）
DNS 解析 DNSPod（6）
javascript（6）
深度学习（6）
云推荐引擎（6）
kubernetes（6）
数据迁移（6）
SSL 证书（5）
企业（5）
缓存（5）
erp（5）
anaconda（5）
数据处理（5）
tensorflow（4）
scala（4）
maven（4）
神经网络（4）
分布式（4）
jvm（4）
面向对象编程（4）
unity（4）
rpc（4）
ntp（4）
配置（4）
单片机（3）
嵌入式（3）
access（3）
ide（3）
unix（3）
数据备份（3）
yum（3）
微信（3）
c++（2）
jquery（2）
全文检索（2）
批量计算（2）
云数据库 MySQL（2）
ftp（2）
物联网（2）
sas（2）
nat（2）
腾讯云开发者社区（2）
云数据库 postgresql（2）
云计算（2）
Elasticsearch Service（2）
impala（2）
session（2）
string（2）
对象（2）
服务（2）
集群（2）
接口（2）
客户端（2）
内存（2）
同步（2）
文件系统（2）
云服务器（1）
官方文档（1）
ios（1）
c 语言（1）
php（1）
go（1）
actionscript（1）
css（1）
android（1）
nosql（1）
mvc（1）
flask（1）
eclipse（1）
搜索引擎（1）
ubuntu（1）
centos（1）
apt-get（1）
spring（1）
归档存储（1）
云数据库 MongoDB（1）
数据库一体机 TData（1）
消息队列 CMQ 版（1）
数据加密服务（1）
流量服务（1）
mongodb（1）
vr 视频解决方案（1）
express（1）
devops（1）
自动化（1）
运维（1）
html5（1）
决策树（1）
npm（1）
grep（1）
jenkins（1）
spring cloud（1）
socket编程（1）
数据可视化（1）
微服务（1）
nest（1）
任务调度（1）
密钥管理服务（1）
jupyter notebook（1）
分类算法（1）
ascii（1）
ipv6（1）
迁移（1）
负载测试（1）
智能客服机器人（1）
数据湖（1）
add（1）
client（1）
cloud（1）
com（1）
daemon（1）
databricks（1）
datasource（1）
dfs（1）
eof（1）
exit（1）
gateway（1）
grafana（1）
h2（1）
hana（1）
hdfs（1）
heap（1）
host（1）
io（1）
kill（1）
ldap（1）
monitoring（1）
mysql（1）
openldap（1）
private（1）
project（1）
queue（1）
replication（1）
sap（1）
status（1）
tabular（1）
visualization（1）
window（1）
worker（1）
布局（1）
部署（1）
测试（1）
队列（1）
管理（1）
架构（1）
脚本（1）
开发（1）
连接（1）
命令行（1）
生命周期（1）
协议（1）
性能（1）
异常（1）
优化（1）
主机（1）
标签（1）
搜索文章
搜索
搜索
关闭
0927-Databricks X Tabular
databricks
tabular
开发
数据
开源
Databricks 已同意收购由 Apache Iceberg 创建者领导的存储平台供应商 Tabular，以促进 Lakehouse 中的数据互操作性。
Fayson
2024-06-07
176
0
0926-Apache Iceberg的开源Catalog - Polaris Catalog
协议
apache
开源
安全
数据
开源的文件和表格式因其互操作性潜力而引起了数据行业的极大兴趣，它使许多技术能够安全地在单个数据副本上操作。更高的互操作性不仅可以降低使用多种工具和处理引擎带来的复杂性和成本，还可以防止被供应商锁定。
Fayson
2024-06-06
371
0
0880-7.1.7-如何在CDP中使用Prometheus&Grafana对Flink任务进行监控和告警
flink
大数据
jar
开源
jenkins
本文作者：BYD信息中心-数据中心管理部-董睿 这里打一个小广告，手动狗头 比亚迪西安研发中心（与深圳协同办公），base西安。招聘大数据平台运维方向工程师，实时计算方向工程师，感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 Prometheus 是一款基于时序数据库的开源监控告警系统，Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。Grafana是一款采用 Go语言编写的开源应用，是一个跨平台的开源
Fayson
2022-05-09
1.7K
0
5.16.2-如何制作ElasticSearch的Parcel和csd
parcel
github
git
开源
1.准备cloudera提供的parcel和csd校验工具cm_ext，具体步骤可在github上查看，地址：https://github.com/cloudera/cm_ext
Fayson
2020-08-03
970
0
0767-Hive ACID vs. Delta Lake
hive
spark
开源
apache
数据湖
Qubole现在支持对存储在Cloud数据湖中的数据进行高效的Update和Delete。用户可以对开启了事务的Hive表进行insert，update和delete，并通过Apache Spark或Presto进行查询。使用Apache Spark或Presto操作Hive的事务表功能，我们已将其开源，我们对于更多引擎支持update和delete的工作也在进行中，这块同样也会开源。
Fayson
2020-05-20
1.9K
0
0740-1.6.1-CDSW中定制docker无法使用Jupyter Notebook问题
容器镜像服务
容器
jupyter notebook
开源
当使用该引擎启动Session时，只有Workbench选项，没有Jupyter Notebook选项
Fayson
2020-02-10
815
0
0484-Cloudera和Hortonworks合并后面临的选择
apache
开源
专用宿主机
hadoop
unity
Cloudera与Hortonworks两家公司在前一段时间提出来合并，虽然两家公司都同时强调两者在产品或者技术上的互补性，但其实合并后的公司也面临一些艰难的选择，可能会对各种与Hadoop相关的开源Apache项目产生较大的影响。本文主要讨论它们接下来可能会如何发展。
Fayson
2019-11-28
1.5K
0
Cloudera与Hortonworks合并完成
hadoop
开源
Hadoop大数据领域最大的两家公司Cloudera和Hortonworks在1月3日宣布，完成了所有股票的合并。新的公司会继续使用‘Cloudera’这个品牌，并且在纽交所的交易代号依旧是CLDR。
Fayson
2019-11-28
1.2K
0
0506-如何将Hue4.0版本中默认执行引擎设置为Hive而非Impala
hive
sql
github
git
开源
在登录Hue后默认加载的为Impala执行引擎，对于那些不使用Impala或者喜欢在Hue中使用Hive进行查询的人，还需要进行切换比较麻烦。本篇文章Fayson主要介绍如何在Hue4.0版中设置默认的SQL执行引擎。
Fayson
2019-11-28
1.6K
0
0513-开源软件如何统治世界
开源
linux
云数据库 SQL Server
云计算
就在5年前，投资者对于开源软件这种商业模式依旧持怀疑态度。他们都认为Redhat就像一片雪花(意指看上去很美腻，但随时可能化为虚无)，当时也没有其他开源公司在软件领域获得较为出彩的成绩。
Fayson
2019-11-28
593
0
0522-Confluent获D轮融资1.25亿，估值25亿
kafka
apache
数据库
sql
开源
Confluent创始人Neha Narkhede，CEO Jay Kreps和Jun Rao
Fayson
2019-11-28
951
0
全文搜索引擎选ElasticSearch还是Solr？
Elasticsearch Service
lucene/solr
apache
搜索引擎
开源
最近项目组安排了一个任务，项目中用到了全文搜索，基于全文搜索 Solr，但是该 Solr 搜索云项目不稳定，经常查询不出来数据，需要手动全量同步，而且是其他团队在维护，依赖性太强，导致 Solr 服务一出问题，我们的项目也基本瘫痪，因为所有的依赖查询都无结果数据了。所以考虑开发一个适配层，如果 Solr 搜索出问题，自动切换到新的搜索--ES。
Fayson
2019-11-28
1K
0
0705-5.16.2-HDFS文件浏览器异常分析
大数据
github
git
开源
根据异常提示，’ Index build failed for service hdfs’，可以知道是为服务HDFS创建索引失败，导致了进入HDFS的文件浏览器异常。无法进入HDFS的索引。这种情况考虑可能是Reports Manager的工作目录下的索引文件损坏，导致RM启动的时候创建索引失败。我们通过rebulid索引目录来进行异常排除。
Fayson
2019-09-26
1.1K
0
Hadoop已死，Hadoop万岁
hadoop
spark
unix
apache
开源
最近又有很多关于“Hadoop已死”的论调，似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己，而是一家企业数据公司。如今，Cloudera也已进入企业数据云市场：混合/多云和多功能分析，具有通用的安全和治理，所有这些都由开源提供支持。
Fayson
2019-09-16
1.5K
0
0687-5.16.1-Hive分桶问题
hive
sql
github
git
开源
在Hive中创建了一个分桶事务表TEST_TRANSACTIONAL，表结构如下：
Fayson
2019-08-21
621
0
0683-6.2.0-通过Nginx获取CDSW的登录信息-续-3
kerberos
nginx
github
git
开源
在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续2)》中，通过Nginx的配置进一步捕获了用户的一些操作，然后存入数据库中进行查询分析，具体是捕获了用户进行Kerberos认证的Principal，但是在后续使用过程中发现，在两个以上的用户进行登陆时，Kerberos和点击Share操作捕获的用户信息永远是最后登陆的那个用户，这样与实际需求不符合，没有捕获到实际进行Kerberos认证和点击Share操作的究竟是哪个用户，本文档针对这一情况进行完善。
Fayson
2019-08-06
475
0
0681-6.2.0-如何在HDFS自动创建用户主目录
大数据
github
git
开源
3.登陆Hue用管理员账号，点击管理用户，可以看到当前只有admin这一个用户存在
Fayson
2019-08-02
2.2K
0
0677-在CDSW1.6中使用你喜爱的编辑器
开源
专用宿主机
ide
自2017年Cloudera Data Science Workbench（CDSW）推出以来，我们一直致力于加速企业数据科学从研究到生产。我们正在帮助IQVIA和Deutsche Telekom等数百家客户建立自己的AI工厂，使大型数据科学团队能够安全，自助地访问业务数据，计算资源以及开源工具和库，这样他们能够更快的创新和影响业务。
Fayson
2019-07-30
1.1K
0
Cloudera对开源的承诺
开源
apache
hadoop
7 月 10 日，合并后的 Cloudera 宣布了新的开源许可模式，并计划对所有产品的新版本实施许可证变更，不追溯已经发布的版本。在合并之前，这两家公司是在不同的开源许可模式下发布各自的产品，新模式将 Hortonworks 和 Cloudera 之前使用的许可模式进行了整合。
Fayson
2019-07-17
3.6K
1
Cloudera独家回应：Hadoop到底怎么了？
hadoop
开源
mongodb
云数据库 MongoDB
云计算
五年前，Gartner 研究总监就曾 发文 说 Hadoop 光环幻灭；到现在，我们看到了更多的质疑文字，认为“Hadoop 气数已尽”。而这次质疑的起因是 Cloudera 和 Hortonworks 的合并，MapR 的裁员。
Fayson
2019-07-17
865
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
