首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯云泛互云原生团队

聚焦云原生技术,以及基于云原生的大数据技术和产品

文章

使用ChatGPT实现同城双活部署

远远小七宝

今天老板让我写一篇腾讯云云原生的微服务项目部署实践,还要实现同城双活。听说ChatGPT已经“出圈”了,无所不能,还可以帮人写文章,刚好最近比较懒,看看他能否帮...

3.5K190
文章

TACO云原生最佳实践

远远小七宝

业界AI应用中,GPU的使用逐渐增加,腾讯云TACO是一种异构计算加速软件服务,搭配腾讯自研的软硬件协同优化组件和硬件厂商特有优化方案,支持物理机、云服务器、容...

1.3K30
文章

多环境下的微服务持续交付实践

远远小七宝

本文通过部署一个基于Dubbo的微服务项目——Q云书城(QCBM)(图1-1),介绍如何在多环境下部署微服务持续交付项目。通过使用Zadig持续部署工具,展示多...

2.1K40
问答

如何把腾讯云在线的elasticsearch数据迁移到腾讯云服务器自建的elasticsearch中?1 回答

VyrnSynx

腾讯云TDP | 先锋会员 (已认证)

1、使用 Elasticsearch 快照功能 安装 COS 插件(如果自建 ES 未安装): 下载腾讯云提供的 Elasticsearch COS 插件。 在自建的 Elasticsearch 集群...... 展开详请
问答

tke超级节点套餐包怎么使用呀?4 回答

社区用户

EKS一般是针对pod使用预留券:https://cloud.tencent.com/document/product/457/55748

如果直接购买包周期超级节点,请参考:https://cloud.tencent.com/document/product/457/92840

问答

求大佬介绍下Hive洞察的使用经验?

问答

求助,有奖问答:如何EMR Hive应用任务调度情况?

问答

harbor首次安装提示用户名或者密码不正确?2 回答

用户2250947

我安装v2.13.0就可以了,v2.12.3 死活不行

问答

【自建Milvus单机版】的向量数据如何导入ES-8.1产品服务中?

问答

TKE的超级节点和使用CVM做节点的价格哪个划算?2 回答

horan1
已采纳

cvm 按照 2核cpu 4G内存 来计算,超级节点是不是最低只能买10核?这样算下来不划算

问答

为什么腾讯云coding,多个项目不能用一个自定义节点呢?

问答

容器实例服务 CIS 如何保证安全?1 回答

gavin1024
已采纳

CIS 运行的网络环境是用户自定义的私有网络,网络层已经与其他用户逻辑隔离。也支持用户配置安全组和网络 ACL 进行流量限制,安全组可用于指定允许进出各个云服务器的进站和出站网络流量。没有显式允许进出实例的流量将自动被拒绝。网络访问控制列表 (ACL) 也可允许或拒绝进出各个子网的网络流量。

CIS 的底层资源具备云服务器级别的隔离性,另外腾讯云团队会利用积累的海量威胁数据进行机器学习为底层服务器提供黑客入侵检测和漏洞风险预警等安全防护。

问答

容器实例服务 CIS 适合什么应用场景?1 回答

gavin1024
已采纳

适用于不需要长时间持续稳定运行,不需要复杂上层管理的轻小程序或分布式系统。例如:搭建测试环境、DevOps 流程、代理程序、爬虫程序、离线计算、批数据处理等。

问答

如何查看任务日志?1 回答

gavin1024
已采纳
可登录任意一台 EMR 服务器执行以下命令查看任务日志: yarn logs -applicationId application_1507732460084_0057 !需以 Hadoop 用户身份...... 展开详请
问答

如何选择集群存储介质?1 回答

gavin1024
已采纳
EMR 集群支持如下存储介质,普通本地盘、SSD 本地盘、普通云硬盘,SSD 云硬盘以及对象存储 COS,您可以根据实际需要来选择存储介质: 如果您的应用场景是大规模数据仓库分析,对时延不是那么敏感,...... 展开详请
问答

如何处理任务执行时内存溢出?1 回答

gavin1024
已采纳

提交 MR 任务或者通过 Hive 执行 SQL 脚本时发生内存溢出可以通过设置以下参数处理:

代码语言:txt
复制
set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.reduce.java.opts=-Xmx4096m;

可以根据计算需要调整内存参数,如果是 Hive 也可写在 ~/.hiverc 文件下,提交的时候会自动执行。

问答

如何调整集群计算资源?1 回答

gavin1024
已采纳

集群计算资源由 yarn-site.xml 中的以下两项配置决定:

代码语言:xml
复制
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>4</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>14745</value>
</property>

默认情况下 cpu-vcores 等于机器的 CPU 核数,memory-mb 等于机器内存的91%,可以根据实际情况作出调整,如果设置太大则存在机器宕机的风险。

问答

如何预估集群规模?1 回答

gavin1024
已采纳

假设您的一次运算以 SQL 执行为例,如果想要在确定的时间里查询到结果需要的 vcore 为64个,内存为128GB,业务要求一次要支持10个并发,那么需要的资源为 vcore 640个,内存1280GB,假设采用24核48GB的设备,那么需要的计算设备量为:1280 / 48约等于27台。

问答

如何设置 Hive 的 fetch 查询?1 回答

gavin1024
已采纳

Hive 默认查询如下:

代码语言:sql
复制
select * from tablename where a=’1’ limit 10;

默认查询不会启动计算任务,您可以通过添加 set hive.fetch.task.conversion=none 参数开启分布式查询。

问答

EMR 集群能通过外网登录么?1 回答

gavin1024
已采纳

开启公网 IP 可以登录集群,详情请参考 登录集群 文档。

团队专栏

产品与服务

  • 容器服务

    高可扩展和高性能容器管理服务

  • 弹性 MapReduce

    安全、灵活的云端托管 Hadoop 服务

  • Elasticsearch Service

    开箱即用的云端 Elasticsearch 服务

  • CODING DevOps

    一站式 DevOps,提升研发效能

  • Serverless 微服务平台

领券