聚焦云原生技术,以及基于云原生的大数据技术和产品
EKS一般是针对pod使用预留券:https://cloud.tencent.com/document/product/457/55748
如果直接购买包周期超级节点,请参考:https://cloud.tencent.com/document/product/457/92840
CIS 运行的网络环境是用户自定义的私有网络,网络层已经与其他用户逻辑隔离。也支持用户配置安全组和网络 ACL 进行流量限制,安全组可用于指定允许进出各个云服务器的进站和出站网络流量。没有显式允许进出实例的流量将自动被拒绝。网络访问控制列表 (ACL) 也可允许或拒绝进出各个子网的网络流量。
CIS 的底层资源具备云服务器级别的隔离性,另外腾讯云团队会利用积累的海量威胁数据进行机器学习为底层服务器提供黑客入侵检测和漏洞风险预警等安全防护。
提交 MR 任务或者通过 Hive 执行 SQL 脚本时发生内存溢出可以通过设置以下参数处理:
set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.reduce.java.opts=-Xmx4096m;
可以根据计算需要调整内存参数,如果是 Hive 也可写在 ~/.hiverc
文件下,提交的时候会自动执行。
集群计算资源由 yarn-site.xml
中的以下两项配置决定:
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>14745</value>
</property>
默认情况下 cpu-vcores 等于机器的 CPU 核数,memory-mb 等于机器内存的91%,可以根据实际情况作出调整,如果设置太大则存在机器宕机的风险。
假设您的一次运算以 SQL 执行为例,如果想要在确定的时间里查询到结果需要的 vcore 为64个,内存为128GB,业务要求一次要支持10个并发,那么需要的资源为 vcore 640个,内存1280GB,假设采用24核48GB的设备,那么需要的计算设备量为:1280 / 48约等于27台。
Hive 默认查询如下:
select * from tablename where a=’1’ limit 10;
默认查询不会启动计算任务,您可以通过添加 set hive.fetch.task.conversion=none
参数开启分布式查询。