腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

人云亦云

专栏作者

10

文章

25595

阅读量

25

订阅数

实时大数据开发实践

大数据大数据解决方案

本文主要从大数据起源谈起，介绍了几种主要的大数据处理框架，包括其中的容错机制，实现细节及原理等。再主要介绍了使用storm进行大数据开发的具体过程，以及开发过程中遇到的坑和一些优化。以下内容基于本人上次部门内分享整理，去掉了一些业务性的内容，尽量给大家展现一些技术细节。

2018-12-24

1.2K0

Windows下XGBoost和LightGBM环境配置

环境配置过程是一个很头疼的事情，网上参考资料参差不齐，按照一个教程去执行，总是会出问题，把折腾的过程总结起来，供大家参考。

2018-05-09

2.6K2

Storm参数配置及代码优化

背景本人在维护一套由storm、kafka、zookeeper组成的分布式实时计算系统。当数据量很小的时候，系统处理起来其实是绰绰有余的，基本上按照系统默认配置来就可以了。然而当数据量增长到一定规模的时候，系统的各个配置都对整个系统的性能有着至关重要的影响。在不断的处理现网问题、研究的过程中，对系统的一些关键配置有一些心得。在这里分享出来，同大家一起学习交流。今天我们在这里只介绍storm一些相关的比较重要的配置项和优化项。参数配置并行度本人曾在上一篇文章中翻译过官方关于并行度的解释，但是实际在生

2018-05-09

1.1K0

翻译理解Storm拓扑的并行性

本文是本人根据Storm官方文档个人翻译整理的，如果有不妥或者错误之处，欢迎指正。原英文官方文档是什么使一个拓扑运行的 Storm区分了用于在Storm集群中实际运行拓扑的以下三个主要实体：工作进

2018-05-09

9880

Zookeeper动态扩容详细步骤

上一篇文章分析了动态扩容的方法，并没有给出详细步骤，这次给出扩容的详细步骤。首先分两种情况，第一种情况是以前是单机状态，现在将其扩展为多个机器的集群状态。另一种情况是以前是集群状态，现在扩展为更多的集群状态。单机扩展步骤首先假设原机器ip为{OLD_SERVER}，新机器为2台，{NEW_SERVER1}、{NEW_SERVER2}，zookeeper的安装目录为{ZOO_HOME}。新机器的安装目录尽量和原机器保持一致，这样configure文件就可以统一管理，在所有机器上保持一致。在新

2018-05-09

4.2K0

Zookeeper部署与动态扩容

最近在一直维护以前的一个实时计算的系统，用到了很多有关storm、kafka、zookeeper之类的知识。自己也一直在学习这些系统的架构、源码。

2018-05-09

4.5K6

一个由JS时间引发的

游戏 python 自动化 shell

Background 最近在做有关游戏交易对账的一些工作，主要就是写一些Python，部署在内部LZ上，虽然每个游戏不一样，表结构也不一样，但是对账的逻辑是相似的，游戏日志表结构也十分相似。于是就有了个想法，根据一些参数自动化生成这个对账用的Python代码。于是花了一天时间，写了几个Shell脚本，再加测试，可正常运行。再后来就又有了个想法，不如做一个平台，在前台页面输入参数，在后台执行相关脚本，生成代码，再返回前台供下载。于是又花了几天时间，用Node.JS写了一个网站，部署在内网上。其实这不是今天

2018-05-09

2.2K0

网页中内嵌字体

Background 今天在浏览一个网站的时候，发现了一款非常好看的字体，审查元素发现，这个字体叫Open Sans，非常惊艳。和我以前发现的一款字体Segoe UI非常像。对比了一下，其实都很不错，而且很相像。于是Google了下，竟然发现其实这两款字体出自同一人Steve Matteson之手！真是大神级的人物。看来的我的欣赏水平还没有跑偏。不同的是，Segoe UI属于微软的东西，付费，而Open Sans是免费的。刚好自己最近在做网站开发，于是就想把这款字体嵌入到自己正在做的网页里。今天就写一下

2018-05-09

3.8K0

如何在GitHub上新建一个网站并绑定子域名

今天新开辟了一片天地，将自己的技术博客和生活博客分开来。技术博客继续使用fangchao.me，生活博客开了一个子域名，life.fangchao.me，记录一下自己的生活。在此记录一下，在GitHub上怎么重新建立一个新的网站并且将其指向子域名。比如我拥有了一个域名abc.com，现在我将abc.com以及www.abc.com映射到我的主要网站上。可是我又有一个新的想法，希望重新建一个网站，比如我想一个网站写技术博客，一个主要写生活感悟，一个写爱情，一个写吃饭，等等等等。于是就有了这个想法，我将lif

2018-05-09

3.6K0

Author: Fangchao Gao 转载请注明出处此文档适合于对Chef不了解，或者仅仅是了解但并未真正使用过Chef的用户。如果您对Chef充分了解，并且经常使用Chef，想要了解其中的技术

2018-05-09

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态