腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏作者

209

文章

287966

阅读量

32

订阅数

工作中用到的sh脚本(持续更新)

day=(date−d‘−0day′‘+echo“(date−d‘−0day′‘+echo“(date -d ‘-0 day’ ‘+%Y-%m-%d’) echo “day” day1=$(date -d ‘-0 day’ ‘+%Y’) echo “**$day1”

2018-10-24

8310

前提：安装：已安好hadoop，环境已经配好 java 7.X 及其以上 scala有对应版本单机：下载、解压、需要注意：flink与hadoop版本要对应解压即安装 Check the JobManager’s web frontend at http://localhost:8081 and make sure everything is up and running. Instead of starting Flink with bin/start-local.sh you can also start Flink in an streaming optimized mode, using bin/start-local-streaming.sh.

2018-10-24

1K0

腾讯企业邮发送邮件 java版

背景：由于spark streaming程序需要保证 1*24 小时，不间断运行的，为了第一时间知道程序是否出错，所以采用了出错发送邮件这一策略，而公司恰恰又使用了腾讯企业邮，网上也有一些关于腾讯企业邮的例子，但不那么尽人意，s所以特地在此整理一下！

2018-10-24

1.6K0

kafka权限认证

背景：最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制 ( flume需要1.7及其以上才支持kafka的SSL认证)。

2018-10-24

2.6K0

HttpClient post方式，添加请求参数

import org.apache.http.HttpEntity; import org.apache.http.NameValuePair; import org.apache.http.client.entity.UrlEncodedFormEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.Ht

2018-10-24

5.2K1

Spark Streaming 中使用 zookeeper 保存 offset 并重用 Java版

最近中使用spark Streaming +kafka,由于涉及到金额，所以需要保证at only one, 而网上关于java版的kafka offset回写zk的资料少之又少，于是总结一下，希望可以为广大使用java的友友们提供参考!这里采用的是Direct Approach的方式.

2018-10-24

1.1K0

工作中遇到的Spark错误(持续更新)

1.java.io.IOException: No spa ce left on device 原因及解决办法：磁盘空间不足

2018-10-24

1.8K0

centos6.5安装Docker

Docker requires a 64-bit installation regardless of your CentOS version. Also, your kernel must be 3.10 at minimum, which CentOS 7 runs.

2018-10-24

3.3K0

一个菜鸟的经验

1.刚毕业或者毕业没多久不要去小公司，特别是没有牛人的小公司，有牛人又有很好前景的小公司可以去 2.基础很重要，基础很重要，基础很重要

2018-10-24

3070

Kylin安装及使用

背景 : 近来公司要做报表，随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。

2018-10-24

1.7K0

解决spark streaming重复提交第三方jar包问题

背景：由于spark streaming每次提交都需要上传大量jar包到hdfs，为节约HDFS资源，现只存一份来解决这个问题

2018-10-24

1.3K0

spark连接kafka工具类

版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/82226508

2018-10-24

1.2K0

Maven 打包实现生产环境与测试环境配置分离

在使用maven的过程中会发现一个问题，由于生产环境跟测试环境的配置不通，所以在分别打两个环境的包时，往往需要人工参与去修改配置文件，而人工参与的次数越大错误的几率就会越大，那maven能不能再不用人工修改配置文件的前提下来分别打两个环境的包呢，当然可以。

2018-10-24

1.2K0

spark streaming消费指定的topic和partition并手动更新offset

直接上代码 scala版的 import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.Decoder import org.apache.spark.SparkException import org.apache.spark.rdd.RDD import org.apache.spark.streaming.StreamingContext impo

2018-10-24

1.2K0

java插件化编程(动态加载)

需要将mysql的数据通过canal同步至kafka/mysql/hdfs等

2018-10-24

6.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态