相关内容
【Spark Operator】集成Airflow
我们的任务流调度是采用 airflow，画出 dag 之后再按序执行，其中 etcd 是我们很重要的组件，所以封装出一个 airflow 的 etcd operator，然后将任务写到 etcd，而在集群里有个 watcher 的程序会监听 etcd 任务的 key，一旦发现就会通过 spark operator 的 spark application client 把任务提交到api-server。 ?...
如何在Airflow中将XCOM消息从PythonOperator任务传递给SparkSubmitOperator任务？(1 个回答)
some_value = 10 return some_value task1 =pythonoperator(task_id=run_task_1, python_callable=get_some_value,provide_context=true,dag=dag) task2 =sparksubmitoperator( task_id=run_sparksubmit_job, conn_id=spark_default,java_class=com.example, application=example.jar, name=airflow-spark-job...
连续三年蝉联第一，Flink 荣膺全球最活跃的 Apache 开源项目
如果放眼到过去的 2019 、2018年 年度报告，每年的最活跃的5个开源软件中，都能看到大数据领域的身影，其中 flink、hadoop、hbase、beam、airflow、spark 均有过上榜，我们绘制了如下的表格来描述这一趋势（由于只公布了 top5，所以有些项目会在某些年份落榜）：? apache flink 是唯一近三年都连续出现在 top5 中...
rJava如何导入不在airflow中工作？(1 个回答)
rjava和xlsx在r终端运行良好，但在airflow环境中不工作，收到了这个错误 libjvm.so:cannot open shared object file:no such file or directory ~.bashrc exportjava_home=usrlibjvmjava-8-openjdk-amd64binjarexportld_library_path=usrlibjvmjava-8-openjdk-amd64libamd64:usrlibjvmjava-8-openjdk-amd64jrelibamd...
Agari使用Airbnb的Airflow实现更智能计划任务的实践
本文是agari使用airbnb的airflow实现更智能计划任务的实践，airbnb的开源项目airflow是一种用于数据管道的工作流调度。 工作流调度程序是一个负责让工作流在可靠并可扩展方法中周期性执行的系统。 工作流调度程序是无处不在的，例如，任何有数据仓库的公司都有一个通常用于报告的专门的数据库，该数据库使用工作流...
Tensorflow 1.0；TensorFlow 兼容 Spark；Python 迁移到 GitHub | AI 研习社周刊
对高级别 api 有更好的兼容性，尤其完全兼容 keras改进 api 稳定性 本次峰会在加州山景城举行，是 tensorflow 史上第一届开发者峰会，颇值得大家关注。 雅虎开源 tensorflow on spark? 它使得深度学习框架 tensorflow 能与 apache spark 中的数据集兼容。 对于使用 spark 来处理不同类型数据的机构和开发者来说，这...
SparkSQL 在有赞的实践
但是这个监听者只负责 spark ui 的 jdbc tab 上的展示，我们改造了 sparklistener 类，将 session 以及执行的 sql statement 级别的消息也放到了总线上，监听者可以在总线上注册，以便消费这些审计信息，并且增加了一些我们感兴趣的维度，如使用的 cpu 资源，归属的工作流(airflowid)。 同时，我们增加了一种新的完成...
SparkSQL在有赞大数据的实践（二）
有赞大数据离线调度任务是基于 apache airflow 为基础构建，因此实现方式是通过扩展 airflow 增加了一些路由配置来支持 sparksql 任务可以按优先级、 时间段、 流量比例等配置的ab测试功能。 这套 ab 灰度测试方案在整个迁移过程还是发挥出比较大的作用。 比如我们将 yz-spark 从社区版本 2. 2.1 rebase 到 2.3. 3 ...
Airflow——如何将xcom变量传递给Python函数？(2 个回答)
代码：get_s3_file =pythonoperator( task_id=get_s3_file, python_callable=obj.func_get_s3_file,trigger_rule=triggerrule.all_success,dag=dag) submit_file_to_spark = bashoperator( task_id=submit_file_to_spark,bash_command=echo hello world, trigger_rule=all_done, xcom_push=true,dag=dag) task...
自2013到2019年大数据领域发生了什么变化
kubernetes makes its debut and we’re back to basics trying to figure out thehow to manages (k8s),schedule (airflow) and run (spark, kafka, storage, ...) ourstreams.kubernetes首次亮相top10，我们回归基础，并试图找到如何管理（k8s），如何调度（airflow）和运行（ spark, kafka, storage, ...）数据流...
自2013到2019年大数据领域发生了什么变化
kubernetes makes its debut and we’re back to basics trying to figure out thehow to manages (k8s),schedule (airflow) and run (spark, kafka, storage, ...) ourstreams.kubernetes首次亮相top10，我们回归基础，并试图找到如何管理（k8s），如何调度（airflow）和运行（ spark, kafka, storage, ...）数据流...
招聘 | 腾讯云大数据，期待您的加入！
岗位要求：1、计算机、通信等相关专业，本科及以上学历，3年以上大型互联网产品或分布式系统开发设计经验； 2、扎实的java技术基础，对linux，分布式系统，高并发等技术经验丰富； 3、对大数据领域相关组件如（spark, airflow,es,fate等）有丰富的使用经验； 4、在企业内部或云，有大数据领域相关组件如（spark, air...
Apache Flink on Kubernetes运行模式分析
在大数据及相关领域，包括spark，hive，airflow，kafka等众多知名产品正在迁往kubernetes，apache flink也是其中一员。 flink选择kubernetes作为其底层资源管理平台，原因包括两个方面：1）flink特性：流式服务一般是常驻进程，经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较...
超硬核 | 一文带你入门用户画像
数据架构 在整个工程化方案中，系统依赖的基础设施包括spark、hive、hbase、airflow、mysql、redis、elasticsearch。 除去基础设施外，系统主体还包括 spark streaming、etl、产品端 3个重要组成部分。 图 2-1 所示是用户画像数仓架构图，下面对其进行详细介绍。 ? 图1-4 下方虚线框中为常见的数据仓库etl加工流程...
用户画像基础
机器学习挖掘类标签多用于预测场景，如判断用户性别、用户购买商品偏好、用户流失意向等。 一般地，机器学习标签开发周期较长，开发成本较高，因此其开发所占比例较小。 02数据架构在整个工程化方案中，系统依赖的基础设施包括spark、hive、hbase、airflow、mysql、redis、elasticsearch。 除去基础设施外，系统主体...
一文探究数据仓库体系(2.7万字建议收藏)
8.2 日志采集 logstash flume logagent8.3业务数据抽取sqoopdataxcanalflink8.4离线数据处理sparksql hivesqlmapreduce8.5实时数据处理sparkstreaming flink8.6调度系统airflow azkabanoozie8.7资源管理yarn8.8消息中间件kafka8.9编程语言javapythonscala8.10数据存储hdfs hbaseelasticsearch redis mysql8.11...
Python热门文章推荐Top10
10、python 和大数据：airflow & jupyter notebook with hadoop 3,spark & presto原文链接：http:tech.marksblogg.compython-big-data-airflow-jupyter-notebook-hadoop-3-hive-presto.html? 原文地址： https:medium.mybridge.copython-top-10-articles-for-the-past-month-v-apr-2018-ba0fec7529cc...
一个典型的架构演变案例：金融时报数据平台
我们通过三个组件来摄入数据——由 apache airflow 控制的批处理任务、消费 apachekafka 流数据的 apache spark 流处理作业，以及等待数据进入数据平台的 rest 服务。 我们的目标是用 change data capture（cdc）取代现有的高延迟摄入服务，这将使新数据在到达任何数据源时都能立即摄入，这样一来，业务将能够为我们...
有赞大数据离线集群迁移实战
用户设置的运行状态和实际airflow脚本的运行状态不一致，比如用户期望新环境空跑，但由于程序bug导致新环境没有空跑。 应对措施：通过离线任务来比对air...sql、spark sql任务spark jar、mapreduce任务其他：比如脚本任务本次由于采用多集群跨机房迁移方案（两个hadoop集群），因此需要在新旧两个机房搭建两套dp...
有赞大数据离线集群迁移实战
工作流在老 dp 修改发布后，新 dp 工作流没发布成功，导致两边调度的 airflow 脚本不一致。 应对措施：通过离线任务来比对 airflow 的脚本，如果出现不...sql、spark sql 任务spark jar、mapreduce 任务其他：比如脚本任务本次由于采用多集群跨机房迁移方案（两个 hadoop 集群），因此需要在新旧两个机房搭建两...
