4回答
使用AWS执行按需ETL
、、、、
我想使用AWS架构执行按需ETL作业。
这个ETL进程将每天运行，我不想一直为一个EC2实例付费。例如，这个ETL作业可以用python编写。运行简单的按需ETL作业的最佳架构是什么？
浏览 2提问于2015-10-06得票数 0
1回答
我第一次尝试在我的Mac上的cookiecutter-bonobo中创建一个新项目(最近安装了anaconda3来取代anaconda2，所以我使用python3)。我正在遵循这些说明。/bonobo", line 11, in <module>│ File "/Users/maxpaton/anaconda3/lib/python3.6__.py", line 59, in entrypoin
浏览 15提问于2018-06-12得票数 1
我们可以在AWS Glue中使用java作为ETL吗？似乎Glue ETL编程只有两种选择，即Python和Scala。
浏览 2提问于2018-10-25得票数 1
回答已采纳
我试着用下面的代码在pycharm中运行一个python文件。当我在cmd和pycharm中给pyspark时，我也面临着同样的问题，有没有人能帮我一下？提前谢谢。").getOrCreate()source_data_file = "C:\Python_pgms\apache-spark-etl-pipeline-example-masterrecent call last):
File "
浏览 20提问于2020-12-02得票数 0
一直使用aws胶水python shell作业来构建简单的数据etl作业，对于spark作业，只使用过一两次用于在JDBC数据上转换为orc格式或执行星火sql。因此，想知道每个用例的最佳/典型用例是什么？一些文档说python作业适用于简单的工作，而火花则适用于更复杂的作业，对吗？你能分享更多这方面的经验吗？
非常感谢
浏览 8提问于2020-02-07得票数 6
回答已采纳
我需要使用python库来查找给定年份的美国假日列表，并且我需要将ETL工作部署到AWS Glue服务上的信息。根据胶水文件：
您可以在AWS Glue ETL脚本中使用Python扩展模块和库，只要它们是用纯Python编写的。C目前不支持熊猫等图书馆，也不支持用其他语言编写的扩展。
浏览 2提问于2018-03-14得票数 0
我经常需要将csv导入postgres，并且通常使用来自psql的psql命令。它通常看起来像这样我有两个共同的问题，我认为可能有一个类似的答案。
CREATE TABLE loading_tbl ( integerfiel
浏览 2提问于2015-03-13得票数 0
/data/etl:/app/etl_pipeline_1 | File "/usr/local/lib/python3.7/site-packages/neo4j/__init**config)
etl_pipeline_1 | File "&#x
浏览 36提问于2020-11-12得票数 1
1回答
在我的用例中，如果当前的数据是空的，并且正常工作，我的ETL将引发AirflowSkipException。但这将向我的松懈发送成功通知。ETL Data not found/empty") print("OUTPUT LOG : ETL continu
浏览 9提问于2020-05-15得票数 3
回答已采纳
我正在尝试使用docker-compose在一个容器中运行python脚本，该容器填充另一个容器中的数据库。我的问题是，脚本在数据库准备好接受连接之前就启动了。下面是docker-compose.yml文件： build: ./etl - mysql image: mariadb MYSQL_DATABASE: my_dbdocker run --name mariadb -e
浏览 0提问于2015-11-16得票数 2
用python将数据从Google Cloud Datastore导出到Google Bigquery的最佳方式或ETL过程是什么？谢谢你的帮助！
浏览 0提问于2018-05-08得票数 0
2回答
我用气流编排了一些python脚本。我有一个运行几个子标记的“主”dag。etl_internal_sub_dag3etl_internal_sub_dag3 >> etl_adwords_sub_dagetl_internal_sub_dag3 >> etl_facebook_sub_dag
etl<
浏览 4提问于2018-10-10得票数 34
回答已采纳
=dtype) File "/home/ec2-user/python-virtual-environments/etl/local/li
浏览 256提问于2017-01-05得票数 22
└── setup.py 我在etllib/scripts中有一个名为"etl_imperva“的脚本。/usr/bin/python3from etllib.etl.etl_imperva import ETL
ETL.startup(sys.argv) 如果我安装这个包(Etll
浏览 17提问于2021-01-22得票数 0
我已经在本地运行了Python脚本，它可以工作。我打算做一个与PostgreSQL数据库的简单连接并执行一个查询。为此，我需要导入以下python模块：前三个，AWS胶作业已经可用。因此，我用简单的脚本创建了我的AWS作业，并添加了.egg文件作为我的路径。当代码运行时，它会识别前三个模块。后者，成功地打开.egg文件。
浏览 2提问于2019-06-04得票数 0
project_dir/ etl/ etl_1.py config/ utils/test/setup.pyrequirements.txtpython test_
浏览 2提问于2020-06-03得票数 0
我们有现有的ETL管道，探索将管道迁移到NiFi的可能性。 我们的流水线包含用python/scala编写的作业，并进行大量的摄取/转换。什么样的处理器NiFi允许我把python/scala代码放进去？ 非常感谢。
浏览 11提问于2019-01-05得票数 0
回答已采纳
我用Python编写了一个ETL作业。我的密码里有这样的东西：
sched.add_job(etl_job,'interval',minutes=7)现在有人知道要解决这个问题了吗
浏览 4提问于2020-09-29得票数 0
回答已采纳
我有一个显然很简单的问题，很难找到答案。我需要一个从端口出来的原始数据的样本，采集几分钟后，将其转储到一个二进制文件中。它需要尽可能原始(也就是说，当我们从本地.NET应用程序连接到同一个端口时，它需要类似于我们从TCP流中读取的内容)。
最好只使用内置的Windows工具(即netsh)，但最坏情况下的windump或telnet也很好。
浏览 0提问于2020-09-08得票数 10
回答已采纳
云服务器
ICP备案
即时通信 IM
云直播
实时音视频
腾讯云开发者
