1回答
Python:如何快速上传到Google BigQuery？
python、pandas、google-bigquery
我跟踪了大约25万个时间序列文件，我已经上传到Google bigquery。每天，每个系列都有大约200个新行，这些行应该通过一些API下载，然后上传到bigquery。我已经设置了一个python脚本，它首先连接到Google BigQuery以获取每个时间系列的最后日期，然后该脚本使用多进程创建10个进程，每个进程连接到一些API并下载丢失的数据。下载后，大约需要2秒，我需要将数据输入BigQuery。目前，我使用名为pandas的to_gbq函数上传数据，并计时了上传所需的时间，结果如下： 10,000 rows take
浏览 2提问于2017-07-07得票数 0
回答已采纳
1回答
如何在Server数据工具(Integration )中排序ETL任务？
etl、data-warehouse、sql-server-data-tools、datamart
我是ETL处理的新手。我正试图通过ETL填充一个数据集市，结果遇到了麻烦。我有4个ETL任务(每个任务都填充了Mart中的特定表)，问题是我需要按照特定的顺序执行它们，以避免像Foreign约束这样的约束冲突。我怎样才能做到这一点？任何帮助都是非常感谢的。这是我当前ETL的一个快照：
浏览 2提问于2016-10-28得票数 0
回答已采纳
1回答
SSIS Foreach循环进程只处理尚未处理的文件
sql-server、csv、ssis、etl、dts
我正在开发一个SSIS 2012 DTS，它必须是从csv到DB的ETL数据。
csv文件将每天提供，其发布日期将在文件名：filename_YYMMDD.csv上提供。当然，它不能处理同一个文件不止一次，这样数据就不会在DB上重复。问题是，在处理文件时，我无法删除或重命名它们。我必须处理我还没处理过的文件，不要再处理旧的了。在处理文件时，我正在考虑使用日志表来存储文件的日期。在FLC开始时，我查询DB中当前文件的日期。如果在日志表中找不到日期，FLC将运行ET
浏览 3提问于2015-07-17得票数 0
回答已采纳
1回答
DBA在数据仓库项目中的范围
oracle、plsql、data-warehouse
我的意思是，建议提供哪些资源来全面了解PL/SQL和其他概念是如何用于Datawarehouse项目的？
浏览 0提问于2011-09-09得票数 6
回答已采纳
2回答
我有一个在SSIS上完全运行的ETL，并通过SSAS创建了多维数据集，并成功地进行了部署和处理。我可以通过Visual运行ETL、流程和部署ssas，所有工作
如果ssis "Analysis处理任务“连接到ssas项目(即在同一解决方案
浏览 1提问于2013-06-19得票数 1
2回答
如何将参数传递到ETL作业中？
kiba-etl
我正在构建一个ETL，它将由一个变量在不同的源上运行。如何执行我的任务(rake任务)并将参数传递给我的etl_file，然后将其用于其源？
浏览 5提问于2015-10-05得票数 3
回答已采纳
2回答
如何有效地将数据从一个数据库复制到另一个数据库？
sql-server、c#
如何以最高的性能进行数据迁移？
我的第一种方法是对列表中的所有表进行排序，其中包含外键的表将存储在引用表的后面。但是有了这个解决方案，就不可能开始并行处理。
浏览 0提问于2016-01-13得票数 1
1回答
批处理是否是在JavaEE批处理中实现ETL步骤的正确方法？
java、jakarta-ee、java-ee-7、java-batch
我正在研究Javaee批处理API (jsr-352)，以测试使用该技术为我们自己的解决方案更改当前ETL工具的可行性。我想处理每一个项目，而不是写到一个文件，但发送到下一个步骤。并存储这些信息以供进一步使用。我可以使用批处理和jobContext.setTransientUserData()实现这一点。据我所知，JSR-352是用于这类ETL任务的，但它有两种步骤:块和批处理。块是“三个阶段-步骤”，其中一个读，处理和写入数据。Batchlet是一种
浏览 3提问于2015-05-26得票数 3
回答已采纳
1回答
Excel表格到SQL表格的自动上载
sql、sql-server、excel、sql-server-2012、office365
我正在尝试找到最简单、最快速的方法，每天早上自动将Excel中的工作表作为作业从我的文件夹中的某个位置上传到SQL Server 2012中的表格中。
浏览 0提问于2019-09-17得票数 0
1回答
显式跳过DAG时的松弛通知
airflow、slack、slack-api
任何帮助都会是appreciated.Thanks print("OUTPUT LOG : ETL skipped due to empty data, Skipping ETL .Data found")
print("OUTPUT LO
浏览 9提问于2020-05-15得票数 3
回答已采纳
3回答
用.NET控制台应用程序(C# .NET)替换SSIS包和ETL程序？
c#、sql-server、performance、ssis、etl
我们得到2000-3000万条记录作为输入(输入通常是csv或xls文件，如果有帮助，可以上传到DB )，我们需要处理这些记录并生成不同的文件，其中包括输出文件和错误文件。目前，该流程使用SSIS包和一些ETL工具来执行该任务。这些pkgs和ETL工具本身需要5到15分钟来处理，具体取决于输入大小。
有输入的数量和SSIS包的数量以及它们的ETL程序。我们想用一些.NET应用程序替换那些SSIS包和ETL程序。我们关心的是这些.net应用程序的速度和性能，因为.net中
浏览 0提问于2017-10-06得票数 4
1回答
调度程序不尊重Apache气流队列参数
airflow-scheduler、airflow
我试图控制一个任务在哪个气流工作者上执行，但是DAG定义中的队列参数没有被调度程序捕获。我在subdag操作符中定义了一个队列： subdag = build_xdata_etl_dag(dag, 'xdata_run_etl'), dag = dag,
trigger_r
浏览 2提问于2020-04-03得票数 1
1回答
当我有多个数据文件( DataFusion )要转换时，如何使用.txt来执行ETL操作？在数据仓库UI中使用函数
google-cloud-platform、google-cloud-data-fusion
任务概述如下。./.text)中只有在选择一个数据文件时才执行ETL操作。然而，我想一次处理Google存储中的所有数据文件，但是有太多的数据文件需要手动处理。谢谢。
浏览 0提问于2020-10-12得票数 0
回答已采纳
1回答
确保数据质量的工具
data、cloud
我在GCP中创建了一个ETL，我从一个桶中处理XML文件，并将它们加载到bigquery。简而言之，我想要的是能够在输入ETL之前比较源环境和目标环境/比较数据，以及退出ETL后的数据，告诉您我没有忘记任何事情，我可以编写一些脚本来完成这个任务，但是我想知道是否
浏览 0提问于2022-11-07得票数 1
1回答
将多个数据源放入单个数据源
sql、database、database-design、etl、data-warehouse
我如何才能提供一个好的解决方案，它易于维护、一致，并且不需要对每个更新进行广泛的数据分析？
浏览 1提问于2014-04-18得票数 0
1回答
WHich ETL起点是Server集成的最简单和最有效的起点吗？
sql-server、ssis、etl、sql-server-2014
我对ETL世界很陌生，我正试图安排一个数据文件从另一家公司发送给我们，这样它就可以成为ETLed到数据仓库了。我将通过SQL Server 2014上的Integration开发ETL。
浏览 3提问于2015-10-17得票数 3
回答已采纳
1回答
用于大数据和内存使用的PySpark
dataframe、pyspark、etl、memory
我试图找出处理大数据ETL操作的最佳和最有效的方法。我的问题是这个。
假设我有一张大约50 GB大小的桌子。
浏览 0提问于2021-06-19得票数 1
2回答
AWS中基于依赖关系的ETL流
amazon-web-services、amazon-s3、aws-lambda、amazon-data-pipeline、amazon-swf
基于S3中可用的数据以及元数据，我们希望在系统中创建动态集群和动态任务/转换作业。有些工作是基于依赖性的。在这里，我分享了预期的流程，希望知道我们如何使用AWS服务和env有效地完成这一任务。但是现在可以确定如何处理动态任务和动态依赖关系。任何关于这件事的想法。
数据流在附图(参见ETL ) 中解释。
浏览 0提问于2017-09-11得票数 1
回答已采纳
6回答
Web服务是否适用于ETL目的？
java、web-services、etl
我的公司正在考虑使用web服务作为ETL过程的手段。然而，我不认为web服务适合这个目的，原因有几个: 1. web服务在生成大型xml时可能会消耗大量内存。2.XML是一种臃肿的格式。
浏览 0提问于2009-12-24得票数 5
1回答
在ETL项目中进行自动化端到端测试的最佳方法是什么？
java、testing、automated-tests、integration-testing、end-to-end
我们有一个ETL项目，其中数据从一个UI应用程序流到一系列应用程序(转换/逻辑)中。 整体的座右铭是在“UI 2”中看到“UI 1”的数据。我们如何通过某种状态管理来自动手动运行脚本？ 请就E2E的体系结构或如何增强此E2E设置提出更多建议。以及我可以使用哪些工具/框架。
浏览 28提问于2020-09-04得票数 0
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号