腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
dask
中
的
sqlalchmey
中
应用
多个
whereclause
,
同时
从
teradata
中
获取
大型
数据
集
python-3.x
、
sqlalchemy
、
dask
、
teradatasql
我正在尝试使用
dask
和
sqlalchmey
从
teradata
获取
更大
的
数据
集
。我能够
应用
单一
的
code和能够
获取
data.below是工作代码 td_engine = create_engine(connString)t = Tableperf_counter() print("Time taken to execute the code {
浏览 19
提问于2020-11-05
得票数 0
1
回答
将
数据
行
从
teradata
表加载到mysql表
mysql
、
teradata
在这种情况下,我们需要将
数据
行
从
teradata
表加载到mysql表
中
,对于如何开始使用它有任何提示吗?可以出口(或其他任何实用工具)帮助? (预先谢谢:)
浏览 3
提问于2014-02-27
得票数 0
回答已采纳
1
回答
用不同
的
列选择加载
多个
拼花文件
pandas
、
dask
、
parquet
、
dask-distributed
我想使用
Dask
从
存储在不同目录
中
的
许多拼板文件中加载特定
的
列,并且每个分区需要加载不同
的
列。我想使用
Dask
,这样我就可以在一台机器上使用
多个
核心。我了解了如何将文件或通配符
的
列表传递给dd.read_parquet,以指示
多个
文件(例如*.parquet),但我没有看到传递要为每个文件读取
的
不同列
集
的
方法。我想知道是否可以使用
dask
.del
浏览 0
提问于2019-05-24
得票数 1
回答已采纳
1
回答
使用
dask
将ufunc
应用
于xarray单
数据
集
变量作为延迟操作
python
、
dask
、
python-xarray
我想将自定义函数
应用
于xarray.Dataset
中
的
一个变量,只修改指定
的
变量。
同时
,我正在尝试制作
dask
计算图
的
这一部分,以便在使用to_netcdf读取到磁盘之前将其延迟。目前,我可以使用ufunc
应用
xr.apply_ufunc(),但只能
应用
于
数据
集中
的
所有变量。我知道我可能可以直接使用变量
的
名称(
如
Dataset.var )访问它,并将其传递给app
浏览 0
提问于2019-07-13
得票数 0
1
回答
在fastAPI
应用
程序
中
通过python缓慢读取小zarr/S3
数据
docker
、
amazon-s3
、
dask
、
python-xarray
、
zarr
我有这样一个小
数据
集
:Dimensions: (time: 24) * time (time) datetime64) float32
dask
.array<chunksize=(24,), meta=np.ndarray> PM2.5 (time) float32
dask
.array<chunksize此
数据
集
是在托管于ds.where()服
浏览 10
提问于2022-10-13
得票数 0
1
回答
如
何在
线程调度程序
中
利用多线程?
multithreading
、
scheduling
、
dask
我对
Dask
的
本地线程调度程序感兴趣。此调度程序可以使用
多个
线程
从
多维数组
中
“并行”加载
数据
块。我对I/O界问题感兴趣,所以暂时不考虑计算密集型
应用
。使用
Dask
的
存储方法
从
随机数组加载和保存
数据
的
一些速度测试似乎证实了这一事实:随着块大小
的
增加,性能下降(据说是因为最小块增加了并行性)。在这个实验
中
,我使用没有物理块
的</em
浏览 4
提问于2019-11-02
得票数 2
回答已采纳
1
回答
cuDF -不利用GPU核心
python
、
pandas
、
gpu
、
cudf
下面是用cuDF编写
的
python代码,以加速这个过程。但与我
的
4核心本地机器cpu相比,我没有看到任何速度上
的
差异。
浏览 1
提问于2020-04-21
得票数 0
2
回答
Keras模型采用
dask
数据
模型进行训练
python
、
dataframe
、
keras
、
large-data
、
dask
我正在处理内存不足
的
大型
数据
集
,我被介绍给了dataframe。我
从
文档中了解到,
Dask
并没有将整个
数据
集
加载到内存
中
。相反,它创建了
多个
线程,这些线程将根据需要从磁盘
中
获取
记录。因此,我假设批处理大小为500
的
keras模型,在训练时应该只有500条记录在内存
中
。但当我开始训练
的
时候。这需要forever.May,我正在做w
浏览 1
提问于2017-11-15
得票数 2
回答已采纳
1
回答
用于处理多年NetCDF
数据
集
的
Dask
+X数组实施
dask
、
netcdf
、
python-xarray
我正在尝试使用两个水文
数据
集
(每个70 GB ),其中包括66年
的
模拟日流量和其他变量。
数据
集
具有每天
的
netcdf文件。我需要
同时
打开这两个
数据
集
,如果我尝试使用xr.open_mfdataset打开它们,则需要1个多小时才能加载。我也尝试过使用xr.open_mfdataset('filename', parallel = True),但是花费
的
时间几乎是一样
的
。我还尝试将完
浏览 11
提问于2020-07-08
得票数 0
回答已采纳
1
回答
DDL脚本
的
自动生成
snowflake-cloud-data-platform
、
teradata
当组织尝试
从
本地
Teradata
实时迁移到Snowflake时,如
何在
Snowflake
中
创建所有对象?(例如
数据
库、模式、表和视图)。 肯定不能手动创建每个对象。(假设有大约5000
多个
表)。DDL脚本
的
自动生成是如何实时完成
的
?此外,我正在努力避免任何第三方工具,
如
Roboquery。
浏览 21
提问于2021-10-12
得票数 0
1
回答
将
dask
_cudf分区加载到GPU内存
中
时,每个分区
的
开销是多少?
dask
、
rapids
、
cudf
PCIE总线带宽延迟强制限制
应用
程序应如何以及何时将
数据
复制到GPU或
从
GPU复制
数据
。 在直接使用cuDF时,我可以高效地将单个
大型
数据
块移动到单个DataFrame
中
。当使用
dask
_cudf对我
的
DataFrames进行分区时,是否一次一个地将分区复制到GPU内存
中
?一批一批?如果是这样,
多个
拷贝操作而不是单个较大
的
拷贝是否会产生显著
的
开销?
浏览 74
提问于2019-02-15
得票数 2
1
回答
DNA序列转化为特征
python
、
bioinformatics
、
dna-sequence
我有一个包含DNA序列
的
数据
集
,我想把它们转换成一个数字表示。
如
本文件所示: 我如
何在
python
中
应用
它呢?作为
数据
集
输入,可以对
大型
数组执行此操作吗?
浏览 2
提问于2017-10-09
得票数 1
回答已采纳
1
回答
将
数据
返回活动、intent.putExtra或内容提供程序?
android
我有一个活动和一个intentService,我
的
intentServie
从
web
获取
一些
数据
,并需要将它传回活动。我目前正在使用服务
中
的
ResultReceiver将
数据
传递回活动。适合于larg
数据
集
吗?我应该如
何在
主要活动上更新UI (ListView) ? (它不会挂在
大型
dataSet上吗?)如果是
浏览 3
提问于2012-04-19
得票数 1
回答已采纳
2
回答
使用
dask
的
新to_sql提高效率(内存/速度)或替代将
数据
从
dask
数据
获取
到Server表
sql-server
、
pandas
、
sqlalchemy
、
dask
、
dask-to-sql
所以,我和
dask
一起去了:但是,上面的第三条一直
浏览 4
提问于2020-06-16
得票数 6
回答已采纳
1
回答
Bokeh +Holoview+ Datashader on Django
django
、
bokeh
、
holoviews
、
datashader
我们正在尝试构建一个web
应用
程序--Dashboard--在DJango上显示不同
的
交互式图表(包括单击回调、
获取
新
数据
等),并使用Bokeh +Holoview+ Datashader。由于
数据
非常大,并且可能有10+ 100万个点,所以我们使用
的
是datashader。但是,由于我们使用了Datashader,所以
数据
是在静态html
中
聚合和转换
的
,当我们放大时,我们不会
从
端
获取
我们正在寻找<
浏览 6
提问于2020-08-04
得票数 0
1
回答
Teradata
: ANSI和TERA模式在记录插入方面的区别
database-connection
、
teradata
我正在开发一个
应用
程序,该
应用
程序
从
Hadoop
获取
记录,并通过sqoop(JDBC)将它们插入
Teradata
中
。 对于连接,我使用TERA模式,目标表被设置为表。我得到了一些
数据
集
的
重复行问题。
浏览 3
提问于2013-07-23
得票数 0
回答已采纳
1
回答
TensorFlow
数据
集
如何处理无法装入服务器内存
的
大型
数据
?
tensorflow
问题Spark可以处理具有
多个
节点
的
大型
数据
。对于
中
的
问题,答案是使用Tensorflow变换,它使用Apache,它需要分布式计算集群(
如
Spark )。如果我们有较大
的
数据
集
,比如一个50 do
的
CSV文件,那么如何计算平均值或其他类似的统
浏览 3
提问于2020-08-09
得票数 1
2
回答
Laravel dabatabse正面内存使用情况
php
、
laravel
、
memory
、
pdo
我发现了用php pdo编写
的
一个很好
的
例子,它有助于迭代大量
的
数据
,而不实际为整个结果分配内存: //do something我做了一个调查,这种方法使用了内存
的
18mb。如果我
获取
像这个$results = $statement->fetchAll(PDO::FETCH_ASSOC);这样
浏览 2
提问于2019-03-06
得票数 3
回答已采纳
5
回答
打开一个
大型
JSON文件
python
、
json
、
nltk
我有一个1.7GB
的
JSON文件,当我试图用json.load()打开时,它会产生内存错误,那么如
何在
python
中
读取JSON文件呢?>>>for line in open(&
浏览 6
提问于2012-05-23
得票数 13
2
回答
生成存储资源
的
队列
node.js
、
csv
、
express
、
google-cloud-firestore
、
google-cloud-storage
我有一个
大型
数据
集
存储在一个Firestore集合
中
,一个Nodejs
应用
程序(作为一个火基functions.https.onRequest公开)有一个端点,它允许用户查询这个
数据
集
并下载大量
数据
。我需要从端点返回CSV格式
的
数据
。因为有大量
的
数据
,所以我希望避免每次命中端点时进行
大型
数据
库读取。 我现在
的
端点是这样做
浏览 4
提问于2020-08-13
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
(新版完结无密)Python 分布式爬虫与 JS 逆向进阶实战
(新版)Python 分布式爬虫与 JS 逆向进阶实战-梦里有时终须有
Python数据预处理:使用Dask和Numba并行化加速
从广度到深度 Teradata的持续拓展与进化
处理数据,大数据甚至更大数据的 17 种策略
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券