熊猫块大小如何切分块并直接跳到目标块中

文章/答案/技术大牛

发布

1回答

python-3.x、pandas

我有一个很大的文件，我使用pandas chunksize将其分成大约500个块： index=0 continue break 问题是，正如代码所示，如果我想执行第500个块来做一些逻辑，我需要从第一个块开始，一块接着一块

浏览 3提问于2021-10-08得票数 1

回答已采纳

3回答

节点读取指定区块大小的文件

node.js、upload、amazon-glacier

目标:将大文件上传到AWS Glacier，而不将整个文件保存在内存中。线程建议我可以在读取流上设置块大小，但实际上并不能保证我会得到它。有没有关于如何<

浏览 2提问于2014-08-04得票数 15

1回答

Rabin-Karp算法与重叠的关系

algorithm、hash、duplicates、rabin-karp

许多重复库或应用程序应用Rabin滚动散列算法快速散列，从文件二进制文件中剪切块。我知道它是快速滚动散列算法，但我的问题更基本。会有很多种方法来减少一小块。将9位进行比较，平均得到512字节块，等等。

浏览 3提问于2016-11-07得票数 0

回答已采纳

1回答

熊猫柱状块状

python、pandas、optimization

我想阅读一个大型数据矩阵(目前正在测试90*85000，稍后是150000*850000)，并对这些列执行一些操作。我的问题：读取小文件，其中“chunksize=2

浏览 1提问于2016-06-09得票数 0

1回答

如何立即将通常由sql读取的大数据块或分区到熊猫中？

python、pandas、bigdata、large-data

高层理念：的具体细节：我有两个主要列要考虑ID和Date。已经建立的块(每个2000万)在Date列中保存了几个月。对我来说，推论是

浏览 3提问于2022-02-10得票数 0

2回答

我已经在我的亚马逊环境中完成了这个设置:法兰克福的CloudFront分发-> S3桶。不幸的是，新的区域只支持v4签名，这给我带来了一些麻烦。我使用精细上传器直接上传到cloudfront发行版，如果文件分块(在这种情况下，精细上传器使用put来上传文件)，一切都可以正常工作。当文件大小小于块大小时，就会出现此问题。在本例中，精细上传器将方法更改为POST。由于cloudfront不支持Post (如 )，所以我无法上传文件。有什么方法可以覆盖

浏览 3提问于2015-11-13得票数 0

回答已采纳

1回答

如何使用Pandas访问N块？

python、pandas、numpy

我相信你们中的大多数人可能会发现这是基本的，但不知何故，我发现理解在pandas中访问特定块并稍后添加它的方式非常令人困惑。我知道要追加集合，但我不知道如何根据块来识别数据例如，假设我的表有36000条记录，我将其分块到1200点，现在我只想访问第三个块。如何在熊猫身上实现这一点？

浏览 9提问于2020-08-22得票数 0

1回答

从熊猫的块csv文件中保存多个csv文件

python、pandas、dataframe、csv

我正试图将一个非常大的(2500万行) csv文件加载到熊猫中。我正在分块这个文件，每次100,000行，并附加一个新创建的dataframe，它实质上是统计块数据帧列中某些单词的出现情况。当我保存第一个块时，一切都正常工作，并且这个块被连接到新创建的dataframe并排。然而，由于某些原因，第二个块是对角线连接的。我的意思是，分块数据现在是200,000行，前100,000行是空的，新创建的da

浏览 2提问于2022-01-05得票数 1

回答已采纳

1回答

NodeJS + Websockets + HTML5视频标签和‘流媒体’

javascript、html、node.js、websocket、streaming

我正在尝试使用websockets在<video>标签中向浏览器流式传输一个大的视频文件。到目前为止我的代码如下： var SizeChunker我的问题是，第一个分块(0)只播放3秒左右，然后

浏览 1提问于2014-08-01得票数 2

2回答

将Vhd上传到Azure页面块中

azure、file-upload、azure-blob-storage

我正在尝试上传一个Vhd (大小至少为30 web )到一个页面blob中的蔚蓝存储在一个mvc web应用程序。由于文件的大小，我不能上传这个大文件作为一个整体，因为浏览器不允许发送这个大请求。因此，唯一的选择是以块方式上传文件(即4mb)。在客户端大小上，我可以进行分块，并通过ajax请求(在循环中)向服务器端控制器发送块。但是，使用.net，我没有找到将块上传到页面blob的方法。P.S有一种使用putblock()和putbl

浏览 2提问于2015-12-31得票数 1

回答已采纳

1回答

熊猫循环大尺寸文件如何获取块的数量？

python、pandas、dataframe、numpy、large-files

我用熊猫来读取一个大文件，文件大小是11 GBfor df_ia in pd.read_csv(file, chunksize=n,iterator=True, low_memory=False):index = 0 iterator=True, low_mem

浏览 1提问于2022-01-10得票数 0

回答已采纳

1回答

Vulkan内存对齐要求

c++、memory、memory-management、vulkan

我正在为Vulkan设备内存实现一个简单的内存管理器，并希望确保我了解内存的对齐要求以及如何满足它们。因此，假设我已经使用vkAllocateMemory分配了一个“内存池”，并且希望将这个池中的内存块子分配给单个资源(基于VkMemoryRequirements结构)，那么下面的伪代码能够按照正确的大小和对齐要求分配内存的一部分吗使用RequiredSize和RequiredAlignment请求内存遍历池中的块，寻找一个空闲且大小> RequiredSize的块<

浏览 4提问于2017-08-02得票数 3

回答已采纳

1回答

细微上传器PHP服务器端合并

fine-uploader

我真的对分块和简历功能很感兴趣，但我在将文件放回服务器端遇到了困难；任何帮助或指示都将不胜感激。

浏览 4提问于2013-08-16得票数 0

1回答

结合使用LBP和Adaboost

face-detection、adaboost

它们的大小是18x18像素。我将每张图片划分为9个子区域。在每个块中，我计算每个像素的LBP值。并分块计算它们的频率。所以每个块有256个值作为频率。我的问题是，我如何在Adaboost中使用LBP？Adaboost期望一个弱分类器，但LBP本身不能对图像进行分类。如何修改Adaboost以从每个块中选择最重要的值？

浏览 3提问于2013-05-21得票数 2

1回答

在Azure逻辑应用程序中分块SFTP-SSH创建操作不起作用

sftp、azure-logic-apps

我想达到的目标是：启用了SFTP 'Create‘操作的分块。帮不上忙。作为“创建文件”的输入也没有帮助。虽然

浏览 1提问于2021-08-12得票数 0

1回答

S3 REST用于PUT (直接上传)操作块吗？

rest、amazon-web-services、file-upload、amazon-s3、put

在HTTP中，PUT操作--即直接上传(而不是多部分上传)--如何准确地通过S3发送对这样大文件(即千兆字节)的请求？直接上传是否也是块式的(就像多部分上传一样)，并且有一个内部定义的大小？当尝试使用S3 REST进行PUT (直接上传)操作时，我可以上传的最大容量约为5GB，甚至亚马逊也表示，直接上传的最大限制是5GB。但是，当尝试上传一个文件时，这个文件越大，它就会抛出一个异常“您的建议上传超过了允许的最大大小”，并且返回了一个H

浏览 3提问于2017-06-23得票数 2

1回答

向上传URL发送块块

azure、azure-media-services、windows-media-services

我正在尝试创建一个应用程序，它使用上传视频文件并对其进行代码转换。一切都很好，但我遇到了一种情况，在不知道原因的情况下，我无法上传160 MB的视频文件。对上传过程进行常规调试是非常痛苦的，因为上传160 MB文件需要很长时间，所以我决定在这里问我的问题：如果是这样的话，那么如何使用REST来实现呢？我可以将分块的文件发送到一个普通的存储帐户，但是，

浏览 5提问于2014-03-19得票数 2

回答已采纳

1回答

` `dat`‘协议能否有效地支持视频的实时流？

node.js、p2p、serverless-architecture、dat-protocol、hyperdrive

将每条记录放在一个单独的文件中的效率要高得多:当创建记录时，网络中的对等方只会下载新创建的文件。然而，也指出，dat使用Rabin指纹来创建确定性的文件块，这样，dat客户端就可以轻松地识别它已经通过散列下载的块，因此应该只能下载文件的最后一个块，如果这是唯一改变的部分的话。有，但从我对其工作原理的基本理解来看，它似乎为视频数据保存了自己的"bundle.js“文件，我不确定它是如何实现流的，但这与我试图实现的不完全相同，它能够高效地流任意大小和扩展的文件，例

浏览 6提问于2018-07-30得票数 2

2回答

从dask阵列产生矢量输出

python、geospatial、dask、rasterio

这在单个数组上是一个简单的任务，但我很难弄清楚如何告诉dask，我希望它对每个块执行这个操作，并返回一些不是数组的内容。函数应用于每个块： polys = list(poly[0]['coordinates'][0] for poly in rasterio.features.shapestest_polygons = da.blockwise(get_polys, '', labeled_arr, 'i

浏览 4提问于2021-02-16得票数 3

回答已采纳

4回答

内存流和大对象堆

c#、wcf、memory、out-of-memory、large-object-heap

因为我希望能够恢复文件，而且我不想被WCF限制在文件大小上，所以我将文件分块成1MB的片段。这些“块体”是以流的形式运输的。到目前为止还挺不错的。我的步骤是：我的问题是在第2步，我假设当我从一个字节数组创建一个内存流时，它最终会在LOH上结束，并最终导致一个外部内存异常。现在，我不想在消息中发送byte[]，因为WCF会告诉我数组大小太

浏览 5提问于2010-05-12得票数 16

回答已采纳

点击加载更多