腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何将百万歌曲数据集等大数据集加载到BigData HDFS、Hbase、Hive?
python
、
hadoop
、
hive
、
hbase
、
bigdata
我知道它可以用
Python
来读取。但是我不知道如何提取并加载到HDFS中,这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive?
浏览 0
提问于2015-10-10
得票数 0
1
回答
如何使用
python
将文件划分为多个文件
python
、
python-2.7
、
python-3.x
我有一个视频文件,我需要将分为几个大小为256 in 的较
小文件
,并将所有文件名保存在一个文本文件中,然后我需要读取所有的
小文件
,将它们合并到原始文件中。 在
python
中可以这样做吗?
浏览 2
提问于2016-10-08
得票数 0
回答已采纳
3
回答
在
Python
Ubuntu服务器上压缩.mov视频文件?
ubuntu
、
video-processing
、
video-encoding
我有一台
Python
/Django Ubuntu服务器(我可以使用
Python
和Ubuntu的所有工具)。 如何压缩.mov格式的视频文件以降低压缩率,以减
小文件
大小?
浏览 3
提问于2011-04-19
得票数 2
回答已采纳
4
回答
关于拆分大文件的问题
python
嘿,我需要将
python
中的一个大文件拆分成只包含特定行的
小文件
。我该怎么做呢?
浏览 1
提问于2010-07-09
得票数 0
回答已采纳
1
回答
录制网络流无线电
linux
、
streaming
、
gstreamer
、
radio
、
recording
我更喜欢使用C或
python
框架,但我愿意接受任何建议:)。
浏览 3
提问于2012-11-14
得票数 2
1
回答
将
Python
2十六进制变量转换为
Python
3
python-3.x
、
python-2.7
、
hex
我正在尝试将一个
小文件
从
Python
2转换为
Python
3。这个十六进制变量赋值阻塞了我。
浏览 0
提问于2021-02-07
得票数 0
1
回答
pythonSDK上传大文件失败?
对象存储
、
官方文档
、
python
、
api
使用“High-level API 描述(推荐)”的文件上传方法存至存储桶,判定为分块上传的大文件总是报错CosClientError,
小文件
可以成功传输,求解决办法。
python
版本3.5 [附加信息]
浏览 293
提问于2018-10-09
1
回答
可以使用Crossbar.io和WAMP传输文件吗?
python
、
attachment
、
crossbar
、
wamp-protocol
是否可以使用WAMP / Crossbar发送简单的
小文件
,如.txtdef sendSketch(self, datastring): payload = b'1' 如何让
Python
发送文件,而不只是一个“1”?
浏览 7
提问于2015-06-16
得票数 0
1
回答
Python
"header.py“模块
python
、
django
、
python-import
、
python-module
我已经将一个包含大量方法的大型
python
文件拆分为几个较小的方法。但是,有一个问题:我希望所有这些
小文件
都能导入几乎相同的模块。 我尝试创建一个header.py文件,在这里我刚刚粘贴了通用的头。我知道一个解决方案是找出每个
小文件
所依赖的库,但是有没有更快的方法来做到这一点呢?
浏览 3
提问于2013-11-28
得票数 6
回答已采纳
2
回答
从S3桶中用PySpark读取数百万个小JSON文件非常慢
apache-spark
、
amazon-s3
、
pyspark
、
apache-spark-sql
、
databricks
我在s3中有一个文件夹(path = mnt/data/*. json ),其中包含数百万个json文件(每个文件小于10 KB)。我运行以下代码: .option("multiline", True) .json(path))问题是它很慢。星星之火通过一个任务为此创建一个作业。任务似乎没有运行它的执行程序,这通常意味着作业的完成(对吗?),但是由于某种原因,DataBricks
浏览 2
提问于2020-12-04
得票数 2
回答已采纳
1
回答
如何在
python
中压缩单个文件?
python-3.x
、
csv
、
zip
我想用
python
压缩,这样我就可以邮寄这个文件了。它不会减
小文件
大小。
浏览 0
提问于2019-10-16
得票数 1
2
回答
Python
读取特定的交替行
python
我有一个很大的文本文件,我想从其中读取特定的行,然后将它们写到另一个
小文件
中。,然后是line2,line5,line8,...最后是line3,line6,line9,....so,我还想把这三组代码写在另外三个单独的
小文件
中。有人能建议如何使用readlines()或其他类似的
python
方法吗?
浏览 0
提问于2015-08-14
得票数 1
2
回答
如何在PyCharm社区2020中运行“Hello world”
python
、
pycharm
我想在我所有的
Python
代码中使用PyCharm,但是不知道如何在没有在PyCharm社区2020中创建项目的情况下运行'Hello world‘。菜单和上下文菜单似乎没有什么帮助。附加屏幕截图。
浏览 0
提问于2020-09-06
得票数 0
1
回答
首次安装
python
,并在git bash中进行测试。
python
、
git-bash
操作系统: Windows 10我想在git bash上运行
python
。I安装了可移植的git。C:\User\用户名\Desktop\PortableGitI在便携式git文件夹中创建了一个名为ib的
小文件
,其内容是I安装了
python
在便携式git文件夹中
浏览 5
提问于2022-07-05
得票数 0
1
回答
在7-zip归档文件中流式传输文件
java
、
python
、
compression
、
7zip
我想写一个
Python
或Java应用程序来迭代7-zip (.7z)归档中的所有
小文件
。有没有一种方便的方法来以流式和高效的方式完成这项工作,也就是说,不需要重复运行7z来提取单个文件?
浏览 1
提问于2012-05-02
得票数 1
回答已采纳
1
回答
如何有效地将spark中的数据帧与
小文件
目录连接起来?
python
、
scala
、
dataframe
、
apache-spark
、
join
我们的目标是使用这个经过预处理的数据帧进行进一步的分析,这样我就不必再处理
小文件
了。值得一提的是:有比我需要的更多的小描述文件(x1000),所以我认为某种“惰性连接”会比预先读取所有的
小文件
然后连接更有效。 你将如何在Spark中构建它?我目前使用的是scala,但是如果你有一个
python
的例子,我想我也可以使用它。
浏览 0
提问于2020-02-07
得票数 0
2
回答
不加载的压缩tsv的计数列
python
对于
小文件
,我可以解压缩并读取到
python
,对于大型文件,这是缓慢的。有没有一种方法可以在不将文件加载到
python
的情况下快速计算列数?是否有一种方法可以使
python
有效地解压缩,只需阅读第一行?
浏览 1
提问于2017-09-22
得票数 3
回答已采纳
2
回答
如何从后台访问用户google drive?
python
、
google-api
、
google-drive-api
我是连接用户在前端,这是在ReactJS和后端是
python
。www.googleapis.com/auth/drive","expires_in": "3598",} 现在,当我通过
python
我指的是使用
python
进行驱动器访问的文档。
浏览 0
提问于2018-01-14
得票数 0
2
回答
如何默认导入
python
模块?
python
、
import
、
module
你能告诉我,如何默认添加导入
python
模块吗?的脚本都是从import numpy as npimport scipy as sp 有没有可能让
python
浏览 0
提问于2013-11-28
得票数 0
1
回答
GREP从另一个文件中的文件行到某个字符出现为止。
linux
、
bash
、
grep
grep -A 10 -f smallfile bigfile是否可以使用另一个标志而不是-A来继续对以下行进行打号,直到在大文件中出现一个字符(例如@),并且我需要对
小文件
中的数百行行这样做示例只是举例说明其中的一行:@123大文件:abcghjsdfrzxyui@435gdgdabcghjyui如果您知道从另一个文件中的另一个文件中
浏览 1
提问于2017-03-14
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
超简单超详细python小文件、大文件、批量下载教程
大数据 HDFS 小文件处理方案
大数据开发之用CombineFileInputFormat优化Hadoop小文件
海量小文件的开源存储方案选型建议
如何从根源上解决 HDFS 小文件问题
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券