腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3042)
视频
沙龙
1
回答
如何
使用
Python
以
结构化
格式
将
半
结构化
文本文件
加
载到
dataframe
中
?
python
示例
半
结构化
文件如下所示: HBase Shell; enter 'help<RETURN>' for list of supported commands.1518803776720, value=0Emulate 15
浏览 14
提问于2020-03-31
得票数 0
回答已采纳
3
回答
HBase有自己的
结构化
数据(在HDFS上)还是可以对HDFS上的非
结构化
数据执行
hadoop
、
hive
、
hbase
我相信HiveQL可以
以
类似于SQL的方式在HBase上运行,而且几乎是实时的。如果是这样的话,我认为有必要将HDFS上的非
结构化
数据转换为
结构化
数据,以便在HQL
中
运行相对较快的查询。这是否意味着数据以非
结构化
形式
以
HDFS形式存在,然后
以
结构化
形式复制到HDFS上供HBase和HQL
使用
? 此外,HiveQL是否可以
以
批处理模式(小时)直接运行在HDFS上的非
结构化
数据上。
浏览 1
提问于2015-08-30
得票数 0
1
回答
使用
Talend
将
文本文件
转换为Excel
excel
、
hadoop
、
text
、
hive
、
talend
我目前正在做一个talend项目,
将
推文日志加
载到
hive表
中
。但由于
文本文件
的非
结构化
格式
,我必须首先将其处理为
结构化
文件,在本例
中
,im将其转换为csv,使其
以
逗号分隔。这是我正在处理的
文本文件
。 我正在尝试
将
突出显示的部分作为单列。由于在文件输入
中
配置了按空格分隔,因此它拆分了tweet。有什么办法可以解决这个问题吗?
浏览 9
提问于2018-02-16
得票数 1
1
回答
从
半
结构化
数据中提取
结构化
数据
machine-learning
、
nlp
、
pandas
、
text-mining
、
text-classification
我希望
使用
机器学习和NLP
将
文本文件
中
的
半
结构化
数据转换为
结构化
数据,方法是预测文件
中
的模式并分割字段,例如,如果我有一个类似于以下内容的
文本文件
:2021565267MALL1ETAGE ZARA1stZARA1st FLOOR,234556120225652634,ANFAPLACE2ETAGE,2345561 这些
半</e
浏览 0
提问于2021-02-22
得票数 0
1
回答
在包含纯
文本文件
的azure blob存储上创建azure搜索索引并进行搜索
c#
、
azure
、
azure-blob-storage
、
azure-search-.net-sdk
然而,这个链接处理的是
半
结构化
数据。
如何
在类似于的C#
中
以
编程方式在
文本文件
上建立索引?我还想知道
如何
将
Azure搜索服务与我的blob存储关联,或者这是自动完成的吗?谢谢。
浏览 8
提问于2020-02-24
得票数 0
回答已采纳
1
回答
Azure IOT集线器到本地数据库服务器
azure
、
azure-iot-hub
我知道我们可以
将
这些数据传输到任何基于云的存储,例如 用于在Azure云中存储IoT数据,例如: 如果您需要以较低的价格存储大量冷数据,请
使用
Azure Blob存储。存储的IoT数据可以按需加
载到
一些SQL数据库或SQL DW
中
,以
使用
标准查询运行分析,或者
使用
某些Azure机器学习服务进行分析。Azure SQL数据库或Azure SQL DW (如果可以解析传入数据并将其存储为关系
格式
)。如果您需要存储
格式
为JSON的
半
浏览 15
提问于2019-12-05
得票数 0
回答已采纳
3
回答
半
结构化
数据的例子?
data
我读到Json或XML是非
结构化
数据;Json或XML数据还是用来标记数据的工具?我从维基百科页面(https://en.wikipedia.org/wiki/Semi-structured_数据)了解到,
半
结构化
数据是没有正式数据库结构的数据,但仍然有一些标记;
浏览 0
提问于2018-12-03
得票数 0
回答已采纳
2
回答
在spark
中
为
dataframe
中
的特定列应用逻辑
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
我有一个
Dataframe
,它是从mysql导入的+----+---------+------------------------------------
中
的
结构化
数据
中
解析它。以前,我
将
xml文件单独放在一个
文本文件
中
,并
使用
"com.databricks.spark.xml“加
载到
spark
dataframe
中
。sql
浏览 2
提问于2018-08-29
得票数 0
2
回答
在
Python
中
对文档进行文本
格式
化的最佳方法是什么
python
、
document
我正在尝试
格式
化一个
半
精致的、符合逻辑的、可读性很强的文本文档。我
使用
cmd模块来解析文件
中
的文本(搜索和匹配)。cmd模块
使用
不同的函数(所有函数的结构都是: def do_name(self,line):)。我正在尝试理解
如何
A)
将
标题和列打印到文本文档,以及B)将我的搜索结果放在所述文档
中
的适当位置。
浏览 3
提问于2011-04-29
得票数 0
回答已采纳
1
回答
如何
使用
PySpark在桌面本地文件夹上的目录
中
并行处理文件(pdf、docs、txt、xls)?
python-3.x
、
apache-spark
、
pyspark
、
extraction
在本地桌面上的一个目录
中
,我在不同的子目录中有大约9000份文件。目录的总大小约为15 is。我不想
使用
python
编程方法,这是非常耗时的。我想
使用
某种分布式并行处理来完成这项任务。我想做下面的事
将
文件名和内容(提取的文本)存储在
dataframe
中
。我已经
使用
普通的
python
浏览 1
提问于2019-04-26
得票数 0
2
回答
适用于
结构化
数据的Azure Data Lake
azure
、
azure-data-lake
我们一直在审查微软的现代数据仓库架构,其中提到了
使用
Azure Data Factory
将
结构化
和非
结构化
数据拉入Azure Data Lake。我也参加了很多关于这个主题的演讲,但大多数人对data Lake是否是
结构化
数据的好去处意见不一。我想确定的是,如果我们要利用的唯一来源是本地SQL Server数据库,那么
将
数据导入到数据湖
中
是否是一个好策略?那么,该策略的优点/缺点是什么?就背景而言,我们正在寻找一个单一的消费窗格-无论是
使用
P
浏览 3
提问于2020-02-06
得票数 0
2
回答
将
文件导入HDFS的不同方法
hadoop
、
import
、
hdfs
我想知道
将
数据带入HDFS的不同方式是什么。 我是Hadoop的新手,直到现在我还是一个java web开发人员。我想知道我是否有一个创建日志文件的web应用程序,
如何
将
日志文件导入到HDFS
中
。
浏览 7
提问于2015-09-26
得票数 8
1
回答
如何
将
unicode字符和行输出到图像文件
中
?
python
、
image
、
unicode
、
jpeg
我想要为汉字创建一个jpg或任何其他图像
格式
的文件,我怎么做呢?我的输入
文本文件
(在utf8
中
)如下所示:读取它很简单,我可以简单地执行codecs.open('intext.txt','r','utf8).read().strip().split('\t'),但是
如何
输出如下所示的图像文件: 最终,整个jpg看起来可能是这样的: 所以确切的问题是:
如何
使用
py
浏览 1
提问于2013-11-27
得票数 2
回答已采纳
2
回答
使用
PHP从一个巨大的
文本文件
中将
结构化
数据处理到数据库
中
?
php
、
text
我有包含
结构化
数据的
文本文件
(这是一种专有
格式
,而不是像CSV这样简单或常见的
格式
)。我想把这些数据放到数据库里。
文本文件
的大小高达50 it,所以我不可能将整个文件读入内存,将其解压缩到数组
中
,然后将其处理到数据库
中
。
文本文件
中
的项目总是以
以
'01‘开头的行开始,并且可以有无限多的附加行(所有这些行都是一个接一个),这些行都将以02或03开头.最多08岁。新项目在新行
以
01开头时开始。<
浏览 4
提问于2012-03-22
得票数 0
回答已采纳
1
回答
Solr
将
响应作为文档或Rich返回
hadoop
、
solr
我是Solr的新手,下面是我在Solr
中
的要求,我有大量的电子邮件
以
文本
格式
(
半
结构化
)存储。
使用
Solr时,当我搜索特定的字符串(可以是name)时,我必须索引这些文档。请让我知道
如何
在Solr
中
做到这一点。建议
将
索引存储在HDFS
中
吗?
浏览 1
提问于2016-12-12
得票数 0
3
回答
数据湖
中
的桌子有什么意义?
azure
、
azure-data-lake
我认为
使用
数据湖( Data )与数据仓库()的全部目的是
将
ETL (提取、转换、加载)过程转换为让(加载、提取、转换)。难道提取这些数据,将其转换并加
载到
一个表
中
,就能让我们回到我们开始的地方吗?
浏览 7
提问于2017-10-16
得票数 5
回答已采纳
1
回答
snowflake
中
CEF文件的解析
snowflake-cloud-data-platform
、
snowflake-schema
我们已经暂存了外部阶段s3
中
的日志文件。暂存的日志文件位于CEF文件format.How
中
,用于解析来自阶段的CEF文件
以
将
数据移动到snowflake?
浏览 14
提问于2021-07-11
得票数 0
3
回答
在Java中生成和解析
文本文件
java
、
file
我认为在Castor或JAXB
中
,文件和对象之间的映射可以通过编程方式定义,也可以
使用
XML/注解定义。TXT文件不是同构的,并且没有分隔符(固定位置)。
浏览 2
提问于2012-06-18
得票数 1
回答已采纳
2
回答
组合MongoDB和像Neo4J这样的GraphDB
mongodb
、
graph
、
neo4j
作为我正在开发的内容管理系统的一部分,我已经
将
MongoDB作为主要的数据存储,它提供给ElasticSearch和Redis。所有这些都是以解密方式配置的。因此,我正在寻找一种方法,
以
最合适的方式
将
GraphDB引入这个生态系统。我可能应该说应用层位于Node.js
中
。我读过很多比较Neo4J (一种流行的GraphDB)和MongoDB的文章,但没有太多的实际用例,现实世界
中
两者互补的场景。 任何指点都非常感谢。
浏览 1
提问于2013-02-03
得票数 2
1
回答
Python
解析
结构化
文本文件
python
、
structured-data
我想在
python
中
解析
格式
的
结构化
文本文件
:field1 = xxx, xxx
文本文件
可能包含具有不同字段数的其他标头。我希望
以
ConfigParser提供的访问方式访问数据,即能够列出部分,然后对于给定的部分,查看字段及其相应的值。其目的是读取文件,修改文件的位,并以相同的
格式
将其写回。Google等人带领我
使用
py解译器,但这似乎更多的是在解释句子,而我
浏览 3
提问于2014-07-19
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教程:Apache Spark SQL入门及实践指南!
结构化数据,我该拿你怎么办?
谷歌开源 TFRecorder,几行代码即可高效创建数据集
pandas系列学习(三):DataFrame
Python笔记-数据加载、存储与文件格式(2)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券