腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
加速
访问
数据
湖
的
UDF
apache-spark
、
pyspark
、
bigdata
我正在尝试编写一个
UDF
来用地理位置信息来丰富IP列。我要用于丰富
的
数据
以IP范围到国家/地区
的
形式存储在一个
数据
湖
中。为了读取文件,我使用Java API,但我发现这非常慢。下面是我用来读取文件
的
代码: from pyspark import SparkContextspark = (SparkSession.builder有没有更快
的
方法来执行这样
的</e
浏览 24
提问于2021-02-02
得票数 0
1
回答
将Postgres函数转换为Impala
UDF
或Spark中
的
函数
postgresql
、
apache-spark
、
pyspark
、
hiveql
、
impala
我有一个在查询中调用
的
postgres函数。amt+=amt; end if; END;如果我希望将其转换到
数据
湖
环境中,哪种方法是最好
的
?Impala
UDF
?还是Spark
UDF
?还是Hive
UDF
?在Impala
UDF
中,如何
访问
impala
数据
库?如果我写了Spark <em
浏览 2
提问于2016-07-14
得票数 0
1
回答
如何使用用户分配
的
标识从
数据
库
访问
ADLS容器
azure
、
azure-databricks
、
azure-managed-identity
、
azure-data-lake-gen2
我有一个带有blob容器
的
ADLS存储帐户。我已经成功地在Databricks中挂载了带有服务主体
的
ADLS,并且能够对
数据
进行必要
的
转换。请提出一个工作解决方案或任何有益<
浏览 6
提问于2022-03-08
得票数 0
2
回答
从
数据
湖
中检索
数据
到分析系统
hadoop
、
bigdata
、
analytical
我们在Hadoop文件系统中创建了一个新
的
数据
湖
。
数据
以ORC
的
形式存储。目前分析系统直接连接到
数据
湖
来读取这些ORC文件。 有没有办法在
数据
湖
和分析系统之间创建一个中间层来服务
数据
?
浏览 16
提问于2018-10-04
得票数 0
1
回答
对于Azure DataLakeStorageGener2,在哪里可以调整
访问
/并发设置?
azure
、
configuration
、
settings
、
azure-data-lake-gen2
我们有这些默认设置对于给定
的
连接,在何处或如何配置控制并发连接到我们帐户
的
设置?还是我们可以调整其他控制并发或吞吐量
的
设置?
浏览 2
提问于2020-11-16
得票数 0
回答已采纳
2
回答
Azure应用程序无法
访问
数据
湖
存储中新创建
的
文件
azure
、
azure-data-lake
、
u-sql
我编写了控制台应用程序来监控/分析Azure
数据
湖
存储中
的
文件。我在Azure活动目录中创建了一个应用程序来
访问
azure资源。我遵循了给出
的
所有步骤,让能够
访问
蔚蓝
数据
湖
存储上
的
应用程序。我提供了对父目录和
数据
湖
存储
的
所有幼童文件夹/文件
的
访问
权限。 现在,我可以通过我
的
代码
访问
文件。我正
浏览 1
提问于2018-01-30
得票数 0
2
回答
如何处理
数据
湖
vs
数据
仓库中
的
历史化
数据
?
data-warehouse
、
data-lake
在传统
数据
仓库中实现
数据
历史化是可能
的
(甚至是核心功能)。随着时间
的
推移,
数据
将被添加到
数据
仓库中,并且可以在
数据
中及时移动。 如果我只想使用
数据
湖
,并为业务用户提供
数据
历史化,这可能吗?如果是,一个可能
的
方法是什么样子
的
?
浏览 36
提问于2020-11-30
得票数 0
回答已采纳
1
回答
在Azure
数据
库中创建外部表
azure
、
hive
、
databricks
、
azure-databricks
、
external-tables
在databricks笔记本中,我尝试设置ADLS
访问
的
火花配置。但是,我仍然无法执行创建
的
DDL。我需要帮助,知道这是否可以直接参考ADLS
的
位置DDL? 谢谢。
浏览 1
提问于2019-06-27
得票数 7
2
回答
如何使用Azure作为Azure ML
的
输入
数据
集?
azure-machine-learning-studio
、
azure-data-lake
我正在移动
数据
到Azure
数据
湖
存储和处理它使用Azure
数据
湖
分析。
数据
是XML格式
的
,我正在通过读取它。现在,我想从Azure中
访问
这些
数据
,看起来Azure
数据
湖
存储目前还不受直接支持。用Azure ML使用Azure
的
可能方法是什么?
浏览 2
提问于2016-03-21
得票数 0
回答已采纳
1
回答
作业提交失败,用户<
数据
湖
分析帐户name>没有子文件夹
的
权限
azure
、
azure-data-factory
、
azure-data-lake
作业提交失败,user datalakeanalyticsaccountname对
数据
湖
分析所需
的
/system/ path中
的
子文件夹没有权限。请从门户运行“添加用户向导”,或者使用Azure PowerShell授予用户对
数据
湖
存储上
的
/system/及其子系统
的
访问
权限。
数据
工厂似乎将
数据
湖
分析帐户
的
“名称”视为用户,
浏览 3
提问于2016-11-24
得票数 0
1
回答
Azure
数据
库在Azure
数据
湖
存储中使用查询
加速
吗?
azure
、
databricks
、
azure-databricks
、
delta-lake
、
azure-data-lake-gen2
Azure
数据
库使用Azure
数据
湖
存储gen2中
的
查询
加速
函数吗?在中,我们可以看到火花可以从这个功能中受益。我想知道,在我只使用delta格式
的
情况下,我是否从这个功能中获利,以及是否将它包括在Azure Calculator中存储帐户部分下
的
定价中?
浏览 7
提问于2022-11-14
得票数 0
回答已采纳
1
回答
USQL中
的
Javascript;它是Azure
数据
湖
分析中
的
一个可能
的
选项吗?
azure
、
u-sql
我们计划在我们
的
解决方案中遵循Lambda架构。解决方案堆栈位于Azure之上。Azure
数据
湖
分析用于批处理,流分析用于在线处理。我们希望在批处理层和流层使用相同
的
代码和配置。在.Net程序集
的
帮助下,有没有在use中使用javascript
的
选项。Azure流分析仅支持javascript
UDF
。有人在azure堆栈中尝试过类似的选项吗?
浏览 5
提问于2019-06-10
得票数 0
1
回答
卡比
湖
4k硬件
加速
4k-monitor
我计划使用Ubuntu
的
4k显示器和卡比
湖
CPU。Kaby支持多个视频编解码器
的
硬件
加速
解码。显然,这也需要匹配
的
驱动程序--有人知道Linux/Ubuntu上当前对硬件
加速
的
支持状态吗?谢谢你对此
的
任何暗示!
浏览 0
提问于2017-01-26
得票数 3
1
回答
使用Azure函数(Nodejs)将
数据
(csv文件)上传到Azure DataLakeGen2
node.js
、
azure-functions
、
azure-data-lake
、
azure-blob-storage
我目前正在尝试使用带有NodeJs
的
Azure函数将csv文件发送到Azure Data Lake gen2,但无法做到这一点,任何关于这方面的建议都会非常有帮助。谢谢。我曾尝试通过blob storage API使用ADLS中存在
的
Blob存储
的
凭据,但我收到错误。
浏览 1
提问于2019-09-10
得票数 0
1
回答
有什么方法可以限制其他用户不要查看Azure
数据
湖
gen 2中
的
容器吗?
azure
、
security
、
containers
、
azure-data-lake-gen2
问题陈述-有两个不同
的
团队为同一个客户处理两个不同
的
项目。两个团队都可以
访问
创建了天蓝色
数据
湖
存储
的
蔚蓝资源组。现在,客户端希望我们在两个项目中使用相同
的
数据
湖
存储,但他们也希望处理特定容器
的
团队不应该
访问
其他团队将使用
的
其他容器,反之亦然。例子-- Azure
数据
湖
存储-both团队可以
访问
这个->容器1-只有团队1应该
浏览 0
提问于2021-09-07
得票数 0
2
回答
Azure
数据
工厂- Azure
数据
湖
Gen1 access
azure
、
azure-data-factory
、
azure-data-lake
一个文件正在由Logic添加到V2 I有一个
数据
工厂
访问
‘1’来处理该文件。在添加文件之后,当我尝试调试
数据
工厂时,我会收到以下错误。到目前为止尝试过:-为
数据
工厂及其子女在
数据
湖
中分配权限。 children.Added
数据
工厂作为
数据
湖
的
贡献者,在
数据
湖
文件夹中分配了权限。添加了
数据
工厂作为
数据
湖
的
所有者。
浏览 5
提问于2020-05-06
得票数 0
1
回答
Visual中
的
数据
湖泊标签丢失了吗?
visual-studio
、
azure
、
azure-data-lake
我下载并安装了每个 DOOD,我
的
TAB在哪里?
浏览 1
提问于2016-06-14
得票数 0
回答已采纳
1
回答
外部团队对Azure Data Lake
的
部分
访问
权限
azure
、
azure-data-lake-gen2
我们
的
团队有一个Azure Data Lake Gen2。另一个团队希望将
数据
输入到
数据
湖
中,但他们不应该能够在
数据
湖
中查看我们
的
内容。我怎样才能做到这一点?我认为部分
访问
是不可能
的
,需要为外部团队创建另一个Azure
数据
湖
来放置
数据
。我说
的
对吗?
浏览 25
提问于2020-09-24
得票数 0
1
回答
如何在Databricks中迭代以读取
数据
湖
中存储在不同子目录中
的
数百个文件?
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
、
azure-databricks
我必须从Azure
数据
湖
Gen2中读取
数据
库中
的
数百个avro文件,从每个文件中
的
Body字段中提取
数据
,并将所有提取
的
数据
连接在一个唯一
的
数据
中。要点是,所有要读取
的
avro文件都是存储在
湖
中不同子目录中
的
,如下所示:这迫使我循环摄取和选择
浏览 3
提问于2020-06-17
得票数 0
回答已采纳
2
回答
在蔚蓝
数据
工厂中连接到蔚蓝
数据
湖
的
错误
azure-data-factory
我正在尝试在Azure中创建一个链接服务到Azure Gen2
数据
存储。下面是我
的
链接服务配置:在测试连接时,我会得到以下错误消息: 错误代码24200详细说明Gen2操作失败:存储操作“容器上
的
”测试连接“失败”,“操作返回无效
的
状态代码”“禁止”。可能
的
根本原因:(1)。这可能是因为Azure Data
的
某些IP地址范围不被Azure存储防火墙设置所允许。Azure Data范围请参考。我发现了一个非常类似的问题,,但我不使用托管标识作为我
的
身份验证方法
浏览 5
提问于2022-07-27
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据湖的优势?
数据湖的未来趋势?
GitHub 访问加速:国内用户必备的加速技巧与工具
数据湖中的数据格式?
数据湖与数据仓库的比较?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券