前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python连接星环数仓取数

Python连接星环数仓取数

作者头像
阿黎逸阳
发布2024-04-17 18:31:10
1810
发布2024-04-17 18:31:10
举报
文章被收录于专栏:阿黎逸阳的代码

一、导入库

首先来看下python连接数仓需要导入的库,具体代码如下:
代码语言:javascript
复制
import pymysql
import jaydebeapi
import pandas as pd
from sqlalchemy import create_engine

如未安装,可自行百度用pip方法安装一下。

二、连接数仓

代码语言:javascript
复制
接下来定义连接数仓所需的基本信息,并应用jaydebeapi库连接数仓。其基本调用语法如下:
代码语言:javascript
复制
url = 'jdbc:hive2://10.0.7.2:10001/fengxiantiaoxian'
#需替换成你的用户名
user = 'dw123'
#用户名,需替换成你的用户名
password = 'dw2022'
#密码,需替换成你的密码
dirver = 'org.apache.hive.jdbc.HiveDriver'
jarFile = 'inceptor-driver-8.31.0.jar' 
#这个需替换成你的jar文件的路径
conn = jaydebeapi.connect(dirver, url, [user, password], jarFile)
curs=conn.cursor()
#连接数仓

三、定义跑数sql脚本

代码语言:text
复制
接着定义跑数sql脚本,可根据需求进行定义。本文只是做展示用,只定义了简单的查询语句,具体代码如下:‍
sql1 = '''
select * from ods.ods_clx_asset_jld_asset_user_behavior_df
'''
#跑数sql1
sql2 = """
select * from ods.ods_clx_asset_jld_asset_bind_card_info_df
"""
#跑数sql2
可根据需要定义多个sql语句。

四、执行sql脚本获取数据最后,获取所需的数据,具体代码如下:
user_behavior = pd.read_sql_query(sql1, conn)
#获取用户行为数据
bind_card = pd.read_sql_query(sql2, conn)
#获取用户绑卡数据
其中user_behavior和bind_card即为所需数据。


五、全量代码为了大家使用方便,本小节直接展示全量代码,具体如下:
import pymysql
import jaydebeapi
import pandas as pd
from sqlalchemy import create_engine

url = 'jdbc:hive2://10.0.7.2:10001/fengxiantiaoxian'
#需替换成你的用户名
user = 'dw123'
#用户名,需替换成你的用户名
password = 'dw2022'
#密码,需替换成你的密码
dirver = 'org.apache.hive.jdbc.HiveDriver'
jarFile = 'inceptor-driver-8.31.0.jar' 
#这个需替换成你的jar文件的路径
conn = jaydebeapi.connect(dirver, url, [user, password], jarFile)
curs=conn.cursor()
#连接数仓

sql1 = '''
select * from ods.ods_clx_asset_jld_asset_user_behavior_df
'''
#跑数sql1
sql2 = """
select * from ods.ods_clx_asset_jld_asset_bind_card_info_df
"""
#跑数sql2

user_behavior = pd.read_sql_query(sql1, conn)
#获取用户行为数据
bind_card = pd.read_sql_query(sql2, conn)
#获取用户绑卡数据
至此,Python连接数仓已讲解完毕,如想了解更多Python中的函数,可以翻看公众号中“学习Python”模块相关文
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-04-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 阿黎逸阳的代码 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
智能数据分析
腾讯云智能数据分析 Intellectual Data Analysis 是新一代云原生大数据敏捷分析解决方案。产品具备存算分离、动态扩缩容等特点,并内置事件、转化、留存、行为路径等成熟分析模型,提供高可用、低成本的全场景敏捷分析服务,可同时满足数据分析师、数据开发工程师和业务决策人的关键分析需求,帮助企业大幅降低数据分析成本,支撑业务更高效决策。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档