专栏首页数据科学与人工智能Win10系统Python3连接Hive配置

Win10系统Python3连接Hive配置

阅读完本文,你可以知道:

1 如何在Win10系统使用Python3连接Hive

由于数据存放在大数据平台的Hive数据仓库中,我需要在Win10系统上利用Python3连接Hive,然后读取数据,进行探索、分析和挖掘工作。

我通过网上查找资料和实际测试,把Win10系统Python3成功连接Hive配置总结如下。

第一步:安装依赖库

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1

提示:若是无法安装,也可以点击如下网址,

https://www.lfd.uci.edu/~gohlke/pythonlibs/

选择合适库的whl下载,然后进行本地化安装。

第二步:安装impyla库

我采用本地化安装方式,先下载impyla库的whl,如下图:

再安装。

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示:上面的绝对路径根据你自己的情况而定

第三步:测试impyla库是否可以使用

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

若是运行通过,表示利用impala连接Hive配置成功。

简单示例:

从Hive的一张表读取100条记录,放到pandas的DataFrame里面。

参考代码:

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()

参考资料:

1 https://github.com/cloudera/impyla

2 https://zhuanlan.zhihu.com/p/79443676

3 https://www.aitolearn.com/article/9a06a8e1ff5e4252aa2373eb3cc4fed8

本文分享自微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【数据科学家】数据科学家的八大关键技能

    在过去几年中,随着大数据的崛起,出现了大批的新型分析师。所谓的“数据科学家”被许多人认为是唯一能够充分利用大数据真正价值的人。虽然他们的职能已经非常清晰了,但是...

    陆勤_数据人网
  • 支持向量机算法

    摘要 本文主要讲机器学习中一个非常重要的二类分类模型:支持向量机(Support Vector Machines)。文中主要讲解了SVM的三种模型:线性可分...

    陆勤_数据人网
  • 【Python环境】玩转数据分析,必知必会的7款Python工具!

    如果你有志于做一个数据专家,你就应该保持一颗好奇心,总是不断探索,学习,问各种问题。在线入门教程和视频教程能帮你走出第一步,但是最好的方式就是通过熟悉各种已经在...

    陆勤_数据人网
  • JDK1.9-List的子类

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    cwl_java
  • iOS越狱是什么?大佬来解释来咯(一)

    那么root是什么呢,无论安卓和iOS都有两个用户,一个是root,另一个是mobile,前者相当于windowns的system,也就是管理员administ...

    zby1101
  • 手把手教你在Linux系统下进行Python pip换源操作

    Hello,各位小伙伴们,大家好,在往期的教程中,我们说完了Windows上的Python pip换源。历史文章里边有写过两篇关于Windows下的pip换源系...

    Python进阶者
  • 包都装不上你写个锤子代码,N种姿势教你装包!

    但据不完全统计,即使在 pip 如此流行的今天,包安装问题依然困扰着大部分的 Python 新手,本人也经常帮一些工作经验三四年的 Python 开发同事解决包...

    智能算法
  • python的几种常用安装包的方式

    打开windows命令行,不需要输入“python”或输入”python3”,而是直接输入以下指令。我们默认系统环境变量已经按照安装位置设置好。 一般安装之...

    py3study
  • Python-pip的安装与使用

    我们都知道python有很多的第三方库或者说是模块。这些库针对不同的应用,发挥不同的作用。我们在实际的项目中肯定会用到这些模块。那如何将这些模块导入到自己的项目...

    汤贤
  • 将Python打包成可执行文件exe的心路历程

      我们有时候需要将做好的Python程序打包成为一个exe , 方便我们使用,查找了资料发现 pyinstaller 、py2exe,最后还是选择的pyins...

    李家酒馆酒保

扫码关注云+社区

领取腾讯云代金券