首页
学习
活动
专区
工具
TVP
发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。
专栏作者
256
文章
390955
阅读量
56
订阅数
Python3.6安装sqlite3的终极解决办法(
最近重装了系统之后,发现原有的python3环境下安装sqlite3(见原来博客:ubuntu环境下 python 3.0以上版本对sqlite3的支持问题)的办法已经行不通了。
sparkexpert
2022-05-07
8430
OpenCV在Python上的调用( import cv2的解决办法)
为了在Python中调用opencv,特别是看到好多代码都是import cv2,而这个在python中是无法直接进行pip install安装的。
sparkexpert
2022-05-07
8370
G2P(单词到音素)的深度学习训练测试
G2P(Grapheme-to-Phoneme),英文意思是字素到音素,使用循环神经网络(recurrent neural network,RNN) 和LSTM( long short-termmemory units),来实现从英文单词到音素的转化。LSTM序列到序列模型(LSTM sequence-to-sequencemodel)已经被成功地应用到许多项目中,这些应用包括机器翻译,字素转因素等等。
sparkexpert
2022-05-07
9620
xgboost C++ window编译问题解决与安装
实质上spark mlib中的GBT算法一直在使用,在规模超过50万的训练集上进行生成模型,速度就已经相当慢。
sparkexpert
2022-05-07
3490
DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决
将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。
sparkexpert
2022-05-07
4970
spark dataframe操作集锦(提取前几行,合并,入库等)
spark dataframe派生于RDD类,但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。
sparkexpert
2022-05-07
1.3K0
hive中常量列的添加和查询
在正常应用场景中,常常会从HIVE中直接获取某个DATAFRAME,这个dataframe除了与数据表中某些字段的提取,还往往会涉及到一些常量列的添加,用以如区分数据等场景。
sparkexpert
2022-05-07
1.1K0
scala对时间(date)字符串转化为时间戳timestamp的实现
在scala编程中,想实现从字符串转化为timestamp的过程中,查找相关资料,才发现资料还是不多。因此在这里将实现过程记录一下。
sparkexpert
2022-05-07
5250
Spark 1.6.0 (Scala 2.11)版本的编译与安装部署
2016年元月4号, spark 在其官网上公开了1.6.0版本,于是进行下载和编译.
sparkexpert
2022-05-07
2660
Spark实现HIVE统计结果导入到HBase操作
由于HIVE更新的机制极其不适应SPARK环境,于是利用HBase来执行HIVE中某些统计结果的更新。首先要做的是实现Spark + Hive访问,得到RDD,再将这个RDD导入到HBase中操作。 然而网上关于这一块目前资料还真很少。但是其原理总体上来说是非常简单的。 步骤主要是两步: (1)开启hive连接器,实现spark + hive的访问,得到dataframe对象。
sparkexpert
2022-05-07
5420
Hive timestamp与date互转的实验
将date存成timestamp有个比较好的好处,是比较的效率肯定会高很多,而且也是目前HIVE能够支持的方式。
sparkexpert
2022-05-07
3100
基于文档相似性度量的招标文档查重系统
由于对方部署电脑性能较差,没有GPU,只能用一些CPU能跑的文本相似性度量算法来实现。
sparkexpert
2020-07-23
2.4K3
利用python读取EXCEL文档中的创建者信息
文件创建者信息提取是文件拷贝检测的一个重要维度信息,前面WORD文档的创建者信息可以通过成熟的python-docx库来进行提取,而EXCEL文件的属性信息,目前还没有成熟的提取方法。
sparkexpert
2020-07-18
2.2K1
利用python读取WORD文档中的创建者信息
在一些常规分析过程中,常会判断这个文档是否为拷贝检测,对WORD而言,其内部数据中封装了相关的属性信息,如在WINDOW环境下,通过右键属性可以看到其相关的信息如下:
sparkexpert
2020-07-18
2.9K0
python实现终端多颜色字体的输出
在训练AI过程中,为了实现对结果的呈现更加显眼,突然想实现一下彩色的输出。 查了下,非常简单的命令。python这是方便,什么包都有。 其代码和效果如下:
sparkexpert
2019-08-14
1.8K0
基于python的人群密度图生成
相关原理见:https://zhuanlan.zhihu.com/p/39424587
sparkexpert
2019-08-01
1.5K0
SentencePiece的中文测试实践
许多自然语言处理程序中都用到了谷歌开源的SentencePiece作为词切分的基础工作之一,于是跟踪学习了下。
sparkexpert
2019-07-10
4.4K0
AI展示框架(1):基于python + flask + adminLTE的实验框架搭建
出现了之前跟踪程序经常找不到的问题,同时想着对学习资料的总结有个更好的统一入口,于是筹划搭建一个web展示框架。
sparkexpert
2019-05-26
1.4K0
python elasticsearch 批量写入测试
elasticsearch 是一个高效的近实时的数据库。最近要重新进行老版本的ES 数据迁移到新版本。由于以前都是采用java来进行连接的,不过这回为了方便,找了个python 连接包来进行处理。
sparkexpert
2019-05-26
1.7K0
python3环境下的全角与半角转换代码和测试
全角和半角转换是文本预处理的常见工作之一,然而现在网上一搜python的相关代码,几乎都是python2版本的,因此根据人角和半角的转换规律,将其代码撰写如下:
sparkexpert
2019-05-26
2.6K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档