首页
学习
活动
专区
工具
TVP
发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。
专栏成员
256
文章
410692
阅读量
56
订阅数
tableau桌面版连接spark sql的测试
Tableau是一款优秀的数据可视化分析软件,这几天安装之后,感觉它不仅可以实现对各种数据的可视化绘制操作,并支持多个视图按照故事进行组织,同时具有强大的数据连接操作。支持各种数据源。当然最强大的肯定还是它的server版,可以实现与desktop版的无缝对接。
sparkexpert
2022-05-07
9680
Redis键时间老化的测试
在使用Redis数据库的时候,临时有一些数据更新的问题,于是进行查找,发现Redis本身自带有键值随时间更新老化的功能。还是非常强大的。
sparkexpert
2022-05-07
4630
DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决
将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。
sparkexpert
2022-05-07
5520
Hive中文注释乱码问题的解决
在HIVE中建表的时候,有时候难免要表中文注释,然而如果不经过配置,会导致desc某个表名的时候,直接以?的方式返回。
sparkexpert
2022-05-07
5850
spark访问redis集群中某个数据库的问题
正常redis是没有数据库的概念的,但是当redis变成集群的时候,它是可以设置数据库的。(其实也就是开辟一块索引)
sparkexpert
2022-05-07
8080
Spark RDD(DataFrame) 写入到HIVE的代码实现
在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。
sparkexpert
2022-05-07
1.4K0
Ubuntu环境下Neo4j图数据库的安装与测试
neo4j(http://neo4j.com/),号称为The World's Leading Graph Database
sparkexpert
2022-05-07
4870
Spark 1.6.0 (Scala 2.11)版本的编译与安装部署
2016年元月4号, spark 在其官网上公开了1.6.0版本,于是进行下载和编译.
sparkexpert
2022-05-07
3000
spark深度学习算法(CNN卷积神经网络)的测试与分析
  卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。
sparkexpert
2022-05-07
8980
MongoDB分片集群启动过程中Failed to connect to 127.0.0.1:27017错误解决办法
(1)进行MongoDB分片集群部署过后,进入MongoDB的目录下,输入bin/mongo -port:30000,居然弹出错误:
sparkexpert
2022-05-07
3580
Sqoop源码编译与分析(V1.4.6)
Apache Sqoop 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 ( 如 HBase 和 Hive) 中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。
sparkexpert
2022-05-07
5870
sparksql udf自定义函数中参数过多问题的解决
在进行spark sql数据库操作中,常常需要一些spark系统本身不支持的函数,如获取某一列值中的字符串。 如要获取 “aaaakkkkk”中的第4-第8个字符。 针对这种需求,只有设置UDF来实现了。 如 val fun:((String,Int,Int) => String) = (args:String, k1:Int, k2:Int) => { args.substr(k1,k2)}  val sqlfunc = udf(fun) df.withColumn("column22", sqlfunc
sparkexpert
2018-01-09
1.8K0
facebook Faiss的基本使用示例(逐步深入)
摘要总结:本文介绍了Faiss库的基本使用示例,包括构造实验数据、为向量集构建索引、进行k-近邻搜索、加快搜索速度、进一步缩小存储空间等方法。
sparkexpert
2018-01-09
3.7K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档