大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。
91 篇文章
36 人订阅

全部文章

sparkexpert

linux环境下时区无法设置(系统时间慢8个小时)的问题解决

当有一台节点崩溃之后,重启之后,观察spark 集群日志,发现有个时间无法同步的问题。 再一仔细检查系统,输入date -R 才发现系统时间的时区设置为空。后面...

2179
sparkexpert

HBase时间老化的测试

最近想着测试一下HBase存储上的时间老化问题。 Hbase本身还是提供这种功能的,总体上还是非常不错的。 首先建立一个测试表。create 'ttt','f'...

2088
sparkexpert

redhat6.4上Cassandra 3.9节点无法加入服务器(unable to bind IP:port)问题的解决

今天想测试一下cassandra新版本 安装环境是redhat6.4 由于以前装过3.7版本,只不过之前是在ubuntu上进行安装的。这回换在redhat 没想...

1875
sparkexpert

tensorflow 1.0安装过程中出现/usr/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.19' not found问题的解决

在linux redhat 6.4环境下安装tensorflow的过程中,利用PIP直接安装是非常快的。 但是在调用测试的过程中,却发现报这样的错误。 /us...

4459
sparkexpert

HBase启动错误client.ConnectionManager$HConnectionImplementation的解决办法

有时候,HBase因为在写入过程中直接强行中断之后,再次重启过程中,会经常出现一些异常信息。其中标题这个错误也是经常碰到的一个。 具体报的错误如下: ? 201...

1875
sparkexpert

Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决

随着新版本的spark已经逐渐稳定,最近拟将原有框架升级到spark 2.0。还是比较兴奋的,特别是SQL的速度真的快了许多。。 然而,在其中一个操作时却卡住了...

3909
sparkexpert

HBase中正则过滤表达式与JAVA正则表达式不一致问题的分析和解决

HBase提供了丰富的查询过滤功能。 比如说它提供了RegexStringComparator这样的函数,可以实现按照正则表达式进行过滤。它可以有效地弥补向前缀...

19710
sparkexpert

HIVE备份之批量导出所有的HIVE建表字段

在HIVE实际工程部署当中,经常会用到一些备份,其中有一项就是如何保存所有HIVE表的建表命令语句。 当HIVE中表格特别多的情况下,如何批量进行存储呢。 针对...

1905
sparkexpert

HBase暴力删除HDFS数据后建表出现Table already exist问题的解决

在一些情况下,不得不对HBase数据进行暴力删除,这种情况如原始数据量特别大,而又不需要存储的时候。或者HBase无法启动等问题。 删除比较简单,直接调用had...

1765
sparkexpert

C#语音播放引擎cscore及其播放器

最近在找一个C#语音播放器的时候,才发现这个几乎很难找到,当然也存在自己找资料不太全的问题。 但是至少这个是存在的,常见的还是Naudio的东西。但是说实话,除...

2499
sparkexpert

sparksql udf自定义函数中参数过多问题的解决

在进行spark sql数据库操作中,常常需要一些spark系统本身不支持的函数,如获取某一列值中的字符串。 如要获取 “aaaakkkkk”中的第4-第8个字...

25010
sparkexpert

REDIS并行多线程写入时出现“如果基础流不可搜寻,则当读取缓冲区不为空时,将无法写入到 BufferedStream。”解决办法

在并行写入REDIS的时候,有时候会碰到这样的问题,即:  System.NotSupportedException: 如果基础流不可搜寻,则当读取缓冲区不为空...

31810
sparkexpert

基于tensorflow的人脸识别技术(facenet)的测试

人脸识别的应用非常广泛,而且进展特别快。如LFW的评测结果上已经都有快接近99.9%的。 Uni-Ubi60 0.9900 ± 0.0032 FaceNet62...

9587
sparkexpert

Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法

最近将整个架构升级到spark 2.0.0之后,发现一个问题,就是每次进行hive --service metastore启动的时候,总是会报一个小BUG。 无...

1968
sparkexpert

pyaudio库的安装(portaudio.h文件无法找到问题解决)

pyaudio是语音处理的python库,提供了比较丰富的功能。 具体功能如下: 特征提取(feature extraction):关于时域信号和频域信号都有...

2915
sparkexpert

如何避免spark dataframe的JOIN操作之后产生重复列(Reference '***' is ambiguous问题解决)

spark datafrme提供了强大的JOIN操作。 但是在操作的时候,经常发现会碰到重复列的问题。如下: 如分别创建两个DF,其结果如下: val df =...

3026
sparkexpert

Waiting for lock on */.ivy2/.sbt.ivy.lock to be available问题的解决

在进行SBT编译过程中,经常会碰到这样的问题。。。 Waiting for lock on */.ivy2/.sbt.ivy.lock to be availa...

4477
sparkexpert

facebook faiss的安装测试

Faiss 是由 Facebook AI Research(FAIR)开发的一个用于有效的相似性搜索(similarity search)和稠密矢量聚类(clu...

5828
sparkexpert

OCR汉字识别的测试

最近一直在做信息提取,其中碰到图片中文字提取的模块,这里面还真的水也很深。当然文字的定位提取是关键一步,但是更重要的还是后面直接输出文字模块。 目前开源的tes...

22210
sparkexpert

微软开源认知服务CNTK的测试(语音训练)

前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里...

2455

扫码关注云+社区