首页
学习
活动
专区
工具
TVP
发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。
专栏作者
256
文章
393201
阅读量
56
订阅数
HBase时间老化的测试
最近想着测试一下HBase存储上的时间老化问题。 Hbase本身还是提供这种功能的,总体上还是非常不错的。 首先建立一个测试表。create 'ttt','f' hbase(main):015:0> disable 'ttt' 0 row(s) in 4.5000 seconds 然后修改老化时间为30秒。 hbase(main):016:0> alter 'ttt',{NAME=>'f',TTL=>'30'} Updating all regions with the new schema...
sparkexpert
2018-01-09
1.3K0
tensorflow 1.0安装过程中出现/usr/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.19' not found问题的解决
在linux redhat 6.4环境下安装tensorflow的过程中,利用PIP直接安装是非常快的。 但是在调用测试的过程中,却发现报这样的错误。 /usr/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.19' not found 导致总是出现 failed to load the native tensorflow runtime的信息。 根据这个问题,发现肯定是tensorflow的一些内部控件无法编译,主要原因还是版本太低。 在终端上输入如下命令:st
sparkexpert
2018-01-09
4.2K0
基于tensorflow的人脸识别技术(facenet)的测试
人脸识别的应用非常广泛,而且进展特别快。如LFW的评测结果上已经都有快接近99.9%的。 Uni-Ubi60 0.9900 ± 0.0032 FaceNet62 0.9963 ± 0.0009 Baidu64 0.9977 ± 0.0006 AuthenMetric65 0.9977 ± 0.0009 MMDFR67 0.9902 ± 0.0019 CW-DNA-170 0.9950 ± 0.0022 Faceall71 0.9967 ± 0.0007 JustMeTalk72 0.9887 ± 0.001
sparkexpert
2018-01-09
3K0
pyaudio库的安装(portaudio.h文件无法找到问题解决)
pyaudio是语音处理的python库,提供了比较丰富的功能。 具体功能如下: 特征提取(feature extraction):关于时域信号和频域信号都有所涉及 分类(classification):监督学习,需要用已有的训练集来进行训练。交叉验证也实现了,进行参数优化使用。分类器可以保存在文件中以后使用。 回归(regression):将语音信号映射到一个回归值。 分割(segmenttation):有四个功能被实现了  [x] 固定大小的分割 [x] 静音检测(silence removal)
sparkexpert
2018-01-09
1.7K0
facebook faiss的安装测试
Faiss 是由 Facebook AI Research(FAIR)开发的一个用于有效的相似性搜索(similarity search)和稠密矢量聚类(clustering of dense vectors)的库。它包含了在任何大小的向量集合里进行搜索的算法,向量集合的大小甚至可以达到装不进 RAM。它还包含了用于评估和参数调优的支持代码。Faiss 是用 C ++编写的,带有 Python / numpy 的完整包装。其中最有用的一些算法是在 GPU 上实现的。 针对这个开源的好东西,非常想测试一下,
sparkexpert
2018-01-09
2.1K0
微软开源认知服务CNTK的测试(语音训练)
前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里面也集成了多种深度学习的模型。such as deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), long short term memory (LSTM), logistic regression,
sparkexpert
2018-01-09
1.6K0
spark 2.0.0与HIVE结合的测试
spark 2.0.0中,对hive的结合开发是否进行了改变,于是进行了如下测试。 最大的变化就是没有什么HiveContext了。直接就是一个SparkSession。 val spark = SparkSession       .builder()       .master("local[*]")       .appName("Spark Hive Example")       .config("spark.sql.warehouse.dir", warehouseLocation)
sparkexpert
2018-01-09
6120
基于机器学习的自动问答系统构建
  自动问答系统是当前自然语言处理领域一个非常热的方向。它综合运用了知识表示、信息检索、自然语言处理等技术。自动问答系统能够使用户以自然语言提问的形式而不是关键词的组合,提出信息查询需求,系统依据对问题进行分析,从各种数据资源中自动找出准确的答案。从系统功能上讲,自动问答分为开放域自动问答和限定域自动问答。开放域是指不限定问题领域,用户随意提问,系统从海量数据中寻找答案;限定域是指系统事先声明,只能回答某一个领域的问题,其他领域问题无法回答。   为了测试这个方面可行与否,近期,利用百度知道的相关问答语料,
sparkexpert
2018-01-09
1.7K0
Cassandra 3.7.0集群在ubuntu上的安装
最近想着测试各种NOSQL数据库的性能,于是把cassandra也装一下试验一下性能。 Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。 当前对这
sparkexpert
2018-01-09
8660
google图像新压缩技术RAISR的测试
本文介绍了一种名为RAISR(Rapid and Accurate Super-Resolution)的图像压缩技术,该技术由Google开发,旨在提高图像分辨率和压缩效率,同时减少图像压缩带来的图像质量问题。RAISR技术基于深度学习,使用卷积神经网络来学习图像的稀疏表达,并使用优化的升采样和滤波器来合成高分辨率图像。该技术可以显著减少图像的比特数,同时保持良好的图像质量,是移动设备、浏览器和可扩展网络应用中图像压缩的有力竞争者。
sparkexpert
2018-01-09
2.1K0
细小人脸检测的实践(Finding Tiny Faces论文代码复现)
本文介绍了一篇关于细小物体检测的论文,主要关注于三个问题:(1)尺度不变性的问题;(2)图像分辨率的问题;(3)上下文推理的问题。作者提出了一种多任务模型来同时解决这三个问题,通过采用尺度不变性来处理不同尺度的图像,并利用图像金字塔来提高检测效果。最后,通过实验验证了该方法的有效性。
sparkexpert
2018-01-09
1.8K0
OpenLayers3加载离线百度地图(百度迁徙底图)
本文介绍了如何使用OpenLayers3加载离线百度地图,并总结了相关代码和实现方法。
sparkexpert
2018-01-09
2.4K0
tensorflow 1.01中GAN(生成对抗网络)手写字体生成例子(MINST)的测试
为了更好地掌握GAN的例子,从网上找了段代码进行跑了下,测试了效果。具体过程如下: 代码文件如下: import tensorflow as tf from tensorflow.examples.
sparkexpert
2018-01-09
1.3K0
基于tensorflow 1.0的图像叙事功能测试(model/im2txt)
本文介绍了一种基于图像描述生成技术的图像叙事生成方法,该方法利用深度学习技术实现了对图像内容的理解和描述。通过实验,该方法能够自动为图像生成具有连贯性和语义信息的叙事。同时,该方法还可以用于自动生成中文标签,对于图像检索和推荐系统具有广泛的应用价值。
sparkexpert
2018-01-09
1.4K0
python3 下 tensorflow slim inceptionV4 问题修正与测试
本文主要研究了在Python3环境下使用TensorFlow的Slim模型对InceptionV4模型进行训练和测试,并分析了结果。通过将InceptionV4模型与Slim模型结合,可以提高图像识别的精度,同时减少计算资源的使用。在测试中,使用预训练的Slim模型可以提高识别的精度,比VGG模型提高了13个百分点。
sparkexpert
2018-01-09
9640
ubuntu环境下Pytorch安装及No module named 'torch._C'问题解决
近日,一位名为omnisky的用户在pytorch社区中发帖称,自己在安装torch时遇到了麻烦,在尝试安装torch后出现了ModuleNotFoundError: No module named 'torch._C'的错误。他通过查阅官方文档并尝试了相关操作,比如安装旧版本的torch、更改环境变量等,最终成功解决了问题。对于其他遇到相同问题的用户,omnisky的这些经历和解决方案或许能够提供一些帮助。
sparkexpert
2018-01-09
18.2K0
ubuntu14.0环境下matplotlib中ImportError: No module named _tkinter问题解决
该文介绍了在Ubuntu 14.0环境下使用matplotlib时出现报错:ImportError: No module named '_tkinter' 的问题。通过安装 tcl-dev 和 tk-dev 以及重新编译python,可以解决该问题。
sparkexpert
2018-01-09
1.2K0
Tensorflow用于黑白照片(灰度图)着色的测试
本文主要探索了如何使用Tensorflow对黑白照片进行着色处理,通过一个编码-解码的模型实现。该模型融合了Inception-ResNet-V2模型,提高了图像着色的准确性。实验结果表明,该方法可以提高图像着色的准确性,但仍有提升空间。
sparkexpert
2018-01-09
2.7K1
Tensorflow protobuf版本报错问题解决(AttributeError: 'module' object has no attribute 'Default')
本文介绍了在Tensorflow中使用protobuf时遇到的报错问题,通过升级protobuf库版本以及使用默认的pool来解决这个问题。同时,文章也介绍了一些可能的原因和解决方法。
sparkexpert
2018-01-09
6K0
pytorch实践中module 'torch' has no attribute 'form_numpy'问题的解决
本文介绍了PyTorch中一个难以将numpy数组转换为Tensor的问题,并提供了两个解决方案。首先,可以通过将PyTorch的动态图转换为静态图来解决;其次,可以使用Pylint工具来忽略与PyTorch的动态图相关的警告。这些方法可以帮助解决在PyTorch中难以将numpy数组转换为Tensor的问题。
sparkexpert
2018-01-09
7.8K0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档