腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据智能实战

大数据与人工智能方向的论文复现、技术探索、工程实践的点滴记录和积累。

专栏作者

256

文章

390997

阅读量

56

订阅数

Redis键时间老化的测试

编程算法云数据库 Redis http 数据库 sql

在使用Redis数据库的时候，临时有一些数据更新的问题，于是进行查找，发现Redis本身自带有键值随时间更新老化的功能。还是非常强大的。

2022-05-07

4240

Hive中文注释乱码问题的解决

utf8 缓存 hive sql 数据库

在HIVE中建表的时候，有时候难免要表中文注释，然而如果不经过配置，会导致desc某个表名的时候，直接以？的方式返回。

2022-05-07

4930

spark访问redis集群中某个数据库的问题

node.js spark tcp/ip 数据库 sql

正常redis是没有数据库的概念的，但是当redis变成集群的时候，它是可以设置数据库的。（其实也就是开辟一块索引）

2022-05-07

7850

Ubuntu环境下Neo4j图数据库的安装与测试

http 数据库 nosql sql 存储

neo4j(http://neo4j.com/)，号称为The World's Leading Graph Database

2022-05-07

3500

Spark 1.6.0 (Scala 2.11)版本的编译与安装部署

api sql 数据库 linux python

2016年元月4号, spark 在其官网上公开了1.6.0版本,于是进行下载和编译.

2022-05-07

2660

spark深度学习算法(CNN卷积神经网络）的测试与分析

机器学习人工智能腾讯云测试服务数据库 sql

　　卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

2022-05-07

8140

MongoDB分片集群启动过程中Failed to connect to 127.0.0.1:27017错误解决办法

mongodb shell 数据库 sql 云数据库 MongoDB

（1）进行MongoDB分片集群部署过后，进入MongoDB的目录下，输入bin/mongo -port:30000，居然弹出错误：

2022-05-07

2850

Sqoop源码编译与分析(V1.4.6)

打包数据库 sql hadoop jdbc

Apache Sqoop 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 ( 如 HBase 和 Hive) 中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外，Sqoop 也提供了一些诸如查看数据库表等实用的小工具。

2022-05-07

5240

HBase启动错误client.ConnectionManager$HConnectionImplementation的解决办法

数据库 hbase

有时候，HBase因为在写入过程中直接强行中断之后，再次重启过程中，会经常出现一些异常信息。其中标题这个错误也是经常碰到的一个。具体报的错误如下： 2016-09-28 14:08:16,448 E

2018-01-09

1.3K0

sparksql udf自定义函数中参数过多问题的解决

spark sql 数据库

在进行spark sql数据库操作中，常常需要一些spark系统本身不支持的函数，如获取某一列值中的字符串。如要获取　“aaaakkkkk”中的第4－第8个字符。针对这种需求，只有设置UDF来实现了。如 val fun:((String,Int,Int) => String) = (args:String, k1:Int, k2:Int) => { args.substr(k1,k2)} val sqlfunc = udf(fun) df.withColumn("column22", sqlfunc

2018-01-09

1.8K0

ERROR 2002 (HY000): Can't connect to local MySQL server　问题解决

云数据库 SQL Server 数据库

由于网络IP重新进行切换，一下子发现之前的HIVE一直连接不上，一步步发现，原来问题在于MYSQL的问题。于是重新进入mysql，mysql -u ** -p，输入密码之后，发现了这个错误。 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' 原来问题在于这里，于是对MYSQL配置文件进行打开，果然发现问题所在，原来这里面配置了原来绑定的IP地址，而IP地

2018-01-09

9310

HBase启动过于缓慢的原因及其优化策略

数据库 hbase

当HBASE导入了几十亿的数据记录时，某一天重启一下HBASE，发现启动过于缓慢，一直在提示PleaseHoldException:Master is initializing, 打开日志实时查看了下，其提示的信息一直是region transition　状态的各种变化。然而最惨的是，运行到最近，直接由于zookeeper超时，导致无法启动。网上关于master is initalizing的问题解决都没有相应的问题。于是针对这个问题，只能仔细去摸一下Region的内核。特别是从http://hbase

2018-01-09

9140

千万级别以上的地图兴趣点（POI）的快速查找测试

爬虫数据库

近期，终于有点时间，将之前的地图兴趣点爬虫程序（http://blog.csdn.net/sparkexpert/article/details/51554813）完善了下，并用了七天的时间爬取了覆盖全国的任一地区的所有类别的兴趣点数据。数据下载还是一个艰难的过程，不过幸运的是，采用了新方法之后，基本上很少需要人工去干预，当然也会有网络的限制，但是基本上同时开辟5个下载通道，速度一直是嗖嗖的。下载完成后，由于没有直接处理，只是下载了JSON格式的文本数据，约占磁盘空间60G以上。而汇总的POI个数则有好

2018-01-09

2.2K1

Spark Hbase读取操作的一些总结与测试

spark 数据库 hbase

Spark连接HBase实现查询的操作有好多种步骤，其中常用的是直接调用Hbase本身提供的写入和读出的接口。然而不少人在此基础上进行了各种封装，有的支持spark sql on Hbase，著名如

2018-01-09

1K0

Deeplearning4j库学习

数据处理机器学习数据库

本文介绍了DeepLearning4J和Deeplearning4j的代码示例，以及使用Maven构建和运行DeepLearning4J和Deeplearning4j代码的步骤。实验包括一个简单的多层感知器（MLP）神经网络，用于解决手写数字问题，以及一个基于文本的Word2Vec模型，用于将单词映射到向量空间。这些示例展示了如何使用DeepLearning4J和Deeplearning4j库在Java中进行深度学习，并展示了如何使用Maven构建和运行这些代码。

2018-01-09

1.8K0

facebook Faiss的基本使用示例(逐步深入）

数据库 sql 存储

摘要总结：本文介绍了Faiss库的基本使用示例，包括构造实验数据、为向量集构建索引、进行k-近邻搜索、加快搜索速度、进一步缩小存储空间等方法。

2018-01-09

3.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态