spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决

sparkexpert

发布于 2018-01-09 11:51:07

5.8K0

发布于 2018-01-09 11:51:07

最近在写入redis的时候，程序跑着跑着会发现碰到这样的问题。

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:202)
    at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)
    at redis.clients.jedis.Protocol.process(Protocol.java:151)
    at redis.clients.jedis.Protocol.read(Protocol.java:215)
    at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:340)
    at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:276)
    at redis.clients.jedis.Connection.getMultiBulkReply(Connection.java:269)
    at redis.clients.jedis.Jedis.lrange(Jedis.java:935)
    at com.redislabs.provider.redis.rdd.RedisListRDD$$anonfun$getLIST$1$$anonfun$3.apply(RedisRDD.scala:98)
    at com.redislabs.provider.redis.rdd.RedisListRDD$$anonfun$getLIST$1$$anonfun$3.apply(RedisRDD.scala:98)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
    at scala.collection.mutable.ArrayOps$ofRef.flatMap(ArrayOps.scala:186)

由于spark采用的是jedis来连接的，因此也就说明是jedis的问题。

针对这一问题，之前直接都是利用

val client = new Jedis(ip, port)的方法，嵌套在dataframe.foreach()中的方式。

由于之前部署是流式的数据处理，所以每次处理间隔都非常短，因此没有任何问题。但是这回为了查看一个数据想缓存到spark的时候，发现了这个BUG。也才具体发现以前程序设置的不合理的地方。

还好，Jedis提供了这种解决方法。

public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, final int port, final int timeout)
public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, int port, int timeout, final String password, final int database)
public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, int port, int timeout, final String password, final int database, final String clientName)

采用这种池化的概念，可以来设置里面的timeout参数，默认是2000。

根据大概程序写入redis的数据量和时长来设置即可。

由于本来写入的数据量大概有7亿多条记录，为了方便，拆分了400个小片断分开写入，再用上述默认设置，也能够通过。

代码片断可以如下：

Jediscommands jediscommands;
JedisPool jedisPool;
JedisPoolConfig config = new JedisPoolConfig()

String ip = "***"
int port = 6379
long timeOut = 2000

String auth = "***"
JedisPool jedisPool = new JedisPool(config,ip,port,timeOut,auth)

Jedis jedis = jedisPool.getResource();

当前，也只可以对JedisPoolConfig进行设置。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017年10月26日，如有侵权请联系 cloudcommunity@tencent.com 删除

spark

云数据库 Redis

.net

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

spark

云数据库 Redis

.net

登录后参与评论

0 条评论

热度

spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决

spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐