Elasticsearch:遇到SocketTimeoutException异常的处理方式

一、问题描述：

  数据同步服务在写入Elasticsearch索引时，偶发异常。

二、异常信息：

java.net.SocketTimeoutException: 30,000 milliseconds timeout on connection http-outgoing-746 [ACTIVE]

三、可能原因：

客户端与用于 tcp 保持活动的弹性服务器内核配置之间的防火墙配置不匹配。

防火墙在 3600 秒后丢弃空闲连接。问题是 tcp keep alive 的内核参数设置为 7200 秒（RedHat 6.x/7.x 中的默认值）：sysctl -n net.ipv4.tcp_keepalive_time 7200 因此，在发送保持活动探测之前断开连接。弹性 http 客户端中的 asyncHttpClient 似乎不能很好地处理断开的连接，它只是等到套接字超时。 因此，请检查您的客户端和服务器之间是否有任何网络设备（负载均衡器、防火墙、代理等）存在会话超时或类似情况，并增加该超时或降低 tcp_keep_alive 内核参数。

四、解决方案：

1.新增配置，设置连接超时时间。

1.  
   # 链接超时时间，单位：毫秒
2.  
   spring.elasticsearch.rest.connection-timeout=30000
3.  
   # 读超时时间，单位：毫秒
4.  
   spring.elasticsearch.rest.read-timeout=30000

2.增加客户端启动脚本中分配的内存。

#!/bin//bash

source /etc/profile

#ps -ef |grep spring.profiles.active|grep -v grep |awk '{print $2}'|xargs kill -9

cd /opt/app/resource_sync

nohup java -Xms512m -Xms512m -jar car-sync-1.0.0-SNAPSHOT.jar --server.port=8839 --spring.profiles.active=prod >> /opt/app/resource_sync/logs/car-sync/car-sync.log &

3.设置不自动刷新落盘

1.  
   // 设置更新完成后不刷新索引 减少磁盘消耗 但实时性降低
2.  
   updateByQueryRequest.setRefresh(false);

4.设置keep alive策略 (选1不选4)

1.  
   package com.resource.sync.config;
2.  
    
3.  
   import org.apache.http.HttpResponse;
4.  
   import org.apache.http.impl.client.DefaultConnectionKeepAliveStrategy;
5.  
   import org.apache.http.protocol.HttpContext;
6.  
   import org.elasticsearch.client.RestClientBuilder;
7.  
   import org.springframework.boot.autoconfigure.elasticsearch.RestClientBuilderCustomizer;
8.  
   import org.springframework.context.annotation.Configuration;
9.  
    
10.  
    import java.util.concurrent.TimeUnit;
11.  
     
12.  
    /**
13.  
    * @description:
14.  
    * @author: XinTong.Wang
15.  
    * @create: 2022-07-22 17:02
16.  
    **/
17.  
    @Configuration
18.  
    public class MyRestClientBuilderCustomizer implements RestClientBuilderCustomizer {
19.  
     
20.  
    @Override
21.  
    public void customize(RestClientBuilder builder) {
22.  
    // keep alive策略
23.  
    builder.setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setKeepAliveStrategy(CustomConnectionKeepAliveStrategy.INSTANCE));
24.  
    }
25.  
     
26.  
    public static class CustomConnectionKeepAliveStrategy extends DefaultConnectionKeepAliveStrategy {
27.  
     
28.  
    public static final CustomConnectionKeepAliveStrategy INSTANCE = new CustomConnectionKeepAliveStrategy();
29.  
     
30.  
    private CustomConnectionKeepAliveStrategy() {
31.  
    super();
32.  
    }
33.  
     
34.  
    /**
35.  
    * 最大keep alive的时间（分钟）
36.  
    * 这里默认为10分钟，可以根据实际情况设置。可以观察客户端机器状态为TIME_WAIT的TCP连接数，如果太多，可以增大此值。
37.  
    */
38.  
    private final long MAX_KEEP_ALIVE_MINUTES = 10;
39.  
     
40.  
    @Override
41.  
    public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
42.  
    long keepAliveDuration = super.getKeepAliveDuration(response, context);
43.  
    // <0 为无限期keepalive
44.  
    // 将无限期替换成一个默认的时间
45.  
    if (keepAliveDuration < 0) {
46.  
    return TimeUnit.MINUTES.toMillis(MAX_KEEP_ALIVE_MINUTES);
47.  
    }
48.  
    return keepAliveDuration;
49.  
    }
50.  
    }
51.  
     
52.  
    }

这篇好文章是转载于：学新通技术网