ES的searchAfter使用
searchAfter简单来说就是将from。。。size中的from用searchAfter的sort字段表示,通过不断更新此sort字段实现向下滚动效果。但是和from不同的是对数据更新不敏感。
search after官网介绍
使用search_after时要求你的query值和sort值相同。更具体点是要求你的字段相同,你可以修改它的逻辑,比如你可以查时间为a的数据,那么你将逻辑改为比a大或者比a小都可以,但是你的逻辑必须是时间。sort同理,你可以升序也可以降序但你用来排序的字段不要变。
search-after使用需知:
1 使用search-after时不要修改你的query和sort字段
2 排序后的每条数据都是含有自己的sort值的,且他们都可以作为你接下来的search-after的值
3 请确保你的sort中最后得到的值是唯一的,比如有些数据你用时间排序,你的时间精确度不高导致sort有可能重复,那么你使用search-after后得到的值可能不符合你的预期。有可能有丢失,官方提供的思路是将_doc等元数据也放入排序字段中,因为_doc等数据一般是唯一的,将其加入一般可以保证你的sort字段唯一。
我写了这样个实例,使用@timestamp和_doc来排序,并且将每条数据和它的sort值打印出来。
public static void main(String[] args) {
RestHighLevelClient restHighLevelClient = TestEsCreate.getEsClient("**.**.***.***:*****");//这里是创建RestHighLevelClient的实例,具体实现可以看我之前的代码
SearchRequest searchRequest = new SearchRequest("logstash-applog-*");
searchRequest.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.filter(QueryBuilders.termQuery("projectName", "*******"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
);
try{
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
Object[] arrays = new Object[1];
for(SearchHit hit : searchResponse.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0] " " hit.getSortValues()[1]); //打印sort值
arrays = hit.getSortValues();
}
SearchRequest searchRequest_2 = new SearchRequest("logstash-applog-*");
searchRequest_2.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.must(QueryBuilders.termQuery("projectName", "****"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
.searchAfter(arrays));
SearchResponse searchResponse_2 = restHighLevelClient.search(searchRequest_2, RequestOptions.DEFAULT);
for(SearchHit hit : searchResponse_2.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0]);
arrays = hit.getSortValues();
}
SearchRequest searchRequest_3 = new SearchRequest("logstash-applog-*");
searchRequest_3.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.must(QueryBuilders.termQuery("projectName", "****"))
)
.size(10)
.sort("@timestamp", SortOrder.ASC)
.sort("_doc", SortOrder.ASC)
.searchAfter(arrays));
SearchResponse searchResponse_3 = restHighLevelClient.search(searchRequest_3, RequestOptions.DEFAULT);
for(SearchHit hit : searchResponse_3.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0]);
}
}catch(Exception e){
e.printStackTrace();
}
}
可以看到每条数据都有自己的sort值。
然后我们选任意的一个去查,比如这里面的第三条,我往前查,那么应该只会有两条。查询的方式也很简单就是将第三条的sort值放到searchAfter方法内,并进行降序
如下
Long a = 1646103038393000000L;
.searchAfter(new Object[]{a, 25102})
public static void main(String[] args) {
RestHighLevelClient restHighLevelClient = TestEsCreate.getEsClient("**.**.***.***:*****");
SearchRequest searchRequest = new SearchRequest("logstash-applog-*");
Long a = 1646103038393000000L;
searchRequest.source(new SearchSourceBuilder().query(new BoolQueryBuilder()
.filter(QueryBuilders.termQuery("projectName", "*****"))
)
.size(10)
.searchAfter(new Object[]{a, 25102})
.sort("@timestamp", SortOrder.DESC)
.sort("_doc", SortOrder.DESC)
);
try{
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
Object[] arrays = new Object[1];
for(SearchHit hit : searchResponse.getHits().getHits()){
Map<String, Object> map = hit.getSourceAsMap();
System.out.println(JSONObject.toJSONString(map));
System.out.println(hit.getSortValues()[0] " " hit.getSortValues()[1]);
arrays = hit.getSortValues();
}
}catch(Exception e){
e.printStackTrace();
}
}
确实只有两条。而且你可以看到我上面是升序,下面是降序,可见search-after是可以向上向下滚动的。这一点相比scroll就有了很大的区别。而且可以看到我的size可以在滚动过程中进行修改,这一点也是scroll做不到的。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfeijbh
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01