前言
我们知道文本字段是不可以进行聚合的。要想把该字段变成为可以进行聚合的字段，一种方法就是把它变成为 keyword 字段，这样就可以进聚合了，但是一旦我们把字段变为另外一种数据类型，那么我们首先失去了对该字段的全文搜索功能。我们只能对该字段进行精确的匹配。更为严重的是，我们必须使用 reindex 把该索引转变为另外一个索引。一种比较合理的解决方式就是使用 mulit-fields。我们可以在不改变索引 mappings 的情况下，增加一个新的 keyword 字段，从而达到能够实现聚合的目的。
如何检查字段是否可聚合？
要检查字段是否可聚合，请打开 Kibana，选择左侧菜单中的 Stack Management 选项，然后选择索引模式。 如果可聚合列下有复选/圆圈，则表示该字段已聚合。
>
>如何使字段可聚合？
选择一个字段
首先，你需要选择一个字段。 对于此示例，我选择使用 message 字段，如下图所示，message 字段不可以被聚合，因为它是 text 类型的字段。
现在你需要找出这个特定 message 字段出现在什么索引模式下。 当你在索引模式页面上时，你将能够在页面顶部查看索引模式。 上例中使用了 Logstash-* 索引模式。
获取索引 template
第二部分需要使用 Kibana Dev Tools 部分。然后在 Dev Tools 部分运行以下命令。 你还可以使用 Elasticsearch API 获取模板，但在本示例中，你将使用 Kibana Dev Tools。
GET _cat/templates
这将返回当前在 Elasticsearch 和 Kibana 中的模板的名称。 我们需要找到我们需要的模板名称，比如 Logstash。 现在，在 Kibana Dev Tools 的新行上，你将运行以下命令。
GET _template/logstash
运行此命令将获取 Logstash 索引模板，如下所示。
`
1. {
2. "order" : 0,
3. "version" : 60001,
4. "index_patterns" : [
5. "logstash-*"
6. ],
7. "settings" : {
8. "index" : {
9. "refresh_interval" : "5s"
10. }
11. },
12. "mappings" : {
13. "_default_" : {
14. "dynamic_templates" : [
15. {
16. "message_field" : {
17. "path_match" : "message",
18. "match_mapping_type" : "string",
19. "mapping" : {
20. "type" : "text",
21. "norms" : false,
22. }
23. }
24. },
25. {
26. "string_fields" : {
27. "match" : "*",
28. "match_mapping_type" : "string",
29. "mapping" : {
30. "type" : "text",
31. "norms" : false,
32. "fields" : {
33. "keyword" : {
34. "type" : "keyword",
35. "ignore_above" : 256
36. }
37. }
38. }
39. }
40. }
41. ],
42. "properties" : {
43. "@timestamp" : {
44. "type" : "date"
45. },
46. "@version" : {
47. "type" : "keyword"
48. },
49. "geoip" : {
50. "dynamic" : true,
51. "properties" : {
52. "ip" : {
53. "type" : "ip"
54. },
55. "location" : {
56. "type" : "geo_point"
57. },
58. "latitude" : {
59. "type" : "half_float"
60. },
61. "longitude" : {
62. "type" : "half_float"
63. }
64. }
65. }
66. }
67. }
68. },
69. "aliases" : { }
70. }
`
创建一个 keyword 字段
在上面的模板中找到 message 字段部分。 可以看到当前映射类型是文本，不能在文本字段类型上进行聚合。 你需要一个 keyword 字段类型才能聚合。
更改字段映射类型的最简单方法是输入新模板。 将上面的模板复制到文本编辑器中，并将 message_field 转换为 keyword。 你可以通过将下一个代码片段添加到message 字段来执行此操作。
1. "fields" : {
2. "keyword" : {
3. "ignore_above" : 2048,
4. "type" : "keyword"
5. }
6. }
message 字段映射现在应该如下所示：
`
1. "mappings" : {
2. "_default_" : {
3. "dynamic_templates" : [
4. {
5. "message_field" : {
6. "path_match" : "message",
7. "match_mapping_type" : "string",
8. "mapping" : {
9. "type" : "text",
10. "norms" : false,
11. "fields" : {
12. "keyword" : {
13. "type" : "keyword",
14. "ignore_above" : 2048
15. }
16. }
17. }
18. }
19. },
20. (mappings __default__ has been deprecated in version 7 and will appear as mappings _doc)
22. "mappings" : {
23. "_doc" : {
24. "dynamic_templates" : [
`
您需要在 ignore_above 上设置合理的大小，以免影响性能。 大多数消息都小于 1500 个字符，但它们可能会增加。 在此示例中，你最多允许使用 2048 个字符，较长的消息将被忽略。
改变 template order
你还需要更改模板的顺序以确保它应用于 message 字段。 如果你将 order 号更改为 4，它将具有所有模板中最高的 order 号。 这意味着它将是应用的顶级模板。 order 在模板中的工作方式是首先应用最低的 order 号，而较高的 order 号位于其上。 因此，将首先应用订单号为 0 的模板，然后将应用订单号为 1 的模板，订单号为 4 的模板将位于这两个模板之上并作为顶级模板应用。 继续更改顺序，使其值为 4。
1. PUT _template/logstash_msg_keyword
2. {
3. "order" : 4,
4. "version" : 60001,
5. "index_patterns" : [
6. "logstash-*"
在 Kibana 中创建新的 template
复制新模板，因为它已准备好添加。 在将模板粘贴到 Kibana 之前。 你需要先将以下行添加到 Kibana Dev Tools 中。 这会告诉 Kibana 你将要输入一个新模板并将其命名为 logstash_msg_keyword。
PUT _template/logstash_msg_keyword
我们在 Kibana Dev Tools 中有一个新行粘贴新模板。 你应该有类似于以下部分的内容。
`
1. PUT _template/logstash_msg_keyword
2. {
3. "order" : 4,
4. "version" : 60001,
5. "index_patterns" : [
6. "logstash-*"
7. ],
8. "settings" : {
9. "index" : {
10. "refresh_interval" : "5s"
11. }
12. },
13. "mappings" : {
14. "_default_" : {
15. "dynamic_templates" : [
16. {
17. "message_field" : {
18. "path_match" : "message",
19. "match_mapping_type" : "string",
20. "mapping" : {
21. "type" : "text",
22. "norms" : false,
23. "fields" : {
24. "keyword" : {
25. "type" : "keyword",
26. "ignore_above" : 2048
27. }
28. }
29. }
30. }
31. },
32. {
33. "string_fields" : {
34. "match" : "*",
35. "match_mapping_type" : "string",
36. "mapping" : {
37. "type" : "text",
38. "norms" : false,
39. "fields" : {
40. "keyword" : {
41. "type" : "keyword",
42. "ignore_above" : 256
43. }
44. }
45. }
46. }
47. }
48. ],
49. "properties" : {
50. "@timestamp" : {
51. "type" : "date"
52. },
53. "@version" : {
54. "type" : "keyword"
55. },
56. "geoip" : {
57. "dynamic" : true,
58. "properties" : {
59. "ip" : {
60. "type" : "ip"
61. },
62. "location" : {
63. "type" : "geo_point"
64. },
65. "latitude" : {
66. "type" : "half_float"
67. },
68. "longitude" : {
69. "type" : "half_float"
70. }
71. }
72. }
73. }
74. }
75. },
76. "aliases" : { }
77. }
`
发送带有未来日期的测试数据
模板应用于索引创建，因为数据很可能今天已经发送到 ELK 堆栈。 你需要使用未来的索引创建。 这可以通过使用将来的日期来实现，例如 1/1/2030。 然后，你可以使用 Stack API 密钥将数据从命令行发送到堆栈中。
curl -i -H "ApiKey: <your-stack-api-key" -i -H "Content-Type: application/json" https://localhost:9200 -d '{"message":"This is so cool", "@timestamp":"2030-11-08T11:00:0.000Z"}'
检验结果
一旦你确认数据已到达你的 Elasticsearch。 在 Kibana 上，你需要进入 Stack Management 选项卡，选择索引模式，刷新索引字段列表并搜索 message.keyword 字段，检查该字段现在是否可聚合。
应用于已有数据
之前的数据可能还没有 message.keyword 这个字段。我们可以通过如下的方式来更新之前的数据：
POST logstash-*/_update_by_query
这样我们之前的已有数据将会含有 message.keyword 这个字段。你将可以对它们进行聚合了。
本文出至：学新通技术网
标签：
