ElasticSearch - index mapping（5.x以上）

Elasticsearch支持的基本類型

• 字符串 : text, keyword
  • text : 存儲數據的時候，會自動分詞，並生成索引
  • keyword : 存儲數據的時候，不會分詞，而是直接整個詞拿去建索引
• 整數 : byte, short, integer, long
• 浮點數 : float, double
• 布爾型 : boolean
• 日期 : date

自定義 mapping

• index : 設置此字段能不能被查詢，就是決定要不要將這個字段放進倒排索引裡

  • 若 index 設置為 true（默認是 true），則表示這個這個字段會被放進倒排索引裡，如果是 text 就是分詞過後放進索引，如果是 keyword、integer…就直接整段放進索引裡
  • 若 index 設置為 false，則表示這個字段不放進倒排索引裡，因此不能查詢這個字段（因為他不存在於倒排索引裡）
    • 通常這種被設成 false 的字段，可以想像成是屬於一種附屬的字段，就是不能被 match、term 查詢，但是當該文檔被其他搜索條件搜出來時，他可以附帶的一起被找出來，因為他們同屬於同一個文檔

• analyzer : 主要用在 text 類型的字段上，就是設定要使用哪種分詞器來建立索引

  • 可以使用內建的分詞器，或是使用自定義的分詞器

• 可以使用 /_analyze 測試分析器具體會將句子分詞成什麼樣子，它能幫助我們理解 Elasticsearch 索引內部發生了什麼

  GET _analyze
  {
      "analyzer": "standard",
      "text": "Text to analyze"
  }
  

• 具體實例

  • mapping

    PUT mytest
    {
        "mappings": {
            "doc": {
                "properties": {
                    "name": {
                        "type": "keyword",
                        "index": false
                    },
                    "uid": {
                        "type": "integer"
                    },
                    "nickname": {
                        "type": "text",
                        "analyzer": "standard"
                    }
                }
            }
        }
    }
    

  • 搜索 uid 時，name 會一起被找出來

    GET mytest/_search
    {
        "query": {
            "term": {
                "uid": 1
            }
        }
    }
    

    {
        "uid": 1,
        "name": "1-hello",
        "nickname": "1-nickname"
    }
    

  • 搜索 name，會報 error

    GET mytest/_search
    {
        "query": {
            "term": {
                "name": "1-hello"
            }
        }
    }
    

    "error": {
        "type": "illegal_argument_exception",
        "reason": "Cannot search on field [name] since it is not indexed."
    }
    

更新 mapping

• 當首次創建一個 index 的時候，可以指定類型的 mapping，但假設後來想要增加一個新的映射字段，可以使用 /_mapping 把新的字段加進 mapping 映射裡

  • 可以增加一個新的映射，但是不能修改存在的映射，原因是因為這個映射可能有文檔去用，如果改了映射的類型，可能會導致 index 的數據出錯，因此只能新加字段進去，不能修改

• 具體實例

  • 在 mytest 映射中的 doc 類型增加一個新的名爲 tag 的 keyword

    PUT mytest/_mapping/doc
    {
        "properties": {
            "tag": {
                "type": "keyword"
            }
        }
    }
    

• 在 ES 中更新 mapping（新增一個字段）會產生的問題

  • 雖然 ES 支持更新映射在 mapping 中新增字段，但是這樣會造成一個問題，就是舊的文檔並不會自動更新產生新的字段

    • 假設舊文檔有 name、nickname 這兩個字段，並且已經插入了兩筆數據

      { "name": "Jackson", "nickname": "jack" }
      { "name": "Amy", "nickname": "a" }
      

    • 此時插入一個新的字段 sex，並且插入一筆新的數據

      { "name": "NewYork", "nickname": "new", "sex": 1 }
      

    • 執行 "match_all": {} 查詢時，結果如下

      • 由於 Jackson 和 Amy 並沒有 sex 這個字段，所以雖然執行 match_all 搜索時能被搜出來，但是搜索 "term": { "sex": 1 } 的話，就搜索不出來

        { "name": "Jackson", "nickname": "jack" }
        { "name": "Amy", "nickname": "a" }
        { "name": "NewYork", "nickname": "new", "sex": 1 }
        

      • 我們希望的狀況是，增加一個新字段，舊文檔應該也要設置一個預設值，像是 sex=0，而不是整個字段消失，如此在查詢時邏輯才不會有問題

  • 解決舊文檔沒有新字段這個問題主要有3種方法

    • 新建一個 index，使用 scroll + bulk insert 將數據從舊的索引批量插入到新索引中

      • 可以在 java 裡自定義舊文檔預設值的邏輯

    • 新建一個 index，使用 ES 提供的 reindex API 將數據從舊的索引 reindex 到新索引

      • 需要使用 ES 的腳本 script，在 reindex 的請求裡定義舊文檔預設值的邏輯

        POST _reindex
        {
            "source": {
                "index": "mytest"
            },
            "dest": {
                "index": "mytest2"
            },
            "script": {
                "source": "if (ctx._source.new == null) {ctx._source.new = params.new}",
                "params": {
                    "new": "good"
                },
                "lang": "painless"
            }
        }
        

    • 使用 update_by_query 更新所有舊文檔，給他們加上新的字段