elasticsearch 6.* 기본기-4 한국어형태소분석기-nori

##############################
# nori analyzer
##############################
# https://www.elastic.co/guide/en/elasticsearch/plugins/6.4/analysis-nori.html
# nori analyzer 는 다음과 같은 tokenizer 와 token filters로 구성되어 있다
 
# nori_tokenizer
# nori_part_of_speech token filter
# nori_readingform token filter
# lowercase token filter
 
# 또한 decompound_mode 와 user_dictionary 를 지원하고 stoptags를 설정할 수 있다
 
##############################
# 1. nori_tokenizer
# decompound_mode : 토큰을 처리하는 방법을 결정
#    none: 분해하지 않는다
#    discard: 분해하고 원본 삭제 (default)
#    mixed: 분해하고 원본도 유지
# user_dictionary
#    위치: $ES_HOME/config/userdic_sample.txt
#       c++                 
#       C샤프
#       세종
#       세종시 세종 시 
DELETE nori_sample
 
PUT nori_sample
{
  "settings": {
    "index": {
      "analysis": {
        "tokenizer": {
          "nori_user_mixed": {
            "type": "nori_tokenizer",
            "decompound_mode": "mixed",
            "user_dictionary": "userdic_sample.txt"
          },
          "nori_user_dict_discard": {
            "type": "nori_tokenizer",
            "user_dictionary": "userdic_sample.txt"
          },
          "nori_user_dict_none": {
            "type": "nori_tokenizer",
            "decompound_mode": "none",
            "user_dictionary": "userdic_sample.txt"
          }          
        },
        "analyzer": {
          "analyzer_mixed": {
            "type": "custom",
            "tokenizer": "nori_user_mixed"
          },
          "analyzer_discard": {
            "type": "custom",
            "tokenizer": "nori_user_dict_discard"
          },
          "analyzer_none": {
            "type": "custom",
            "tokenizer": "nori_user_dict_none"
          }        
        }
      }
    }
  }
}
 
GET nori_sample/_analyze
{
  "analyzer": "analyzer_mixed",
  "text": "(서울=연합뉴스) 김동규 기자 = 슈퍼 태풍 '위투'가 서태평양을 강타하면서 사이판공항이 폐쇄돼 26일 오전 10시(현지시간) 현재 사이판을 오가는 하늘길이 모두 막혔다."  
}
 
GET nori_sample/_analyze
{
  "analyzer": "analyzer_discard",
  "text": "(서울=연합뉴스) 김동규 기자 = 슈퍼 태풍 '위투'가 서태평양을 강타하면서 사이판공항이 폐쇄돼 26일 오전 10시(현지시간) 현재 사이판을 오가는 하늘길이 모두 막혔다."  
}
 
GET nori_sample/_analyze
{
  "analyzer": "analyzer_none",
  "text": "소녀시대는 노래를 잘한다"  
}
 
# 토큰의 속성을 좀더 자세히 보려면
GET nori_sample/_analyze
{
  "analyzer": "analyzer_none",
  "text": "소녀시대는 노래를 잘한다",
  "attributes" : ["posType", "leftPOS", "rightPOS", "morphemes", "reading"],
  "explain": true
}
 
##############################
# 2. nori_part_of_speech token filter
# 특정 품사 태그를 제거한다.
# 기본값은
#"stoptags": [
#    "E",
#    "IC",
#    "J",
#    "MAG", "MAJ", "MM",
#    "SP", "SSC", "SSO", "SC", "SE",
#    "XPN", "XSA", "XSN", "XSV",
#    "UNA", "NA", "VSV"
#]
 
DELETE nori_sample
 
PUT nori_sample
{
  "settings": {
    "index": {
      "analysis": {
        "tokenizer": {
          "nori_user_dict_none": {
            "type": "nori_tokenizer",
            "decompound_mode": "none",
            "user_dictionary": "userdic_sample.txt"
          }          
        },
        "filter": {
          "my_filter": {
            "type": "nori_part_of_speech",
             "stoptags": [
              "NR"   
             ]
          }
        },
        "analyzer": {
          "analyzer_none": {
            "type": "custom",
            "tokenizer": "nori_user_dict_none",
            "filter": ["my_filter"]
          }        
        }
      }
    }
  }
}
 
GET nori_sample/_analyze
{
  "analyzer": "analyzer_none",
  "text": "여섯 용이 소녀시대는 노래를 잘한다"
}
 
##############################
# 3. nori_readingform token filter
# 한자를 한글로 변환하는 필터
 

품사태그표.xlsx

0.01MB