Elasticsearch (Part 1: 개념과 구조)

-- ❌ 느린 검색
SELECT * FROM products
WHERE name LIKE '%맥북%'
   OR description LIKE '%맥북%';

-- 문제:
-- - Full Table Scan (인덱스 사용 불가)
-- - 대용량 데이터에서 매우 느림
-- - 형태소 분석 불가 ("맥북프로" 검색 시 "맥북 프로" 못 찾음)

GET /products/_search
{
  "query": {
    "multi_match": {
      "query": "맥북",
      "fields": ["name", "description"]
    }
  }
}
// 장점:
// - 역인덱스로 빠른 검색 (ms 단위)
// - 형태소 분석으로 유연한 검색
// - 관련도 점수 (relevance score)

Elasticsearch      RDBMS             차이점
─────────────────  ──────────────    ──────────────────
Index              Database/Table    스키마리스(동적 매핑)
Document           Row               JSON 구조
Field              Column            중첩/배열 자유
Mapping            Schema            런타임 변경 불가(재인덱싱)
Shard              Partition          수평 분산 저장 단위

// Index: products
{
  "_index": "products",
  "_id": "1",
  "_source": {
    "name": "맥북 프로 M3",
    "price": 2500000,
    "category": "노트북",
    "tags": ["Apple", "고성능"],
    "specs": {
      "cpu": "M3 Pro",
      "ram_gb": 18
    },
    "created_at": "2025-12-16"
  }
}

분석 전 원문:
  Doc 1: "맥북 프로 M3 출시"
  Doc 2: "맥북 에어 경량 노트북"
  Doc 3: "아이패드 프로 M3"

분석 후 Term Dictionary + Posting List:
┌──────────┬──────────────────────────────────────┐
│ Term     │ Posting List                         │
├──────────┼──────────────────────────────────────┤
│ 맥북     │ [Doc1(pos:0, freq:1), Doc2(pos:0, freq:1)] │
│ 프로     │ [Doc1(pos:1, freq:1), Doc3(pos:1, freq:1)] │
│ m3       │ [Doc1(pos:2, freq:1), Doc3(pos:2, freq:1)] │
│ 출시     │ [Doc1(pos:3, freq:1)]                │
│ 에어     │ [Doc2(pos:1, freq:1)]                │
│ 경량     │ [Doc2(pos:2, freq:1)]                │
│ 노트북   │ [Doc2(pos:3, freq:1)]                │
│ 아이패드 │ [Doc3(pos:0, freq:1)]                │
└──────────┴──────────────────────────────────────┘

1. "맥북 프로" → 분석 → [맥북, 프로]
2. 맥북 → [Doc1, Doc2]
3. 프로 → [Doc1, Doc3]
4. Bool Query에 따라:
   - must(AND): Doc1 (교집합)
   - should(OR): Doc1, Doc2, Doc3 (합집합, Doc1 점수 최고)

원문 텍스트
    ↓
[Character Filter] → HTML 태그 제거, 특수문자 변환
    ↓
[Tokenizer] → 텍스트를 토큰(단어)으로 분리
    ↓
[Token Filter] → 소문자 변환, 불용어 제거, 동의어 처리
    ↓
최종 Term 목록 → 역인덱스에 저장

# Elasticsearch에 Nori 플러그인 설치
bin/elasticsearch-plugin install analysis-nori

PUT /products
{
  "settings": {
    "analysis": {
      "analyzer": {
        "korean_analyzer": {
          "type": "custom",
          "tokenizer": "nori_tokenizer",
          "filter": [
            "nori_readingform",
            "lowercase",
            "nori_part_of_speech_filter",
            "synonym_filter"
          ]
        }
      },
      "tokenizer": {
        "nori_tokenizer": {
          "type": "nori_tokenizer",
          "decompound_mode": "mixed",
          "discard_punctuation": true,
          "user_dictionary": "userdict_ko.txt"
        }
      },
      "filter": {
        "nori_part_of_speech_filter": {
          "type": "nori_part_of_speech",
          "stoptags": ["E", "IC", "J", "MAG", "MAJ",
                       "MM", "SP", "SSC", "SSO", "SC",
                       "SE", "XPN", "XSA", "XSN", "XSV",
                       "UNA", "NA", "VSV"]
        },
        "synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "삼성, 삼성전자, Samsung",
            "맥북, MacBook",
            "노트북, 랩탑, laptop"
          ]
        }
      }
    }
  }
}

POST /products/_analyze
{
  "analyzer": "korean_analyzer",
  "text": "삼성전자 갤럭시 S25 울트라를 출시했습니다"
}
// 결과: [삼성전자, 삼성, 전자, 갤럭시, s25, 울트라, 출시]
// 조사('를'), 어미('했습니다')가 제거됨

PUT /products
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "korean_analyzer",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          },
          "suggest": {
            "type": "completion"
          }
        }
      },
      "category": {
        "type": "keyword"
      },
      "price": {
        "type": "long"
      },
      "description": {
        "type": "text",
        "analyzer": "korean_analyzer"
      },
      "tags": {
        "type": "keyword"
      },
      "reviews": {
        "type": "nested",
        "properties": {
          "author": { "type": "keyword" },
          "rating": { "type": "integer" },
          "content": { "type": "text", "analyzer": "korean_analyzer" }
        }
      },
      "location": {
        "type": "geo_point"
      },
      "created_at": {
        "type": "date",
        "format": "yyyy-MM-dd'T'HH:mm:ss||yyyy-MM-dd||epoch_millis"
      }
    }
  }
}

// Dynamic Mapping 비활성화 (권장)
PUT /products
{
  "mappings": {
    "dynamic": "strict",
    "properties": { ... }
  }
}
// dynamic: strict → 매핑에 없는 필드가 들어오면 에러
// dynamic: false  → 매핑에 없는 필드 저장은 하지만 인덱싱 안 함
// dynamic: true   → 자동 매핑 (기본값, 운영 비권장)

Query DSL
├── Full-text Query (분석기 거침 → text 타입)
│   ├── match          : 기본 전문 검색
│   ├── multi_match    : 여러 필드 검색
│   ├── match_phrase   : 구문 검색 (순서 유지)
│   └── query_string   : Lucene 구문 직접 사용
│
├── Term-level Query (분석 안 함 → keyword/숫자/날짜)
│   ├── term           : 정확 일치
│   ├── terms          : 다중 값 일치 (IN)
│   ├── range          : 범위 검색
│   ├── exists         : 필드 존재 여부
│   └── prefix/wildcard: 접두사/와일드카드
│
└── Compound Query
    ├── bool           : must/should/must_not/filter 조합
    ├── function_score : 점수 커스터마이징
    └── nested         : nested 객체 검색

GET /products/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": {
              "query": "삼성 노트북",
              "operator": "and"
            }
          }
        }
      ],
      "filter": [
        { "term": { "category": "노트북" } },
        { "range": { "price": { "gte": 500000, "lte": 2000000 } } },
        { "range": { "created_at": { "gte": "2025-01-01" } } }
      ],
      "should": [
        { "term": { "tags": { "value": "고성능", "boost": 2.0 } } },
        { "match": { "description": "가성비" } }
      ],
      "minimum_should_match": 1,
      "must_not": [
        { "term": { "status": "discontinued" } }
      ]
    }
  },
  "highlight": {
    "fields": {
      "name": { "pre_tags": ["<em>"], "post_tags": ["</em>"] },
      "description": { "fragment_size": 150, "number_of_fragments": 3 }
    }
  },
  "sort": [
    { "_score": "desc" },
    { "price": "asc" }
  ],
  "from": 0,
  "size": 20
}

// ❌ 일반 object 배열: Cross-matching 문제
// reviews: [{author: "Kim", rating: 5}, {author: "Lee", rating: 1}]
// "Lee가 쓴 별점 5 리뷰" 검색 → 잘못된 매칭 발생!

// ✅ nested 타입 사용
GET /products/_search
{
  "query": {
    "nested": {
      "path": "reviews",
      "query": {
        "bool": {
          "must": [
            { "term": { "reviews.author": "Lee" } },
            { "range": { "reviews.rating": { "gte": 4 } } }
          ]
        }
      },
      "inner_hits": {}
    }
  }
}

score(D, Q) = Σ IDF(qi) × [ TF(qi, D) × (k1 + 1) ]
                            ──────────────────────────
                            TF(qi, D) + k1 × (1 - b + b × |D|/avgdl)

GET /products/_search
{
  "query": {
    "function_score": {
      "query": { "match": { "name": "노트북" } },
      "functions": [
        {
          "field_value_factor": {
            "field": "sales_count",
            "modifier": "log1p",
            "factor": 0.5
          },
          "weight": 2
        },
        {
          "gauss": {
            "created_at": {
              "origin": "now",
              "scale": "30d",
              "decay": 0.5
            }
          },
          "weight": 1
        },
        {
          "filter": { "term": { "is_promoted": true } },
          "weight": 3
        }
      ],
      "score_mode": "sum",
      "boost_mode": "multiply"
    }
  }
}

GET /products/_search
{
  "size": 0,
  "query": {
    "range": { "created_at": { "gte": "2025-01-01" } }
  },
  "aggs": {
    "by_category": {
      "terms": {
        "field": "category",
        "size": 20,
        "order": { "avg_price": "desc" }
      },
      "aggs": {
        "avg_price": { "avg": { "field": "price" } },
        "max_price": { "max": { "field": "price" } },
        "price_ranges": {
          "range": {
            "field": "price",
            "ranges": [
              { "to": 500000, "key": "저가" },
              { "from": 500000, "to": 1500000, "key": "중가" },
              { "from": 1500000, "key": "고가" }
            ]
          }
        },
        "monthly_trend": {
          "date_histogram": {
            "field": "created_at",
            "calendar_interval": "month",
            "format": "yyyy-MM"
          },
          "aggs": {
            "monthly_avg": { "avg": { "field": "price" } }
          }
        }
      }
    },
    "overall_stats": {
      "stats": { "field": "price" }
    }
  }
}

// 인덱스 생성 시 Shard 설정
PUT /products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "5s"
  }
}
// 3 Primary × 2(원본+복제) = 6 Shard → 최소 2노드 필요

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "7d",
            "max_size": "50gb",
            "max_docs": 100000000
          },
          "set_priority": { "priority": 100 }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": { "number_of_shards": 1 },
          "forcemerge": { "max_num_segments": 1 },
          "set_priority": { "priority": 50 },
          "allocate": {
            "require": { "data": "warm" }
          }
        }
      },
      "cold": {
        "min_age": "90d",
        "actions": {
          "freeze": {},
          "allocate": {
            "require": { "data": "cold" }
          }
        }
      },
      "delete": {
        "min_age": "365d",
        "actions": { "delete": {} }
      }
    }
  }
}

Hot (SSD)          Warm (HDD)         Cold (Archive)     Delete
0~7일              30~90일             90~365일            365일+
활발한 쓰기/읽기    읽기만              거의 접근 없음       자동 삭제
높은 I/O           Shrink+ForceMerge  Freeze