NSD Tokenizer v2.2

Version 20260425_01-v22 · NSDevil

🇰🇷 한국어 형태소 분석 4 엔진을 NSDevil 이 자체 개발·내재화한 단일 컨테이너 통합 토크나이저입니다. 외부 라이브러리(Nori/MeCab-ko/Khaiii/Komoran) 의존성을 모두 제거하고 순수 Python 으로 재구현 + 자체 GT 기반 휴리스틱 사전 강화로, 기존 5-컨테이너 ensemble 대비 token 정확도 +0.661%p / sentence 정확도 +0.600%p / p50 latency 1.85× / 부하 throughput 3.73× (conc=16) 을 동시 달성한 NSDevil 자산입니다 (5회 deterministic 실측, std=0.0000).

🇺🇸 NSD Tokenizer v2.2 is NSDevil's in-house Korean morphological analyzer integrating 4 engines into a single container. All external library dependencies (Nori/MeCab-ko/Khaiii/Komoran) have been replaced by pure-Python re-implementations + an in-house GT-driven heuristic dictionary, delivering +0.661%p token accuracy / +0.600%p sentence accuracy / 1.85× p50 latency / 3.73× throughput at conc=16 over the legacy 5-container ensemble (5-run deterministic measurement, std=0.0000).