스티 바 a

Tokenizer 비교 실험 (형태소 분석 word piece) - Tistory

i-am-wendy.tistory.com · 27Tokenizer 비교 실험 (형태소 분석 word piece) - Tistory i-am-wendy.tistory.com · 27 Aug 6 2020 · * Environment Ubuntu 18.04 Python 3.8.3 * Dataset Korean Wikipedia 토크나이저의 방식은 크게 두가지 방식으로 볼 수 있다. Word piece 혹은 subword segmentation으로 한 단어를 세부 단어로 분리하는 방식과 형태소 분석 방식이 있다. 영어를 기반으로 발전되었기에 word piece 방식이 다양하고 속도측면에서 빠르지만 한국 ...