자연어 처리 과정1 자연어 처리 과정과 n-gram 자연어 처리 전체적인 과정이 어떻게 이루어질까요? 이 글은 우리가 알고 있는 자연어 처리 알고리즘에 들어가기 전에 어떤 과정으로 자연어 처리가 이루어지는지 알아보도록 하겠습니다. 그리고 임베딩 과정인 n-gram에 대해서도 간략하게 설명해 보도록 하겠습니다. 자연어 처리 과정 1. 코퍼스(Corpus) 모델 생성에 필요한 텍스트 데이터셋인 Corpus를 구성, 이는 거대언어모델(Large Language Model, LLM) 에서 방대한 데이터가 되는 원천 데이터입니다. 2. 텍스트 전처리 텍스트 데이터에서 불필요한 부분을 제거하고, 의미 단위로 구분하는 처리 과정(Text Preprocessing)을 진행합니다. 이때, 토큰화, 정규화, 필터링 등의 작업을 합니다. 3. 임베딩 컴퓨터가 처리할 수 있도.. 2024. 3. 14. 이전 1 다음
