자연어 처리(NLP) 역사 및 동향

요즘 ChatGPT, 네이버 Cue, 구글 제미나이 등 거대언어모델(Large Language Model, LLM)이 대세입니다. 언어모델의 기원은 자연어 처리(NLP)에서 시작되었습니다. 자연어 처리의 역사는 수십 년간의 연구와 기술 발전을 이루어 지금의 모습이 되었죠. 

 

 

NLP(자연어 처리, Natural Language Processing) 란

사람의 말을 컴퓨터가 이해하도록 만들어서, 컴퓨터가 우리에게 도움이 되는 일을 수행하게 하는 것을 말합니다. 핵심은 인간의 언어를 이해하고 해석하고 생성할 수 있도록 초점을 맞춘 인공 지능(AI)이라는 것이죠. 여기서 자연어를 통한 컴퓨터와 인간 간의 상호 작용이 포함됩니다.

 

그 외에도 대용량 텍스트에서 정보를 찾는 것부터 해서 음성인식, 문서요약, 문서분류, 이메일 필터, 감성분석 챗봇 등이 이에 해당됩니다. 

 

NLP의 역사

1950년대 - 1960년대: 초기

NLP의 기원은 연구자들이 언어 처리를 위한 계산 방법을 탐구하기 시작한 20세기 중반으로 거슬러 올라갑니다. 가장 초기의 노력 중 하나는 1954년에 컴퓨터를 사용하여 러시아어 문장 60개를 영어로 번역하는 Georgetown-IBM 실험의 개발이었습니다.

1970년대 - 1980년대: Rule-based(규칙 기반) 시스템

이 기간 동안 자연어 처리(NLP) 연구는 주로 언어 규칙과 문법 구조가 컴퓨터 프로그램에 수동으로 인코딩 되는 Rule-based 시스템이 주를 이루었습니다. 주목할만한 개발에는 제한된 영역에서 자연어 명령을 이해하고 응답하는 능력을 입증한 SHRDLU 시스템(1960년대 후반 Terry Winograd가 개발)이 포함됩니다.

1966년 Joseph Weizenbaum이 개발된 ELIZA와 같은 다른 시스템은 Rogerian 심리 치료사를 시뮬레이션하여 사용자와 기본적인 대화에 참여했습니다.

• 1985’ : WordNet(시소러스)
• 1986’ : RNN – 시계열 데이터 예측

 

1990년대 - 2000년대 초반: 통계적 접근

 

통계적 접근 방식의 등장은 언어 처리를 위한 기계 학습 기술의 출현과 함께 NLP 연구에 중요한 변화를 가져왔습니다. 연구원들은 품사 태깅, 개체명 인식, 기계 번역과 같은 작업을 위한 확률 모델을 훈련하기 위해 대규모 텍스트인 데이터 코퍼스를 사용하기 시작했습니다.

HMM(Hidden Markov Model) 및 통계 언어 모델은 이 기간 동안 다양한 NLP 작업에 널리 사용 되었습니다.

• 1997’ : LSTM(Long short-term memory)

 

2000년대 중반 - 현재: 딥러닝

2000년대 중반에는 딥러닝과 신경망 아키텍처의 발전에 힘입어 NLP에 혁명이 일어났습니다. 순환 신경망(RNN), 장단기 기억(LSTM) 네트워크 및 이후의 Transformer는 기계 번역 및 텍스트 생성과 같은 시퀀스 간 작업을 위한 강력한 모델로 등장했습니다.

단어 임베딩(예: Word2Vec, GloVe)의 획기적인 발전으로 고차원 벡터 공간에서 단어 표현이 가능해졌으며 단어 간의 의미론적 관계를 포착할 수 있었습니다.

 

BERT(Bidirection Encoder Representations from Transformers) 및 GPT(Generative Pre-trained Transformer)와 같은 대규모 사전 훈련된 언어 모델은 비지도 학습을 위해 방대한 양의 텍스트 데이터를 활용하여 다양한 NLP 벤치마크에서 최첨단 성능을 달성했습니다.

 

2010’  RNN을 활용한 언어 모델 시도

• n-gram의 결합을 통해 더 나은 성능의 언어모델을 만들 수 있었지만 구조적 한계와 높은 연산량으로 터 큰 성과를 거둘 수 없었음

2013’  Word2vec

• 토마스 미스코프의 Word2vec으로 단어들을 잠재공간에 효과적으로 투사(임베딩)시켜서 자연어처리 문제에 대한 딥러닝 활용의 신호탄을 쏘아 올림

2014’  Seq2Seq 발표

• RNN을 통해서만 NLP를 해결해야 한다는 고정관념에서, 윤 킴은 CNN(합성곱 신경망)을 활용한 텍스트 분류 모델을 제시하면서 성능을 더욱 극대화

2015’  Attention(어텐션)

• 이전 RNN기반에서 이후 Attention기반으로 변곡점이된 모델

2017’  Transformer(트랜스포머)

• 6월 : 구글 논문 발표 “Attention is all you need”을 통해 현 모델의 주류를 이루는 트랜스포머 모델 등장

2018’  Comprehend, GPT, BERT

• 6월 : AWS Amazon Comprehend : 핵심 문구 추출, 감정 분석
• 6월 : GPT(Generative Pre-trained Transformer) - OpenAI
• 10월 : BERT - 구글

2019’ 02 : GPT-2 

• 19억 개 매개변수 거대언어모델

2020‘ 06 : GPT-3

• 1,750억 개 매개변수 – Microsoft 독점 라이선스
• Microsoft가 비영리 AI 연구기관 오픈AI(OpenAI)와의 지속 파트너십

 

자연어 처리 최근 동향

NLP의 최근 동향에는 다국어 모델 개발, 도메인 적응 기술, NLP와 컴퓨터 비전 및 강화 학습 등 다른 AI 분야의 통합이 포함됩니다. 상당한 진전에도 불구하고 NLP는 특히 실제 응용 프로그램에서 맥락을 이해하고, 모호성을 처리하고, 인간 수준의 언어 이해를 달성하는 데 여전히 어려움에 직면해 있습니다.

 

전반적으로 NLP의 역사는 초기 규칙 기반 시스템에서 오늘날의 정교한 딥 러닝 모델에 이르기까지 혁신과 발전을 거듭했습니다. 그래서 앞으로 인간과 기계 간의 보다 스마트하고 직관적인 상호 작용을 위한 길이 열렸다고 볼 수 있습니다.