ai1 ChatGPT(GPT-4)를 이긴 또 다른 거대모델(제미나이) OpenAI와 구글 연구진의 싸움은 과거로 거슬러 올라갑니다. OpenAPI에서는 GPT를 제안했고 얼마 지나지 않아 구글에서는 BERT라는 언어모델을 들고 나왔죠. 두 모델 모두 Transformer를 기반으로 하고 있습니다. GPT는 decoder 블록을 사용한다면 BERT는 encoder 블록을 사용한다는 점이 다르죠. 구글에서 BERT를 내놓을 때 단어의 양쪽 방향으로부터 Context를 활용하기 때문에 더 좋은 결과를 낸다고 주장했습니다. 처음에 BERT가 더 진보된 모델로 다들 생각했습니다. 적어도 GPT-2가 나오기 전까지는 말입니다. GPT-2의 반격 GPT-2는 그 당시 거의 모든 웹페이지를 학습 데이터로 사용하며 반격을 시작합니다. ”우리 GPT모델에 데이터만 많이 넣었더니 BERT보다.. 2023. 12. 17. 이전 1 다음
