딥러닝60 텐서(Tensor)의 개념: 텐서플로우 vs 파이토치 vs 케라스 딥러닝을 공부하다 보면 텐서(Tensor)라는 개념이 나옵니다. 과연 텐서는 무엇일까요? 이번 글에서는 텐서에 대한 개념과 구성요소 등을 알아보고, 가장 많이 사용하는 프레임워크인 텐서플로우, 파이토치, 케라스를 비교해 살펴보도록 하겠습니다. 텐서(Tensor)란 무엇인가? 컴퓨터 과학에서 배열(arrary)은 번호(Index)와 각 번호에 대응하는 값들로 이루어진 데이터 형태를 말합니다. 그런데 텐서는 간단히 말해, 다차원의 배열을 통칭합니다. ‘선형 관계를 나타내는 다중선형대수학의 대상‘ 으로 풀이되나, 데이터적인 관점에서는 여러 차원을 가진 배열이라 이해하는 것이 더 편합니다. 텐서는 딥러닝에 입력(Input)으로 들어가는 단위죠. 딥러닝은 미니배치 단위로 수행되므로 row와 속성 + 하나의 추가 .. 2024. 1. 9. RNN(순환 신경망)의 역사: LSTM, seq-to-seq, 트랜스포머 이번 포스팅에서는 RNN의 역사에 대해 살펴보겠습니다. RNN은 BERT, GPT(ChatGPT 모델)와 같은 언어모델의 근간이 되었습니다. 그런 의미에서 RNN을 이해하는 것은 중요하다고 할 수 있죠. 그럼 RNN이 어떻게 발전해 왔는지 알아보도록 하겠습니다. RNN(Recurrent Neural Network) 이란 RNN을 해석해 보면 순환 신경망입니다. 그런데 왜 순환일까요? 이유는 순서의 의미가 있으며, 순서가 달라질 경우 의미가 손상되는 데이터에 적합한 방식이기 때문입니다. 예를 들어, 텍스트나 시계열 데이터의 경우에 해당됩니다. RNN의 개념은 1986년 최초 등장했습니다. 그리고 유명한 LSTM 아키텍처는 1997년에 나오게 됐습니다. 순환 신경망의 아이디어는 장기기억을 잊어버리지 않게하자.. 2024. 1. 8. CNN(합성곱 신경망)의 역사: 왜 CNN인가? 이번 포스팅에서는 딥러닝 중 CNN의 역사에 대해 알아보도록 하겠습니다. 영상이나 이미지에 대한 처리 알고리즘으로 CNN을 많이 쓰는데요. CNN을 왜 사용하게 되었고 어떻게 발전해 왔는지 확인해 보도록 하겠습니다. 왜 CNN(Convolutional Neural Network)일까?우리는 먼저 왜 합성곱을 사용했을까 생각해 볼 필요가 있습니다. 이유는 두 함수를 합성곱 하면 Input으로 들어오는 신호, 이미지, 영상 등을 우리가 원하는 함수로 만들어 낼 수 있기 때문입니다. 그래서 영상처리를 위해 고안된 다층신경망이라 불리기도 합니다. 기본적으로 이 모델은 컨볼루션 과정과 서브샘플링 과정 두 단계로 진행합니다. 모델의 특징이 가중치를 공유하기 때문에 학습속도가 빠르고 일반화 능력이 우수하다는 장점을 .. 2024. 1. 4. 딥러닝의 암흑기 원인: 기울기 소실(Vanishing Gradient) 이번 포스팅에서는 딥러닝의 역사에서 왜 암흑기가 생겼는지 알아보도록 하겠습니다. 이전 포스팅에 MLP의 한계로 학습을 시킬 수 없다는 점 때문에 1차 암흑기로 들어갔다고 이야기 했습니다. 그 후 역전파를 통해 신경망을 학습시킬 수 있다는 희망을 가지게 됩니다. 그런데 다시 2차 암흑기가 시작됩니다. 그 이유를 이번 글에서 다루도록 하겠습니다. 2차 암흑기는 왜 생겼나?층이 깊어질 수록 기울기 소실(Vanishing Gradient) 문제로 인하여 딥러닝의 학습의 한계가 보이기 시작합니다. 그리고 학습 데이터에만 최적화되어버리는 Overfitting 문제가 발생합니다. 새로운 다른 데이터가 들어왔을 때 높은 정확도를 보장 못하게 되죠. 그 밖에도 Label 된 데이터의 부족도 한몫했습니다. 딥러닝 특성상 .. 2024. 1. 3. 퍼셉트론과 역전파(Back propagation) 이번 포스팅에서는 퍼셉트론에 대해 살펴보겠습니다. 딥러닝을 배우게 되면 퍼셉트론을 기본 개념으로 배우게 되는데요. 사실은 꼭 몰라도 상관없습니다. 하지만 딥러닝의 역사에 있어서 퍼셉트론의 문제를 해결한 것은 하나의 중요한 이벤트였습니다. 퍼셉트론이란? 퍼셉트론은 1956년에 Rosenblatt(로젠블랫)라는 사람에 의해서 처음 고안된 알고리즘입니다. 동물의 신경계를 본떠 만들었다고 합니다. 용어적으로 Perceptron은 퍼셉션과 뉴런, 두 단어의 조합입니다. Perception : 무엇을 인지하는 능력 Neuron : 입력 정보를 의미있는 정보로 바꿔주는 신경 세포 XOR 문제 해결, 그리고 암흑기의 시작 마빈 민스키(Marvin Minsky) 교수가 1969년에 '퍼셉트론즈(Perceptrons)'라.. 2024. 1. 2. 딥러닝(Deep Learning)의 역사: 왜 주목 받고 있나? 이번 포스팅에서는 딥러닝의 역사에 대해 살펴볼까 합니다. 왜 딥러닝이 태동했을까요? 딥러닝이 처음부터 지금처럼 각광받는 알고리즘이었을까요? 여러 가지 의문들이 있습니다. 지금은 챗GPT와 같은 서비스가 딥러닝에 의해 가능하다는 사실을 많은 사람들이 알고 있습니다. 이제는 이 기술에 대해 어느 정도는 알고 있어야 한다는 이야기죠. 이번 글에서는 딥러닝이 무엇이고 주목받게 된 이유를 알아보도록 하겠습니다. 딥러닝(deep learning)이란? 딥러닝은 인간의 머리. 즉 우리의 두뇌에 영감을 받아 구현이 시작됐습니다. 우리의 뇌처럼 데이터를 처리하도록 컴퓨터를 가르치는 방식이라고 해서 인공 지능(AI) 이라고도 합니다. 원래 아이디어는 뉴런을 관찰해 보니, 복잡한 구조속에도 동작은 아주 단순하든 것이었습니다.. 2023. 12. 29. 이전 1 ··· 4 5 6 7 다음
