본문 바로가기

분류 전체보기271

IP주소, 서브넷마스크 없었으면 어쩔뻔? 이번 포스팅에서는 IP 주소와 서브넷 마스크에 대해 설명드리겠습니다. 이 글에서는 IP 주소와 서브넷 마스크의 연관성을 살펴보고 그 구조에 대해서 의미를 알아보겠습니다. IP 주소란 IP는 네트워크상에서 컴퓨터(노드)를 식별하기 위해 부여된 위치주소입니다. 우리가 사용하는 주소는 IPv4 포맷입니다. 일반적으로 32 bit로 표현해서 약 43억 개가 존재한다고 할 수 있습니다. IP의 각 자릿수(3자리)를 옥텟이라 부르며 dot(.)으로 구분합니다. IP 주소의 두 가지 목적 IP 주소는 호스트 또는 네트워크 인터페이스를 식별 네트워크에서 호스트 위치를 제공 목적 IPv4 vs IPv6 가장 널리 사용되는 버전인 IPv4는 점으로 구분된 4개의 십진수 세트(예: 192.168.1.1)로 표시되는 32비트.. 2023. 12. 21.
리눅스 계정 관리 - 사용자(user), 그룹(group), 패스워드 이번 포스팅에서는 리눅스의 계정 관리에 대해 알아보도록 하겠습니다. 계정 관리는 사용자(user), 그룹(group)이라는 두가지 구성 요소로 나누어 이야기 해볼 수 있는데요. 저번 포스팅에서 살펴 봤던 리눅스 권한(Permission) 관리도 사용자, 그룹으로 관리한다는 것을 배웠습니다. 사용자(user) 관리 Linux에서는 시스템과 상호 작용하는 각 개인에게 사용자 계정을 만들어 줄 수 있습니다. useradd 명령은 새 사용자를 추가하는 데 사용되며 passwd라는 명령어로 비밀번호를 설정합니다. 이때 생성하는 user는 root유저라고 super user입니다. 그래서 리눅스에서는 크게 super user와 일반 유저가 있다고 할 수 있습니다. 보통 계정 생성시 sudo라는 명령어를 사용하는데요.. 2023. 12. 19.
지도학습 비지도학습 쉬운 설명 지도 학습 vs 비지도 학습 이란 말이 너무 어렵게 느껴지시나요? 위키백과의 설명을 참고해도 그렇게 와 닿는 이야기는 아닙니다. 또 우리에게 약간의 선입견도 있습니다. ‘비지도’라고 하면 학습을 하지 않는 알고리즘이라는 생각이 먼저 듭니다. 만약 비지도니까 기계가 학습하지 않는 거라고 생각했던 분들은 그 생각은 바로 버리십시오. 이는 처음 분석을 하는 사람들이 많이 헷갈려하는 개념입니다. 그런데 걱정하지 마세요. 알고 보면 구별하기 너무 쉽다는 것을 알게 됩니다. 가장 쉬운 구분 방법은 '레이블이 있냐? 없냐?'입니다. 레이블이 뭐냐고요? 레이블(Label)은 정답지를 말합니다. 예를 들어, 수학시간에 x+1=y라는 수식이 있다고 생각해 보세요. 여기서 x값을 넣었을 때 y가 나온다고 하면 y가 레이블입.. 2023. 12. 18.
리눅스(Linux) 권한 관리 - Permission 이번 포스팅에서는 리눅스에서 권한 관리에 대해 살펴보도록 하겠습니다. 리눅스에서는 파일과 디렉터리에 대해 허가권(permission)과 소유권(ownership)으로 관리합니다. 이 글에서는 Permission에서 대해 어떻게 관리하고 사용하는지 알아 보록 하겠습니다. Permission이란 많은 개발자들이 폴더에 접근 권한이 없어 진입이 안된다거나, 실행 파일에 권한이 없어 실행하지 못해 error가 나는 상황을 겪어보았을 것입니다. 그 이유는 권한, 즉 Permission을 제대로 주지 않아 생기는 문제들이죠. 인증, 권한 부여, Permission은 각각 아래와 같이 정의할 수 있습니다. 인증 : 자신이 누구인지 확인 받는 절차 권한 부여 : 인증받은 주체가 사용할 수 있는 권한 Permission.. 2023. 12. 18.
ChatGPT(GPT-4)를 이긴 또 다른 거대모델(제미나이) OpenAI와 구글 연구진의 싸움은 과거로 거슬러 올라갑니다. OpenAPI에서는 GPT를 제안했고 얼마 지나지 않아 구글에서는 BERT라는 언어모델을 들고 나왔죠. 두 모델 모두 Transformer를 기반으로 하고 있습니다. GPT는 decoder 블록을 사용한다면 BERT는 encoder 블록을 사용한다는 점이 다르죠. 구글에서 BERT를 내놓을 때 단어의 양쪽 방향으로부터 Context를 활용하기 때문에 더 좋은 결과를 낸다고 주장했습니다. 처음에 BERT가 더 진보된 모델로 다들 생각했습니다. 적어도 GPT-2가 나오기 전까지는 말입니다. GPT-2의 반격 GPT-2는 그 당시 거의 모든 웹페이지를 학습 데이터로 사용하며 반격을 시작합니다. ”우리 GPT모델에 데이터만 많이 넣었더니 BERT보다.. 2023. 12. 17.
데이터 마트(Data Mart) 설계 - 다차원 모델링, OLAP 이번 포스팅에서는 데이터 마트에서 데이터 구조 설계는 어떻게 하는 것인지 알아보도록 하겠습니다. 일반적인 업무 시스템하고는 모델링 기법이 다릅니다. 분석에 최적화되게 설계한다고 할 수 있습니다. 이번 글에서는 최적의 성능, 유연성 및 사용 편의성을 보장하기 위한 데이터 마트 설계에 대한 주요 고려 사항과 모범 사례를 살펴보겠습니다. Dimension (테이블) 설계 사용자가 분석하고자 하는 차원 차원은 비즈니스 관점에서 데이터를 분류하거나 분석하는 데 사용되는 속성이나 범주임 예를 들어, "시간" 차원은 "년", "월", "일"과 같은 시간 관련 속성을 포함할 수 있음. 그 외에도 고객등급, 지역과 같은 범주가 될 수도 있음 Dimension 간의 Hierarchy(계층) 존재 일반적으로 Fact Tab.. 2023. 12. 15.
데이터 마트(Data Mart) 특징 및 ETL 이번 포스팅에서는 데이터 마트(Data Mart)에 대해 알아보도록 하겠습니다. 데이터 마트는 기업이 빠르게 변화하는 환경에서 경쟁 우위를 창출하는 데 중요한 분석 도구로써 활용되고 있습니다. 빅데이터 시대가 도래해 데이터 분석의 중요성을 점점 더 깨닫고 있죠. 데이터 마트는 이러한 환경에서 정보를 효과적으로 관리하고 활용하는 데 필수적입니다. 그러면 데이터 마트의 주요 특징과 설계는 어떻게 하는지에 대해 자세히 살펴보겠습니다. 데이터 마트의 필요성 데이터 마트는 사용자 관점의 분석 데이터라고 보시면 이해가 편합니다. DW가 코스트코(Costco) 같은 창고라면 데이터 마트는 우리 가까이 있는 마트처럼 사용자에 입맛에 맞게 데이터를 제공합니다. 이전 포스팅에 Data Warehouse의 특징에 대해 알아.. 2023. 12. 14.
데이터웨어하우스(DW) 특징 오늘 포스팅에서는 데이터웨어하우스의 특징에 대해 살펴보도록 하겠습니다. 데이터 웨어하우스의 특성은 업무 시스템의 데이터베이스 및 스토리지 시스템과 구별됩니다. 데이터 웨어하우스의 주요 특징은 알아보도록 하겠습니다. 주제 지향적(Subject-Oriented) 데이터 웨어하우스는 주제 지향적입니다. 즉, 판매, 재무 또는 고객 데이터와 같은 특정 비즈니스 주제나 영역에 중심으로 분류합니다. 데이터는 이러한 주제와 관련된 분석 및 보고를 지원하도록 구성되고 최적화됩니다. 그림처럼 관심영역 별로 데이터를 조합해 분석 관점의 DW 만의 주제영역을 만듭니다. 통합적(Integrated) 데이터 통합은 데이터 웨어하우스의 중요한 특성입니다. 운영 데이터베이스, 외부 데이터, 플랫 파일 등 다양한 소스의 데이터를 통.. 2023. 12. 13.
데이터웨어하우스(DW) 어떻게 처리 할까? - STG, ODS, DW, Mart 이번 포스팅에서는 데이터 웨어하우스(DW)에서 어떻게 데이터를 처리하는지를 알아보도록 하겠습니다. Legacy 등 원시 데이터를 DW에서 활용할 수 있는 데이터로 변환하는 몇 가지 단계가 있습니다. 이 프로세스의 네 가지 중요한 단계가 있습니다. 바로 Staging, ODS, Data Warehouse, Data Mart 입니다. 각 단계에 대해 살펴보도록 하겠습니다. Staging 원본 데이터를 아무런 변화 없이 그대로 넣어두는 저장공간을 말합니다. 이유는 소스 시스템과 DW 사이에 일관성있게 인터페이스 되었는지 확인하기 용이하게 때문입니다. 다양한 외부 데이터를 보관하기 위한 영역 아무런 변화없이 그대로 로딩하는 공간 임시로 데이터를 보관하기 때문에 배치로 수집된 1일 데이터만 존재 원본 데이터와 데.. 2023. 12. 12.

티스토리툴바