Mage - 소개 및 설치

Mage란?

데이터 수집, 변환 그리고 오케스트레이팅을 위한 오픈소스 파이프라인 툴이다.

ETL작업을 도와주고 오케스트레이션을 해준다고 하는데 이번에는 간단한 설치를 진행해보려한다.

 

설치(quickstart)

Docker compose를 활용해서 설치 및 실행환경을 구축하는 방법이다. (매우간단)

git clone https://github.com/mage-ai/compose-quickstart.git

 

git clone을 통해서 우선 파일들을 받아주고 빌드한다.

docker compose build

 

변수들이 없다고 나오는 경우가 있는데 dev.env 파일을 .env로 교체해주면 된다!

정상적으로 빌드 후에 실행을 하게되면 잘 구동되는 모습을 볼 수 있다.

docker compose up

 

http://localhost:6789 다음을 통해서 웹 ui를 살펴보자.

 

웹 UI

간단하게 pipelines를 확인해보려한다.

 

좌측 탭을 통해서 파이프라인을 확인하면 파이프라인의 생성이 가능하다. 예시 파이프라인을 한번 가져와봤다.

(zoomcamp에서 하나 생성해줘서 가져왔다.)

 

이런식으로 etl 파이프라인이 생성되는것을 확인 가능하다.