[Airflow] 개발환경구성 (local 환경에 Python 설치)
·
Data Engineering/Airflow
1. 컨테이너 Python 버전 확인 ▪ Airflow 서비스가 안 올려져 있을 경우 아래 명령어로 서비스 올리기 sudo service docker start sudo docker compose up ▪ 현재 실행 중인 컨테이너 확인 ▪ work 컨테이너와 scheduler 컨테이너의 Python 버전을 확인해야 함 sudo docker ps ▪ work 컨테이너 안에 들어가서 python 버전 확인 ▪ 세션이 끊어지지 않도록 하기 위해 -it 옵션 추가 ▪ 버전 확인 후 Ctrl + D 눌러서 나가기 # work 컨테이너로 이동 sudo docker exec -it rsa-key-20231229-airflow-worker-1 bash # Python 버전 확인 python -V ▪ 마찬가지로 sche..
[Airflow] Docker로 Airflow 설치하기
·
Data Engineering/Airflow
컴퓨팅 환경: GCP Docker가 설치되어 있지 않다면 아래 링크로 이동하여 설치하고 진행 Ubuntu에 Docker 설치하기 Install Docker Engine on Ubuntu Jumpstart your client-side server applications with Docker Engine on Ubuntu. This guide details prerequisites and multiple methods to install Docker Engine on Ubuntu. docs.docker.com 1. 기존에 설치된 Docker 제거하 doodo0126.tistory.com 1. docker-compose.yaml 파일 다운 받기 ▪ docker-compose.yaml 파일 다운로드 ▪ air..
[Airflow] Ubuntu에 Docker 설치하기
·
Data Engineering/Airflow
1. 기존에 설치된 Docker 제거하기 ▪ 기존에 이미 Docker가 설치되어 있는 경우 Docker를 제거해주는 명령어 실행 ▪ 복사 후 ubuntu 서버창에 오른쪽 마우스를 클릭하면 붙여넣기가 됨 for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done ▪ Docker가 설치되어 있지 않기 때문에 다음과 같이 나옴 2. Docker's apt repository 설정 ▪ 아래 코드를 차례로 실행 # Repository 업데이트 sudo apt-get update # Docker를 설치하기 위한 사전 라이브러리 설치 sudo a..