Data Engineering/Airflow (2) 썸네일형 리스트형 [Airflow] Airflow와 S3, MySQL 연결 파이프라인공공데이터포털에서 날씨 데이터를 30분 간격으로 받아오기 위해 Airflow를 이용한 배치 처리를 하였다.내가 구현한 부분은 중기 날씨 데이터이다.Task 1 ) Airflow dag에서 30분 간격으로 중기 날씨 데이터 api를 호출하고, 날씨 데이터를 전처리하여 csv 파일로 저장하여 s3에 업로드한다.Task 2 ) s3에 업로드한 csv 파일을 받아와 mysql에 insert한다. 추후에 rds에 연결할 예정이다.Airflow 초기 설정내가 작성한 airflow 초기 설정 내용이다. Docker를 이용하였다.https://nymagicshop16.tistory.com/115 [Airflow] Docker compose로 Airflow 실행하기초기 설정airflow-docker 디렉터리 만.. [Airflow] Docker compose로 Airflow 실행하기 초기 설정airflow-docker 디렉터리 만들어주고(base) nayoungkim@nayoungkim airflow-docker % curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'(base) nayoungkim@nayoungkim airflow-docker % echo -e "AIRFLOW_UID=$(id -u)" > .env(base) nayoungkim@nayoungkim airflow-docker % docker compose up airflow-init(base) nayoungkim@nayoungkim airflow-docker % chmod +x airflow.sh(base) nayoung.. 이전 1 다음