Data Engineering (45) 썸네일형 리스트형 [Docker] request returned Internal Server Error for API route and version 에러 해결 가끔씩 Docker가 잘되다가도이렇게 Server Error for API route and version 에러가 떳었다,,, 애써 무시하고 와이파이 오류라고 생각했지만 찾아보니나는 Macbook pro m2 를 사용하고 있었는데https://github.com/docker/for-mac/issues/6956 request returned Internal Server Error for API route and version 4.22.1 · Issue #6956 · docker/for-macDescription I installed the latest version of docker-desktop, and couldn't make the docker-cli connect to docker-server. H.. [Docker] max depth exceeded 에러 airflow 이미지의 max depth가 넘었다는 에러가 생겼다.docker image prune -a이 명령어를 통해 불필요한 이미지 레이어들을 삭제해준다. [Airflow] Airflow와 S3, MySQL 연결 파이프라인공공데이터포털에서 날씨 데이터를 30분 간격으로 받아오기 위해 Airflow를 이용한 배치 처리를 하였다.내가 구현한 부분은 중기 날씨 데이터이다.Task 1 ) Airflow dag에서 30분 간격으로 중기 날씨 데이터 api를 호출하고, 날씨 데이터를 전처리하여 csv 파일로 저장하여 s3에 업로드한다.Task 2 ) s3에 업로드한 csv 파일을 받아와 mysql에 insert한다. 추후에 rds에 연결할 예정이다.Airflow 초기 설정내가 작성한 airflow 초기 설정 내용이다. Docker를 이용하였다.https://nymagicshop16.tistory.com/115 [Airflow] Docker compose로 Airflow 실행하기초기 설정airflow-docker 디렉터리 만.. [Airflow] Docker compose로 Airflow 실행하기 초기 설정airflow-docker 디렉터리 만들어주고(base) nayoungkim@nayoungkim airflow-docker % curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'(base) nayoungkim@nayoungkim airflow-docker % echo -e "AIRFLOW_UID=$(id -u)" > .env(base) nayoungkim@nayoungkim airflow-docker % docker compose up airflow-init(base) nayoungkim@nayoungkim airflow-docker % chmod +x airflow.sh(base) nayoung.. [Kuberflow] Kuberflow 설치하기 git clone https://github.com/kubeflow/manifests.gitcd manifestscurl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bashsudo install -o root -g root -m 0755 kustomize /usr/local/bin/kustomizewhile ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done설치후 접속 테스트kubectl get service -n istio-system is.. [Kubernetes] Deployment 쿠버네티스 명령들이 잘 실행되지 않아 다음과 같이 minikube를 삭제하고 다시 시작하였다.[rocky@localhost kube1]$ minikube delete🔥 docker 의 "minikube" 를 삭제하는 중 ...🔥 Deleting container "minikube" ...🔥 /home/rocky/.minikube/machines/minikube 제거 중 ...💀 "minikube" 클러스터 관련 정보가 모두 삭제되었습니다[rocky@localhost kube1]$ minikube start --driver=dockerdeloyment001.ymlapiVersion: apps/v1 # 버전, 앱관련kind: Deployment # 리소스의 종류metadata: name:.. [Kubernetes] Kubernetes 다운로드 및 환경설정 쿠버네티스 다운로드curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 \ && chmod +x minikube[rocky@localhost ~]$ sudo mkdir -p /usr/local/bin/[rocky@localhost ~]$ sudo install minikube /usr/local/bin/Docker를 가상머신으로 사용하기 전에 버츄얼머신 세팅을 바꿔줘야 한다.Memory는 4 GB 이상, CPU 는 2개 이상으로 설정해준다.docker-compose.ymlversion: "3"service: wordpress: image: wordpress:5.9.1-php8.1-apa.. [Docker] Docker Hub Linux에서 Docker Hub 로그인하기회원가입 후 로그인[rocky@localhost docker_img2]$ docker loginLog in with your Docker ID or email address to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com/ to create one.You can log in with your password or a Personal Access Token (PAT). Using a limited-scope PAT grants better security and is required for organizations usi.. 이전 1 2 3 4 ··· 6 다음
