본문 바로가기

PLAYDATA

 (8)
[FastAPI] FastAPI ML 모델 서빙 - 환경설정 가상환경 설정https://wikidocs.net/175214 1-03 FastAPI 개발 환경 준비하기이제 본격적으로 FastAPI를 이용한 웹 개발 환경을 준비해 보자. 그전에 여러분이 알아야 할 중요한 개념이 하나 있다. 바로 파이썬 가상 환경이다. 우리는 FastAPI를 파…wikidocs.net가상환경에 scikit-learn 다운로드visual c++ 설치가 필요하여 설치 완료windows cmd 에서 가상환경 진입하여 scikit-learn 다운로드위의 환경 세팅에 맞추어 campers 명령어로 가상환경 진입할 수 있게 세팅했음우리가 사용한 모델의 scikit learn 버전과 python 3.12 버전이 맞지 않아 가상환경을 python 3.11로 세팅하고 모두 재설치했다..헷갈렸던 부분)..
5월 playdata x groom 코딩테스트 문제풀이 보호되어 있는 글입니다.
flask 서버 구조 ├── app/│ ├── __init__.py│ ├── routes.py│ ├── scheduler.py│ ├── models/│ │ ├── 로또번호.csv│ │ ├── cnn.py│ │ ├── mlp.py│ │ ├── rf.py│ │ ├── rnn.py│ │ ├── transformer.py│ │ └── pkl/│ │ ├── model_CNN.pkl│ │ ├── model_MLP.pkl│ │ ├── model_RANDOMFOREST.pkl│ │ ├── model_RNN.pkl│ │ └── model_TRANSFORMER.pkl├── config.py└── run.py
[플레이데이터 데이터 엔지니어링 30기] 3월 3주차 회고 1. 전반적인 느낌 이번주차에는 sqoop으로 hdfs와 hive, mysql 사이에서 데이터를 import하고 export하는 것을 배웠다. hdfs와 DB 환경뿐만아니라 리눅스에서 로컬로도 계속 왔다갔다하는 것에 익숙해진 것 같다. 많이 쓰는 명령어들을 자연스럽게 외우게 되었다. 첫번째 단위프로젝트를 시작했다. 우리는 4명이서 팀을 이뤄서 를 주제로 하였다. python, mysql, hadoop, hive, sqoop 까지 이제까지 배웠던 모든 기술을 활용하려고 노력했고, 최대한 결과를 내보려고 노력했던 것 같다. https://github.com/pladata-encore/DE30-4-coffeePrice GitHub - pladata-encore/DE30-4-coffeePrice Contribu..
[단위프로젝트 #1] 커피 소비 분석 - 일반음식점 데이터 분석 with Hadoop, Hive, Sqoop, MySQL local의 csv 파일 linux 환경에 옮기기 scp C:\Users\Playdata\Downloads\휴게음식점_인허가정보.csv root@192.168.111.100:/root/hadoop-3.3.6 colab에서 전처리 후 일반음식점_인허가정보, 휴게음식점_인허가정보 옮김 Hadoop에 csv 파일 저장 [root@localhost ~]# hadoop fs -mkdir -p /user/root/coffee/normal [root@localhost ~]# hadoop fs -mkdir -p /user/root/coffee/cafe [root@localhost ~]# hadoop fs -put 일반음식점_인허가정보.csv /user/root/coffee/normal [root@localhost ~]..
[플레이데이터 데이터 엔지니어링 30기] 3월 2주차 회고 1. 전반적인 느낌 이번주에는 Hadoop, Hive, Sqoop을 배웠다. 이제 진짜 데이터 엔지니어링이 이런 것이구나를 느낄 수 있는 기술들을 배우고 있는 것 같다. Linux 환경에서 대부분 이루어진다는 것이 신기했고, 리눅스 명령어를 잘 알아야 하고 이 환경에서 오류가 나도 두려워하지 말아야 겠다고 생각했다 !! 아직 이 기술들이 어떤 작업들에 쓰이는지 확 와닿진 않아서 빨리 프로젝트를 해보고 싶다. 2. 좋았던 점 Hadoop 설치부터 sqoop 활용까지 모든 내용을 블로그에 기록해놓았다. 다음에 리눅스를 초기화 시키고 내 블로그를 따라 해도 오류없이 잘 세팅할 수 있을 것 같다 ㅎㅎ 에러가 나타났을 때도 트러블슈팅을 열심히 기록해놓았다. 무엇보다 다같이 오류를 해결하려고 노력하고, 슬랙에 많은..
[PLAYDATA 데이터 엔지니어링] 3월 1주차 회고 1. 전반적인 느낌(일주일 동안 한 일) 저번주 월~목을 휴가로 빠졌었다. 오래전부터 계획되어 있었기도 하고, 이번 방학을 이 여행만 보고 살았기 때문에 ,,,, 가서 열심히 놀고 flex하고 왔다 😎 이번주에는 플레이데이터에서 크롤링, numpy, pandas, hadoop을 공부했다. 크롤링 정적, 동적 사이트 크롤링과 api을 연동하여 크롤링을 진행한 부분을 복습했다. python에서 DB 연결하는 부분까지 진행하였다. 이전에 진행했던 프로젝트들에서 크롤링은 내파트가 아니어서 제대로 해본적은 없었는데, 이번기회에 크롤링 코드들을 자세히 보고 익힐 수 있었다. Numpy, Pandas numpy와 pandas 부분을 공부했다. 데이터분석하면서 numpy는 많이 사용하지 않았어서 numpy에서 배열을 ..
2월 3주차 회고 [데이터 엔지니어링 30기] 2/14 OT 처음이라 설렜던 오티 !! 앞으로 진행될 과정에 대한 안내를 받고 동기분들과 자기소개하는 시간을 가졌다. 다양한 분야에서 오신 분들도 많으셨고 다들 열정 넘치신 것 같다 !! 다들 친해져요~! 2/15 python 1일차 학습내용 : python 기본연산자, 논리연산자, 비교연산자, 변수와 자료형, 리스트, 리스트 슬라이싱, 튜플, 세트, 딕셔너리 첫 날이어서 8시간 동안 교육 받는게 힘들었다 ㅋㅋㅋㅋ 파이썬 기초 내용이라 쉽게 들었다 2/16 python 2일차 학습내용 : 반복문, 리스트 컴프리핸션, 조건문, 파일 입출력, 함수, 가변 매개변수, 람다함수, 내장 함수 기존에 알고 있던 내용을 복습하면서 들을 수 있어 좋았고, 리스트 컴프리핸션 부분은 처음 배..

티스토리툴바