본문 바로가기

분류 전체보기

 (134)
[Hadoop] hdfs 명령어 정리 및 실행 Hadoop 환경변수 설정 ~/.bashrc 수정 [root@localhost ~]# hadoop fs -mkdir /tmp mkdir: `/tmp': File exists 앞으로 이렇게 'hadoop'으로 접근 가능 기본적인 HDFS의 파일을 조작하기 위해서 hadoop fs 또는 hdfs dfs 커맨드를 사용한다. 우리는 hadoop 경로 설정해 주었으니 hadoop fs 로 사용 가능 -mkdir [root@localhost ~]# hadoop fs -mkdir -p /user/kimnayoung/hadoop_edu/test -p : 존재하지 않는 중간의 디렉토리를 자동으로 생성 -ls [root@localhost ~]# hadoop fs -ls -R /user -R : /user 하위의 모든 폴더..
[Python] 문자열 겹쳐쓰기 def solution(my_string, overwrite_string, s): over_len = len(overwrite_string) answer = my_string[:s] + overwrite_string + my_string[s+over_len:] return answer
[Python] 추억 점수 def solution(name, yearning, photo): answer = [] name_dict = dict(zip(name, yearning)) for each_photo in photo: sum = 0 for each_name in each_photo: if each_name in name_dict: sum += name_dict[each_name] answer.append(sum) return answer dict(zip(name, yearning)) : name, yearning 배열을 하나의 dictionary로 만들기 zip : 두개의 리스트를 묶어줄 때 사용 해당 키 값이 딕셔너리에 있는지 확인 : if each_name in name_dict
[PLAYDATA 데이터 엔지니어링] 3월 1주차 회고 1. 전반적인 느낌(일주일 동안 한 일) 저번주 월~목을 휴가로 빠졌었다. 오래전부터 계획되어 있었기도 하고, 이번 방학을 이 여행만 보고 살았기 때문에 ,,,, 가서 열심히 놀고 flex하고 왔다 😎 이번주에는 플레이데이터에서 크롤링, numpy, pandas, hadoop을 공부했다. 크롤링 정적, 동적 사이트 크롤링과 api을 연동하여 크롤링을 진행한 부분을 복습했다. python에서 DB 연결하는 부분까지 진행하였다. 이전에 진행했던 프로젝트들에서 크롤링은 내파트가 아니어서 제대로 해본적은 없었는데, 이번기회에 크롤링 코드들을 자세히 보고 익힐 수 있었다. Numpy, Pandas numpy와 pandas 부분을 공부했다. 데이터분석하면서 numpy는 많이 사용하지 않았어서 numpy에서 배열을 ..
[Hadoop] Hadoop 다운로드 및 환경설정 Hadoop 다운로드 Apache Hadoop에 들어가서 binary로 들어간다 http의 링크 복사하고 리눅스에서 wget 명령어로 hadoop을 다운로드 받는다 tar.gz 를 압축 해제하는 명령어 tar -zxvf [압축 파일명] java 다운로드 hadoop 3.3.x 버전은 java 8이랑 11 버전만 가능! java 11 버전을 다운로드 받는다. jdk-11.0.21이 root에 오게 파일 위치 변경해야함 JAVA 환경변수 설정 /root/.bashrc 파일 수정 export JAVA_HOME=/root/jdk-11.0.21 export PATH=$JAVA_HOME/bin:$PATH 수정된 파일 적용하려면 source /root/.bashrc 수정 완료! Hadoop 환경변수 설정 [root@..
[Python] 달리기 경주 def solution(players, callings): for call in callings: i = players.index(call) player = players[i-1] players[i-1] = call players[i] = player return players 시간 초과 뜸 def solution(players, callings): for call in callings: i = players.index(call) players[i-1], players[i] = players[i], players[i-1] return players 이렇게 swap으로도 바꿔봤는데 여전히 시간 초과.. 정답 코드 def solution(players, callings): player_dict = {play..
2월 3주차 회고 [데이터 엔지니어링 30기] 2/14 OT 처음이라 설렜던 오티 !! 앞으로 진행될 과정에 대한 안내를 받고 동기분들과 자기소개하는 시간을 가졌다. 다양한 분야에서 오신 분들도 많으셨고 다들 열정 넘치신 것 같다 !! 다들 친해져요~! 2/15 python 1일차 학습내용 : python 기본연산자, 논리연산자, 비교연산자, 변수와 자료형, 리스트, 리스트 슬라이싱, 튜플, 세트, 딕셔너리 첫 날이어서 8시간 동안 교육 받는게 힘들었다 ㅋㅋㅋㅋ 파이썬 기초 내용이라 쉽게 들었다 2/16 python 2일차 학습내용 : 반복문, 리스트 컴프리핸션, 조건문, 파일 입출력, 함수, 가변 매개변수, 람다함수, 내장 함수 기존에 알고 있던 내용을 복습하면서 들을 수 있어 좋았고, 리스트 컴프리핸션 부분은 처음 배..
GCP + Cloud SQL + SpringBoot 프로젝트 배포 눈물나는 나의 배포과정.. https://choo.oopy.io/5c999170-dde5-4418-addc-00a0d263287c Docker+GCP로 Springboot 배포 총정리(AWS EC2,RDS 대신 GCP VM,cloud SQL을 써보아요) 1. 서론 choo.oopy.io 참고해서 진행하던 중 Cloud SQL 부분에서 막혀버리고 .. https://coding-is-fun.tistory.com/9 Spring Boot와 Google Cloud SQL연결 및 GCP(Google Cloud Platform) 서버 배포#1 GCP 준비 GCP 회원가입을 진행합니다. https://cloud.google.com/ 클라우드 컴퓨팅 서비스 | Google Cloud 데이터 관리, 하이브리드 및 멀티..

티스토리툴바