반전공자

네이버 쇼핑은 아래로 스크롤을 쭉 내리면 상품이 더 나오고,, 더 나오고,, 한 세네번 반복하면 페이지 숫자를 클릭할 수 있게 되어있다. 고로, 크롤링을 페이지를 넘겨가면서 하고 싶다면 스크롤도 내려줘야 한다는 말... 난 동적 크롤링이 너무 무서워서 ㅋㅎ 안하고 싶었는데, 프로젝트에서 크롤링이 필요해서 도전한다. 참고로 https://search.shopping.naver.com/search/all?origQuery=%EC%A0%84%ED%86%B5%EC%A3%BC&pagingIndex=1&pagingSize=40&productSet=total&query=%EC%A0%84%ED%86%B5%EC%A3%BC&sort=review&timestamp=&viewType=list 전통주 : 네이버 쇼핑 '전통주'..

토마스 드라마브, 데니 리의 "PySpark 배우기"를 보고 배워나가는 과정을 기록한 글입니다 ♪ 데이터프레임 - 관계형 DB의 테이블에서 칼럼 이름으로 구성된 변경 불가능한 분산 데이터 컬렉션 - 분산된 데이터 컬렉션에 구조체를 씌움으로써 스파크 사용자는 스파크 SQL로 구조적 데이터를 쿼리하거나 람다 대신 표현함수 사용 가능 - 데이터를 구조적으로 바꾸면서 스파크 엔진의 스파크 쿼리 성능이 크게 향상! 파이썬에서의 RDD 커뮤니케이션 - 모든 RDD 트랜스포메이션은 최초에 파이썬 RDD 자바 객체로 매핑된다. - 작업들이 스파크 워커에 푸시됐을 떄, 파이썬 RDD 객체는 파이썬이 처리할 코드와 데이터를 보내기 위해 파이프로 파이썬 subprocess를 실행 - 정리하자면,,, PySpark 드라이버 ..

input() 사용자로부터 정수를 입력받기 input()은 입력받은 값을 무조건 문자열로 받는다. x = input("숫자를 입력하세요: ") type(x) type을 활용하여 입력받은 값의 타입을 확인하면, str (문자열) 임을 알 수 있다. 이제 이 값을 숫자로 바꿔보도록 한다. x = int(input("숫자를 입력하세요: ")) type(x) input 앞에 바꿔주려 하는 타입인 int 를 붙여줌으로써 받는 값의 타입을 숫자로 변환한다. 타입을 확인한 결과 int로 바뀌었음을 알 수 있다.

# LabelEncoder() + OneHotEncoder() import pandas as pd from sklearn.preprocessing import OneHotEncoder from sklearn.preprocessing import LabelEncoder x1 = pd.DataFrame({'country':['russia','germany','australia','korea','germany']}) # 데이터 프레임 전체를 라벨인코딩 후 one hot encoding 해야 한다. # LabelEncoding le = LabelEncoder() x2 = x1.apply(le.fit_transform) print(x2) print(type(x2)) # OneHotEncoding encoder =..

pip install wordcloud from wordcloud import WordCloud import matplotlib.pyplot as plt text = open('speech.txt', encoding = 'ISO8859').read() # 자동으로 text의 term을 추출하여 상대적인 출현 빈도수를 계산하고 array 형태로 이미지를 생성 wordcloud = WordCloud().generate(text) print(type(wordcloud)) # wordcloud.words_ 에 'dict' type으로 빈도수를 저장 print(type(wordcloud.words_)) print(wordcloud.words_) - 오바마의 스피치 연설을 담고 있는 파일인 speech.txt (경..

2020.12.09 둘째날 # for for 아이템 in 바구니: [실행구문] # while while [조건식]: [실행구문] # 한번에 하나씩 1~100 number=1 while number bmi를 계산할 때 몸무게와 키를 얻어야 하는데 각 값에 문자가 들어간다면 다시 입력받도록(무한루프)함. 화면을 보면, 문자를 받았을 때에는 숫자를 입력받을 때 까지 계속해서 입력창을 띄우고 두 값 모두 제대로 받았다면 bmi 계산하여 결과출력 윤년 계산 위에는 윤년 변수에 수를 지정해놓은 것 아래에는 datetime의 연도를 불러오도록 한 것 [로또 번호 추출 코드] -> 너무 복잡해!! numbers= list(range(1,46)) game=random.sample(numbers, 6) -> 간단하게 45..

1학년 때 파이썬을 배우긴 했지만 다시 총정리하면서 데이터 분석하는 방법도 같이 배우고자 학교에서 하는 을 신청해서 듣기로 했다! 2020.12.08 첫째날 아나콘다에서 주피터 노트북을 이용하여 파이썬을 실행한다. '주피터 노트북'은 실행결과가 즉각즉각 보여지기 때문에 입문자용으로 쓰인다. 파이썬을 어디에 활용? 1. 데이터 분석 2. 웹 개발 3. 데스크톱 앱 개발 4. 업무 자동화 (매크로, cctv로 사람 식별) 5. 게임개발 (가능하긴 하지만, 속도가 느려서 잘 사용하지 않음) " 컴퓨터 " - 입력 (키보드, 마우스, 웹캠, 마이크, 스캐너) - 저장(USB, 하드디스크, ssd- 메모리) 메모리 크기만큼만 데이터분석 가능 - 출력(스피커, 모니터, 프린터) ..