목록pyspark (1)

반전공자

[PySpark] 데이터프레임 - API, SQL

토마스 드라마브, 데니 리의 "PySpark 배우기"를 보고 배워나가는 과정을 기록한 글입니다 ♪ 데이터프레임 - 관계형 DB의 테이블에서 칼럼 이름으로 구성된 변경 불가능한 분산 데이터 컬렉션 - 분산된 데이터 컬렉션에 구조체를 씌움으로써 스파크 사용자는 스파크 SQL로 구조적 데이터를 쿼리하거나 람다 대신 표현함수 사용 가능 - 데이터를 구조적으로 바꾸면서 스파크 엔진의 스파크 쿼리 성능이 크게 향상! 파이썬에서의 RDD 커뮤니케이션 - 모든 RDD 트랜스포메이션은 최초에 파이썬 RDD 자바 객체로 매핑된다. - 작업들이 스파크 워커에 푸시됐을 떄, 파이썬 RDD 객체는 파이썬이 처리할 코드와 데이터를 보내기 위해 파이프로 파이썬 subprocess를 실행 - 정리하자면,,, PySpark 드라이버 ..
데이터분석/PySpark 2023. 3. 10. 23:41
이전 Prev 1 Next 다음