1 RDD 자료변환 개요

library(reticulate)
use_condaenv("anaconda3")

import findspark
findspark.init()
import pyspark
# sc = pyspark.SparkContext(appName="SparkContext")
sc = pyspark.SparkContext()
# SparkContext 버전
print("스파크 컨텍스트 버젼: ", sc.version)
# SparkContext 파이썬 버전

스파크 컨텍스트 버젼:  2.3.0

print("Spark Context 파이썬 버전:", sc.pythonVer)
# SparkContext 마스터

Spark Context 파이썬 버전: 3.6

print("Spark Context 마스터:", sc.master)

Spark Context 마스터: local[*]