IT/BigData 2020. 4. 13.
[mac] Apache Spark Study -1 ( Spark설치(HomeBrew) )
[mac] Apache Spark Study -1 ( Spark설치 및 확인 ) 개발 환경 - MacOS X Mojave 10.14.6 - openjdk version "1.8.0_242" - Python 3.7.3 1. Apache Spark 설치 case 1) Homebrew 를 사용한 설치 Mac사용자라면 익숙한 패키지 관리자인 homebrew를 사용하여 설치가 가능 - brew search 를 통한 spark 패키지 검색 # brew search spark ➜ ~ brew search spark ==> Formulae apache-spark spark sparkey ==> Casks spark sparkle sparkleshare - brew insatll 명령어를 사용하여 spark 설치 ( s..
IT/BigData 2018. 4. 26.
Apache Spark ( 아파치 스파크 ) 2.2.0 Standalone 소개 및 설치하기
Apache Spark ( 아파치 스파크 ) 2.2.0 소개 및 설치하기 아파치 스파크(Apache Spark)는 오픈 소스 클러스터 컴퓨팅 프레임워크이다. 원래 캘리포니아 대학교 버클리의 AMPLab에서 개발된 스파크의 코드베이스는 나중에 아파치 소프트웨어 재단에 기부되었으며 그 이후로 계속 유지 보수를 해오고 있다. 스파크는 암시적 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공한다. 우선 다운로드를 진행합시다. https://spark.apache.org/downloads.html 들어가서 원하는 버전을 다운로드 합시다 지금 소개하고 있는 스파크는 2.2.0 버전 기준 설명입니다. Install Spark 스파크를 다운받으셨다면 원하는 곳에 압축을 푸시면 ..