IT/BigData 2018. 4. 26.
Apache Spark ( 아파치 스파크 ) 2.2.0 Standalone 소개 및 설치하기
Apache Spark ( 아파치 스파크 ) 2.2.0 소개 및 설치하기 아파치 스파크(Apache Spark)는 오픈 소스 클러스터 컴퓨팅 프레임워크이다. 원래 캘리포니아 대학교 버클리의 AMPLab에서 개발된 스파크의 코드베이스는 나중에 아파치 소프트웨어 재단에 기부되었으며 그 이후로 계속 유지 보수를 해오고 있다. 스파크는 암시적 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공한다. 우선 다운로드를 진행합시다. https://spark.apache.org/downloads.html 들어가서 원하는 버전을 다운로드 합시다 지금 소개하고 있는 스파크는 2.2.0 버전 기준 설명입니다. Install Spark 스파크를 다운받으셨다면 원하는 곳에 압축을 푸시면 ..
IT/BigData 2018. 2. 19.
Apache Kafka ( 아파치 카프카 ) 2.11-0.9.0.0 소개 및 설치하기
Apache Kafka ( 아파치 카프카 ) 2.11-0.9.0.0 소개 및 설치하기 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 스루풋의 낮은 레티어신을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다.디자인은 트랜잭션 로그에 많은 영향을 받았다 아파치 카프카는 원래 링크드인이 개발한 것으로, 2011년 초에 최종적으로 오픈 소스화되었다. 2012년 10월 23일에는 아파치 인큐베이터로부터 완전히 ..
