IT/BigData 2018. 7. 4.
Apache Hue ( 아파치 휴 ) 4.0.1 소개 및 설치하기
Apache Hue ( 아파치 휴 ) 소개 및 설치하기 아파치 휴는 데이터를 탐색, 쿼리 및 시각화를 하기위한 오픈 소스 Analytic Workbench 입니다. 최근 Hue 4 버전 이상이 나왔습니다.4 버전으로 바뀌면서 에디터, 브라우져, 대시보드 그리고 스케쥴러 UI가 바뀌었다고 합니다.Hue 4 이전 버전을 설치하시고 싶으시다면 Hue 홈페이지에 Install란에 자세히 나와있습니다. Apache Hue 홈페이지주소 : http://gethue.com/ 우선 다운로드를 해줍시다.http://gethue.com/hue-4-and-its-new-interface-is-out/ 4.0.1 버전을 설치하겠습니다. 설치하기 전 필요한 의존성 패키지를 설치해줍니다. yum install libtidy li..
IT/BigData 2018. 4. 26.
Apache Spark ( 아파치 스파크 ) 2.2.0 Standalone 소개 및 설치하기
Apache Spark ( 아파치 스파크 ) 2.2.0 소개 및 설치하기 아파치 스파크(Apache Spark)는 오픈 소스 클러스터 컴퓨팅 프레임워크이다. 원래 캘리포니아 대학교 버클리의 AMPLab에서 개발된 스파크의 코드베이스는 나중에 아파치 소프트웨어 재단에 기부되었으며 그 이후로 계속 유지 보수를 해오고 있다. 스파크는 암시적 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공한다. 우선 다운로드를 진행합시다. https://spark.apache.org/downloads.html 들어가서 원하는 버전을 다운로드 합시다 지금 소개하고 있는 스파크는 2.2.0 버전 기준 설명입니다. Install Spark 스파크를 다운받으셨다면 원하는 곳에 압축을 푸시면 ..
IT/BigData 2018. 1. 23.
Apache Hbase ( 아파치 에이치베이스 ) 1.2.6 소개 및 설치하기
Apache Hbase ( 아파치 에이치베이스 ) 아파치 HBase는 하둡 플랫폼을 위한 공개 비관계형 분산 데이터 베이스이다. 구글의 빅테이블을 본보기로 삼았으며 자바로 쓰여졌다. 아파치 소프트웨어 재단의 아파치 하둡 프로젝트 일부로서 개발되었으며 하둡의 분산 파일 시스템인 HDFS위에서 동작을 한다. 대량의 흩어져 있는 데이터 저장을 위한 무정지 방법을 제공하는 구글의 빅테이블과 비슷한 기능을 한다. 라고 위키백과에 쓰여있다. https://ko.wikipedia.org/wiki/%EC%95%84%ED%8C%8C%EC%B9%98_HBase 그럼 본격적으로 설치를 해봅시다. 설치하기 Step 1 : Hbase 준비하기 Step 2 : Hbase Path 추가하기 Step 3 : Hbase data 디렉..
IT/BigData 2017. 11. 5.
Apache ZooKeeper (아파치 주키퍼) 분산 코디네이터 소개 및 설치하기
Apache ZooKeeper (아파치 주키퍼) 분산 코디네이터 설치하기 주키퍼에대한 설명은 아래와 같이 위키백과에서 설명하고 있다. 아파치 주키퍼(Apache ZooKeeper)는 아파치 소프트웨어 재단 프로젝트중의 한 소프트웨어 프로젝트로서 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 네이밍 레지스트리를 제공한다. 주키퍼는 하둡의 한 하위 프로젝트이었으나 지금은 독립적인 상위 프로젝트이다. 주키퍼의 아키텍처는 중복 서비스를 이용한 고가용성을 제공한다. 클라이언트는 주키퍼 마스터가 응답을 하지 않으면 다른 주키퍼 마스터에게 요청을 한다. 주키퍼 노드들은 파일 시스템이나 trie 데이터구조와 비슷한 구조의 네임 스페이스안에 데이터들을 저장한다. 클라이언트들은 이 노드들에게서 읽거..
