Apache Kafka ( 아파치 카프카 )
2.11-0.9.0.0 소개 및 설치하기
아파치 카프카(Apache Kafka)
는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 스루풋의 낮은 레티어신을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다.
디자인은 트랜잭션 로그에 많은 영향을 받았다
아파치 카프카는 원래 링크드인이 개발한 것으로, 2011년 초에 최종적으로 오픈 소스화되었다. 2012년 10월 23일에는 아파치 인큐베이터로부터 완전히 빠져나왔다. 2014년 11월 링크드인에서 카프카를 만들던 일부 엔지니어들이 카프카에 집중하기 위해 Confluent라는 새로운 회사를 창립하였다
이라고 위키백과에 소개되고 있습니다.
카프카 설치는 간단합니다.
아파치 카프카 다운로드 링크
https://kafka.apache.org/downloads
에서 카프카를 다운로드 합니다.
이후 설치할 공간에서 압출을 푼 뒤
$ tar zvxf kafka_2.11-0.9.0.0.tgz
$ cd kafka_2.11-0.9.0.0
환경 설정을 진행합니다.
환경설정 파일은 config 폴더에 위치해 있습니다.
vi config/server.properties
그 후 사용할 Datadir 폴더와
DataLogdir 폴더를 사용할 위치에 만들어 줍니다.
데이터가 큰 경우에는 OS에 구성하면 안되고 Data 영역에 사용하여야 합니다.
log.dirs 설정
만들어 준 위치를 넣어줍니다.
broker.id 를 설정해 줍니다.
유니크한 숫자를 브로커 마다 각각 입력하시면 됩니다.
(클러스터 구성시)
주키퍼를 설치한 서버정보를 입력합니다.
설치를 안했을 경우 주키퍼를 실행하기 위해서
vi config/zookeeper.properties
zookeeper.connect=localhost:2181 (주키퍼를 설치한 서버)
주키퍼 설정을 해줍시다.
그럼 다 끝났습니다.
실행해 줍시다
bin/zookeeper-server-start.sh config/zookeeper.properties
(주키퍼 실행 미리 설치 안했을 경우)
bin/kafka-server-start.sh config/server.properties
(카프카 실행)
참 쉽죠?
이상으로
Apache Kafka ( 아파치 카프카 ) 2.11-0.9.0.0 소개 및 설치하기
포스팅을 마치겠습니다.
