IT/Python 2021. 12. 15.
[Spark/Python] 파이썬, pyspark 를 이용하여 ElasticSearch 데이터 가져오기
우선 파이썬을 통해서 엘라스틱서치 데이터를 수집하는 방법은 아래와 같다. from elasticsearch import Elasticsearch from elasticsearch.helpers import scan as escan def searchAPI(query): es = Elasticsearch('localhost:9200') index = 'search-2021*' res = es.search(index=index, body=query) return res ------------------------------------------------ query = { "size": 10, "_source": "[member_id, birth_year, address]", "query": { "term"..
IT/BigData 2020. 4. 13.
[mac] Apache Spark Study -1 ( Spark설치(HomeBrew) )
[mac] Apache Spark Study -1 ( Spark설치 및 확인 ) 개발 환경 - MacOS X Mojave 10.14.6 - openjdk version "1.8.0_242" - Python 3.7.3 1. Apache Spark 설치 case 1) Homebrew 를 사용한 설치 Mac사용자라면 익숙한 패키지 관리자인 homebrew를 사용하여 설치가 가능 - brew search 를 통한 spark 패키지 검색 # brew search spark ➜ ~ brew search spark ==> Formulae apache-spark spark sparkey ==> Casks spark sparkle sparkleshare - brew insatll 명령어를 사용하여 spark 설치 ( s..
