IT/Python 2021. 12. 15.
[Spark/Python] 파이썬, pyspark 를 이용하여 ElasticSearch 데이터 가져오기
우선 파이썬을 통해서 엘라스틱서치 데이터를 수집하는 방법은 아래와 같다. from elasticsearch import Elasticsearch from elasticsearch.helpers import scan as escan def searchAPI(query): es = Elasticsearch('localhost:9200') index = 'search-2021*' res = es.search(index=index, body=query) return res ------------------------------------------------ query = { "size": 10, "_source": "[member_id, birth_year, address]", "query": { "term"..
IT/Python 2021. 12. 14.
파이썬 크롬브라우저 자동화 컨트롤러 Python Selenium 설치하기
Selenium이란 Selenium은 웹 어플리케이션을 자동으로 테스팅, 크롤링, 스크린샷 찍기등에 사용하기 위한 프레임 워크입니다. Python 과 Java 등 많은 언어들을 지원합니다. Selenium 설치하기 Selenium을 사용하기 위해서는 웹 브라우저 드라이버와 'selenium' 라이브러리를 설치해야 합니다. 드라이버는 크롬을 대상으로 진행하였습니다. 리눅스 환경에서 사용하기 위해서는 리눅스용 드라이버를 설치해야 합니다. (크롬 드라이버 설치 링크 : http://chromedriver.chromium.org/downloads ) pip install selenium 다운로드를 마치고 구글에 접속하는 파이썬 코드를 작성합니다. from selenium import webdriver # 설치한..
IT/Python 2020. 7. 29.
디자인 패턴 정리 (싱글톤 디자인, 상태 디자인 패턴)
The Singleton Design Pattern 싱글톤 디자인 패턴 개요 실글톤 디자인 패턴은 글로벌하게 접근 간으한 단 한 개의 객체만을 하여하는 패턴 DB, 프린트 스풀러, app 등 동일한 리소스에 대한 요청의 충돌을 막기 위해 한개의 인스턴스만 사용 싱글톤 디자인 패턴의 목적 클래스에 대한 단일 객체 생성 전역 객체 제공 공유된 리소스에 대한 동시 접근 제어 코드 - singleton.py 설명 __new__ 함수를 오버라이드해 객체를 생성한다. __new__ 함수는 객체가 이미 존재하는지 확인하고 hasattr 함수는 cls 객체가 instance속석을 가지고 있는지 확인한다. hasattr 함수 : 해당 객체가 명시한 속성을 가지고 있는지 확인하는 파이썬 함수 게으른 초기화(Lazy ins..
