2023.02.12 0
Pythonchatgpt를 이용하여 유튜브 API 사용하여 동영상 목록 가져오기
최근 ChatGPT 가 화제다 회사에서도 개발한 리펙토링을 잘해줘서 자주 사용하고 있고 한달에 20달러 정도로 아래와 같이 Plus 플랜이 있다. 해서 어디까지 사용할수 있을지 해서 제목과 같은 질의문을 통해서 얻은 결과는 아래와 같다. chatgpt : 다음은 파이썬에서 유튜브 API를 사용하여 동영상 검색 결과를 가져오는 예제입니다. 이 코드는 Google API 클라이언트 라이브러리를 사용하므로 먼저 클라이언트 라이브러리를 설치해야합니다. 이 코드는 googleapiclient 라이브러리를 사용하여 YouTube API에 액세스하고 search 메서드를 사용하여 검색 결과를 검색합니다. 검색 결과에서는 각 동영상의 제목, ID, 설명 및 썸네일 URL을 추출하여 딕셔너리에 저장하고 결과를 리스트에 ..
2022.03.08 0
ELKJava를 이용한 Elasticsearch aggregation (어그리게이션) 사용 및 정리
최근 엘라스틱서치 8버전이 공개되었습니다. 공개된 ML모델적용을 손쉽게 할 수 있다고 합니다. 이번 포스팅에서는 자바, 특히 스프링 부트를 이용한 Elasticsearch (엘라스틱서치) aggregation (어그리게이션) 사용방법과 관련 내용에 대해서 소개드리려고 합니다. 우선 어그리게이션이 무엇인지 알아보겠습니다. 어그리게이션(Aggregation) Aggregation은 검색결과에 다양한 연산을 적용해서 출력하는 기능을 지원하기 위해 개발된 모듈입니다. 버킷(bucket) 어그리게이션과 메트릭(metric) 어그리게이션, 파이프라인(Pipeline) 어그리게이션이 있습니다. 버킷 어그리게이션 (bucket aggregation) Terms, Filter, Range, Histogram, Globa..
2022.01.29 0
Spring BootSpring boot Elasticsearch(엘라스틱서치) 설정하기
Spring boot 를 이용하여 Elasticsearch 에 접근 하기 이번 포스팅에서는 스프링부트를 활용해서 엘라스틱서치에 데이터를 넣는 방법까지 해보도록 하겠습니다. 또한 기본적인 엘라스틱서치에 대한 내용을 소개해드리려고 합니다. 기본적으로 엘라스틱서치는 루씬 기반 검색엔진으로 오픈소스 입니다. ELK (Elasticsearch Logstash Kibana) 스택으로 아주 유명합니다. 제품간 연동이 메뉴얼을 조금만 읽으면 손쉽게 연동이 가능합니다. 먼저 엘라스틱서치는 분산형 Restful 검색 및 분석이 가능하고 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행할 수 있습니다. 또한 작은 규모로 적용해도 이후 점차 쉽게 확대할 수 있으며, API 등을 이용해 구조를 단..
2021.12.23 0
Java[Java/Selenium, jsoup] 자바를 이용하여 스크린샷, 텍스트 수집하기
https://kingname.tistory.com/221 [Python] 파이썬 selenium을 이용한 스크린샷 찍기 이전에는 셀레니움을 설치하는 포스팅을 했다면 https://kingname.tistory.com/219 파이썬 크롬브라우저 자동화 컨트롤러 Python Selenium 설치하기 Selenium이란 Selenium은 웹 어플리케이션을 자동으로 테스팅,. kingname.tistory.com 저번 글에서는 파이썬을 이용하여 스크린샷을 찍는 글을 포스팅 했었습니다. 이번에는 Java를 이용하여 저번에 작성한 파이썬 코드를 Java를 이용하여 보도록 하겠습니다. 우선 아래의 라이브러리를 설치해야합니다. 메이븐레파지토리에서 다운로드가 가능합니다. // selenium implementation..
2021.12.15 0
Python[Spark/Python] 파이썬, pyspark 를 이용하여 ElasticSearch 데이터 가져오기
우선 파이썬을 통해서 엘라스틱서치 데이터를 수집하는 방법은 아래와 같다. from elasticsearch import Elasticsearch from elasticsearch.helpers import scan as escan def searchAPI(query): es = Elasticsearch('localhost:9200') index = 'search-2021*' res = es.search(index=index, body=query) return res ------------------------------------------------ query = { "size": 10, "_source": "[member_id, birth_year, address]", "query": { "term"..
2021.12.14 0
Python[Python] 파이썬 selenium을 이용한 스크린샷 찍기
이전에는 셀레니움을 설치하는 포스팅을 했다면 https://kingname.tistory.com/219 파이썬 크롬브라우저 자동화 컨트롤러 Python Selenium 설치하기 Selenium이란 Selenium은 웹 어플리케이션을 자동으로 테스팅, 크롤링, 스크린샷 찍기등에 사용하기 위한 프레임 워크입니다. Python 과 Java 등 많은 언어들을 지원합니다. Selenium 설치하기 Selenium을 사 kingname.tistory.com 이번 포스팅에서는 파이썬 셀레니움(Selenium)을 이용해서 스크린샷을 찍어보도록 하겠습니다. from selenium import webdriver from selenium.webdriver.chrome.options import Options from se..
2021.12.14 0
Linux리눅스 한글깨짐 문제 해결방법 (리눅스 셀레니움 스크린샷 한글깨짐)
리눅스 환경에서 Selenium(셀리니움)을 이용해서 데이터를 수집하는 도중에 한글깨짐이 발생하여 해결방법을 알아보았습니다. 리눅스 폰트를 설치하지 않아서 발생하는 문제입니다. 해결방법은 아래와 같습니다. 리눅스 기본 제공 한글폰트를 패키지관리자에서 다운로드합니다. (yum, apt-get) yum install fonts-korean 혹은 fonts-unfonts-core 설치되는 경로는 /usr/share/fonts 입니다. 시스템 폰트 리스트를 새로고침합니다. fc-cache -r 이후 나눔고딕 폰트 파일을 다운로드합니다. wget [http://cdn.naver.com/naver/NanumFont/fontfiles/NanumFont_TTF_ALL.zip](http://cdn.naver.com/na..
2021.12.14 0
Python파이썬 크롬브라우저 자동화 컨트롤러 Python Selenium 설치하기
Selenium이란 Selenium은 웹 어플리케이션을 자동으로 테스팅, 크롤링, 스크린샷 찍기등에 사용하기 위한 프레임 워크입니다. Python 과 Java 등 많은 언어들을 지원합니다. Selenium 설치하기 Selenium을 사용하기 위해서는 웹 브라우저 드라이버와 'selenium' 라이브러리를 설치해야 합니다. 드라이버는 크롬을 대상으로 진행하였습니다. 리눅스 환경에서 사용하기 위해서는 리눅스용 드라이버를 설치해야 합니다. (크롬 드라이버 설치 링크 : http://chromedriver.chromium.org/downloads ) pip install selenium 다운로드를 마치고 구글에 접속하는 파이썬 코드를 작성합니다. from selenium import webdriver # 설치한..
2021.07.08 0
Spring Boot스프링 스케쥴러 (spring scheduler) 설정 및 사용방법
1. Annotation 사용예시 @Service public class TaskTestService { @Scheduled(fixedDelay=1000) public void TestScheduler(){ System.out.println("스케줄링 테스트"); } } 위와 같이 @Scheduled 어노테이션을 이용하여 간단하게 스케쥴에 따른 작업을 처리할 수 있게 된다. @Scheduled 의 value 같은 3가지(cron, fixedDelay, fixedRate) 종류가 있다. cron은 CronTab에서의 설정과 같이 cron="0/10 * * * * ?" 과 같은 설정이 가능하고 fixedDelay은 이전에 실행된 Task의 종료시간으로 부터 정의된 시간만큼 지난 후 Task를 실행한다.(밀리..
2021.02.13 6
Spring BootSpring boot와 React + gradle 연동하여 개발하기 build(빌드) 하기
1. 스프링 부트를 백엔드, 리엑트를 프론트엔드 연동하기 보통 스프링 부트를 사용하면 thymeleaf 를 이용하여 프론트를 개발하는 경우가 많이 있었습니다. 하지만 최근 1~2년 사이에 리엑트 강의를 들으면서 어느정도 리엑트에 대해서 감이 잡혀 토이프로젝트를 진행하였습니다. 하여 Spring boot와 React를 연동하여 개발하는 방법을 공유하고자 합니다. 2. Spring boot 프로젝트 생성하기 스프링 부트를 이용하여 간단한 컨트롤러를 만들어준뒤 아래와 같은 간단한 api를 만들어서 사용합니다. 아래의 사진은리그오브레전드 api를 이용하여 사용자의 정보를 조회하는 토이프로젝트로 1~2일 정도 걸려서 만들었습니다. kingname.tistory.com/110?category=811074 스프링 부..
2021.02.01 0
JavaJava 파일 읽는 방법, Apache Tika(아파치 티카) 사용하여 파일 읽기
Apache Tika Java를 통해서 파일을 읽어 오는 방법을 소개하겠습니다. 아파치 티카는 PPT, CSV ,PDF 등 다양한 형태의, 파일의 메타 데이터와 텍스트를 감지하고 추출하는 라이브러리입니다. 지원되는 포맷을 아래와 같다고 합니다. tika-core - 핵심 라이브러리 (파서 없음) tika-parsers - core + Tika Parser interface (두가지) 위 두가지 라이브러리를 사용하여 파일을 읽을 수 있습니다. org.apache.tika tika-core 2.0.0-ALPHA org.apache.tika tika-parsers 2.0.0-ALPHA pom 위 라이브러리를 추가 후 public String parseExample() throws IOException, SAX..
