OpenSource 썸네일형 리스트형 [Tip] Jenkins 버전 업그레이드 방법 Jenkins 버전 업그레이드 방법 2015년 말부터 Java deserialization 관련 취약점이 이슈화되면서 자바를 사용하는 애플리케이션에 대한 공격이 지속적으로 늘어나고 있습니다. CI 오픈 소스 툴인 Jenkins도 공격이 가능한 Exploit 코드가 발표되면서 버전 업그레이드가 불가피 하게 되었습니다. (참고, CVE-2015-8103, CVE-2016-0788, CVE-2016-9299, CVE-2017-1000353) 최근 발표된 CVE-2017-1000353 취약점에는 2.56, LTS 2.46.1 이전 버전을 사용하는 경우에 해당하고 있으니 Jenkins를 사용하시는 분은 버전을 확인해서 피해를 입으시는 일이 없길 바랍니다. 1. 기존 버전 확인- Jenkins 관리 -> About.. kafka-topics.sh 파라미터 설명 kafka-topics.sh의 도움말 해석입니다. (0.10.2 기준) 의역이나 오역이 있을 수 있습니다. --alter: 토픽의 파티션 수나 복제 개수를 변경 --config : 이미 만들어져 있는 토픽의 설정을 오버라이드 --create: 새로운 토픽 생성 --delete: 토픽 삭제 --delete-config : 삭제 될 토픽의 설정 오버라이드 --describe: 토픽의 상세 정보 출력 --force: 강제로 명령 실행 --help: 도움말 출력 --if-exists: 토픽을 지우거나 수정할 때 토픽이 존재하는지 먼저 검사 --if-not-exists: 토픽을 생성할 때 토픽이 존재하지 않을때만 실행 --list: 사용가능한 모든 토픽의 목록을 출력 --partitions : 생성되거나 수정될 .. [Trobule Shooting] Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark job을 클러스터 매니저를 통해 많이 실행하곤 하는데 그 중에 Yarn 클러스터 매니저, 특히 client모드로 사용시 어느 순간에 sc(SparkContext)가 종료되어 job을 실행할 수 없는 이슈가 발생해서 글로 남깁니다.크게 이슈가 없는 상황이라면 job을 재실행하면 되겠지만 하필 Zeppelin을 이용하여 이미 구축되어 있던 Yarn 위에서 동작을 하고 있었습니다.Zeppelin은 처음 SparkInterpreter를 실행하게 되면 binding 모드에 따라 계속 SparkSession을 유지하게 되어 있습니다. (참고: Zeppelin Documentation) 그림에서 보이듯이 Yarn client 모드.. [Tip] Producer, Consumer에서 Kafka에 접속되지 않을 때 Kafka 클러스터를 구축하고 나서 보통 kafka-console-producer.sh와 kafka-console-consumer.sh를 이용하여 Kafka 클러스터가 정상적으로 구축되었는지 확인하곤 합니다. kafka-console-producer.sh와 kafka-console-consumer.sh를 통해서 정상적으로 메시지를 생성하고 소비하는 것을 확인했지만 정작 다른 장비(또는 네트워크)에 있는 Logstash의 output 또는 직접 API를 이용하여 개발한 Producer / Consumer에서 Kafka 클러스터와 통신을 하지 못하는 경우에는 다음과 같은 사항을 확인해보기 바랍니다. 요즘은 Docker나 클라우드 서비스를 사용하면서 Kafka가 구동되고 있는 장비가 Floating IP를 가.. ELK 스택에서 CPU 점유율이 높을때 이전글: 2018/01/10 - [IT/ELK] - Logstash 복수개의 instance 구동하기 최근에 데이터 수집 및 조회를 위해 Elasticsearch, Logstash를 많이 사용합니다. 간단한 설정으로 꽤 효율적인 운영이 가능해서 많이 사용하는 것 같습니다. 가급적이면 각각 다른 장비에 설치해서 사용하면 좋겠지만 여러 이유 때문에(개발 및 테스트 용도, 서버 자원 한계 등) Logstash와 Elasticsearch를 한 서버에 설치해 사용하는 경우도 있습니다. 한 서버에서 Logstash instance 네개와 Elasticsearch를 사용하고 있었는데 최근에 CPU Load average가 굉장히 높이 뛰면서 Elasticsearch가 down되는 현상이 있어서 이슈 공유합니다. 처음.. Logstash 여러개의 instance 구동하기 Logstash 여러개의 instance 구동하기 - 한 서버에서 두개 이상의 Logstash instance를 구동할 필요가 있을 때 사용할 수 있는 방법입니다.- Centos 7, Java 1.8 기준 1. ELK 공식 홈페이지에서 적당한 곳에 Logstash를 내려 받습니다. - 복수개의 instance를 구동하는게 목적이므로 버전은 크게 중요하지 않습니다만 여기서는 5.5.1 기준으로 설명합니다. [seyou@localhost apps]$ pwd/home/seyou/apps[seyou@localhost apps]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.1.tar.gz[seyou@localhost apps]$ tar x.. 이전 1 다음
