본문 바로가기

kafka-topics.sh 파라미터 설명 kafka-topics.sh의 도움말 해석입니다. (0.10.2 기준) 의역이나 오역이 있을 수 있습니다. --alter: 토픽의 파티션 수나 복제 개수를 변경 --config : 이미 만들어져 있는 토픽의 설정을 오버라이드 --create: 새로운 토픽 생성 --delete: 토픽 삭제 --delete-config : 삭제 될 토픽의 설정 오버라이드 --describe: 토픽의 상세 정보 출력 --force: 강제로 명령 실행 --help: 도움말 출력 --if-exists: 토픽을 지우거나 수정할 때 토픽이 존재하는지 먼저 검사 --if-not-exists: 토픽을 생성할 때 토픽이 존재하지 않을때만 실행 --list: 사용가능한 모든 토픽의 목록을 출력 --partitions : 생성되거나 수정될 ..
[Trobule Shooting] Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark job을 클러스터 매니저를 통해 많이 실행하곤 하는데 그 중에 Yarn 클러스터 매니저, 특히 client모드로 사용시 어느 순간에 sc(SparkContext)가 종료되어 job을 실행할 수 없는 이슈가 발생해서 글로 남깁니다.크게 이슈가 없는 상황이라면 job을 재실행하면 되겠지만 하필 Zeppelin을 이용하여 이미 구축되어 있던 Yarn 위에서 동작을 하고 있었습니다.Zeppelin은 처음 SparkInterpreter를 실행하게 되면 binding 모드에 따라 계속 SparkSession을 유지하게 되어 있습니다. (참고: Zeppelin Documentation) 그림에서 보이듯이 Yarn client 모드..
시저 암호(Caesar cipher, 카이사르 암호) 암/복호화 혹성탈출 시저가 아니라 율리우스 카이사르 - 카이사르(라틴어), 시저(영어) 로마의 황제였던 율리우스 시저는 전쟁 중 작전 보고나 첩자들과의 첩보 전달 시 등에문자를 다른 문자로 바꾸는 치환 암호(Substitution Cipher)를 사용했다고 알려져 있습니다.작전을 전달하는 사람이나 첩자가 적군에게 붙잡혔을 때 그 편지 내용을 알지 못하게 하기 위해서는 암호화가 필수적이었습니다.시저는 말년에 브루투스에게 암살당하기 전에 가족들로부터 편지를 받았는데 그 내용은 'EH FDUHIXO IRU DVVDVVLQDWRU' 였다고 합니다. 편지의 내용이 무엇인지 뒤에서 더 알아보도록 하겠습니다. 원리는 위의 그림에서처럼 알파벳을 3칸씩 옆으로 밀어서 문자를 치환하는 방식입니다. 예를 들어, CAT이란 단어는 C ..
[Tip] Producer, Consumer에서 Kafka에 접속되지 않을 때 Kafka 클러스터를 구축하고 나서 보통 kafka-console-producer.sh와 kafka-console-consumer.sh를 이용하여 Kafka 클러스터가 정상적으로 구축되었는지 확인하곤 합니다. kafka-console-producer.sh와 kafka-console-consumer.sh를 통해서 정상적으로 메시지를 생성하고 소비하는 것을 확인했지만 정작 다른 장비(또는 네트워크)에 있는 Logstash의 output 또는 직접 API를 이용하여 개발한 Producer / Consumer에서 Kafka 클러스터와 통신을 하지 못하는 경우에는 다음과 같은 사항을 확인해보기 바랍니다. 요즘은 Docker나 클라우드 서비스를 사용하면서 Kafka가 구동되고 있는 장비가 Floating IP를 가..
ELK 스택에서 CPU 점유율이 높을때 이전글: 2018/01/10 - [IT/ELK] - Logstash 복수개의 instance 구동하기 최근에 데이터 수집 및 조회를 위해 Elasticsearch, Logstash를 많이 사용합니다. 간단한 설정으로 꽤 효율적인 운영이 가능해서 많이 사용하는 것 같습니다. 가급적이면 각각 다른 장비에 설치해서 사용하면 좋겠지만 여러 이유 때문에(개발 및 테스트 용도, 서버 자원 한계 등) Logstash와 Elasticsearch를 한 서버에 설치해 사용하는 경우도 있습니다. 한 서버에서 Logstash instance 네개와 Elasticsearch를 사용하고 있었는데 최근에 CPU Load average가 굉장히 높이 뛰면서 Elasticsearch가 down되는 현상이 있어서 이슈 공유합니다. 처음..
Logstash 여러개의 instance 구동하기 Logstash 여러개의 instance 구동하기 - 한 서버에서 두개 이상의 Logstash instance를 구동할 필요가 있을 때 사용할 수 있는 방법입니다.- Centos 7, Java 1.8 기준 1. ELK 공식 홈페이지에서 적당한 곳에 Logstash를 내려 받습니다. - 복수개의 instance를 구동하는게 목적이므로 버전은 크게 중요하지 않습니다만 여기서는 5.5.1 기준으로 설명합니다. [seyou@localhost apps]$ pwd/home/seyou/apps[seyou@localhost apps]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.1.tar.gz[seyou@localhost apps]$ tar x..