회사에서 Fluentd 에서 수집한 로그를 MongoDB에 넣는 것도 한번 해보는게 어떻냐고 해서 함 해봤다. 회사에서 할 때는 fluentd 버전이 1.11.0 버전이여서 fluent-plugin-mongo를 설치 하려고 할 때마다 안됬었던거 같았다. fluentd 초짜였던 나는 fluentd 내장 ruby와 bson의 버전이 낮아 업그레이드 하는 방법을 몰라서 삭제하는 방법으로 했는데 역시 가장 좋은건 있는 그대로 놔두는게 제일 좋은거 같다. 이 후에 나오는건 에러 폭탄이였다. 결국 td-agent를 삭제를 했다. sudo yum remove td-agent sudo rpm -e --allmatches gpg-pubkey-ab97acbe-586223cc sudo rm /etc/yum.repos.d/t..

CPU 사용량을 확인해 보려고 Test를 해봤다. 테스트 툴 Jmeter(인위적 request) 테스트 총 flush_thread, request 수 : 1개 , 10000 request 테스트 시 사용한 url : Test할 url 사용한 config 설정 @type tail @log_level warn @type none path pos_file /.log.pos tag access @type azurestorage azure_storage_account azure_storage_access_key azure_container platformlogs azure_storage_type blob store_as text auto_create_container true path azure_object_ke..

최근 회사에서 로그수집에 대해 이야기가 나왔던 적이 있었다. 현재 로그파일이 서버에 있고 폴더 별로 나누어져 있기에 로그를 확인하려고 하면 어떤 Controller에서 어떤 Method를 사용했는지 파악 한 후에 폴더를 찾아가는 형식 이였다. 그래서 생각한게 fluentd를 적용해 보는 것이였다. 통합적으로 서버의 로그를 모아서 필요할 때 검색하여 찾아보는 것을 목표로 하였고 마침 fluentd 와 azuresotrage를 이용하여 로그를 저장, 확인하려고 했다. 이 글은 Fluentd가 무엇인지 어떤 기능이 있는지 적용전에 확인하기 위해서 적는 글이다. Fluentd 란? 오픈 소스 데이터 수집기, C와 Ruby 기반으로 만들어졌다. 흔히 로그를 수집할 때 많이 사용한다. 이미지 출처 : https:/..

오늘은 Fluentd를 사용해서 Newrelic에다가 log를 쌓는 것을 적용했다. 회사에서 이번에 Fluentd와 Newrelic을 이용해서 로그 수집을 하라고 하여 실제 QA 서버를 하나 복사한 것을 받아서 새로운 host로 회사 프로젝트 구조와 똑같이 했다. 환경 : Linux(CentOS 6.10 amazon linux 2) Fluentd 설치 fluentd에 관한 설치에 대해서는 fluentd 공식 홈페이지에 나와있으니 자기 자신의 버전에 맞게 설치하면 된다. 참조 : https://docs.fluentd.org/installation/install-by-rpm Install by RPM Package (Red Hat Linux) - Fluentd Step 3: Post Sample Logs v..

/etc/issue 를 확인하면 된다. cat /etc/issue CentOS release 7.0 Kernerl \r on an \m # 이렇게 했는데 안나오면 cat /etc/redhat-release 하면 나온다.

CentOS 8 adduser, root 권한 주기 sudo, passwd 설치 su - # root 계정으로 진입 초반에 아무 설정 없으면 root 계정으로 시작한다. # [root@asadf /] 이라면 root 계정임 [root@asadf /]# yum install sudo ... (성공) [root@asadf /]# yum install passwd [root@asadf /]# adduser [root@asadf /]# passwd userName (패스워드 입력) : ****** (패스워드 다시 입력) : *****확인 [root@asdf /]# vi /etc/passwd # vim 이 없다면 yum install vim으로 설치해주면 된다. #user 생성 되었는지 확인 root:x:0:0:..

Docker 에 CentOS를 설치하는 방법 환경 OS : Window 1. CMD docker pull centos => 최신 버전이 다운로드 된다. 2. docker container 생성 및 실행 docker run --name centos 하지만 docker 에서 centos 컨테이너를 만들어서 systemctl을 실행하면 이런 에러가 나온다. 이 문제는 가상화 시스템에 나오는 문제인데 정확한 원인은 아직 잘 모른다. centos 이미지를 다운받을 때 systemctl이 되는 버전으로 다운을 받거나 아니면 밑에 나오는 옵션으로 실행 시켜주면 된다. docker run --name --privileged -d centos /usr/sbin/init 그 후 컨테이너 실행 시는 docker exec -..

전준엽님의 블로그를 보고 저의 생각정리 용으로 적었습니다. 출처 : https://galid1.tistory.com/793 Kafka - Kafka란? (Kafka의 구조와, 주요개념) Apache Kafka Apache Kafka의 각 구성요소와 구성요소들의 주요 개념을 알아보도록 하겠습니다. 어떤 기술의 특성을 이해하고, 구성요소를 이해하는것은, 해당 기술을 이용해 특정 기능을 구현할때 매 galid1.tistory.com Kafka란? pub-sub 모델의 메시지 큐 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 사용 이유 대용량 데이터를 다룰 때 지연시간을 줄일 수 있기 때문 어디에 사용? Apache Kafka는 초당 수백만 개의 데이터 포인트를 처..