Fluentd 를 실제 서버에 올려놓고 로그 수집을 기다리던 중에 중국어 와 json 로그를 전송하던 중에 \xE6 from ASCII-8BIT to UTF-8 에러가 나와서 로그가 정상적으로 발송되지 않는 현상이 일어났다. 이러한 에러는 서버에서 보내는 로그 형식이 UTF-8 인데 인코딩이 잘못되는 경우이다. 지금 회사의 경우에는 대만 회사여서 중국어가 로그에 포함되는 경우가 있는데 이 때 발생하는 에러 같다. 그래서 태그 안에서 tail 밑에 encoding UTF8을 적어서 하면 중국어는 깨져서 나와도 정상적으로 로그가 발송되는 것이 확인이 되었다. @type tail encoding utf8 ... 문제는 json 형식으로 보낼 때 \xE6 에러가 아닌 \xC 계열로 예외가 발생하는데 이 때는 f..

fluentd에서 azure-loganayltics 플러그인을 설치 한 뒤 conf 파일을 수정하면 된다. ex) td-agent(fluentd rpm 설치)의 경우 sudo /usr/sbin/td-agent-gem install fluent-plugin-azure-loganalytics ex) fluentd(ruby gem 설치)의 경우 sudo /bin/gem install fluent-plugin-azure-loganalytics azure portal azure portal의 이미지는 여기에다가 올리기에는 보안 문제가 있으므로 글로 설명하겠다. loganalytics 리소스가 생성되 있는 상태라고 가정하고 azure portal에 접속한 뒤 에이전트 관리, 위의 탭에서 window server, ..

환경 : CentOS 6.10 fluentd 에 내장되 있는 ruby는 컴파일 할 때 박살이 날 수 있다. 기존에 설치한 td-agent(fluentd)에서 azure-loganalytics 플러그인을 설치할 때 Building native extensions. This could take a while... ERROR: Error installing fluent-plugin-azure-loganalytics: ERROR: Failed to build gem native extension. current directory: /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/unf_ext-0.0.8.2/ext/unf_ext /opt/td-agent/embedded/bin..

EFK stack을 Docker로 띄워보겠다. 아직 docker 도 잘 모르고 compose 작성 법도 잘 몰라 블로그를 돌아다니며 이것저것 적용시켜보며 만든 efk 이다. OS : Window 10 Version : elasticsearch 7.15.0 , kibana 7.15.0, fluentd 0.12-debian tool : vs code 폴더 생성 ek-compose라는 폴더를 만들어준다. 해당 파일의 경로로 이동하여 docker-compose.yml 파일을 생성 후 작성해준다. ek-compose 구조 일단 폴더만 생성 해놓는다. docker-compose 시 필요한 파일 작성 docker-compose.yml version: '2' # version 별로 넣을 수 있는 옵션? 이 다른거 같다..