Fluentd 를 설치하고 사용하는 중에 추가해야 될 플러그인들이 많아져서 conf 파일이 길어지면서 보기가 어려워졌다. conf 파일을 여러 개 만들어서 분리한 다음 fluentd가 실행 될 때 읽는 파일에다가 import만 하면 어떨까 라는 생각이 들어 찾아봤는데 @include라는 녀석이 있다는 것을 알게 되었다. @include 를 사용하는 것은 간단하다. fluent.conf 또는 rpm으로 fluentd를 설치했다면 td-agent.conf에 @include를 하고 그 뒤에다가 분리 시켜놓은 conf 파일들의 경로와 함께 선언하면 된다. 사용법 fluent.conf @include /path/fluentd_config.conf @include /path/fluentd_config2.conf ...

계속 추가될 예정 기능 명령어 해당 폴더 이동 cd 폴더 명 파일 or 폴더 이름 변경 mv #/ 이걸 넣으면 해당 경로로 이동하니 아무것도 넣지 않기를 바란다. 현재 경로 파악(어느 위치에 있는지) pwd 파일, 디렉토리 확인 ls 폴더 생성 mkdir 빈 디렉토리 삭제 rmdir (rm 은 웬만하면 사용하기전에 천번 정도 확인하길...) 디스크 공간 확인 df -> df -sh * (현재 위치 모든 폴더 남은 용량 확인) 현재 실행중인 프로세스 ps -> ps -ef \ 프로세스 죽이기 kill -9 PID -> 하기전에 ps -ef 로 중지시킬 프로세스의 id를 확인 후 하길... 리얼 쪽은 kill 하지 않기! 파일 내용 확인 cat -> cat은 grep 하고 같이 사용하길.. 많은 내용의 파일..

fluentd에서 azure-loganayltics 플러그인을 설치 한 뒤 conf 파일을 수정하면 된다. ex) td-agent(fluentd rpm 설치)의 경우 sudo /usr/sbin/td-agent-gem install fluent-plugin-azure-loganalytics ex) fluentd(ruby gem 설치)의 경우 sudo /bin/gem install fluent-plugin-azure-loganalytics azure portal azure portal의 이미지는 여기에다가 올리기에는 보안 문제가 있으므로 글로 설명하겠다. loganalytics 리소스가 생성되 있는 상태라고 가정하고 azure portal에 접속한 뒤 에이전트 관리, 위의 탭에서 window server, ..

환경 : CentOS 6.10 fluentd 에 내장되 있는 ruby는 컴파일 할 때 박살이 날 수 있다. 기존에 설치한 td-agent(fluentd)에서 azure-loganalytics 플러그인을 설치할 때 Building native extensions. This could take a while... ERROR: Error installing fluent-plugin-azure-loganalytics: ERROR: Failed to build gem native extension. current directory: /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/unf_ext-0.0.8.2/ext/unf_ext /opt/td-agent/embedded/bin..

Linux (CentOS)에서 init.d 등록하기 fluentd 를 설치했는데 실행, 재실행, 중지 명령어를 bin 폴더로 들어가서 하는게 귀찮아서 서비스 등록해서 사용하려고 한다. centos7은 이 설정과 다르니 다른 블로그를 참조 shell script 작성 파일 생성 sudo vi fluentd # fluentd라는 이름의 파일 생성 script 작성 #!/bin/sh # chkconfig: 2345 90 90 # description: init file for fluentd # processname: fluentd RETVAL=0 PNAME=fluentd PID=`ps -ef| grep "^.*\$HOME/.rbenv/versions/2.6.10/bin/fluentd --user root --..

JWT 인증 방법 @Component public class UtilJwt { //KEY => JWThappytuk private String KEY = "Key 값"; // 제일 처음 시작 Base64로 encoding @PostConstruct protected void init() { this.KEY = Base64.encodeBase64String(KEY.getBytes()); } // token 발급 public String createTokenByEmailAndClientIp(HttpServletRequest request) { String email = request.getParameter("email"); String clientIP = UtilRequest.getRemoteAddr(req..

시간대 별로 로그를 추출하는 방법 2022-06-23 17 시 ~ 19 시 로그 추출 파일 2개 생성 sudo vi number.log sudo vi input.log root 계정이 아니라면 생성한 폴더의 권한을 풀어준다. sudo chmod -R 777 number.log input.log 명령어 입력 sudo grep -n "^2022-06-23 1[7-9]:[0-9][0-9]:[0-9][0-9]" catalina.out | sudo cut -d':' -f1>number.log sudo vi number.log number.log 파일로 들어가보면 번호들이 쭉 있을 것이다. 제일 위의 첫번째와 맨 밑의 마지막 줄의 번호를 기억하자 Vim 에디터로 파일을 볼 때 gg 를 누르면 맨 위 , shift+..

tomcat access log 에서 500에러만 추출해서 azure storage로 남기기로 했다. 시작 flunetd 설치는 이전에 올린 글을 참고해주길 바란다. 먼저 /etc/td-agent/td-agent.conf 파일을 연다. sudo vi /etc/td-agent/td-agent.conf 그 후에 source -> parse -> filter 순서로 작성한다. @type tail @log_level warn @type regexp expression /^(?.*?) (?[^ ]*) (?[^ ]*) \[(?\d{2}\/[a-zA-Z]{3}\/\d{4}\:\d{2}\:\d{2}\:\d{2} \+\d{4})\] \"(?.*?)\" (?\d+) (?[0-9\-]+) (?\d+)$/ path //loc..