Fluentd로 Kafka 전송하기 설정파일 및 SSL 적용

docs.fluentd.org/output/kafka

kafka

해당글은 위의 문서를 기반을 작성하였습니다.

 

설정파일 예제

<match pattern>
  @type kafka2

  # list of seed brokers
  brokers <broker1_host>:<broker1_port>,<broker2_host>:<broker2_port>
  use_event_time true

  # buffer settings
  <buffer topic>
    @type file
    path /var/log/td-agent/buffer/td
    flush_interval 3s
  </buffer>

  # data type settings
  <format>
    @type json
  </format>

  # topic settings
  topic_key topic
  default_topic messages

  # producer settings
  required_acks -1
  compression_codec gzip
</match>

 

각종 설정 설명

@type (필수)

이 설정은 무조건 kafka2 이어야 합니다.

 

@brokers(필수/옵션)

카프카 브로커 목록

 

기본값: localhost:9092

 

@topic_key 

카프카로 전송할 메시지의 토픽값입니다.

전송하는 메시지의 필드값으로 동적으로 토픽이 바뀌길 원하는경우  $.필드명 을 사용하면됩니다.

참고:  github.com/fluent/fluent-plugin-kafka/issues/306

 

 

how can I use topic_key in Second-level dictionary · Issue #306 · fluent/fluent-plugin-kafka

 

@ssl_ca_certs_from_system 

SSL 통신을 위한 시스템의 CA 인증서 사용여부 (공인 인증서 사용시 쓰면 됩니다.)

기본값: flase

 

@ssl_ca_cert 

SSL 통신을 위한 CA 인증서 경로  (사설 인증서 사용시 사용하세요)

 

@ssl_client_cert_key

SSL 통신을 위한 CA 키파일 경로  (사설 인증서 사용시 사용하세요)

 

@sasl_over_ssl 

SASL 통신 사용 여부

 

@username 

SASL 계정

 

@password

SASL 패스워드