09Log Exporter — SIEM으로 로그 내보내기Log Exporter — SIEM으로 로그 내보내기

Log Exporter는 끊임없이 갱신되는 기능이라 받쳐 주는 범위가 넓습니다. 정리하면 다음과 같습니다.

지원 버전과 애플리케이션의 가장 최신 정보는 다음 sk 문서에서 확인합니다.

Log Exporter는 Log Server에서 도는 멀티스레드 데몬 서비스 입니다. 이 데몬은 각 로그를 읽어 원하는 형식·매핑으로 바꾼 다음, 설정해 둔 대상으로 보냅니다.

Multi-Domain Server / Multi-Domain Log Server 환경에서는 규모에 맞춰 데몬이 나뉩니다 — Log Exporter가 여러 Domain에 배포되어 있으면 각 Domain Server가 자기만의 Log Exporter 데몬 을 갖고, 대상이 여러 곳이면 대상마다 별도의 Log Exporter 데몬 이 돕니다.

내부 동작은 이름 그대로 E-T-L 절차로 구현됩니다.

특히 똑똑한 점은 끊김에 대처하는 방식입니다. 3rd party 서버와 연결이 끊기면 내보내기를 멈추고 마지막으로 보낸 위치를 기억 했다가, 연결이 다시 살아나면 그 마지막 지점부터 자동으로 이어서 내보냅니다. 또한 온라인 로그와 (밀려 있다면) 오프라인 로그를 병렬로 보내되, 대상 서버가 느리면 오프라인 전송 속도를 늦춰 실시간 온라인 로그를 우선 합니다.

R81부터는 SmartConsole에서 Log Exporter를 직접 만들어 해당 Log Server에 연결할 수 있습니다. 전체 절차는 크게 세 단계 — 객체 만들기, 서버 객체에 연결하기, 데이터베이스 설치하기입니다.

1단계 — Log Exporter/SIEM 객체 만들기

2단계 — Management Server / Log Server 객체에 연결하기

3단계 — 데이터베이스 설치하기

업그레이드 후에는 한 가지를 꼭 해야 합니다. Management Server / Log Server / SmartEvent Server를 새 버전으로 업그레이드한 다음에는 반드시 Install database를 다시 한 번 돌려야 합니다.

GUI 대신 Expert mode CLI로도 Log Exporter를 다룰 수 있습니다. 모든 설정의 중심에 cp_log_export 명령이 있습니다.

기본 구성 (Basic Configuration)

새 대상을 만드는 가장 흔한 방법입니다.

cp_log_export add name <Name of Log Exporter Configuration>
[domain-server {mds | all}] target-server <HostName or IP
address of Target Server> target-port <Port on Target Server>
protocol {tcp | udp} format {cef | generic | json | leef |
logrhythm | rsa | splunk | syslog} [--apply-now] [<Other
Optional Arguments>]

각 파라미터의 뜻은 다음과 같습니다.

cp_log_export restart

고급 구성 (Advanced Configuration)

대상을 더 정교하게 만들고 고치는 방법입니다. 기본 구문은 이렇습니다.

cp_log_export <Command-Name> [<Command-Arguments>]

특정 명령의 내장 도움말은 다음으로 봅니다.

cp_log_export <Command-Name> help

명령(Commands)

reexport 는 쓰임새가 여러 가지라 형태가 셋입니다.

cp_log_export reexport name <Name> --apply-now
cp_log_export reexport name <Name> start-position <Position of Last Exported Log> --apply-now
cp_log_export reexport name <Name> start-position <Position of Gap Start> end-position <Position of Gap End> --apply-now

명령 인자(Command Arguments)

다음 표는 각 인자의 뜻과, 어느 명령에서 필수(Mandatory)·선택(Optional)·해당 없음(N/A)인지 를 정리한 것입니다. 명령은 add / set / delete / reexport 와, 한 묶음으로 묶이는 restart·show·status·start·stop·reconf 로 나눠 봅니다.

filter-action-in 의 유효한 값은 SmartConsole의 Logs & Events 뷰 → Logs 탭에서 상단 쿼리 칸에 action: 과 글자를 입력해 확인할 수 있습니다. 값 예시는 Accept, Block, Bypass, Detect, Drop, HTTPS Bypass, HTTPS Inspect, Prevent, Reject 입니다.

filter-blade-in 의 값도 같은 방식으로 쿼리 칸에 blade: 와 글자를 입력해 봅니다. 값 예시는 Anti-Bot, Firewall, HTTPS Inspection, Identity Awareness, IPS 이며, 유효한 Software Blade 계열(family)은 Access, TP, Endpoint, Mobile 입니다.

Log Exporter는 TLS 프로토콜을 써서 암호화된 연결로 로그를 내보낼 수 있습니다. 단, 상호 인증(mutual authentication)만 허용 됩니다. 상호 인증을 위해 Log Exporter는 다음 인증서가 필요합니다.

아직 인증서가 없다면, 아래는 필요한 인증서를 만드는 예시입니다. 이 절차는 Check Point가 아닌 Linux 서버에서 openssl 명령을 씁니다.

자체 서명 CA 만들기

PEM 형식의 신뢰할 수 있는 CA 인증서가 아직 없을 때 실행합니다.

   openssl genrsa -out RootCA.key 2048
   

   openssl req -x509 -new -nodes -key RootCA.key -days 2048 -out RootCA.pem
   

클라이언트 인증서(P12) 만들기 — Log Exporter용

   openssl genrsa -out log_exporter.key 2048
   

   openssl req -new -key log_exporter.key -out log_exporter.csr
   

   openssl x509 -req -in log_exporter.csr -CA RootCA.pem -CAkey RootCA.key -CAcreateserial -out log_exporter.crt -days 2048 -sha256
   

   openssl pkcs12 -inkey log_exporter.key -in log_exporter.crt -export -out log_exporter.p12
   

Check Point 서버에서 보안 파라미터 갱신하기

인증서를 만든 뒤에는 Management Server / Log Server에서 보안 파라미터를 갱신합니다.

   mdsenv <IP Address or Name of Domain Management Server / Domain Log Server>
   

   cd $EXPORTERDIR/targets/<Name of Log Exporter Configuration>
   

   mkdir -v certificates
   cd certificates
   

   chmod -v +r RootCA.pem
   chmod -v +r log_exporter.p12
   

   cd $EXPORTERDIR/targets/<Name of Log Exporter Configuration>
   

   vi targetConfiguration.xml
   

파일에서 새 인증서 파일의 전체 경로와, P12 인증서를 만들 때 쓴 challenge phrase를 설정합니다. 저장하고 편집기를 닫습니다.

대상 서버 인증서 만들기

   openssl genrsa -out syslogServer.key 2048
   

   openssl req -new -key syslogServer.key -out syslogServer.csr
   

   openssl x509 -req -in syslogServer.csr -CA RootCA.pem -CAkey RootCA.key -CAcreateserial -out syslogServer.crt -days 2048 -sha256
   

새 Log Exporter 인스턴스를 배포하면, 그 배포의 모든 구성 파일은 다음 디렉터리에 놓입니다.

$EXPORTERDIR/targets/<Name of Log Exporter Configuration>/

대상 서버 구성 (targetConfiguration.xml)

대상 서버 관련 구성은 다음 파일에 저장됩니다.

$EXPORTERDIR/targets/<Name of Log Exporter Configuration>/targetConfiguration.xml

주요 옵션은 다음과 같이 묶입니다.

일반(General)

대상(Destination) 파라미터

보안(Security) 파라미터 — 자세한 내용은 위 "TLS로 전송 암호화하기" 절을 보세요.

원본(Source) 파라미터

리졸버(Resolver) 파라미터

형식(Format) 파라미터

SmartView 링크 파라미터

필터(Filter) 파라미터 — 이 구성은 몇몇 Software Blade(VPN-1 & Firewall-1, HTTPS Inspection, Security Gateway/Management)의 Security Gateway 트래픽 로그를 걸러냅니다.

형식 구성 (FormatDefinition.xml)

Log Exporter의 형식 구성은 다음 파일들에 저장됩니다.

$EXPORTERDIR/targets/<Name of Log Exporter Configuration>/conf/*FormatDefinition.xml

Body — 형식마다 본문(body)을 구성하는 문자가 다릅니다. 다음 표는 형식별 기본값입니다.

Header

필드 매핑 구성 (FieldsMapping.xml)

형식마다 내보내는 필드의 이름·값을 바꾸고, 불필요한 필드를 걸러내는 등 고유한 필드 구성 파일이 있습니다. 다음 파일들에 저장됩니다.

$EXPORTERDIR/targets/<Name of Log Exporter Configuration>/conf/*FieldsMapping.xml

이 절은 SIEM 애플리케이션이 로그를 최적으로 받도록 구성하는 법을 보여 줍니다.

Rsyslog

Rsyslog는 기본적으로 RFC 5424 타임스탬프 형식을 쓰도록 설정돼 있지 않습니다. 따라서 Log Exporter 출력 형식과 맞도록 Rsyslog 서버 설정을 직접 바꿔야 합니다.

   vi /etc/rsyslog.conf
   

   #"$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat"
   

   $ActionFileDefaultTemplate RSYSLOG_SyslogProtocol23Format
   

   service rsyslog restart
   

ArcSight

ArcSight는 서버 인증서 파일 이름을 syslog-ng 로 짓기를 권장합니다.

인증서 이름 짓기 — 키를 P12 형식으로 변환합니다.

openssl pkcs12 -inkey syslogServer.key -in syslogServer.crt -export -out syslog-ng.p12 -name "syslogng-alias" -password pass:changeit

환경 변수 ARCSIGHT_HOME 이 커넥터 설치 디렉터리인지 확인한 뒤 진행합니다.

   $ARCSIGHT_HOME/current/bin/arcsight agent keytoolgui
   

암호는 changeit 입니다. 3. 메뉴에서 Import Trusted Certificate 를 선택합니다. 4. 파일 대화상자에서 Ca.pem 을 선택해 저장합니다. 5. 변경을 저장하고 인증서 관리자를 닫습니다.

상호 인증을 켜도록 agent.properties 파일을 편집합니다.

   vi $ARCSIGHT_HOME//current/user/agent/agent.properties
   

   syslogng.tls.keystore.alias=syslogng-alias
   

   /etc/init.d/arc_connector_name restart
   

Splunk

   cat syslogServer.crt syslogServer.key RootCA.pem > splunk.pem
   

   vi /opt/splunk/etc/apps/<Name of the app, where the configuration is saved>/local/inputs.conf
   

TLS를 쓰도록 다음을 설정합니다.

   serverCert = <Full path to CA PEM file>
   sslPassword = <Challenge Password>
   requireClientCert = true
   [tcp-ssl://<Port>]
   index = <Index>
   

저장하고 편집기를 닫습니다. 3. Splunk 서버의 server.conf 파일을 갱신합니다.

   vi /opt/splunk/etc/system/local/server.conf
   

다음을 설정합니다.

   sslRootCAPath = <Full path to CA PEM file>
   [SSL]
   cipherSuite = TLSv1+HIGH:TLSv1.2+HIGH:@STRENGTH
   

저장하고 편집기를 닫습니다. 4. Splunk 서비스를 재시작합니다.

   /opt/splunk/bin/splunk restart
   

QRadar

LEA에서 Log Exporter로

기존 LEA 커넥터에서 새 Log Exporter로 옮기는 절차입니다.

     cp -v $FWDIR/conf/fwopsec.conf{,_BKP}
     

     vi $FWDIR/conf/fwopsec.conf
     

CPLogToSyslog에서 Log Exporter로

기존 CPLogToSyslog에서 새 Log Exporter로 옮기는 절차입니다.

특수 로그 필드

Syslog-NG Listener 구성

Syslog NG 서버에서 source를 구성할 때 syslog-protocol 플래그를 쓰기를 권장 합니다. 예:

source s_network { network(transport("tcp") port(514) flags(syslog-protocol) ); };

Splunk Listener 구성

sourcetype 에 다음 시간 설정을 추가하기를 권장합니다.

TIME_FORMAT = %s
TIME_PREFIX = time=
MAX_TIMESTAMP_LOOKAHEAD = 15

ArcSight Listener 구성

Log Exporter 솔루션은 OPSEC LEA 커넥터와는 동작하지 않 습니다. 대신 ArcSight Syslog-NG 커넥터 를 설치해야 합니다.

ArcSight CEF(Common Event Format) 매핑

CEF는 확장 가능한 텍스트 기반 형식으로, 가장 관련성 높은 정보를 제공해 여러 장치 유형을 지원합니다. 메시지 구문은 ESM 정규화에 맞도록 간소화돼 있습니다. 구체적으로 CEF는 표준 헤더와 가변 확장(key-value 쌍) 으로 이뤄진 로그 레코드 구문을 정의합니다. 온프레미스 장치에서는 ArcSight Syslog SmartConnector로, 클라우드 서비스에서는 ArcSight Common Event Format REST용 SmartConnector로 쓸 수 있습니다.

CEF Header 형식

QRadar LEEF(Log Event Extended Format) 매핑

LEEF는 IBM Security QRadar용으로 맞춤화된 이벤트 형식입니다.

LEEF Header 형식

다음으로 밀리초 단위 시각으로 내보내는 특수 옵션은 밀리초 단위 로그에서, 첨부를 자동으로 가져오는 API는 로그 API와 첨부 파일 API에서 이어집니다.