Athena

VPC에서 아웃바운드로 향하는 모든포트를 확인해야하는 일이 생겼다. 그래서 이전 포스팅에서 먼저 과거의 방법을 이용해서 확인했고 이번에는 S3로 전송하여 보려한다. 아래는 이전의 방법으로 확인한 포스팅이다. https://linuxer.name/2020/06/aws-vpc-flowlog-kinesis-athena/ 현재에는 이런 방법을 사용하지 않는다. 위에 작성한 방법은 ETL 과정을 거치는건데 사실 이렇게 할필요가 전혀없다. https://docs.aws.amazon.com/ko_kr/athena/latest/ug/vpc-flow-logs.html 그냥 이거 따라하면 된다. VPC-Flowlog 활성화 -S3 -athena 이렇게 간소화 되었다. S3로 보내도록 로그를 생성한다. S3 버킷 생성하는 부분은 생략한다. CREATE EXTERNAL TABLE IF NOT EXISTS vpc_flow_logs ( version int, account string, interfaceid string, sourceaddress string, destinationaddress string, sourceport int, destinationport int, protocol int, numpackets int, numbytes bigint, starttime int, endtime int, action string, logstatus string ) PARTITIONED BY (date date) ROW FORMAT DELIMITED FIELDS TERMINATED BY ’ ' LOCATION ‘s3://your_log_bucket/prefix/AWSLogs/{subscribe_account_id}/vpcflowlogs/{region_code}/’ TBLPROPERTIES (“skip.header.line.count”=“1”); ...

아웃바운드로 연결되는 모든 포트를 확인하기위해 flowlog 를 이용해야 했다. 먼저 흐름을 그려보자. https://aws.amazon.com/ko/blogs/big-data/analyzing-vpc-flow-logs-with-amazon-kinesis-firehose-amazon-athena-and-amazon-quicksight/ VPCflowlog enable -> cloudwatch loggroup -> lambda -> kinesis -> s3 이게 일단 저장하는 프로세스다. 지금은 좀더 간소화된 과정이 있으나 먼저 이전에 나온 방법을 학습하기 위해 이방법을 택했다. 먼저 저장 프로세스를 만들어보자. https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/flow-logs.html VPCflowlog 는 이런식으로 생성했다. 여기서 중요한것은 대상 로그 그룹이다. 역할은 자동생성 눌러서 그냥 만들어주자. 로그그룹은 따로 쌓기 위해서 새로만들어줬다. 로그그룹을 만들었다면 lambda를 생성하자. 람다는 어려울게 없다. ...