AWS-VPC-Flowlog-Athena

VPC에서 아웃바운드로 향하는 모든포트를 확인해야하는 일이 생겼다. 그래서 이전 포스팅에서 먼저 과거의 방법을 이용해서 확인했고 이번에는 S3로 전송하여 보려한다. 아래는 이전의 방법으로 확인한 포스팅이다. https://www.linuxer.name/posts/aws-vpc-flowlog-kinesis-athena/ 현재에는 이런 방법을 사용하지 않는다. 위에 작성한 방법은 ETL 과정을 거치는건데 사실 이렇게 할필요가 전혀없다. https://docs.aws.amazon.com/ko_kr/athena/latest/ug/vpc-flow-logs.html 그냥 이거 따라하면 된다. VPC-Flowlog 활성화 -S3 -athena 이렇게 간소화 되었다. S3로 보내도록 로그를 생성한다. S3 버킷 생성하는 부분은 생략한다. CREATE EXTERNAL TABLE IF NOT EXISTS vpc_flow_logs ( version int, account string, interfaceid string, sourceaddress string, destinationaddress string, sourceport int, destinationport int, protocol int, numpackets int, numbytes bigint, starttime int, endtime int, action string, logstatus string ) PARTITIONED BY (date date) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LOCATION 's3://your_log_bucket/prefix/AWSLogs/{subscribe_account_id}/vpcflowlogs/{region_code}/' TBLPROPERTIES ("skip.header.line.count"="1"); ...

June 4, 2020 · 1 min · 📁 AWS · 🏷️ athena, flowlog

AWS-VPC-flowlog-kinesis-Athena

아웃바운드로 연결되는 모든 포트를 확인하기위해 flowlog 를 이용해야 했다. 먼저 흐름을 그려보자. https://aws.amazon.com/ko/blogs/big-data/analyzing-vpc-flow-logs-with-amazon-kinesis-firehose-amazon-athena-and-amazon-quicksight/ VPCflowlog enable -> cloudwatch loggroup -> lambda -> kinesis -> s3 이게 일단 저장하는 프로세스다. 지금은 좀더 간소화된 과정이 있으나 먼저 이전에 나온 방법을 학습하기 위해 이방법을 택했다. 먼저 저장 프로세스를 만들어보자. https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/flow-logs.html VPCflowlog 는 이런식으로 생성했다. 여기서 중요한것은 대상 로그 그룹이다. 역할은 자동생성 눌러서 그냥 만들어주자. 로그그룹은 따로 쌓기 위해서 새로만들어줬다. 로그그룹을 만들었다면 lambda를 생성하자. 람다는 어려울게 없다. ...

June 4, 2020 · 2 min · 📁 AWS · 🏷️ kinesis, loggroup, athena

AWS-instance-Attach to Auto Scaling Group

나는 몹쓸 고정관념이 있었다. auto scaling group 에서 인스턴스를 분리 하게되면 재연결할수 없다고 생각했다. 아니었다..그저 연결하는 메뉴가 Auto Scaling Group에 존재하지 않았을 뿐이다. 하..멍청멍청. ASG에서 인스턴스를 분리한다. 하나의 인스턴스만 남는다. 내 ASG는 이렇게 설정되어있고 축소정책이 없는 상태라 분리하여도 문제가 없다. 정상적으로 분리된게 확인되면 인스턴스 탭으로 이동하자. 분리된인스턴스에서 인스턴스셋팅을 보면 Attach 메뉴가 있다. 이런식으로 ASG에 인스턴스를 넣어줄수 있다. 정상적으로 추가된것까지 확인된다. -_-;보안그룹 넣는거부터.. ASG까지..또 내가 모르는게 많았다.. ...

May 20, 2020 · 1 min · 📁 AWS · 🏷️ aws, asg, autoscaling

AWS-Advanced-Networking-Specialty

오늘 5월 17일 ANS를 합격했다. 5월6일에 SCS를 보고난 후 개인적인 도전과... 스스로에 대한 점검의 의미로 ANS를 바로 도전하기로 생각했다. GCP-PCA-PCNE를 이어서 보면서 AWS 의 Networking 자격증 또한 취득하고 싶었다. 그래서 5월6일 SCS를 합격하자 마자 그날부터 ANS를 공부했다. 먼저 jayendrapatil님의 블로그를 이전부터 봐왔기에 ANS 가이드와 정리가 있다는것을 알고 있었다. 그래서 먼저 정독했다. https://jayendrapatil.com/aws-certified-advanced-networking-speciality-ans-c00-exam-learning-path/ 그리고 나름의 계획을 세워서 Docs 정독과 BGP - Direct Connect를 주로 공부했다. 그외의 과목들은 SAP와 실무에서 자주하던 내용이라 깊게 고민하진 않았다. ...

May 18, 2020 · 2 min · 📁 AWS, Certification

AWS-S3-api-encrypt

aws bucket ls | xargs -L1 % aws s3api put-bucket-encryption \ --bucket % \ --server-side-encryption-configuration '{"Rules": [{"ApplyServerSideEncryptionByDefault": {"SSEAlgorithm": "AES256"}}]}' s3 api 이용한 모든버킷 AES-256 암호화.

May 14, 2020 · 1 min · 📁 AWS

AWS-VPC-rfc1918

요즘 ANS 공부를 하고 있다. 그러던 와중에 알게된 부분이다. AWS에선 VPC 를 생성할때 RFC1918을 권장한다. 10.0.0.0 - 10.255.255.255 (10/8 prefix) 172.16.0.0 - 172.31.255.255 (172.16/12 prefix) 192.168.0.0 - 192.168.255.255 (192.168/16 prefix) 이 대역이다. 그러던중 IPv4 블록 연결제한 부분을 보게되었다. https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/VPC_Subnets.html#VPC_Sizing IPv4 CIDR 블록 연결 제한 기본 VPC CIDR 블록이 상주하는 IP 주소 범위 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 198.19.0.0/16 공개적으로 라우팅이 가능한 CIDR 블록(비-RFC 1918) 또는 100.64.0.0/10 범위의 CIDR 블록. 간단히 정리하면 해당 RFC1918중 하나의 대역을 사용하면 다른 대역을 사용할수 없는것이다. ...

May 14, 2020 · 1 min · 📁 AWS · 🏷️ aws, vpc

AWS-auto-assign IP settings

기본 VPC의 경우에는 EC2를 생성할때 자동으로 인스턴스에 Public IP가 자동으로 붙는다. 이퍼블릭 IP는 생성되면 뗄수도없고 인스턴스를 종료후 재생성 해야지만 된다. Private subnet 에서도 Public IP가 생성되는것이므로 보안상의 취약점을 초래한다. 따라서 인스턴스를 생성할때는 이렇게 퍼블릭 IP가 비활성화로 생성해야하는데 매번 일일이 신경써서 하기엔 불편하다. VPC-서브넷 에서 자동 할당 IP 설정 수정 옵션을 해제해주면 된다. 해제하고 저장후 인스턴스를 생성해보면 아래와 같이 확인된다. 스샷에서 보이듯 서브넷의 기본설정을 수정하여 자동으로 비활성화 할수있다. ...

May 8, 2020 · 1 min · 📁 AWS · 🏷️ aws, public ip

AWS-GCP-Azure-network-none-rfc1918

VPC를 생성하는 경우, 다음과 같이 /16RFC 1918:규격에 따라 프라이빗(비공개적으로 라우팅 가능) IPv4 주소 범위에 속하는 CIDR 블록( 또는 이하)을 지정하는 것이 좋습니다. -_-;공인IP를 쓸수있는건 아니지만 걍 아무대역 가져다 써도 VPC는 생성 가능하다. 갑자기 궁금해져서 퍼블릭클라우드는 비RFC1918을 지원하는지 모두 테스트 해보았고 모두 지원한다~ DOCS에서 명확하게 적혀있는것은 AWS 뿐이었다. Azure VNet 내에서 사용할 수 있는 주소 범위는 무엇입니까? RFC 1918에 정의되어 있는 모든 IP 주소 범위를 사용할 수 있습니다. 예를 들어 10.0.0.0/16을 사용할 수 있습니다. 다음 주소 범위는 추가할 수 없습니다. ...

May 7, 2020 · 1 min · 📁 AWS, GCP, Azure

AWS-Security-Group-Tip

지금까지는 대량의 IP를 컨트롤 할땐..CLI를 이용하거나.. 한줄씩 넣었다. 그도 그럴게.. (구)인터페이스 를 보면 한번에 하나의 IP만 넣을수 있게 되어있어 보이는 것이다. 그래서 지금까지의 나는 여러개의 IP에 동일한 프로토콜일 경우 여러개의 규칙을 추가했었다. 그런데 오늘 대량의 IP를 추가하려고 보니 CLI를 쓰기 너무 귀찮았다. 그래서..설마 구분자가 먹는거아냐? 싶어서 콤마를 써봤다. ex) 192.168.1.1/32,192.168.2.1/32,192.168.3.1/32,192.168.4.1/32,192.168.5.1/32 다섯개의 32bit IP를 ,로 구분하고 이건 소스 IP에 넣는다 이런식으로..그리고 저장 한꺼번에 추가가 된게 보인다. 그럼 새로운 인터페이스에선? ...

May 7, 2020 · 1 min · 📁 AWS · 🏷️ aws, secuity group, 보안그룹

AWS Certified Security-Specialty-review

5월6일 SCS 시험을 봤다. 결과는 합격이다. 5월4일 연습시험을 봤는데... AWS Certified Security Specialty - Practice 시험에 응시해 주셔서 감사합니다. 다음 정보를 살펴보고 준비가 더 필요한 주제를 확인하십시오. 총점: 65% 주제별 채점: 1.0 Incident Response: 66% 2.0 Logging and Monitoring: 75% 3.0 Infrastructure Security: 83% 4.0 Identity and Access Management: 50% 5.0 Data Protection: 33% 65% 나와서 정말 많이 당황했다. 그래서 공부를 더 많이했다. 시험을 보게된 계기는 master.seo 님의 URL 공유로 부터 시작되었다. udemy 강의가 무료로 풀려서..그걸 한번 봤는데 반타작이 가능했다. ...

May 6, 2020 · 1 min · 📁 AWS, Certification · 🏷️ aws, scs