여리의 기술블로그

TL;DRS3 버킷당 Event Notification 100개 제한에 부딪혀 Managed File Events(MFE)로 전환했습니다. 공식 문서는 간단해 보이지만, CDC 환경에서는 문서대로 하면 데이터 유실이 발상할 수 있습니다. 이 글에서는 CDC 파이프라인에서 MFE로 안전하게 전환하는 방법과, 문서에 없던 함정들을 공유합니다.문제 상황: S3 Event Notification 한계에 부딪히다Aurora MySQL에서 DMS를 통해 S3로 CDC 데이터를 적재하고, Databricks Delta Live Tables(DLT)로 ETL 파이프라인을 운영하고 있었습니다. 초기에는 Auto Loader의 Legacy File Notification 모드를 사용했는데, 파이프라인이 늘어나면서 한계에 ..

Cursor에서는 다양한 생성형 AI 모델을 제공해줍니다. 무료로 사용하는 사람들도 조금은 사용할 수 있지만 조금 쓰다보면 quota를 넘기기 일쑤입니다. 그래서 많은 사람들이 Cursor를 Pro plan 이상으로 비용을 내면서 사용하고 있습니다. 오늘은 cursor AI의 OpenAI 모델을 Bedrock Access Gateway로 대체하여 Cursor + Bedrock 연동을 해보도록 하겠습니다.먼저 Bedrock Access Gateway를 구성해봅시다. 그 전에 사용하고자 하는 Bedrock 모델을 활성화 해줍니다.https://us-west-2.console.aws.amazon.com/bedrock/home?region=us-west-2#/modelaccess https://us-west-2..

실습환경 구성 배포cloudformation template를 적용하여 stack을 배포하겠습니다.https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/kans/eks-oneclick.yaml     stack 이름을 myeks로 설정한 다음 배포해줍니다. cloudformation stack이 모두 완료되는 시간은 20분정도 소요될 수 있습니다. 모든 리소스가 생성된 이후에는 ec2에서 bastion host를 통해서 클러스터에 접근할 수 있습니다. 배포 확인 # default 네임스페이스 적용kubectl ns default# 설치 확인kubectl cluster-info# 클러스터 정보 확인eksctl get cluster# 클러..

이번 주는 Cilium CNI에 대해서 공부한 내용을 정리해보고자 합니다.  실습 환경 구성  배포 실습환경 구성은 이전에 한 방법과 같이 cloudformation template를 배포합니다.#cloudformation template urlhttps://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/kans/kans-8w.yaml clouformation template은 3분이내에 배포가 완료되지만, 생성된 ec2의 userdata가 모두 구성되는데 시간이 소요될 수 있습니다.배포 후 5~7분 정도 지난 후 접속해보시는 걸 권장드립니다.  배포확인 배포가 완료되었는지 확인을 위해 ssh 접속한 뒤, 환경을 확인해보겠습니다.클러스터 기본..

실습환경 구성 실습 templatehttps://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/kans/kans-7w.yaml 위 url을 cloudformation stack 으로 실행합니다. stack name, keyName 등을 적절히 선택해줍니다. cloudformation에서 생성된 리소스는 다음과 같이 확인이 가능합니다. Istio 소개개요MSA 환경에서 시스템 전체의 모니터링의 어려움과 운영 중 장애 발생시 원인과 문제점을 찾기가 어려워졌습니다. 이를 해결하기 위해 네트워크 통신의 안정성과 보안, o11y 등의 요구사항이 증가하였습니다. 이런 문제점들의 해결책으로 서비스메시가 등장하였습니다. istio는 서비스메시의 구현체중 하..

이전 이야기 앞서, Ingress 에서 Ingress는 더이상 개발이 없다고 언급했습니다. GatewayAPI 리소스가 새롭게 등장하였고, Ingress가 했던  작업을 Gateway API에서 지원되기 때문입니다. Gateway API기능gatewayAPI의 주된 기능은 다음과 같습니다.개선된 리소스 모델GatewayClass, Gateway 및 Route(HTTPRoute, TCPRoute 등)와 같은 새로운 사용자 정의(CRD) 리소스를 도입하여 라우팅 규칙을 정의하는 보다 세부적이고 표현력 있는 방법을 제공합니다.프로토콜 독립적Gateway API는 TCP, UDP, TLS를 포함한 여러 프로토콜을 지원합니다. (Ingress는 HTTP용으로 설계됨)강화된 보안TLS 구성 및 보다 세부적인 액세스..

실습환경 구성하기실습환경은 지난 번과 동일하게 cloudformation으로 구성합니다. 먼저, 실습 template를 입력합니다.https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/kans/kans-6w.yaml  그 뒤에 파라미터를 입력해줍니다.stack name은 적절히 mylab으로 입력했습니다.ec2 key-pair 이름은 이전에 만들어 둔 키페어를 재활용했습니다.t3.medium이 기본 값이지만 필요시 더 큰 사이즈의 인스턴스로 변경하시면 됩니다.  모든 입력을 완료 한 후 submit을 클릭하여 스택을 배포합니다. 잠시 기다리면 모든 배포가 완료된 것을 확인할 수 있습니다. 4대의 인스턴스가 생성되어 있는 걸 알 수 있습..

LoadBalancer 타입 Service서비스는 분산된 애플리케이션의 단일 외부 엔드포인트를 노출할 수 있도록 해줍니다. 서비스 유형은 Cluster IP, NodePort, LoadBalancer, ExternalName 등이 있습니다.  이중 ClusterIP는 클러스터 내부에서만 서비스에 접근 가능하고 NodePort는 각 노드와 포트 ip를 통해 외부에서 접근 가능합니다. 클러스터 외부에 노출시키기에 우아한 방법은 아닙니다. LoadBalancer 유형의 서비스는 외부의 로드밸런서를 이용하여 클러스터의 서비스를 외부에 노출시키는 유형입니다. 이번 시간에는 로드밸런서 타입의 서비스에 대해서 살펴보도록 하겠습니다.  실습환경 구성하기실습환경 구성에서 이전 포스팅과 동일한 부분은 생략하고 차이가 있..

안녕하세요. 이 글은 2024년 9월 24일 Cloud Native Korea Community Day 2024에 참석한 후기를 담고 있습니다. 가장 인상적이었던 주제는 쿠버네티스 스케줄러에 관한 내용이었습니다. 이번 글에서는 쿠버네티스 scheduling에 대한 내용 및 1.30버전부터 GA된 scheduling gate에 대해 다뤄보고자 합니다. scheduler가 하는 일scheduler는 3가지 일을 합니다. scheduling, preemption, eviction 입니다.- scheduling은 신규 pod 생성을 말합니다.- preemption은 더 우선순위가 높은 pod를 생성하기 위해 우선순위가 낮은 pod를 삭제하는 것을 말합니다.- eviction은 리소스가 부족한 노드에서 pod를 ..

Calico 네트워크 모드 칼리코는 다양한 네트워크 모드를 제공합니다.  IPIP 모드 (기본설정)이전 글에서 다뤘던 내용인 만큼 생략하도록 하겠습니다.https://yeoli-tech.tistory.com/44 [KANS 3기] 3주차 Calico CNI (2/3)Calico(이하 ”칼리코“) 알아보기Calico에 대한 공식 문서의 설명에 따르면, calico는 네트워크, 보안 솔루션으로 이용된다고 합니다.Calico is a networking and security solution that enables Kubernetes workloads and noyeoli-tech.tistory.com - 같은 노드 내에서는 파드간 통신시 직접 통신합니다.- 다른 노드에서 파드간 통신은 tunl0 인터페이스를..