김붕어

메트릭 -> otel -> mimir -> grafana 수집이 안될 때 확인하는 방법 1. otel 디버그 prometheus.endpoint: 0.0.0.0:8889 추가curl :8889/metrics 으로 수집된 내용 보기telemetry.logs.level.encoding 추가디버그 모드 로그 보기 exporters: prometheusremotewrite: endpoint: "http://mimir-distributor-headless.monitor.svc:8080/api/v1/push" tls: insecure: true headers: X-Scope-OrgID: "Mimir" prometheus..

kube-state-metrics는 Kubernetes API 서버에서 데이터를 읽어와, 클러스터 리소스의 현재 상태를 Prometheus 형식의 메트릭으로 변환해 노출하는 Exporter입니다. 1. kube-state-metrics 특징 읽기 전용(Read-only)API Server에 대해 읽기 전용 접근만 수행노출하는 정보 Kubernetes 리소스들의 상태 정보 Deployments의 현재/원하는 파드 수 노드 상태 및 라벨 파드 상태 네임스페이스 상태 PVC(퍼시스턴트 볼륨 클레임)의 바인딩 여부 등 데이터 포맷: Prometheus에서 수집 가능한 형식 (/metrics 엔드포인트에서 노출) 자체 저장 없음: kube-state-metrics는 데이터를 저장하지 않고 단순히 API에서 읽..

개요OpenTelemetry = otel으로 부르겠습니다.otel은 AWS EKS에서 POD의 Logs, Metrics, Traces를 수집할 수 있습니다. 1. Otel이 수집하는 Metrics 대상JobcAdvisornode-exporterkubeletkubelet-probeskube-state-metricsPath/metrics/cadvisor/metrics/metrics/metrics/probes/metrics포트10250910010250102508080내용Container(pod) 상태 수집container cpu,meme,disk,network 등Node 정보 수집cpu, mem, disk, network 등노드 및 파드 상태, 성능 메트릭 수집probe 정보 수집liveness 등k8s 리..

개요OpenTelemetry = otel으로 부르겠습니다.otel은 AWS EKS에서 POD의 Logs, Metrics, Traces를 수집할 수 있습니다.[ 기존 Logs 수집 방법 ] WorkerNode -> Fluent-Bit -> Loki -> Grafana WorkerNode -> Promtail -> Loki -> Grafana [ otel Logs 수집 방법 ]WorkerNode -> Otel -> Loki -> Grafana 1. otel 장/단점기존에는 metrics은 prometheus으로 수집하고 logs는 promtail으로 수집하고 Agent가 여러개 였습니다.여러개의 정보를 하나의 otel 1개의 Agent으로 통합해서 수집할 수 있습니다.otel에서 수집(receiver)..

kubectl debug node/xxxnode정보.internal -it --image=busybox -- chroot /host top ps -ef 등 1. kubernetes에서 node 사용량 확인kubectl top no ip-x-x-x-.ap-northeast-2.compute.internal 40m 2% 1983Mi 60% 2. pod 사용량 확인kubectl top pod kubectl top pod -A원하는 노드에서 돌아가는 pod 사용량 확인kubectl get pod -A --output=custom-columns=NAMESPACE:.metadata.namespace,NAME:.metadata.name,NODE:.spec.nodeN..

모니터링 5 단계 설명1. 수집 (Collect)Metrics, Logs, trace 수집2. 가공 (Processor)수집한 데이터를 가공/필터링/집계/라벨링 등 가공3. 전송 (exporter)수집된 데이터를 중앙 저장소으로 전송4. 저장 (Store)데이터를 압축/인덱싱 후 저장시계열 데이터로 저장이되어야지 grafana에서 그래프를 그릴 수 있습니다.5. 분석 및 탐색 (Analyze/Search)저장된 데이터를 검색PromQL, LogQL, trace viewer 등 언어로 검색6. 시각화 및 경보 (Visualize/Alert)저장된 데이터를 데쉬보드 시각화, 알람 설정Grafana, Alertmanager, slack/email

한국 작업자들은 KST (UTC +9) 기준으로 일하고 로그를 보고 해석합니다.UTC으로 로그가 기록되면 몇시에 로그가 찍힌지 +9으로 계산해야하기 때문에 불편합니다. 1. EC2 서버 시간 변경하기# 현재 시간 셋팅값 보기timedatectl Local time: Wed 2025-04-30 02:06:51 UTC Universal time: Wed 2025-04-30 02:06:51 UTC RTC time: Wed 2025-04-30 02:06:50 Time zone: n/a (UTC, +0000) System clock synchronized: yes NTP service: active RTC in local TZ: no# kst 시간을 지원하는지 보기timed..

개요DEV환경은 업무시간에만 사용하는 테스트 환경입니다.업무시간(09:00 ~ 18:00) 외 모든 리소스를 Stop하고 업무시간에는 모든 리소스를 Start 해서 요금을 줄입니다.업무시간 : 09:00 ~ 18:00 (총 9시간)업무시간 외 : 24시간 - 업무시간 (총 15시간) 1DAY : 업무시간 외 Stop을 하면 하루에 15시간 요금을 줄일 수 있습니다.365DAY : 15 * 365 = 5475시간 ( 5475시간 / 24시간 = 228.125일)1년 기준으로 하면 228일 요금을 줄일 수 있습니다. 1. 요금을 줄일 수 있는 리소스EC2RDS DBWorkerNodeFargate 등 2. 요금을 줄이는 스케쥴링 방식Stop & Start 스케쥴링은 여러 방식이 있습니다.이 글에서는 Lamb..

개요Lambda에는 기본적으로 AWS CLI가 없음Lambda 환경은 Python, Node.js 등 런타임만 포함됨aws 명령어는 기본 환경에 포함되어 있지 않음그래서 aws s3 cp, aws kms encrypt 같은 CLI 명령어를 쓰고 싶으면 직접 포함시켜야 해요 Lambda는 코드 사이즈 제한이 있어서, 자주 쓰는 도구나 바이너리는 Layer로 따로 만들어서 붙입니다 1.awscli Layer 사용하는 곳"STOP Fargate POD" Lambda 함수에서 aws cli를 사용합니다.kubectl scale --replicas=0 deploy/이름 명령어를 날리기 위해서는 eks(aws eks update-kubeconfig) 인증을 받아야합니다.eks 인증을 받을 때 aws cli가 필요..

개요DEV환경은 업무시간에만 사용하는 테스트 환경입니다.업무시간(09:00 ~ 18:00) 외 모든 리소스를 Stop하고 업무시간에는 모든 리소스를 Start 해서 요금을 줄입니다.업무시간 : 09:00 ~ 18:00 (총 9시간)업무시간 외 : 24시간 - 업무시간 (총 15시간) 1DAY : 업무시간 외 Stop을 하면 하루에 15시간 요금을 줄일 수 있습니다.365DAY : 15 * 365 = 5475시간 ( 5475시간 / 24시간 = 228.125일)1년 기준으로 하면 228일 요금을 줄일 수 있습니다. 1. 요금을 줄일 수 있는 리소스EC2RDS DBWorkerNodeFargate 등 2. 요금을 줄이는 스케쥴링 방식Stop & Start 스케쥴링은 여러 방식이 있습니다.이 글에서는 Lamb..