김붕어

kube-state-metrics는 Kubernetes API 서버에서 데이터를 읽어와, 클러스터 리소스의 현재 상태를 Prometheus 형식의 메트릭으로 변환해 노출하는 Exporter입니다. 1. kube-state-metrics 특징 읽기 전용(Read-only)API Server에 대해 읽기 전용 접근만 수행노출하는 정보 Kubernetes 리소스들의 상태 정보 Deployments의 현재/원하는 파드 수 노드 상태 및 라벨 파드 상태 네임스페이스 상태 PVC(퍼시스턴트 볼륨 클레임)의 바인딩 여부 등 데이터 포맷: Prometheus에서 수집 가능한 형식 (/metrics 엔드포인트에서 노출) 자체 저장 없음: kube-state-metrics는 데이터를 저장하지 않고 단순히 API에서 읽..

개요 amp은 프로메테우스 모니터링 서비스입니다. 장점 - 프로메테우스 서버(pod)를 이중화 하지 않아도 됩니다. - 사용하는 만큼 비용을 지불하기 때문에 볼륨(PV, EFS) 설정을 하지 않아도됩니다. - pod를 관리할 필요없으며, 확장성, 가용성 및 보안을 누릴 수 있습니다. 단점 : - prometheus Dashboard가 없어서 사용하기 불편합니다. - awscurl으로 query URL으로 메트릭 정보 및 알람 정보를 봐야합니다. - AlertManager Dashboard가 없어서 사용하기 불편합니다. - Rule Management를 yaml형태로 업로드해서 사용해야합니다. - Alert Manager에 yaml형태로 업로드해서 사용해야합니다. - Alert은 SNS만 지원됩니다. - ..

개요 prometheus server가 exporter 메트릭을 수집(scrape) 갑니다. exporter 메트릭을 수집(scrape)하기 위해서는 "ScrapeConfigs" 설정에서 job_name 별로 설정해야합니다. https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config 1. Scrape 옵션 설명 job_name : 수집한 데이터를 구분하기 위한 이름입니다. scrape_interval : 수집할 간격 metrics_path : URL Path static_configs : 지정한 Target IP만 데이터를 수집합니다. kubernetes_sd_configs : SD(Servic..

개요 BlackBox exporter를 이용하여 외부에 있는 엔드포인트 서비스를 모니터링 할 수 있습니다. HTTPS, HTTP, TCP, DNS, ICMP 등 외부 엔드포인트 probe(조사) 할 수 있습니다. 엔드포인트 모니터링은 HTTP 대기 시간 DNS 조회 대기 시간 SSL 인증서 만료 정보 TLS 버전 HTTP Version 접속 정보 (status 200, 4xx 등) 링크 https://github.com/prometheus/blackbox_exporter https://www.infracloud.io/blogs/monitoring-endpoints-kubernetes-blackbox-exporter/ 1. whitebox와 blackbox 모니터링 차이점 whitebox 모니터링 어플리케..

Prometheus Chart 파일에서 알람 받을 규칙을 설정합니다. 알람 규칙을 Web Console에서 할 수 없습니다. [ 작업 순서 ] 1. Alert Rule 규칙 생성 2. Prometheus 재배포 3. Prometheus에서 Rule 설정 확인 4. Prometheus에서 Rule 감지 확인 5. Slack Alert 확인 Alert 가이드 https://godekdls.github.io/Prometheus/alerting.overview/ https://samber.github.io/awesome-prometheus-alerts/rules.html 1. 선행 작업 promethues에서 Alert이 발생하면 Slack으로 전달 받을 수 있도록 설정 Slack Alert 설정 방법 : h..

개요 Prometheus Alertmanager는 Prometheus 모니터링 시스템의 알림 관리 도구입니다. Prometheus는 감시 대상을 주기적으로 폴링하고 지표를 수집하여 저장합니다. 이러한 지표를 분석하고 규칙을 정의하여 문제가 발생하면 이를 감지하고 알림을 발생시킵니다. 이때 Alertmanager는 Prometheus가 생성한 알림을 처리하고 관리하는 역할을 합니다. Alertmanager는 알림을 필터링하고 그룹화하여 수신 대상을 선택하고 다양한 방법으로 알림을 전송할 수 있습니다. 또한 Alertmanager는 중복 알림을 방지하고 알림 상태를 추적하여 중복 알림을 생성하지 않도록 보장합니다. 따라서 Alertmanager는 Prometheus 모니터링 시스템의 중요한 구성 요소 중 하..

exporter 종류 내용 grok nginx metrics, log 수집 blackbox port 정보 수집 process 프로세스 관련 정보 수집

개요nginx log exporter는 nginx log metrics 정보를 수집해주는 역할을 합니다.nginx log exporter 메뉴얼 : https://github.com/martin-helmich/prometheus-nginxlog-exporter Nginx 설정1. nginx log 설정 nginx 엑세스 로그 포맷에서는 “request_time” 옵션이 빠져있다.“request_time” metrics 수집을 위해서 설정해준다.log_format를 아래와 같이 수정해준다.sudo vi /etc/nginx/nginx.conf... 중간 생략 ...http { log_format main '$remote_addr - $remote_user [$time_local] ' ..

개요 nginx exporter는 nginx metrics 정보를 수집해주는 역할을 합니다. Nginx exporter 메뉴얼 : https://github.com/nginxinc/nginx-prometheus-exporter Nginx 설정 1. 모듈 확인 nginx 관련 metrics를 수집하기 위해서는 “ngx_http_stub_status_module” Enable 설정이 필요합니다. ngx_http_stub_status_module Enable 설정 확인 nginx -V 2>&1 | grep -o with-http_stub_status_module with-http-_stub_status_module 2. nginx 설정 metrics 접근 가능한 경로 설정 http dirctive내에 serv..

node exporter 이란? 서버에 Node exporter를 설치하고 프로메테우스 서버가 데이터를 수집해간다. 1. EC2에 node-exporter 설치 # node-exporter 다운로드 wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz # node-exporter 설정 tar xvfz node_exporter-0.17.0.linux-amd64.tar.gz sudo cp node_exporter-1.3.1.linux-arm64/node_exporter /usr/local/bin/ sudo useradd -M -r -s /bin/false n..