모니터링 조회

인쇄

수정 날짜: 2018-10-11 15:19

Grafana는 시각화도구로서 Metric정보를 읽어와서 Query를 이용하여 사용자가 알아보기 쉽게 여러 형태로 Dashboard를 구성, 정보들을 확인할 수 있습니다. 수집된 Metric정보들이 일정수치 이상이나 상태가 변동되었을 때 설정된 alarm을 통해서 여러 곳으로(slack, opsgenie, E-mail 등) 관련내용을 전달할 수도 있습니다.

Grafana에 대한 자세한 내용이나 다운로드를 하고 싶으시다면 Grafana 홈페이지를 참고하시기 바랍니다.

본 가이드에서는 Grafana의 Dashboard 사용법 및 각 항목에 대해 설명 합니다.

서비스를 사용하기 위해서는 ZCP Console 사이드 메뉴에서 모니터링 을 클릭 합니다.

모니터링 화면 - Grafana
- Grafana Dashborad
- Dashboard 종류 (13개)

모니터링 화면 - Grafana

Grafana Dashborad

상단의 Home 메뉴 선택
펼쳐진 메뉴들 확인
최근에 선택했던 Dashboard(Recent)와 기본구성 Dashboard(4개)
기본구성 Dashboard 선택
선택한 Dashboard 확인

Dashboard 종류 (13개)

Addon Dashboards

ElasticSearch : elasticsearch에 대한 정보들을 표시 (JVM, CPU, Memory, Documents, Indices 등)

Group 명	Pannel 명	설명
KPI	Cluster health	elasticsearch cluster의 현재 상태 (N/A / Green / Yellow / Red)
	Tripped for breakers	cluster가 깨져서 tripeed된 평균값
	CPU usage Avg.	CPU 평균 사용량
	JVM memory used Avg.	JVM memory 평균 사용량
	Nodes	Number of nodes in the cluster.
	Data nodes	Number of data nodes in the cluster.
	Pending tasks	Cluster level changes which have not yet been executed.
	Openfile descriptors per cluster	elasticsearch에서 진행되는 open file수의 합계
Shards	Active primary shards	The number of primary shards in your cluster. This is an aggregate total across all indices.
	Active shards	Aggregate total of all shards across all indices, which includes replica shards.
	Initializing shards	Count of shards that are being freshly created.
	Relocating shards	The number of shards that are currently moving from one node to another node.
	Delayed shards	Shards delayed to reduce reallocation overhead.
	Unassigned shards	The number of shards that exist in the cluster state, but cannot be found in the cluster itself.
JVM Garbage Collection	GC count	Gabage Collection에서 처리하는 개수
JVM Garbage Collection	GC time	Gabage Collection에서 처리하는 시간
CPU and Memory	Load average	elasticsearch에서 사용하는 Load 평균
	CPU usage	elasticsearch에서 사용하는 CPU 사용량
	JVM memory usage	elasticsearch에서 사용하는 JVM memory 사용량
	JVM memory committed	elasticsearch에서 commit하는데 사용하는 JVM memory 사용량
Disk and Network	Disk usage	elasticsearch에서 사용하는 Disk 사용량
Disk and Network	Network usage	elasticsearch에서 사용하는 Network 사용량
Documents	Documents count on node	data node에 저장된 document 개수
	Documents indexed rate	document들이 index된 비율
	Documents deleted rate	document들이 delete된 비율
	Documents merged rate	document들이 merge된 비율
	Documents merged bytes	document들이 merge된 용량(bytes)
Times	Query time	Query 실행 시간
	Indexing time	Indexing 실행 시간
	Merging time	Merging 실행 시간
	Throttle time for index store	index를 저장하기 위한 throttle 시간
Indices: Count of documents and Total size	Count of documents with only primary shards	primary shard들의 document 개수
	Total size of stored index data in bytes with only primary shards on all nodes	primary shard들이 저장된 index data의 총용량
	Total size of stored index data in bytes with all shards on all nodes	모든 shard들이 저장된 index data의 총용량
Indices: Index writer	Index writer with only primary shards on all nodes in bytes	primary shard들이 index로 쓰여지고 있는 용량
Indices: Index writer	Index writer with all shards on all nodes in bytes	모든 shard들이 index로 쓰여지고 있는 용량

ZCP Services Status : 'zcp-system' namespace의 health check (CPU usages, 상태값)

Pannel 명	내용
Duration	probe duration seconds
Status : alertmanager	alertmanager health (UP / DOWN)
alertmanager Status Code	alertmanager 상태코드
Status : grafana	grafana health (UP / DOWN)
grafana Status Code	grafana 상태코드
Status : prometheus	prometheus health (UP / DOWN)
prometheus Status Code	prometheus 상태코드

Cluster Dashboards

Etcd Cluster : Etcd 상태값 (RPC Rate, DB Size, Disk Sync Duration 등)

Pannel 명	설명
Etcd has a leader?	Etcd가 leader를 가지고 있는지 체크 (YES / NO)
The number of leader changes seen	Etcd leader가 바뀐 개수
The total number of failed proposals seen	proposal이 실패한 총 개수
RPC Rate	gRPC가 5분 동안 시작되거나 handling된 개수
Etcd DB Size	Etcd debugging mvcc db total size in bytes
Etcd Disk Sync Duration	5분 동안 etc disk가 wal fsync한 총 개수 (Histogram 99)
Etcd Memory	'etcd' job의 메모리 사용량
Etcd Client Traffic In	etcd network client gRPC가 5분 동안 받았던 traffic 총 개수
Etcd Client Traffic Out	etcd network client gRPC가 5분 동안 보냈던 traffic 총 개수
Etcd Peer Traffic In	etcd network peer가 5분 동안 받았던 traffic 총 개수
Etcd Peer Traffic Out	etcd network peer가 5분 동안 보냈던 traffic 총 개수
Etcd Proposals rate(Fail,Pending,commit,apply)	etcd server가 5분 동안 proposal한 총 committed 개수
Etcd Disk operations(AVG)	etcd disk가 2분 동안 backend commit한 총 개수
Network	etcd network client gRPC가 2분 동안 받았던 traffic 총 개수
Snapshot duration	Abnormally high snapshot duration (snapshot_save_total_duration_seconds) indicates disk issues and might cause the cluster to be unstable.

Kubernetes: Cluster Overview : 전체/Node평균/Cluster평균 Resource에 대한 정보 (Node/Pod/Container 수, CPU/Memory/Network Usage 등)

Group 명	Pannel 명	설명
Resource Dashboard	Alertmanager Alerts Firing	Alert 총 개수
	Node Not Ready	Node가 'Not Ready' 상태인 개수
	Node Unschedulable	Node가 'Unschedulable' 상태인 개수
	Node Memory Pressure	Node가 'Memory Pressure' 상태인 개수
	Node Disk Pressure	Node가 'Disk Pressure' 상태인 개수
	Running Pod Total	현재 'Running' 상태인 Pod의 개수
	Running Pod Total by Node	각 노드에서 현재 'Running' 상태인 Pod의 개수
	Running Container Total	현재 'Running' 상태인 Container의 개수
	Running Container Total by Node	각 노드에서 현재 'Running' 상태인 Container의 개수
Node Resource Usage	Number of Node	현재 클러스터 내 노드의 총 개수
	Total CPU	현재 클러스터 내 노드의 CPU 합계
	Used Memory	현재 클러스터 내 노드의 Memory 사용양
	Total Memory	현재 클러스터 내 노드의 Memory 합계
	DIsk Usage	현재 클러스터 내 노드의 DIsk 사용양
	DIsk Total	현재 클러스터 내 노드의 DIsk 합계
	Avg CPU Usage	현재 클러스터 내 노드의 CPU 평균 사용양
	Avg Memory Usage	현재 클러스터 내 노드의 Memory 평균 사용양
	Avg Disk Usage	현재 클러스터 내 노드의 Disk 평균 사용양
	Network Usage (Node NIC)	현재 클러스터 내 노드의 Network 사용양
Cluster Resource Usage	Cluster CPU Usage(Used/Total)	현재 클러스터 내 노드의 CPU 전체 중 사용양(%) - 부가적으로 밑에 전체 CPU 양(Core)과 사용된 양도 표기됨
	Cluster Memory Usage(Used/Total)	현재 클러스터 내 노드의 Memory 전체 중 사용양(%) - 부가적으로 밑에 전체 Memory 양(Gib)과 사용된 양도 표기됨
	Cluster DIsk Usage(Used/Total)	현재 클러스터 내 노드의 DIsk 전체 중 사용양(%) - 부가적으로 밑에 전체 DIsk 양(Gib)과 사용된 양도 표기됨
	Pod Count by namespace	Namespace별로 kubernetes에 등록된 Pod의 개수
	Container Count by namespace	Namespace별로 kubernetes에 등록된 Container의 개수

Kubernetes: Performance Overview : API Server Requests/Latency, Pod/Container Running Trands, Creating Rate 등

Pannel 명	설명
APIServer Request Rate	APIServer에서 2분 단위로 Request한 합계
APIServer Latency	APIServer가 request latencies한 평균
Kubelet POD Start Latency	Latency in microseconds for a single pod to go from pending to running. Broken down by podname.
Running Pod Trands	kubelet에서 'running'상태인 pod의 개수
Create Rate of Pods	kubelet에서 2분 동안 새로 생성된 Pod의 비율
Running Containers Trands	kubelet에서 'running'상태인 Containers의 개수
Create Rate of Containers	kubelet에서 2분 동안 새로 생성된 Container의 비율

Kubernetes: Resource Requests : Node의 CPU/Memory usages, Pod count에 대한 정보를 표시

Pannel 명	설명
Cluster CPU(Allocated/Request)	This represents the total [CPU resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#meaning-of-cpu) in the cluster. For comparison the total [allocatable CPU cores](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.
Cluster Memory(Allocated/Request)	This represents the total [memory resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#meaning-of-memory) in the cluster. For comparison the total [allocatable memory](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.
Cluster Pod(Allocated/Request)	This represents the total [memory resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#how-pods-with-resource-limits-are-run) in the cluster. For comparison the total [allocatable memory](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.

Pannel 명

설명

Cluster CPU(Allocated/Request)

This represents the total [CPU resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#meaning-of-cpu) in the cluster.

For comparison the total [allocatable CPU cores](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.

Cluster Memory(Allocated/Request)

This represents the total [memory resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#meaning-of-memory) in the cluster.

For comparison the total [allocatable memory](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.

Cluster Pod(Allocated/Request)

This represents the total [memory resource requests](https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#how-pods-with-resource-limits-are-run) in the cluster.

For comparison the total [allocatable memory](https://github.com/kubernetes/community/blob/master/contributors/design-proposals/node-allocatable.md) is also shown.

Container Dashboards

Kubernetes: DaemonSet Overview : Daemonset에 대한 정보 (Replicas, CPU/Memory/Network Usage 등)

Pannel 명	설명
Desired Replicas	기대하는 daemonset Replica 개수
Available Replicas	사용중인 daemonset Replica 개수
Metadata Generation	Metadata로 생성된 daemonset 개수
DaemonSet Create Time	현재로부터 가장 오래 전에 생성된 daemonset의 시간
Total CPU	Daemonset으로 생성된 Container들에서 사용된 CPU의 합계 (Core)
Total Memory	Daemonset으로 생성된 Container들에서 사용된 Memory의 합계 (MiB)
Total Network	Daemonset으로 생성된 Container들에서 사용된 Network의 합계 (MBps)
CPU Usage	Daemonset으로 생성된 Container의 CPU의 사용량
Memory Usage	Daemonset으로 생성된 Container의 Memory의 사용량
Replicas Status	Daemonset의 Replica들의 상태 (Ready / Available / Unavailable / Misscheduled)

Kubernetes: Deployment Overview : Deployment에 대한 정보 (Replicas, CPU/Memory/Network Usage 등)

Pannel 명	설명
Desired Replicas	기대하는 deployment Replica 개수
Available Replicas	사용중인 deployment Replica 개수
Observed Generation	Observed로 생성된 deployment 개수
Metadata Generation	Metadata로 생성된 deployment 개수
Deployment Create Time	현재로부터 가장 오래 전에 생성된 deployment의 시간
AVG CPU	Deployment으로 생성된 Container들에서 사용된 CPU의 평균 (Core)
AVG Memory	Deployment으로 생성된 Container들에서 사용된 Memory의 평균 (MiB)
AVG Network	Deployment으로 생성된 Container들에서 사용된 Network의 평균 (kBps)
CPU Usage	Deployment으로 생성된 Container의 CPU의 사용량
Memory Usage	Deployment으로 생성된 Container의 Memory의 사용량
Replicas Status	Deployment의 Replica들의 상태 (Ready / Available / Unavailable / Misscheduled)
Spec	Deployment의 Replica들의 Spec (Replicas / Paused)

Kubernetes: POD Overview : Pod에 대한 정보 (Pod의 status, restart count, pod에서 사용된 CPU/Memory/Network Usage 표시

Pannel 명	설명
POD Count	선택한 Namespace에 있는 Pod의 개수
Pod Status	선택한 Namespace, Pod의 상태 (Failed / Pending / Running / Succeeded / Unknown)
Pod Restart Count	선택한 Namespace, Pod의 Restart 개수
POD/Container CPU Usage	선택한 Namespace, Pod의 Container에서 사용된 CPU의 사용량 및 추이
POD/Container Memory Usage	선택한 Namespace, Pod의 Container에서 사용된 Memory의 사용량 및 추이
POD/Container Network Usage	선택한 Namespace, Pod의 Container에서 사용된 Network의 사용량 및 추이

Kubernetes: StatefulSets Overview : StatefulSets에 대한 정보 (Replicas, CPU/Memory/Network Usage 등)

Pannel 명	설명
Desired Replicas	기대하는 statefulset Replica 개수
Available Replicas	사용중인 statefulset Replica 개수
Observed Generation	Observed로 생성된 statefulset 개수
Metadata Generation	Metadata로 생성된 statefulset 개수
Statefulset Create Time	현재로부터 가장 오래 전에 생성된 statefulset의 시간
Total CPU	Statefulset으로 생성된 Container들에서 사용된 CPU의 합계 (Core)
Total Memory	Statefulset으로 생성된 Container들에서 사용된 Memory의 합계 (MiB)
Total Network	Statefulset으로 생성된 Container들에서 사용된 Network의 합계 (MBps)
CPU Usage	Statefulset으로 생성된 Container의 CPU의 사용량
Memory Usage	Statefulset으로 생성된 Container의 Memory의 사용량
Replicas Status	Statefulset의 Replica들의 상태 (Corrent / Available)

System Dashboards

System Disk Space : 각각의 Node에서 사용된 Disk Usage 추이

Pannel 명	설명
Root Disk 용량 체크	Amount of disk space used and available on various mount points. Running out of disk space on OS volume, database volume or volume used for temporary space can cause downtime. Some storage may also have reduced performance when small amount of space is available.

System Usage Overview : 각각의 Node에서 사용량 정보 (Idle cpu, DISK I/O, Network received/transmitted, Memory/Disk Usage 등)

Pannel 명	설명
CPU Core 별 Idle	선택한 Node 내의 CPU들의 5분 동안 Idle 평균
System Load(1,5,15)	선택한 Node가 평균적으로 load되는 비율 (1분 / 5분 / 15분)
Memory Usage	선택한 Node에서 사용된 memory의 종류별 사용량(memory used / memory buffers / memory cached / memory free)
Memory Usage	선택한 Node에서 사용된 memory의 총 사용비율(%)
DIsk I/O	선택한 Node에서 사용된 DIsk의 종류별 사용량(read / written)
Disk Usage	선택한 Node에서 사용된 DIsk의 총 사용비율(%)
Network Interface 별 Received(Byte)	선택한 Node에서 5분 동안 network로 받았던 bytes 양
Network Interface 별 Transmitted(Byte)	선택한 Node에서 5분 동안 network로 보냈던 bytes 양

System: Overview : 각각의 Node에 대한 요약 정보 (Load Average, Swap, CPU/Memory/Network Usage 등)

Pannel 명	설명
System Uptime	선택한 Node의 선택한 Interval 시간 동안 system에서 uptime된 시간
Virtual CPU	선택한 Node의 현재 Virtual CPU 할당량
RAM	선택한 Node의 현재 Memory 할당량
Memory Available	선택한 Node의 현재 Memory 사용비율(%)
Load Average	선택한 Node의 선택한 Interval 시간의 평균 Load (min, max, avg 따로 표시)
Memory	선택한 Node의 선택한 Interval 시간의 종류별(Total / Used / Available) Memory 사용량(Gib) - min, max, avg 따로 표시
CPU Usage	선택한 Node의 선택한 Interval 시간의 idle / user / system / steal / iowait / softirq / nice CPU 사용비율(%) - min, max, avg 따로 표시
Memory Distribution	선택한 Node의 선택한 Interval 시간의 종류별(Cached / Used / Free / Buffers) Memory Distribution 사용량(Gib) - min, max, avg 따로 표시
Network Traffic(KBps)	선택한 Node의 선택한 Interval 시간의 종류별(각 항목별 Inbound / Outbound) Network Traffic 사용량(kBps) - min, max, avg 따로 표시
Network Utilization	선택한 Node의 선택한 Interval 시간의 종류별(Sent / Received) Network Utilization 사용량(MiB) - min, max, avg 따로 표시
Swap	선택한 Node의 선택한 Interval 시간의 종류별(Used / Free) Swap 사용량(B) - min, max, avg 따로 표시
Swap Activity	선택한 Node의 선택한 Interval 시간의 종류별(Swap In / Swap Out) Swap Activity 사용량(Bps) - min, max, avg 따로 표시

Dashboard 작성 Guide

http://docs.grafana.org/reference/templating/

온라인상담

문의하기