Zum Inhalt springen

STACKIT Observability-Metriken

Zuletzt aktualisiert am

Dieses Dokument beschreibt die Prometheus-Metriken, die von STACKIT PostgreSQL (über pg_exporter) für den verwalteten Datenbankdienst exportiert werden. Alle Metriken enthalten das Label node_type="primary", da der Dienst mit Patroni für Hochverfügbarkeit konfiguriert ist.

Globale Labels: Alle Metriken enthalten automatisch die folgenden Basis-Labels, um das Deployment zu identifizieren. Um Wiederholungen zu vermeiden, werden sie in den nachfolgenden einzelnen Metriktabellen weggelassen; Sie können sie jedoch bei jeder Abfrage erwarten:

  • region: Die Deployment-Region
  • node: Identifiziert den Komponententyp
  • instance: Die eindeutige Instanz-ID für Kundinnen und Kunden
  • pod: Der spezifische Kubernetes-Pod-Name (Hinweis: Diese globalen Labels ersetzen das bisherige Label node_type="primary").

Gibt an, ob der letzte Scrape erfolgreich eine Verbindung zum Server hergestellt hat (Typ: Gauge)

Dies ist die wichtigste Metrik für das Alerting. Wenn der Wert 0 ist, sind alle anderen Metriken nicht verfügbar.

Zeitpunkt, zu dem der PostgreSQL-Postmaster-Prozess gestartet wurde, in Sekunden seit der Unix-Epoche (Typ: Gauge)

Datenbankdateigröße in Bytes (Typ: Gauge)

Diese Metrik zeigt die aktuelle Größe jeder Datenbank auf dem Server und ist wichtig für die Kapazitätsplanung und für Wachstumstrends.

Gesamter und verfügbarer Speicherplatz für das PostgreSQL-Volume sowie spezifische Verzeichnisgrößen. (Typ: Gauge)

  • pg_disk_space_total_bytes: Auf dem Volume verfügbarer Gesamtspeicherplatz.
  • pg_disk_space_left_bytes: Verbleibender freier Speicherplatz.
  • pg_logdir_size_mb: Größe des Log-Verzeichnisses in Megabyte.
  • pg_waldir_size_mb: Größe des WAL-Verzeichnisses (Write-Ahead Log) in Megabyte.

Beispiel-PromQL für die Speicherplatzbelegung:

# Disk usage %
(
(pg_disk_space_total_bytes{region="$region",instance="$instance",pod="$pod"} - pg_disk_space_left_bytes{region="$region",instance="$instance",pod="$pod"})
/ on(pod, instance, cluster, region)
pg_disk_space_total_bytes{pod="$pod"}
) * 100
# Disk usage size in bytes
pg_disk_space_total_bytes{region="$region",instance="$instance",pod="$pod"} - pg_disk_space_left_bytes{region="$region",instance="$instance",pod="$pod"}

Anzahl der Sperren nach Modus und Datenbank (Typ: Gauge)

Eine hohe Anzahl an Sperren kann auf Ressourcenkonflikte und Performance-Probleme hinweisen. Unter normalen Bedingungen sollten die meisten Sperren bei 0 liegen.

Anzahl der in der Datenbank erkannten Deadlocks (Typ: Counter)

Sollte idealerweise 0 sein. Häufige Deadlocks erfordern eine Abfrageoptimierung auf Anwendungsebene.

Anzahl der Abfragen, die aufgrund von Konflikten mit der Wiederherstellung abgebrochen wurden (Typ: Counter)

Diese Metrik ist hauptsächlich auf Standby-/Replikat-Servern relevant. Ein Wert von 0 ist für primäre Knoten normal.

Maximale Anzahl gleichzeitiger Verbindungen zum Datenbankserver (Typ: Gauge)

Das System verwendet bis zu 15 Verbindungen für interne, essenzielle Prozesse wie Sicherung, Monitoring usw. Diese Verbindungen werden auf das Limit von max_connections angerechnet. Wenn dieses Limit nahezu erreicht ist, sollte Connection-Pooling in Betracht gezogen werden.

Anzahl der aktuell aktiven Backend-Prozesse pro Datenbank (Typ: Gauge)

Anzahl der Verbindungen, gruppiert nach verschiedenen Attributen (Typ: Gauge)

idle in transaction über längere Zeiträume deutet auf Anwendungsprobleme hin. Viele idle-Verbindungen weisen auf eine ineffiziente Verbindungsverwaltung hin.

Misst den grundlegenden Lese-/Schreibdurchsatz sowie die MVCC-Arbeitslast. Alle nachfolgenden Metriken sind vom Typ: Counter und verwenden das Label datname.

  • pg_stat_database_xact_commit: Anzahl der erfolgreich übertragenen Transaktionen. Hohe Werte deuten auf eine intensive Datenbankaktivität hin.
  • pg_stat_database_xact_rollback: Anzahl der zurückgerollten Transaktionen.
  • pg_stat_database_xact_total: Gesamtzahl der ausgeführten Transaktionen.
  • pg_stat_database_tup_fetched: Anzahl der durch Abfragen abgerufenen Zeilen. Hohe Werte zeigen eine intensive Leseaktivität.
  • pg_stat_database_tup_inserted: Anzahl der durch Abfragen eingefügten Zeilen.
  • pg_stat_database_tup_updated: Anzahl der durch Abfragen aktualisierten Zeilen. Aktualisierungen erstellen neue Zeilenversionen (MVCC), weshalb VACUUM wichtig ist.
  • pg_stat_database_tup_deleted: Anzahl der durch Abfragen gelöschten Zeilen. Hohe Löschraten erfordern regelmäßige VACUUM-Operationen.
  • pg_long_running_transaction_count: Anzahl der lang andauernden Transaktionen. (Typ: Gauge)
  • pg_long_running_transaction_oldest_timestamp_seconds: Zeitstempel der ältesten aktiven Transaktion. (Typ: Gauge)

pg_stat_database_blks_hit und pg_stat_database_blks_read

Abschnitt betitelt „pg_stat_database_blks_hit und pg_stat_database_blks_read“

Misst die traditionelle Effizienz des PostgreSQL Shared-Buffer-Caches. (Typ: Counter)

Die Cache-Hit-Ratio wird als blks_hit / (blks_hit + blks_read) berechnet. Das Ziel ist eine Cache-Hit-Ratio von >99% für eine gute Leistung. Hohe Werte für blks_read weisen auf unzureichende Shared Buffers oder einen kalten Cache hin.

Granulare I/O-Monitoring-Metriken, die Operationen nach Kontext und Backend-Typ messen. (Typ: Counter)

  • Operationen: pg_io_hits, pg_io_reads, pg_io_writes, pg_io_extends, pg_io_evictions, pg_io_reuses, pg_io_writebacks, pg_io_fsyncs

  • Zeitmessungen (sofern aktiviert): pg_io_read_time, pg_io_write_time, pg_io_extend_time, pg_io_writeback_time, pg_io_fsync_time, pg_io_reset_time

Hohe Werte deuten auf Abfragen hin, die mehr RAM benötigen, als work_mem zulässt, und daher auf die Festplatte ausgelagert werden. Eine häufige Nutzung temporärer Dateien sollte durch Erhöhen von work_mem oder Optimieren der Abfragen behoben werden.

  • pg_stat_database_temp_bytes: Gesamte Datenmenge, die in temporäre Dateien geschrieben wurde, in Bytes. (Typ: Counter)
  • pg_stat_database_temp_files: Anzahl der erstellten temporären Dateien. (Typ: Counter)

Verfolgt die Effizienz des Background-Writer-Prozesses beim Bereinigen von Dirty Buffers. (Alle Typ: Counter, außer Reset-Zeit)

  • pg_stat_bgwriter_buffers_alloc_total / _clean_total / _backend_total / _backend_fsync_total / _checkpoint_total
  • pg_stat_bgwriter_checkpoints_timed_total / _req_total
  • pg_stat_bgwriter_checkpoint_write_time_total / _sync_time_total
  • pg_stat_bgwriter_maxwritten_clean_total
  • pg_stat_bgwriter_reset_time_seconds (Typ: Gauge)

Verfolgt SLRU-Caches (wie subtrans, multixact, commit-Zeitstempel). Zu den Metriken gehören pg_slru_blks_exists, _hit, _read, _written, _zeroed, pg_slru_flushes, _truncates und pg_slru_reset_time.

  • pg_is_in_recovery: 1, wenn sich der Knoten als Replikat/Standby im Recovery befindet, 0, wenn er primär ist. (Typ: Gauge)
  • pg_wal_bytes: Gesamte generierte WAL-Bytes. (Typ: Counter)
  • pg_wal_records: Anzahl der generierten WAL-Datensätze. (Typ: Counter)

Verfolgung von Hintergrund- und manuellen Vacuum-Operationen:

  • pg_vacuuming_progress
  • pg_vacuuming_delay_time
  • pg_vacuuming_dead_tuple_bytes
  • pg_vacuuming_indexes_processed
  • pg_vacuuming_indexes_total

Einstellungen und Cgroups (Systemeinschränkungen)

Abschnitt betitelt „Einstellungen und Cgroups (Systemeinschränkungen)“

Zeigt die derzeit konfigurierten Limits und Grenzen an. (Typ: Gauge)

Verfolgt die Einschränkungen und den Verbrauch der Linux-Control-Groups, die auf den Pod-Container angewendet werden. Zu den Labels gehören cgroup, collector und host.

CPU-Metriken:

  • pg_cgroup_cpu_limit_cores: Maximal zugewiesene CPU-Kerne. (Typ: Gauge)
  • pg_cgroup_cpu_usage_seconds_total, pg_cgroup_cpu_system_seconds_total, pg_cgroup_cpu_user_seconds_total (Typ: Counter)

PromQL-Beispiel für die CPU-Auslastung:

# Percentage of CPU usage
(
rate(pg_cgroup_cpu_usage_seconds_total{pod="$pod"}[5m])
/ ignoring(cgroup, collector, host)
pg_cgroup_cpu_limit_cores{pod="$pod"}
) * 100
# CPU usage in cores
rate(pg_cgroup_cpu_usage_seconds_total{region="$region",instance="$instance", pod="$pod"}[5m])

Speichermetriken (Typ: Gauge):

  • pg_cgroup_memory_limit_bytes: Maximale Speichergrenze vor OOM.
  • pg_cgroup_memory_current_bytes: Aktueller Gesamtspeicherverbrauch.
  • Aufschlüsselung nach Cache/Anon: pg_cgroup_memory_anon_bytes, pg_cgroup_memory_file_bytes (einschließlich aktiver/inaktiver Varianten).

PromQL-Beispiel für die Speicherauslastung:

# Percentage of memory usage
(
pg_cgroup_memory_current_bytes{region="$region", instance="$instance",pod="$pod"}
/ on(pod, instance, cluster,region)
pg_cgroup_memory_limit_bytes{region="$region", instance="$instance",pod="$pod"}
) * 100
  • Cache-Effizienz überwachen: Das Verhältnis blks_hit / (blks_hit + blks_read) sollte konsistent >99% sein.
  • Connection-Pooling: Wenn man sich max_connections nähert, sollte eine Connection-Pool-Bibliothek/-Anwendung (z. B. pgBouncer) eingesetzt werden.
  • Nutzung temporärer Dateien: Sollte bei 0 bleiben. Wenn nicht, work_mem erhöhen oder Abfragen optimieren.
  • Sperren-Monitoring: Regelmäßige Sperren können auf Designfehler hinweisen.
  • Idle in transaction: Diese Verbindungen sollten nicht länger als ein paar Sekunden bestehen bleiben.
  • Alle Metriken werden über den pg_exporter bereitgestellt und von Prometheus erfasst.
  • Der Dienst läuft mit Patroni für Hochverfügbarkeit, daher das Label node_type="primary".
  • Die aufgelisteten Metriken bilden die Grundlage für Monitoring und Alerting. Zusätzliche Metriken für Replikation, Background-Writer und WAL-Archivierung können je nach Setup verfügbar sein.