STACKIT Observability-Metriken
Zuletzt aktualisiert am
Dieses Dokument beschreibt die Prometheus-Metriken, die von STACKIT PostgreSQL (über pg_exporter) für den verwalteten Datenbankdienst exportiert werden. Alle Metriken enthalten das Label node_type="primary", da der Dienst mit Patroni für Hochverfügbarkeit konfiguriert ist.
Globale Labels: Alle Metriken enthalten automatisch die folgenden Basis-Labels, um das Deployment zu identifizieren. Um Wiederholungen zu vermeiden, werden sie in den nachfolgenden einzelnen Metriktabellen weggelassen; Sie können sie jedoch bei jeder Abfrage erwarten:
region: Die Deployment-Regionnode: Identifiziert den Komponententypinstance: Die eindeutige Instanz-ID für Kundinnen und Kundenpod: Der spezifische Kubernetes-Pod-Name (Hinweis: Diese globalen Labels ersetzen das bisherige Labelnode_type="primary").
Dienstverfügbarkeit und Betriebszeit
Abschnitt betitelt „Dienstverfügbarkeit und Betriebszeit“Gibt an, ob der letzte Scrape erfolgreich eine Verbindung zum Server hergestellt hat (Typ: Gauge)
| Label | Beschreibung | Werte |
|---|---|---|
instance |
Die eindeutige Instanz-ID | 1 = Verbindung erfolgreich, 0 = Verbindung fehlgeschlagen |
Dies ist die wichtigste Metrik für das Alerting. Wenn der Wert 0 ist, sind alle anderen Metriken nicht verfügbar.
pg_postmaster_start_time_seconds
Abschnitt betitelt „pg_postmaster_start_time_seconds“Zeitpunkt, zu dem der PostgreSQL-Postmaster-Prozess gestartet wurde, in Sekunden seit der Unix-Epoche (Typ: Gauge)
Datenbankgröße und Speicherplatz
Abschnitt betitelt „Datenbankgröße und Speicherplatz“pg_database_size_bytes
Abschnitt betitelt „pg_database_size_bytes“Datenbankdateigröße in Bytes (Typ: Gauge)
| Label | Beschreibung | Beispielwerte |
|---|---|---|
datname |
Name der Datenbank | nextcloud, wordpress, crm |
Diese Metrik zeigt die aktuelle Größe jeder Datenbank auf dem Server und ist wichtig für die Kapazitätsplanung und für Wachstumstrends.
Speicherplatz und Verzeichnisgrößen
Abschnitt betitelt „Speicherplatz und Verzeichnisgrößen“Gesamter und verfügbarer Speicherplatz für das PostgreSQL-Volume sowie spezifische Verzeichnisgrößen. (Typ: Gauge)
pg_disk_space_total_bytes: Auf dem Volume verfügbarer Gesamtspeicherplatz.pg_disk_space_left_bytes: Verbleibender freier Speicherplatz.pg_logdir_size_mb: Größe des Log-Verzeichnisses in Megabyte.pg_waldir_size_mb: Größe des WAL-Verzeichnisses (Write-Ahead Log) in Megabyte.
Beispiel-PromQL für die Speicherplatzbelegung:
# Disk usage %( (pg_disk_space_total_bytes{region="$region",instance="$instance",pod="$pod"} - pg_disk_space_left_bytes{region="$region",instance="$instance",pod="$pod"}) / on(pod, instance, cluster, region) pg_disk_space_total_bytes{pod="$pod"}) * 100
# Disk usage size in bytespg_disk_space_total_bytes{region="$region",instance="$instance",pod="$pod"} - pg_disk_space_left_bytes{region="$region",instance="$instance",pod="$pod"}Sperren und Konflikte
Abschnitt betitelt „Sperren und Konflikte“pg_locks_count
Abschnitt betitelt „pg_locks_count“Anzahl der Sperren nach Modus und Datenbank (Typ: Gauge)
| Label | Beschreibung | Mögliche Werte |
|---|---|---|
datname |
Name der Datenbank | nextcloud, wordpress, crm |
mode |
Sperrmodus | Siehe nachfolgende Tabelle |
Eine hohe Anzahl an Sperren kann auf Ressourcenkonflikte und Performance-Probleme hinweisen. Unter normalen Bedingungen sollten die meisten Sperren bei 0 liegen.
Sperrmodi
Abschnitt betitelt „Sperrmodi“| Sperrmodus | Verwendung | In Konflikt mit |
|---|---|---|
AccessShareLock |
SELECT-Abfragen | AccessExclusiveLock |
RowShareLock |
SELECT FOR UPDATE/SHARE | Exclusive, ShareRowExclusive, AccessExclusive |
RowExclusiveLock |
INSERT, UPDATE, DELETE | Share, ShareRowExclusive, Exclusive, AccessExclusive |
ShareUpdateExclusiveLock |
VACUUM, CREATE INDEX CONCURRENTLY | ShareUpdateExclusive und höher |
ShareLock |
CREATE INDEX | RowExclusive und höher |
ShareRowExclusiveLock |
Selten verwendet | RowExclusive und höher |
ExclusiveLock |
Blockiert jeden gleichzeitigen Zugriff | RowExclusive und höher |
AccessExclusiveLock |
ALTER TABLE, DROP TABLE, TRUNCATE | Alle Modi |
pg_stat_database_deadlocks
Abschnitt betitelt „pg_stat_database_deadlocks“Anzahl der in der Datenbank erkannten Deadlocks (Typ: Counter)
| Label | Beschreibung |
|---|---|
datname |
Name der Datenbank |
Sollte idealerweise 0 sein. Häufige Deadlocks erfordern eine Abfrageoptimierung auf Anwendungsebene.
pg_stat_database_conflicts
Abschnitt betitelt „pg_stat_database_conflicts“Anzahl der Abfragen, die aufgrund von Konflikten mit der Wiederherstellung abgebrochen wurden (Typ: Counter)
Diese Metrik ist hauptsächlich auf Standby-/Replikat-Servern relevant. Ein Wert von 0 ist für primäre Knoten normal.
Verbindungen
Abschnitt betitelt „Verbindungen“pg_settings_max_connections
Abschnitt betitelt „pg_settings_max_connections“Maximale Anzahl gleichzeitiger Verbindungen zum Datenbankserver (Typ: Gauge)
Das System verwendet bis zu 15 Verbindungen für interne, essenzielle Prozesse wie Sicherung, Monitoring usw. Diese Verbindungen werden auf das Limit von max_connections angerechnet. Wenn dieses Limit nahezu erreicht ist, sollte Connection-Pooling in Betracht gezogen werden.
pg_stat_database_numbackends
Abschnitt betitelt „pg_stat_database_numbackends“Anzahl der aktuell aktiven Backend-Prozesse pro Datenbank (Typ: Gauge)
| Label | Beschreibung |
|---|---|
datname |
Name der Datenbank |
pg_stat_activity_count
Abschnitt betitelt „pg_stat_activity_count“Anzahl der Verbindungen, gruppiert nach verschiedenen Attributen (Typ: Gauge)
| Label | Beschreibung | Mögliche Werte |
|---|---|---|
datname |
Name der Datenbank | nextcloud, wordpress, crm |
state |
Verbindungsstatus | Siehe nachfolgende Tabelle |
application_name |
Name der Client-Anwendung | Patroni heartbeat, pg_exporter |
backend_type |
Typ des Backend-Prozesses | client backend |
wait_event |
Ereignis, auf das gewartet wird | ClientRead |
wait_event_type |
Typ des Warteereignisses | Client |
Verbindungsstatus
Abschnitt betitelt „Verbindungsstatus“| Status | Bedeutung |
|---|---|
active |
Abfrage wird derzeit ausgeführt |
idle |
Verbindung ist offen, aber keine Abfrage aktiv |
idle in transaction |
Verbindung befindet sich in einer Transaktion, aber derzeit keine Abfrage aktiv |
idle in transaction (aborted) |
Transaktion fehlgeschlagen, wartet auf ROLLBACK |
fastpath function call |
Client führt Fast-Path-Funktion aus |
disabled |
Tracking für diese Verbindung deaktiviert |
idle in transaction über längere Zeiträume deutet auf Anwendungsprobleme hin. Viele idle-Verbindungen weisen auf eine ineffiziente Verbindungsverwaltung hin.
Datenbankstatistiken (Transaktionen und Zeilen)
Abschnitt betitelt „Datenbankstatistiken (Transaktionen und Zeilen)“Misst den grundlegenden Lese-/Schreibdurchsatz sowie die MVCC-Arbeitslast. Alle nachfolgenden Metriken sind vom Typ: Counter und verwenden das Label datname.
pg_stat_database_xact_commit: Anzahl der erfolgreich übertragenen Transaktionen. Hohe Werte deuten auf eine intensive Datenbankaktivität hin.pg_stat_database_xact_rollback: Anzahl der zurückgerollten Transaktionen.pg_stat_database_xact_total: Gesamtzahl der ausgeführten Transaktionen.pg_stat_database_tup_fetched: Anzahl der durch Abfragen abgerufenen Zeilen. Hohe Werte zeigen eine intensive Leseaktivität.pg_stat_database_tup_inserted: Anzahl der durch Abfragen eingefügten Zeilen.pg_stat_database_tup_updated: Anzahl der durch Abfragen aktualisierten Zeilen. Aktualisierungen erstellen neue Zeilenversionen (MVCC), weshalb VACUUM wichtig ist.pg_stat_database_tup_deleted: Anzahl der durch Abfragen gelöschten Zeilen. Hohe Löschraten erfordern regelmäßige VACUUM-Operationen.
Lang andauernde Transaktionen
Abschnitt betitelt „Lang andauernde Transaktionen“pg_long_running_transaction_count: Anzahl der lang andauernden Transaktionen. (Typ: Gauge)pg_long_running_transaction_oldest_timestamp_seconds: Zeitstempel der ältesten aktiven Transaktion. (Typ: Gauge)
Speicher-, Cache- und I/O-Leistung
Abschnitt betitelt „Speicher-, Cache- und I/O-Leistung“pg_stat_database_blks_hit und pg_stat_database_blks_read
Abschnitt betitelt „pg_stat_database_blks_hit und pg_stat_database_blks_read“Misst die traditionelle Effizienz des PostgreSQL Shared-Buffer-Caches. (Typ: Counter)
| Label | Beschreibung |
|---|---|
datname |
Name der Datenbank |
Die Cache-Hit-Ratio wird als blks_hit / (blks_hit + blks_read) berechnet. Das Ziel ist eine Cache-Hit-Ratio von >99% für eine gute Leistung. Hohe Werte für blks_read weisen auf unzureichende Shared Buffers oder einen kalten Cache hin.
Detailliertes I/O-Subsystem
Abschnitt betitelt „Detailliertes I/O-Subsystem“Granulare I/O-Monitoring-Metriken, die Operationen nach Kontext und Backend-Typ messen. (Typ: Counter)
-
Operationen:
pg_io_hits,pg_io_reads,pg_io_writes,pg_io_extends,pg_io_evictions,pg_io_reuses,pg_io_writebacks,pg_io_fsyncs -
Zeitmessungen (sofern aktiviert):
pg_io_read_time,pg_io_write_time,pg_io_extend_time,pg_io_writeback_time,pg_io_fsync_time,pg_io_reset_time
| Label | Mögliche Werte |
|---|---|
context |
normal, vacuum, bulkread, bulkwrite |
object |
relation, temp relation |
type |
client backend, autovacuum worker, checkpointer, background worker |
Temporäre Dateien
Abschnitt betitelt „Temporäre Dateien“Hohe Werte deuten auf Abfragen hin, die mehr RAM benötigen, als work_mem zulässt, und daher auf die Festplatte ausgelagert werden. Eine häufige Nutzung temporärer Dateien sollte durch Erhöhen von work_mem oder Optimieren der Abfragen behoben werden.
pg_stat_database_temp_bytes: Gesamte Datenmenge, die in temporäre Dateien geschrieben wurde, in Bytes. (Typ: Counter)pg_stat_database_temp_files: Anzahl der erstellten temporären Dateien. (Typ: Counter)
Background Writer und SLRU
Abschnitt betitelt „Background Writer und SLRU“Background Writer
Abschnitt betitelt „Background Writer“Verfolgt die Effizienz des Background-Writer-Prozesses beim Bereinigen von Dirty Buffers. (Alle Typ: Counter, außer Reset-Zeit)
pg_stat_bgwriter_buffers_alloc_total/_clean_total/_backend_total/_backend_fsync_total/_checkpoint_totalpg_stat_bgwriter_checkpoints_timed_total/_req_totalpg_stat_bgwriter_checkpoint_write_time_total/_sync_time_totalpg_stat_bgwriter_maxwritten_clean_totalpg_stat_bgwriter_reset_time_seconds(Typ: Gauge)
SLRU (Simple least-recently-used)
Abschnitt betitelt „SLRU (Simple least-recently-used)“Verfolgt SLRU-Caches (wie subtrans, multixact, commit-Zeitstempel). Zu den Metriken gehören pg_slru_blks_exists, _hit, _read, _written, _zeroed, pg_slru_flushes, _truncates und pg_slru_reset_time.
| Label | Beschreibung | Beispielwerte |
|---|---|---|
name |
Name des SLRU-Caches | transaction, multixact_offset, commit_timestamp |
WAL und Recovery
Abschnitt betitelt „WAL und Recovery“pg_is_in_recovery:1, wenn sich der Knoten als Replikat/Standby im Recovery befindet,0, wenn er primär ist. (Typ: Gauge)pg_wal_bytes: Gesamte generierte WAL-Bytes. (Typ: Counter)pg_wal_records: Anzahl der generierten WAL-Datensätze. (Typ: Counter)
Vacuuming-Fortschritt
Abschnitt betitelt „Vacuuming-Fortschritt“Verfolgung von Hintergrund- und manuellen Vacuum-Operationen:
pg_vacuuming_progresspg_vacuuming_delay_timepg_vacuuming_dead_tuple_bytespg_vacuuming_indexes_processedpg_vacuuming_indexes_total
Einstellungen und Cgroups (Systemeinschränkungen)
Abschnitt betitelt „Einstellungen und Cgroups (Systemeinschränkungen)“Konfigurationsgrenzen
Abschnitt betitelt „Konfigurationsgrenzen“Zeigt die derzeit konfigurierten Limits und Grenzen an. (Typ: Gauge)
| Metrik | Beschreibung |
|---|---|
pg_settings_shared_buffers |
Zugewiesener Shared-Buffer-Speicher. |
pg_settings_work_mem |
Zulässiger Speicher pro Abfrageoperation vor der Auslagerung in temporäre Dateien. |
pg_settings_max_parallel_workers |
Global maximal zulässige parallele Worker. |
pg_settings_max_parallel_workers_per_gather |
Maximal zulässige parallele Worker pro Knoten. |
pg_settings_max_wal_size |
Angestrebte maximale Größe des WAL-Verzeichnisses vor einem harten Checkpoint. |
pg_settings_min_wal_size |
Angestrebte minimale Größe des WAL-Verzeichnisses. |
Cgroup-Ressourceneinschränkungen
Abschnitt betitelt „Cgroup-Ressourceneinschränkungen“Verfolgt die Einschränkungen und den Verbrauch der Linux-Control-Groups, die auf den Pod-Container angewendet werden. Zu den Labels gehören cgroup, collector und host.
CPU-Metriken:
pg_cgroup_cpu_limit_cores: Maximal zugewiesene CPU-Kerne. (Typ: Gauge)pg_cgroup_cpu_usage_seconds_total,pg_cgroup_cpu_system_seconds_total,pg_cgroup_cpu_user_seconds_total(Typ: Counter)
PromQL-Beispiel für die CPU-Auslastung:
# Percentage of CPU usage( rate(pg_cgroup_cpu_usage_seconds_total{pod="$pod"}[5m]) / ignoring(cgroup, collector, host) pg_cgroup_cpu_limit_cores{pod="$pod"}) * 100
# CPU usage in coresrate(pg_cgroup_cpu_usage_seconds_total{region="$region",instance="$instance", pod="$pod"}[5m])Speichermetriken (Typ: Gauge):
pg_cgroup_memory_limit_bytes: Maximale Speichergrenze vor OOM.pg_cgroup_memory_current_bytes: Aktueller Gesamtspeicherverbrauch.- Aufschlüsselung nach Cache/Anon:
pg_cgroup_memory_anon_bytes,pg_cgroup_memory_file_bytes(einschließlich aktiver/inaktiver Varianten).
PromQL-Beispiel für die Speicherauslastung:
# Percentage of memory usage( pg_cgroup_memory_current_bytes{region="$region", instance="$instance",pod="$pod"} / on(pod, instance, cluster,region) pg_cgroup_memory_limit_bytes{region="$region", instance="$instance",pod="$pod"}) * 100Empfohlene Alerts
Abschnitt betitelt „Empfohlene Alerts“| Alert | Bedingung | Schweregrad |
|---|---|---|
| PostgreSQL Down | pg_up == 0 |
Critical |
| Connection Limit | pg_stat_activity_count / pg_settings_max_connections > 0.8 |
Warning |
| Connection Limit Critical | pg_stat_activity_count / pg_settings_max_connections > 0.9 |
Critical |
| Low Cache Hit Ratio | rate(pg_stat_database_blks_hit) / (rate(pg_stat_database_blks_hit) + rate(pg_stat_database_blks_read)) < 0.95 |
Warning |
| Temp File Usage | rate(pg_stat_database_temp_bytes[5m]) > 0 |
Warning |
| Too Many Locks | pg_locks_count > 100 |
Warning |
| Long Running Transactions | pg_stat_activity_count{state="idle in transaction"} > 0 für > 5 Min. |
Warning |
Best Practices für das Monitoring
Abschnitt betitelt „Best Practices für das Monitoring“- Cache-Effizienz überwachen: Das Verhältnis
blks_hit / (blks_hit + blks_read)sollte konsistent >99% sein. - Connection-Pooling: Wenn man sich
max_connectionsnähert, sollte eine Connection-Pool-Bibliothek/-Anwendung (z. B.pgBouncer) eingesetzt werden. - Nutzung temporärer Dateien: Sollte bei 0 bleiben. Wenn nicht,
work_memerhöhen oder Abfragen optimieren. - Sperren-Monitoring: Regelmäßige Sperren können auf Designfehler hinweisen.
- Idle in transaction: Diese Verbindungen sollten nicht länger als ein paar Sekunden bestehen bleiben.
Hinweise
Abschnitt betitelt „Hinweise“- Alle Metriken werden über den
pg_exporterbereitgestellt und von Prometheus erfasst. - Der Dienst läuft mit Patroni für Hochverfügbarkeit, daher das Label
node_type="primary". - Die aufgelisteten Metriken bilden die Grundlage für Monitoring und Alerting. Zusätzliche Metriken für Replikation, Background-Writer und WAL-Archivierung können je nach Setup verfügbar sein.