AdArte

Problema ed evidenze operative:

• Teams message. dev | KubePersistentVolumeFillingUp in logging (PersistentVolume logging/storage-loki-stack-0 is over 90% full) scattato alle 9:39, vi terrò aggiornati nel caso rientri

Soluzione / Procedura Operativa Prioritaria:
Fonte della procedura: diagnosi conservativa costruita sull'evidenza primaria disponibile.

• Sul namespace del servizio eseguire kubectl get pods -o wide, kubectl describe pod e kubectl logs --previous per isolare restart, eventi, readiness/liveness e causa del crash.
• Verificare deployment, replica set e rollout con kubectl rollout status/history deployment/ e correlare CPU/RAM, OOMKilled, ImagePullBackOff o probe failure nel timeframe Datadog.
• Applicare restart/rollback solo dopo aver distinto bug applicativo, saturazione risorse, problema immagine o dipendenza esterna non raggiungibile.

Step di Diagnosi ed Esecuzione:

• Usare la query Datadog riportata sotto per aprire log/APM nello stesso timeframe e verificare se esistono errori sul servizio coinvolto.

Dati Datadog / Telemetry:

• finestra analizzata: ultimi 180 minuti
• chiavi evento usate per la ricerca: storage-loki-stack-0
• topologia: No Datadog hosts matched target: storage-loki-stack-0
• logs: 5 campioni pertinenti trovati. Query: "storage-loki-stack-0"
• 2026-07-17T07:03:41.522Z service=loki-stack-promtail status=info anchor=storage-loki-stack-0: level=info ts=2026-07-17T07:03:40.674403262Z caller=filetargetmanager.go:397 msg="Removing target" key="/var/log/pods/338c4dd1-1d08-42de-8ec3-bfcf6862c61e/datadog-lib-php-init/.log:{app="cv-backup-admin", container="datadog-lib-php-init", job="logging/c
• 2026-07-17T07:03:41.522Z service=loki-stack-promtail status=info anchor=storage-loki-stack-0: level=info ts=2026-07-17T07:03:40.674391284Z caller=filetargetmanager.go:397 msg="Removing target" key="/var/log/pods/338c4dd1-1d08-42de-8ec3-bfcf6862c61e/cvcontainer/.log:{app="cv-backup-admin", container="cvcontainer", job="logging/cv-backup-admin",

Diagnosi corrente / Root cause:
Causa non ancora dimostrata; le ipotesi sotto sono ordinate e richiedono verifica tecnica.

• Degrado runtime Kubernetes da confermare: dev | KubePersistentVolumeFillingUp in logging (PersistentVolume logging/storage-loki-stack-0 is over 90% full) scattato alle 9:39, vi terrò aggiornati nel caso rientri. Probabile pod non sano, probe failure, OOM, rollout difettoso o dipendenza esterna da discriminare con eventi cluster, log pod e metriche.

Dati necessari per conferma/chiusura:

• Confermare workflow riproducibile, utenti/operazioni impattati, orario di inizio e ultimo esito corretto noto.
• Registrare l'esito dei comandi, la correzione applicata e una prova funzionale positiva prima della chiusura.