Heisenberg420

Aktuell liegt die bei 98.90% zwischendurch ist sie aber auch mal auf 94% gesunken. Ich bekomme leider seit dem 26.3.22 keine Debug Metriken mehr. Ich denke dass da ein Node Update was kaputt gemacht hat, denn die Metriken kamen nach und nach nicht mehr. Hast du da eine Idee @skunk

Sehr schönes Update des Dashboards 🙏 Mittlerweile funktioniert auch alles so wie es soll. Beim neuen Dashboard habe ich einen kleinen Fehler. (Grafana Version 8.2.7)

Bisher bin ich ganz zufrieden, wobei ich nach wie vor noch das Gefühl habe dass noch nicht alles richtig funktioniert da seit einigen Tagen Checkin Failure und Order Failure leer bleiben und es gab definitiv einige Fehler da sich meine Festplatte mit dem Backup Node bei 74% Wearout und 1312 Errors nach 5840 Betriebsstunden verabschiedet hat 😂 Also ich bekam Meldungen, aber die Grafiken bleiben leer. Eigentlich nicht. Die Meldungen haben alle den Node mit der defekten Festplatte betroffen und jetzt wo der Node auf einer frischen läuft kommen auch keine häufigen Meldungen mehr. Ich gebe dir in den nächsten Tagen nochmal Rückmeldung, die Migration ist erst 14 Stunden her. Ich wünsche allen frohe Festtage 🎄

Kann ich mir eigentlich nicht vorstellen und der letzte Neustart von Prometheus und aller Nodes war vor 18 Stunden. Ahh okay, trotzdem wird aus der Nachricht nicht klar um welchen Node es sich handelt. Wäre gut wenn man eine Nachricht bekommt und sofort weiß welcher Node betroffen ist. Bei manchen Nachrichten funktioniert das ja schon 🙂 Ist es normal dass Grafana NoData anzeigt?

@skunk Ich habe jetzt schon 2x die Nachricht bekommen dass ein Prozess down ist. Leider ist mir aus der Nachricht aber nicht ersichtlich um welchen Node es sich handelt. Im Dashboard bleiben die Metriken auch leer. Beim Watchtower Docker?

Das war's. Das hätte ich ja auch längst mal probieren können 🤦‍♂️ Jetzt sieht es schick aus. Vielen Dank!

Unabhängig davon glaube ich dass es läuft. EDIT: Upload sowie Download zeigt noch immer nichts 🤔

Also ich bin jetzt ein wenig Ratlos. Ich habe jetzt um mehr Metriken zu bekommen einen weiteren Node eingetragen. Trotzdem bekomme ich keine weiteren Metriken. Um dann einen weiteren Versionskonflikt auszuschließen habe ich mir deine Version 8.3.2 installiert. Leider das gleiche. Dann habe ich jetzt mal 8.2.7 installiert und bekomme immerhin Metriken bei Alert: Success Rate. Völlig verrückt.. Update ich wieder auf die aktuelle 8.3.3 oder auch deine 8.3.2 sind die wieder weg. Auch bleiben die Metriken für Customer Downloads und Uploads weiterhin leer. Es scheinen aber irgendwo Daten anzukommen weil kein "No Data" angezeigt wird.Und bei v8.2.7 sieht man auch bei Customer Downloads und Uploads dass die Daten der Nodes ankommen. Grafana zeigt die nur nicht an (schätze ich) Ich hab auch schon ne frische Grafana Instanz installiert um irgendwelche fehlerhaften Plugins auszuschließen aber ebenfalls das gleiche Ergebnis. neue Screenshots 🤪 Okay das klingt logisch. Werde ich checken. EDIT: Email wird versendet (jedenfalls beim manuellen Test)

Ist vorhanden # TYPE upload_success_count gauge upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="high"} 15160 upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="low"} 1 upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="value"} 15160 Ich habe gestern den Node neu gestartet, seitdem bekomme ich auch keine Metriken mehr bei GC Deleted und GC Runtime. Irgendwo ist da noch der Wurm drin. Wenn dem so wäre könnte ich den Port aber auch nicht im Browser öffnen oder?

Die sind alle auf 1.44.1 Ich konfiguriere die Tage mal alle Nodes dafür, ich habe gerade nur mein Backup Node dafür verwendet mit wenig Speicher.

Weil hier wohl anscheinend andere Werte verwendet werden?!. Ich hab mal meinen Grafana LXC geklont und Grafana Updates gemacht -> Läuft 🎉 🤪 😂 Ich hab noch die alte Grafana Version genutzt weil das Boomtable Plugin ja in den neueren Versionen nicht mit dem Exporter Dashboard kompatibel ist. Ich konnte da jetzt über umwege das alte Plugin installieren und signieren. Warum werden keine Daten bei Customer Downloads, Uploads und Alert: Success Rate gezeigt?

Ahh, also hast du deine Debug Ports geändert, deshalb ein anderer Port richtig? (Nur zum Verständnis) Ja natürlich, ich nutze ja das Prometheus Storj Exporter Dashboard für meine Nodes. Die Daten vom' Log- und Node Exporter laufen ja bereits. Schau bitte nochmal 😅 EDIT: Sag mal welche Grafana Version benutzt du? Ich hab noch die 7.4.3.

Das hatte ich auch schon mit drin, aber mit dem gleichen Ergebnis. Jetzt verstehe ich gar nichts mehr.. 😄 Wo kommt der Port 13019 her? Und wie ist der erreichbar wenn ich im Docker Kommando -p 5999:5999 habe? Was bedeutet Datengrab? Übernehme ich das jetzt mal so sagt mir mein Prometheus Exporter natürlich dass der Endpunkt Down ist. Nochmal ein Screenshot

Also ich habe nun mal zum Test bei einem Node den Debug Modus aktiviert und kann über den Port 5559 auch das Protokoll öffnen. Im Prometheus Exporter habe ich dann auch alles eingetragen. Wenn ich die .json deines Grafana Dashboardes von hier importiere wird mir nichts angezeigt.🤔 Wo könnte der Fehler liegen? Screenshots

eeehm.. Ich lass das mal so stehen 😂🤷‍♂️