Heisenberg420

Aktuell liegt die bei 98.90% zwischendurch ist sie aber auch mal auf 94% gesunken. Ich bekomme leider seit dem 26.3.22 keine Debug Metriken mehr. Ich denke dass da ein Node Update was kaputt gemacht hat, denn die Metriken kamen nach und nach nicht mehr. Hast du da eine Idee @skunk

Sehr schönes Update des Dashboards 🙏 Mittlerweile funktioniert auch alles so wie es soll. Beim neuen Dashboard habe ich einen kleinen Fehler. (Grafana Version 8.2.7)

Bisher bin ich ganz zufrieden, wobei ich nach wie vor noch das Gefühl habe dass noch nicht alles richtig funktioniert da seit einigen Tagen Checkin Failure und Order Failure leer bleiben und es gab definitiv einige Fehler da sich meine Festplatte mit dem Backup Node bei 74% Wearout und 1312 Errors nach 5840 Betriebsstunden verabschiedet hat 😂 Also ich bekam Meldungen, aber die Grafiken bleiben leer. Eigentlich nicht. Die Meldungen haben alle den Node mit der defekten Festplatte betroffen und jetzt wo der Node auf einer frischen läuft kommen auch keine häufigen Meldungen mehr. Ich gebe dir in den nächsten Tagen nochmal Rückmeldung, die Migration ist erst 14 Stunden her. Ich wünsche allen frohe Festtage 🎄

Kann ich mir eigentlich nicht vorstellen und der letzte Neustart von Prometheus und aller Nodes war vor 18 Stunden. Ahh okay, trotzdem wird aus der Nachricht nicht klar um welchen Node es sich handelt. Wäre gut wenn man eine Nachricht bekommt und sofort weiß welcher Node betroffen ist. Bei manchen Nachrichten funktioniert das ja schon 🙂 Ist es normal dass Grafana NoData anzeigt?

@skunk Ich habe jetzt schon 2x die Nachricht bekommen dass ein Prozess down ist. Leider ist mir aus der Nachricht aber nicht ersichtlich um welchen Node es sich handelt. Im Dashboard bleiben die Metriken auch leer. Beim Watchtower Docker?

Das war's. Das hätte ich ja auch längst mal probieren können 🤦‍♂️ Jetzt sieht es schick aus. Vielen Dank!

Unabhängig davon glaube ich dass es läuft. EDIT: Upload sowie Download zeigt noch immer nichts 🤔

Also ich bin jetzt ein wenig Ratlos. Ich habe jetzt um mehr Metriken zu bekommen einen weiteren Node eingetragen. Trotzdem bekomme ich keine weiteren Metriken. Um dann einen weiteren Versionskonflikt auszuschließen habe ich mir deine Version 8.3.2 installiert. Leider das gleiche. Dann habe ich jetzt mal 8.2.7 installiert und bekomme immerhin Metriken bei Alert: Success Rate. Völlig verrückt.. Update ich wieder auf die aktuelle 8.3.3 oder auch deine 8.3.2 sind die wieder weg. Auch bleiben die Metriken für Customer Downloads und Uploads weiterhin leer. Es scheinen aber irgendwo Daten anzukommen weil kein "No Data" angezeigt wird.Und bei v8.2.7 sieht man auch bei Customer Downloads und Uploads dass die Daten der Nodes ankommen. Grafana zeigt die nur nicht an (schätze ich) Ich hab auch schon ne frische Grafana Instanz installiert um irgendwelche fehlerhaften Plugins auszuschließen aber ebenfalls das gleiche Ergebnis. neue Screenshots 🤪 Okay das klingt logisch. Werde ich checken. EDIT: Email wird versendet (jedenfalls beim manuellen Test)

Ist vorhanden # TYPE upload_success_count gauge upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="high"} 15160 upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="low"} 1 upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="value"} 15160 Ich habe gestern den Node neu gestartet, seitdem bekomme ich auch keine Metriken mehr bei GC Deleted und GC Runtime. Irgendwo ist da noch der Wurm drin. Wenn dem so wäre könnte ich den Port aber auch nicht im Browser öffnen oder?

Die sind alle auf 1.44.1 Ich konfiguriere die Tage mal alle Nodes dafür, ich habe gerade nur mein Backup Node dafür verwendet mit wenig Speicher.

Weil hier wohl anscheinend andere Werte verwendet werden?!. Ich hab mal meinen Grafana LXC geklont und Grafana Updates gemacht -> Läuft 🎉 🤪 😂 Ich hab noch die alte Grafana Version genutzt weil das Boomtable Plugin ja in den neueren Versionen nicht mit dem Exporter Dashboard kompatibel ist. Ich konnte da jetzt über umwege das alte Plugin installieren und signieren. Warum werden keine Daten bei Customer Downloads, Uploads und Alert: Success Rate gezeigt?

Ahh, also hast du deine Debug Ports geändert, deshalb ein anderer Port richtig? (Nur zum Verständnis) Ja natürlich, ich nutze ja das Prometheus Storj Exporter Dashboard für meine Nodes. Die Daten vom' Log- und Node Exporter laufen ja bereits. Schau bitte nochmal 😅 EDIT: Sag mal welche Grafana Version benutzt du? Ich hab noch die 7.4.3.

Das hatte ich auch schon mit drin, aber mit dem gleichen Ergebnis. Jetzt verstehe ich gar nichts mehr.. 😄 Wo kommt der Port 13019 her? Und wie ist der erreichbar wenn ich im Docker Kommando -p 5999:5999 habe? Was bedeutet Datengrab? Übernehme ich das jetzt mal so sagt mir mein Prometheus Exporter natürlich dass der Endpunkt Down ist. Nochmal ein Screenshot

Also ich habe nun mal zum Test bei einem Node den Debug Modus aktiviert und kann über den Port 5559 auch das Protokoll öffnen. Im Prometheus Exporter habe ich dann auch alles eingetragen. Wenn ich die .json deines Grafana Dashboardes von hier importiere wird mir nichts angezeigt.🤔 Wo könnte der Fehler liegen? Screenshots

eeehm.. Ich lass das mal so stehen 😂🤷‍♂️

Nein das siehst du richtig. Du brauchst dafür OpenVPN und einen bzw. mehrere VPS mit einer guten Anbindung. Bestenfalls suchst Du dir einen Anbieter der Standorte nahe deines Wohnortes hat. Die Latenz spielt hier eine große Rolle. Aber nochmal der Hinweis

Du meinst eine lokale Statische IP die nicht per DHCP verteilt wird? Oder eine öffentliche? Das ist für Storj nur von Vorteil. Ja das ist möglich. Aber ich wage zu bezweifeln dass du mit Storj eine Gigabit Leitung auslasten kannst. Selbst wenn du das umrouten würdest würde sich das nachher so massiv auf die Erfolgsrate auswirken dass es keinen Sinn machen würde soviele Nodes über einen Anschluss zu betreiben. Das ist aber nur eine Vermutung.

Ich bin mir nicht ganz sicher meine aber dass us1 ein Customer Satellit ist oder?

Gibt es einen neuen großen Kunden oder möchte uns Storj mit "ein paar" Testdaten ein nettes "Weihnachtsgeld" spendieren? Auf jeden fall wahnsinniger Egress die letzten 36 Stunden. 😁

Bei mir stellen die FritzBoxen nur die PPPOE und VoIP Verbindungen her und dienen als Telefonbasis, dahinter habe ich ein Mikrotik Routerboard der für's Internet zuständig ist. Hier lässt sich alles aufs noch so kleinste Detail konfigurieren und priorisieren. Aber ich spiele noch mit den Regeln. Es dauert halt immer einige Tage bis man wirkliche unterschiede merkt.. oder auch nicht. Heute geht guter Egress 🤘

Das klingt gut 👍 Das kann ich bestätigen. Einer meiner großen Nodes läuft bei 'nem VPS Anbieter und mittlerweile tummeln sich da ziemlich viele Nodes im dem Netz sodass ich meinen zweiten VPS Node nach einigen Monaten abgeschaltet habe, es gab nichtmal nen GB Ingress am Tag. Man muss auch die Ausgaben/Einnahmen im Blick haben und ob und wann sich das ganze Re-Finanziert. Bei meinem 8TB VPS sind das etwa 2-3 Euro monatlich die ich + mache. Voll natürlich. Meine Nodes müssen sich 1x 50/10 und 1x 55/11 teilen bei 5 Nodes mit derzeitgen 22TB belegten Speicher. Ich habe mir mehrere VPS angemietet und route einige der Nodes in andere Subnetze. Ich muss dabei einschnitte bei der Erfolgsrate machen, wie sehr die sich aber beim Payout bemerkbar machen kann ich noch nicht sagen. Ich habe letzten Monat mit 2 Nodes einen Problelauf gestartet welcher recht Positiv verlief und teste das ganze nun diesen Monat mit den restlichen Nodes. Am Ende des Monats und/oder nach dem Januar Payout kann ich das ganze besser bewerten. Eigentlich war nie geplant soviele Nodes hier zuhause zu haben aber ich war gezwungen 2 Nodes vom Kabelanschluss eines großen Roten Anbieters abzuziehen da das Internet sowas von schlecht und unstabil war dass ich sehr viele Daten in der Zeit verloren habe und die Reputation stark gesunken ist. (Da Lobe ich mir mein zwar schwaches, aber stabiles DSL)

Ich hab da was im Forum mitbekommen, leider aber bislang keine Zeit dazu gehabt das umzusetzen. Villeicht kannst du aber hier auch noch mal die benötigten Schritte aufführen und wie man das ganze in einen bereits vorhandenen Storj Prometheus Exporter konfiguriert. Da werde ich nicht ganz schlau draus. Wenn du die 4 Nodes im gleichen Subnetz hast ist das zuviel für wachsende Nodes. Ingress wird auf alle 4 Nodes aufgeteilt, das sind dann etwa 1-2GB täglich (wenn es ein guter Tag ist xD ) Deshalb hab ich mitterweile allen meinen Nodes eine eigene IP verpasst. Seitdem macht der Ingress wieder richtig Spaß 😄 Ich kann mich über den Verdienst nicht beschweren. Dann bin ich beruhigt.

Ist Euer Trash Ordner momentan auch ständig gefüllt? Seit mehreren Wochen täglich zwischen 160- und 200GB (alle Nodes kombiniert)

Ich fürchte damit hast du eine SMR Platte erwischt. Wie gesagt laufen wird es trotzdem. Deine CPU wird nur oft auf Maximum laufen und die Erfolgsrate könnte sinken. Auf jeden Fall ein externes Hub mit eigener Stromversorgung nutzen!

1GB RAM reicht vollkommen aus. 1CPU / 1GB RAM / 1HDD pro Node. Hab auch mit einem RaspberryPi4 begonnen und nie Probleme damit gehabt. Bei der Festplattenwahl drauf achten keine SMR Festplatte zu nutzen, geht zwar, man hat aber massiv mit IOWait zu kämpfen und die Erfolgsrate leidet.