Heisenberg420

Am 17.1.2022 um 14:34 schrieb skunk:

Was sagt das Grafana Dashboard zu deinen Upload Success Raten?

Aktuell liegt die bei 98.90% zwischendurch ist sie aber auch mal auf 94% gesunken.

Ich bekomme leider seit dem 26.3.22 keine Debug Metriken mehr. Ich denke dass da ein Node Update was kaputt gemacht hat, denn die Metriken kamen nach und nach nicht mehr. Hast du da eine Idee @skunk

Sehr schönes Update des Dashboards 🙏 Mittlerweile funktioniert auch alles so wie es soll.

Beim neuen Dashboard habe ich einen kleinen Fehler. (Grafana Version 8.2.7)

Bisher bin ich ganz zufrieden, wobei ich nach wie vor noch das Gefühl habe dass noch nicht alles richtig funktioniert da seit einigen Tagen Checkin Failure und Order Failure leer bleiben und es gab definitiv einige Fehler da sich meine Festplatte mit dem Backup Node bei 74% Wearout und 1312 Errors nach 5840 Betriebsstunden verabschiedet hat 😂

Also ich bekam Meldungen, aber die Grafiken bleiben leer.

vor 18 Stunden schrieb skunk:

Ich würde erwarten, dass einige der Alerts noch etwas zu empfindlich eingestellt sind.

Eigentlich nicht. Die Meldungen haben alle den Node mit der defekten Festplatte betroffen und jetzt wo der Node auf einer frischen läuft kommen auch keine häufigen Meldungen mehr. Ich gebe dir in den nächsten Tagen nochmal Rückmeldung, die Migration ist erst 14 Stunden her.

Ich wünsche allen frohe Festtage 🎄

vor 3 Minuten schrieb skunk:

 War dein Prometheus kurz nicht erreichbar?

Kann ich mir eigentlich nicht vorstellen und der letzte Neustart von Prometheus und aller Nodes war vor 18 Stunden.

vor 5 Minuten schrieb skunk:

In den Alert Regeln steht drin, dass er bei fehlenden Daten ebenfalls alarmieren soll.

Ahh okay, trotzdem wird aus der Nachricht nicht klar um welchen Node es sich handelt. Wäre gut wenn man eine Nachricht bekommt und sofort weiß welcher Node betroffen ist. Bei manchen Nachrichten funktioniert das ja schon 🙂  Ist es normal dass Grafana  NoData anzeigt?

@skunk Ich habe jetzt schon 2x die Nachricht bekommen dass ein Prozess down ist. Leider ist mir aus der Nachricht aber nicht ersichtlich um welchen Node es sich handelt.

Im Dashboard bleiben die Metriken auch leer.

Am 15.12.2021 um 00:01 schrieb skunk:

Ich habe in all meinen Updater Service Dateien hinten ein --debug.addr 127.0.0.1:13018 angehängt um den Port Konflikt zu lösen.

Beim Watchtower Docker?

vor 12 Minuten schrieb skunk:

Einfach mal in der Legende auf eine der Nodes klicken dann siehst du sie auch.

Das war's. Das hätte ich ja auch längst mal probieren können 🤦‍♂️ Jetzt sieht es schick aus. Vielen Dank!

vor 2 Stunden schrieb skunk:

Bei customer uploads und download habe ich meine Testnodes mit hinterlegt. Editier die beide mal und lösche die testnode dort raus.

Unabhängig davon glaube ich dass es läuft.

EDIT: Upload sowie Download zeigt noch immer nichts 🤔

Also ich bin jetzt ein wenig Ratlos.

Ich habe jetzt um mehr Metriken zu bekommen einen weiteren Node eingetragen. Trotzdem bekomme ich keine weiteren Metriken.

Um dann einen weiteren Versionskonflikt auszuschließen habe ich mir deine Version 8.3.2 installiert. Leider das gleiche.

Dann habe ich jetzt mal 8.2.7 installiert und bekomme immerhin Metriken bei Alert: Success Rate. Völlig verrückt.. Update ich wieder auf die aktuelle 8.3.3 oder auch deine 8.3.2 sind die wieder weg. Auch bleiben die Metriken für Customer Downloads und Uploads weiterhin leer.

Es scheinen aber irgendwo Daten anzukommen weil kein "No Data" angezeigt wird.Und bei v8.2.7 sieht man auch bei Customer Downloads und Uploads dass die Daten der Nodes ankommen.  Grafana zeigt die nur nicht an (schätze ich)

Ich hab auch schon ne frische Grafana Instanz installiert um irgendwelche fehlerhaften Plugins auszuschließen aber ebenfalls das gleiche Ergebnis.

neue Screenshots 🤪

vor 43 Minuten schrieb skunk:

Keine Daten bei GC zu haben ist ein Stück weit normal. Du würdest im Grunde immer die letzte Ausführung von GC seit Neustart sehen und GC läuft nur alle paar Tage. Sollte also passen.

Okay das klingt logisch.

vor 43 Minuten schrieb skunk:

Interessant ist, dass Repair Downloads bei dir funktioniert. Kann es sein, dass die email Alerts bei dir Probleme machen und er deshalb nichts anzeigt?

Werde ich checken.

EDIT:

Email wird versendet (jedenfalls beim manuellen Test)

vor 12 Stunden schrieb skunk:

 

# TYPE upload_success_count gauge
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="high"} 240599
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="low"} 1
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="value"} 240599

 

Ist vorhanden

# TYPE upload_success_count gauge
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="high"} 15160
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="low"} 1
upload_success_count{scope="storj_io_storj_storagenode_piecestore",field="value"} 15160

Ich habe gestern den Node neu gestartet, seitdem bekomme ich auch keine Metriken mehr bei GC Deleted und GC Runtime.

Irgendwo ist da noch der Wurm drin.

vor 12 Stunden schrieb skunk:

Ein Problem was ich bei mir hatte ist, dass der Storage Node Updater den Debug Port belegt hat. Dann hatte ich zwar einen Metrics Endpoint aber die Daten vom Updater sind ja irgendwie witzlos. Ich habe in all meinen Updater Service Dateien hinten ein --debug.addr 127.0.0.1:13018 angehängt um den Port Konflikt zu lösen.

Wenn dem so wäre könnte ich den Port aber auch nicht im Browser öffnen oder?

Die sind alle auf 1.44.1

Ich konfiguriere die Tage mal alle Nodes dafür, ich habe gerade nur mein Backup Node dafür verwendet mit wenig Speicher.

vor 7 Stunden schrieb skunk:

Ich nutze 8.3.2. Ich wüßte aber nicht warum das einen Unterschied machen sollte.

Weil hier wohl anscheinend andere Werte verwendet werden?!. Ich hab mal meinen Grafana LXC geklont und Grafana Updates gemacht -> Läuft 🎉 🤪 😂

Ich hab noch die alte Grafana Version genutzt weil das Boomtable Plugin ja in den neueren Versionen nicht mit dem Exporter Dashboard kompatibel ist. Ich konnte da jetzt über umwege das alte Plugin installieren und signieren.

Warum werden keine Daten bei Customer Downloads, Uploads und Alert: Success Rate gezeigt?

vor 4 Stunden schrieb skunk:

Das sieht doch schon nicht schlecht aus.

Ahh, also hast du deine Debug Ports geändert, deshalb ein anderer Port richtig? (Nur zum Verständnis)

vor 4 Stunden schrieb skunk:

Grafana bereits deine Prometheus Instanz als Datenquelle hinterlegt?

Ja natürlich, ich nutze ja das Prometheus Storj Exporter Dashboard für meine Nodes. Die Daten vom' Log- und Node Exporter laufen ja bereits.

Schau bitte nochmal 😅

EDIT: Sag mal welche Grafana Version benutzt du? Ich hab noch die 7.4.3.

vor 6 Stunden schrieb skunk:

 metrics_path: /metrics

Das hatte ich auch schon mit drin, aber mit dem gleichen Ergebnis.

vor 6 Stunden schrieb skunk:

    - targets: ['datengrab:13019']

Jetzt verstehe ich gar nichts mehr.. 😄 Wo kommt der Port 13019 her? Und wie ist der erreichbar wenn ich im Docker Kommando -p 5999:5999 habe? Was bedeutet Datengrab?

Übernehme ich das jetzt mal so sagt mir mein Prometheus Exporter natürlich dass der Endpunkt Down ist.

Nochmal ein Screenshot

Am 6.12.2021 um 20:44 schrieb skunk:

 Bei Problemen einfach fragen.

Also ich habe nun mal zum Test bei einem Node den Debug Modus aktiviert und kann über den Port 5559 auch das Protokoll öffnen.

Im Prometheus Exporter habe ich dann auch alles eingetragen. Wenn ich die .json deines Grafana Dashboardes von hier importiere wird mir nichts angezeigt.🤔 Wo könnte der Fehler liegen?

Screenshots

vor 20 Minuten schrieb Alfer:

scheint wohl nicht wirklich rentabel 😉

eeehm.. Ich lass das mal so stehen 😂🤷‍♂️

Nein das siehst du richtig.

Du brauchst dafür OpenVPN und einen bzw. mehrere VPS mit einer guten Anbindung. Bestenfalls suchst Du dir einen Anbieter der Standorte nahe deines Wohnortes hat. Die Latenz spielt hier eine große Rolle.

Aber nochmal der Hinweis

Am 6.12.2021 um 21:29 schrieb Heisenberg420:

Ich muss dabei einschnitte bei der Erfolgsrate machen, wie sehr die sich aber beim Payout bemerkbar machen kann ich noch nicht sagen.

Am Ende des Monats und/oder nach dem Januar Payout kann ich das ganze besser bewerten.

Am 8.12.2021 um 07:05 schrieb Alfer:

wie ich in meinem Heimnetzwerk jeder node ne eigene IP zuteilen kann?

Du meinst eine lokale Statische IP die nicht per DHCP verteilt wird? Oder eine öffentliche?

Am 8.12.2021 um 07:05 schrieb Alfer:

Leitung is stabiel und es gibt auch keine 24h zwangstrennung. Meine standaard IP hab ich im Schnitt 40Tage (meist länger)

Das ist für Storj nur von Vorteil.

Am 8.12.2021 um 07:05 schrieb Alfer:

Wenn ich es richtig verstanden habe könnte ich durch unterschiedliche IPs meinen 1000MB anschluss besser ausreizen.

Ja das ist möglich. Aber ich wage zu bezweifeln dass du mit Storj eine Gigabit Leitung auslasten kannst. Selbst wenn du das umrouten würdest würde sich das nachher so massiv auf die Erfolgsrate auswirken dass es keinen Sinn machen würde soviele Nodes über einen Anschluss zu betreiben. Das ist aber nur eine Vermutung.

Ich bin mir nicht ganz sicher meine aber dass us1 ein Customer Satellit ist oder?

Gibt es einen neuen großen Kunden oder möchte uns Storj mit "ein paar" Testdaten ein nettes "Weihnachtsgeld" spendieren?

Auf jeden fall wahnsinniger Egress die letzten 36 Stunden. 😁

vor 7 Minuten schrieb skunk:

Ein Upgrade auf eine ordentliche Fritzbox hat einige Probleme bei mir direkt gelöst.

Bei mir stellen die FritzBoxen nur die PPPOE und VoIP Verbindungen her und dienen als Telefonbasis, dahinter habe ich ein Mikrotik Routerboard der für's Internet zuständig ist. Hier lässt sich alles aufs noch so kleinste Detail konfigurieren und priorisieren. Aber ich spiele noch mit den Regeln. Es dauert halt immer einige Tage bis man wirkliche unterschiede merkt.. oder auch nicht.

Heute geht guter Egress 🤘

vor 13 Minuten schrieb skunk:

 Bei Problemen einfach fragen.

Das klingt gut 👍

vor 10 Minuten schrieb skunk:

Ich befürchte gemietete Server funktionieren eher mittelprächtig.

Das kann ich bestätigen. Einer meiner großen Nodes läuft bei 'nem VPS Anbieter und mittlerweile tummeln sich da ziemlich viele Nodes im dem Netz sodass ich meinen zweiten VPS Node nach einigen Monaten abgeschaltet habe, es gab nichtmal nen GB Ingress am Tag. Man muss auch die Ausgaben/Einnahmen im Blick haben und ob und wann sich das ganze Re-Finanziert. Bei meinem 8TB VPS sind das etwa 2-3 Euro monatlich die ich + mache. Voll natürlich.

vor 14 Minuten schrieb skunk:

Meine Nodes müssen sich eine 100 MBit/s down / 40 MBit/s up teilen und das klappt recht gut.

...

Wo hast du die zusätzlichen IP Adressen her?

Meine Nodes müssen sich 1x 50/10 und 1x 55/11 teilen bei 5 Nodes mit derzeitgen 22TB belegten Speicher.

Ich habe mir mehrere VPS angemietet und route einige der Nodes in andere Subnetze. Ich muss dabei einschnitte bei der Erfolgsrate machen, wie sehr die sich aber beim Payout bemerkbar machen kann ich noch nicht sagen. Ich habe letzten Monat mit 2 Nodes einen Problelauf gestartet welcher recht Positiv verlief und teste das ganze nun diesen Monat mit den restlichen Nodes.

Am Ende des Monats und/oder nach dem Januar Payout kann ich das ganze besser bewerten.

Eigentlich war nie geplant soviele Nodes hier zuhause zu haben aber ich war gezwungen 2 Nodes vom Kabelanschluss eines großen Roten Anbieters abzuziehen da das Internet sowas von schlecht und unstabil war dass ich sehr viele Daten in der Zeit verloren habe und die Reputation stark gesunken ist.  (Da Lobe ich mir mein zwar schwaches, aber stabiles DSL)

vor 5 Stunden schrieb skunk:

Ich würde mich freuen wenn wir das Grafana Dashboard zusammen weiter verbessern könnten.

Ich hab da was im Forum mitbekommen, leider aber bislang keine Zeit dazu gehabt das umzusetzen.

Villeicht kannst du aber hier auch noch mal die benötigten Schritte aufführen und wie man das ganze in einen bereits vorhandenen Storj Prometheus Exporter konfiguriert. Da werde ich nicht ganz schlau draus.

vor 9 Minuten schrieb micro1:

4 nodes sind bei EUServ mit 1GBIT Anbindung. Ich denke das ist Ok

Wenn du die 4 Nodes im gleichen Subnetz hast ist das zuviel für wachsende Nodes. Ingress wird auf alle 4 Nodes aufgeteilt, das sind dann etwa 1-2GB täglich (wenn es ein guter Tag ist xD )

Deshalb hab ich mitterweile allen meinen Nodes eine eigene IP verpasst. Seitdem macht der Ingress wieder richtig Spaß 😄

Ich kann mich über den Verdienst nicht beschweren.

vor 5 Stunden schrieb skunk:

Ja ist bei mir auch der Fall.

Dann bin ich beruhigt.

Ist Euer Trash Ordner momentan auch ständig gefüllt? Seit mehreren Wochen täglich zwischen 160- und 200GB (alle Nodes kombiniert)

vor 19 Stunden schrieb Mr.Price:

habe letzte Woche hier zugeschlagen: https://www.coolblue.de/produkt/889277/seagate-expansion-portable-5-tb.html

Ich fürchte damit hast du eine SMR Platte erwischt. Wie gesagt laufen wird es trotzdem. Deine CPU wird nur oft auf Maximum laufen und die Erfolgsrate könnte sinken.

vor 16 Stunden schrieb Cricktor:

Lösung wäre ein USB3-Hub mit eigener ausreichender Stromversorgung!

Auf jeden Fall ein externes Hub mit eigener Stromversorgung nutzen!

vor 7 Stunden schrieb Mr.Price:

jemand Erfahrung wie viel RAM wirklich benötigt wird?

1GB RAM reicht vollkommen aus. 1CPU / 1GB RAM / 1HDD pro Node.

Hab auch mit einem RaspberryPi4 begonnen und nie Probleme damit gehabt. Bei der Festplattenwahl drauf achten keine SMR Festplatte zu nutzen, geht zwar, man hat aber massiv mit IOWait zu kämpfen und die Erfolgsrate leidet.