Storj - Potential?

[skunk]

https://flur.ee/2020/03/12/fluree-and-storj-labs-release-tardigrade-integration/

[Heisenberg420]

Man merkt von Tag zu Tag dass es mehr wird 🙂

Ich habe eine Frage zum Online Status bzw. wie das bewertet wird.

 

Gestern waren 2 meiner Nodes für 4 Stunden und 36 Minuten Offline wegen eines RAID Fehlers beim Server Betreiber. Schon bevor die Nodes Offline gingen konnte sie die Daten weder Lesen noch schreiben. Ich habe schon das allerschlimmste befürchtet und mit einer Disqualifizierung gerechnet. Doch auch 24 Stunden später stehen die Uptime- und Audit-Checks bei 100%.

Sollte das nicht sinken?

 

Dann habe ich noch meinen Node zuhause welcher vor etwa 3 Wochen plötzlich bei den Satelliten us.central und europe.west auf 88,8 und 90 Uptime gesunken ist ohne dass der Node Offline war. Alle anderen Satelliten stehen nach wie vor bei 100%

Warum sinken die Uptime Checks bei 2 Servern plötzlich und bei den 2 anderen nicht?

Bearbeitet 14. März 2020 von Heisenberg420

[skunk]

Am 14.3.2020 um 18:49 schrieb Heisenberg420:

Ich habe eine Frage zum Online Status bzw. wie das bewertet wird.

Erstmal sorry für die verspätete Antwort. Mit zwei Kindern zuhause muss man erstmal etwas umplanen um noch genug Zeit für die Arbeit zu finden. Dazu kam dann auch noch das eine Release auf das alle gewartet hatten. https://storj.io/blog/2020/03/general-availability-for-tardigrade-is-here/

Jetzt habe ich endlich die Zeit deine Frage zu beantworten. Der Online Status spielt aktuell keine Rolle. Das was du auf dem Dashboard siehst ist das alte System. Es zeigt dir einfach nur an wie viele Pings zu verpasst hast aber die Anzahl der Pings ist variable. Eine neue Node, die noch keine Daten hat, konnte sehr lange offline sein ohne viele Pings zu verpassen wohingegen eine Node mit sehr vielen Daten auf Grund der Audits innerhalb weniger Minuten regelrecht abstürzt.

Das Langzeit Ziel ist es Storage Nodes mit schlechter Uptime zu disqualifizieren was mit dem alten System unmöglich war. Daher arbeiten wir aktuell an einem neuen System. Der Satellite pingt bereits in regelmäßigen Abständen Nodes von denen er glaubt, dass sie Offline sind. Der Satellite merkt sich dann nicht die Anzahl der Pings sondern die Offline Zeit. Das neue System ist bereits aktiv aber derzeit verwenden wir die neuen Werte noch nicht und wir zeigen sie auch nicht an.

Magst du mir deine NodeIDs nennen dann kann ich mal nachprüfen was in der Datenbank steht und ob das in deinem Fall passen würde. 

Bearbeitet 23. März 2020 von skunk

[Heisenberg420]

Danke, vor 2 Tagen wurde ja auch das Blueprint veröffentlicht wo nochmal näher darauf eingegangen wurde.

Du sagst dass die Daten die man im Dashboard sieht die "alten" sind bzw. dass das das alte System ist.

Kann man dann bald mit einem großen Update rechnen wo das gesamte Dashboard sich ändert?

Eine Gesamtstatistik im Dashboard über eventuelle Downzeiten, Audits. gesamt erzeugter Traffic des Nodes, gesamte Zeit des Nodes usw. wäre schön ohne dass man dazu auf Drittanbieter wie Grafana setzen muss. Eventuell sogar eine Anzeige über den Zustand des eingesetzten Speichermedium so dass man wirklich eine gesamte Übersicht des Nodes hat und das an einem Ort.

Tardigrade selbst konnte ich bisher leider noch nicht nutzen da ich noch keine StorjTokens besitze und auch keine Kreditkarte habe.

[skunk]

vor einer Stunde schrieb Heisenberg420:

Kann man dann bald mit einem großen Update rechnen wo das gesamte Dashboard sich ändert?

Es wird in wenigen Tagen Payout Informationen auf dem Storage Node Dashboard geben.

vor einer Stunde schrieb Heisenberg420:

Eine Gesamtstatistik im Dashboard über eventuelle Downzeiten, Audits. gesamt erzeugter Traffic des Nodes, gesamte Zeit des Nodes usw. wäre schön ohne dass man dazu auf Drittanbieter wie Grafana setzen muss. Eventuell sogar eine Anzeige über den Zustand des eingesetzten Speichermedium so dass man wirklich eine gesamte Übersicht des Nodes hat und das an einem Ort.

Die Wunschliste ist lang. Ganz vorne in der Liste stehen erstmal noch Themen wie zum Beispiel Multipart Upload damit die Kunden das Netzwerk auch mit größeren Mengen an Daten befeuern können. Ich bin selber bereits dabei ein Backup meiner Daten mit rclone an zu legen. Das funktioniert schon erstaunlich gut aber um es im größeren Maßstab anwenden zu können fehlen noch ein paar kleine Verbesserungen.

[Heisenberg420]

vor einer Stunde schrieb skunk:

Es wird in wenigen Tagen Payout Informationen auf dem Storage Node Dashboard geben.

Das ist ja schon mal wieder einen Schritt weiter! 🙂

 

vor einer Stunde schrieb skunk:

Die Wunschliste ist lang.

Ja das ist mir bewusst und mir ist klar dass es da andere Prioritäten gibt und ich bin mir sicher dass mit der Zeit auch die Verbesserungen im Dashboard kommen.

Updates kommen ja Regelmäßig.

[GhostTyper]

vor 12 Stunden schrieb Heisenberg420:

Tardigrade selbst konnte ich bisher leider noch nicht nutzen da ich noch keine StorjTokens besitze und auch keine Kreditkarte habe.

Wie viel StorJ brauchst Du? Ich würde Dir diese zum normalen ETH-Kurs tauschen, wenn Du willst.

[skunk]

vor 3 Stunden schrieb GhostTyper:

Wie viel StorJ brauchst Du? Ich würde Dir diese zum normalen ETH-Kurs tauschen, wenn Du willst.

Da würde ich noch die Finger von lassen. Was im Frontend leider nicht steht ist, dass die erste Zahlung mindestens $ 50 in STORJ sein muss. Der Test mit der Kreditkarte ist da billiger.

[GhostTyper]

vor 22 Minuten schrieb skunk:

Da würde ich noch die Finger von lassen. Was im Frontend leider nicht steht ist, dass die erste Zahlung mindestens $ 50 in STORJ sein muss. Der Test mit der Kreditkarte ist da billiger.

Ich kann ihm auch Fiat tauschen - wenn er halt keine Kreditkarte hat...

Bearbeitet 2. April 2020 von GhostTyper

[skunk]

Darum geht es mir nicht mal. Aktuell ist es so, dass du $ 50 in STORJ bezahlen müsstest. Es gibt einen Discount von 10% auf STORJ Zahlungen. Dann hättest du $ 55 auf dem Konto. Das ist dann ein vergleichsweise teurer Test. Bei der Alternative mit der Kreditkarte wären die ersten 5 GB dagegen kostenlos. Meiner Meinung nach macht die STORJ Zahlung erst dann sinn wenn man vor hat den Dienst längerfristig zu nutzen.

[Heisenberg420]

vor 5 Stunden schrieb GhostTyper:

Wie viel StorJ brauchst Du? Ich würde Dir diese zum normalen ETH-Kurs tauschen, wenn Du willst.

Schön dass es noch so Hilfsbereite Menschen gibt! 😇 Danke!

 

Ich werde erstmal abwarten, noch habe ich genügend Speicher Zuhause über. Ziel ist es aber irgendwann wichtige Daten und Backups im Storj Netzwerk zu speichern, dann kann ich mir die doppelte und dreifache Sicherung sparen.

Ich habe bislang immer alle Finger von Clouds gelassen weil ich kein Vertrauen zu den Anbietern habe, schon gar nicht den in den USA ansässigen was ja mit Storj Geschichte ist.

 

 

Wie schaut es momentan bei Euch mit dem Traffic aus? Ich habe viel Ingress aber so gut wie keinen Egress seit gestern auf allen meinen Nodes. (Strafe wegen Downtimes?) Aber wenn ich das richtig verstanden habe dürfte ich in einer Sperre gar keinen Egress haben oder?

 

 

 

 

 

[skunk]

vor 6 Minuten schrieb Heisenberg420:

Ich habe bislang immer alle Finger von Clouds gelassen weil ich kein Vertrauen zu den Anbietern habe, schon gar nicht den in den USA ansässigen was ja mit Storj Geschichte ist.

Schön zu sehen, dass ich nicht der einzige bin mit dieser Einstellung  

Ich habe hier zuhause ein kleines QNAP NAS zu stehen und etwa 300 GB an wichtigen Daten. Das sind vorrangig private Urlaubs Bilder und Videos. Die 300 GB sind auf 4 Geräten gespeichert. Brennt mir die Wohnung ab, bringen mir auch die 4 Backups nichts. Jetzt bin ich dabei die Daten zu Storj hoch zu laden. Mit rclone funktioniert das erstaunlich gut.

Ich kann dich sonst auch zu meinem Projekt einladen. Dann kannst du Storj zumindest testen ohne dafür selber bezahlen zu müssen. Da nur du den Verschlüsselungs Key hast, kann ich deine Daten trotzdem nicht einsehen. Wenn du da zuviel Traffic auf meinen Account verbuchst, sperr ich dich einfach wieder aus und lösche deine Testdaten. Mein Account Limit wäre 1 TB abzüglich der von mir geplanten 300 GB.

[GhostTyper]

vor 20 Minuten schrieb Heisenberg420:

Wie schaut es momentan bei Euch mit dem Traffic aus? Ich habe viel Ingress aber so gut wie keinen Egress seit gestern auf allen meinen Nodes.

Meine erste aufgesetzte Node hat die folgende Performance, alle anderen sind schlechter:

Last Contact ONLINE
Uptime       20h55m0s

                   Available        Used     Egress     Ingress
     Bandwidth           N/A     71.1 GB     9.9 GB     61.2 GB (since Apr 1)
          Disk        1.1 TB      0.9 TB

Ist leider nicht soooo gut.

[skunk]

Entspricht aber genau den erwarteten 10% Egress Traffic. Bei mir ist das Verhältnis sogar etwas schlechter. Ich bin aktuell dabei den Kauf neuer Hardware zu planen um mich auf diese Situation einstellen zu können. Meine aktuelle Storage Node hat zu wenig RAM. Meine Internet Leitung würde bei voller Auslastung 12 TB raus schieben können. Mein Plan ist langfristig 4-6 TB für STORJ. Dazu brauche ich aber ein neues Gerät mit 4 oder besser gleich 6 Festplatten um auf mindestens 40 TB Speicher zu kommen. Dazu noch ein SSD Cache. Ich werde noch einige Zeit benötigen um all die neuen Begriffe zu lernen. Ein Microserver Gen10 Plus mit ZFS wäre die einfachste Lösung ist mir aber etwas zu laut. Ich muss mir also vergleichbare Hardware raussuchen und dann in ein geeignetes Gehäuse packen.

[Heisenberg420]

Okay dann scheint das bei allen so zu sein momentan.

 

                   Available         Used     Egress      Ingress
     Bandwidth           N/A     325.6 GB     2.1 GB     323.6 GB (since Apr 1)
          Disk        2.9 TB       0.8 TB

 

Bei meinem ersten Node Zuhause schaut es Aktuell so aus, Ingress bekomm ich ordentlich rein.

Alle anderen ebenfalls schlechter aber auch später gestartet.

 

Am 2.4.2020 um 13:35 schrieb skunk:

Ich kann dich sonst auch zu meinem Projekt einladen.

Lieb von Dir 🙂 Aktuell habe ich aber wirklich noch keinen Bedarf. Ich werde mir dann wenn es soweit ist Tardigrade einfach durch die Nodes finanzieren. Solang komme ich auch noch locker mit meinem Speicher zuhause aus.

 

Am 2.4.2020 um 13:35 schrieb skunk:

Brennt mir die Wohnung ab, bringen mir auch die 4 Backups nichts.

Da hab ich auch schon einige male dran gedacht und deshalb wirklich wichtige Daten nochmals auf einer anderen HDD an einem anderen Standort gesichert. Mag villeicht übertrieben wirken aber ich hänge sehr an meinen Errinerungen. Bislang ist mir nie eine Festplatte abgeschmiert. Man soll ja aber niemals nie sagen.

 

Ich glaube dass ich mit meinen knapp 4TB und einer 55Mbit Leitung ganz gut fahre. Die Leitung wird regelmäßig von mehreren Teilnehmern belegt so dass ich mir da nicht allzuviel Traffic erhoffen brauche.

Da investiere ich doch lieber nochmal ein paar Euro in einen Storage VPS, ich werde aber erstmal abwarten wie die Nodes sich im April verhalten.

Am 2.4.2020 um 13:57 schrieb skunk:

 Meine aktuelle Storage Node hat zu wenig RAM.

Mein RPi4 ist mit 4GB belegt. Alle meine Storage VPS haben nur 1GB. Ich sehe da bisher eigentlich kein Problem die Auslastung liegt bei knapp 200MB.

[skunk]

Hardware für meine neue Storage Node habe ich inzwischen bestellt. Es wird ein AMD Ryzen 5 1600 und dazu 32 GB RAM mit der Möglichkeit später auf 64 GB zu erhöhen sollte das notwendig werden. An das Mainboard kann ich 6 Festplatten anschließen und 2 Intel Optane SSD im Raid 1 als Cache. Mal sehen wie sich dieses Setup so schlägt im Vergleich zu meinem alten NAS.

Lieferung wird wohl etwas dauern. Nicht alle Komponenten sind aktuell auf Lager. Eilig habe ich es nicht. Ich muss so oder so erst noch einige Tests machen um das für mich passende OS und die passenden Einstellungen zu finden. Das teste ich lieber ein paar Tage mehr als zu wenig.

[GhostTyper]

vor 7 Stunden schrieb skunk:

Mal sehen wie sich dieses Setup so schlägt im Vergleich zu meinem alten NAS.

Meine CPU% und RAM-Messungen legen nahe, dass es praktisch keinen Unterschied machen wird.

[skunk]

vor 1 Minute schrieb GhostTyper:

Meine CPU% und RAM-Messungen legen nahe, dass es praktisch keinen Unterschied machen wird.

Meine RAM Auslastung auf meinem NAS sagt etwas anderes.

[GhostTyper]

Am 13.4.2020 um 20:50 schrieb skunk:

Meine RAM Auslastung auf meinem NAS sagt etwas anderes.

Ist das eine Atom oder ARM Consumer NAS?

                   Available       Used      Egress     Ingress
     Bandwidth           N/A     1.4 TB     71.2 GB      1.3 TB (since Apr 1)
          Disk        3.2 GB     2.0 TB

Dieses Ingress/Egress-Verhältnis finde ich unverhältnismäßig... XD

Ich muss diese Node jetzt vergrößern...

[skunk]

In dem alten NAS ist ein Intel Celeron J1900 verbaut. Der schlägt sich auch recht gut wenn er denn genug RAM hat. SSD Cache für gerade mal 40€ Aufpreis ist natürlich auch ein gutes Argument das alte NAS zu ersetzen.

[Heisenberg420]

vor 59 Minuten schrieb GhostTyper:

Dieses Ingress/Egress-Verhältnis finde ich unverhältnismäßig... XD

                   Available       Used      Egress     Ingress
     Bandwidth           N/A     2.0 TB     32.8 GB      1.9 TB (since Apr 1)
          Disk        1.5 TB     2.2 TB

Was soll ich denn sagen 🤷‍♀️😅

 

Zwei meiner Nodes sind voll, ich denke dass ich diese Ende des Monats Offline nehme da beide jeweils nur 1TB fassen und ich glaube mit so wenig Speicher macht das nicht viel Sinn, jedenfalls haben beide Nodes in den letzten 5 Tagen gerade mal insgesamt knapp 2GB Egress verursacht.

 

vor einer Stunde schrieb GhostTyper:

Ich muss diese Node jetzt vergrößern...

Vergrößern der Partition hab ich auch schon hinter mir. War spannend und dann erleichternd dass es ohne Datenverlust geklappt hat 😀

Ich denke dass ich zuhause auch doch noch einen zweiten Node mit meiner 8TB Platte starten werde. Bislang habe ich noch 1,5TB auf meinem ersten Node frei, die werden wohl Ende des Monats dann auch voll sein. Mal schauen ich werde noch knapp 2 Wochen abwarten.

Dazu werde ich dann noch einen VPS mit 4TB buchen, ersetzt dann die 2 Nodes die Offline gehen.

 

[GhostTyper]

vor 2 Minuten schrieb Heisenberg420:

Vergrößern der Partition hab ich auch schon hinter mir. War spannend und dann erleichternd dass es ohne Datenverlust geklappt hat 😀

Ich hab' schon alles gemacht ohne Datenverlust:

• Umgezogen zwischen Standorten.
• Disk vergrößert.
• Disk verkleinert.

[Heisenberg420]

Ich hab es das erste mal gemacht, war dann aber doch leichter als man im Vorfeld denkt. Ich habe einfach zu viele Themen gelesen wo das in die Hose gegangen ist 😂

 

@skunk Kann ich den Node ebenfalls via Docker auf dem gleichen Gerät nutzen? Wenn es so weiter geht ist mein Node in 5-7 Tagen voll. Gestern hatte ich 250GB Ingress und der Egress geht nun auch langsam nach oben.

 

                   Available       Used      Egress     Ingress
     Bandwidth           N/A     2.6 TB     56.7 GB      2.6 TB (since Apr 1)
          Disk        0.7 TB     2.8 TB

 

 

[skunk]

vor 13 Stunden schrieb Heisenberg420:

Kann ich den Node ebenfalls via Docker auf dem gleichen Gerät nutzen?

Ja kannst du. Du musst nur ein wenig mit den Ports aufpassen damit am Ende nicht eine deiner beiden Nodes versehentlich offline ist.

[skunk]

Die Lieferung meiner neuen Hardware verzögert sich weiterhin