Storj - Potential?

[Gandulf]

vor 9 Stunden schrieb skunk:

Warum ist es eigentlich so ungewöhnlich ruhig hier? Im Storj Netzwerk laufen fast schon täglich hunderte Nodes voll und die Bandbreite wird dünn sodas wir eigentlich locker die Anzahl der Nodes verdoppelt müssten aber außerhalb des Storj Forums hört man praktisch nichts davon. Woran liegt das?

Ich bin jetzt dabei mein Setup weiter auszubauen. Mit etwas Glück kann ich im Herbst auf bis zu 2GBit/s Glasfaser upgraden und damit könnte ich in wenigen Monaten bis zu 40 Festplatten voll machen. Die kann ich mit meinem aktuellen System aber nicht mehr managen. Mein Plan ist es stattdessen auf einen Raspberry Pi5 umstellen und wenn dessen Grenze erreicht ist einfach einen zweiten daneben. Ich vermute ein Pi5 kann relativ "problemlos" 4-5 Festplatten managen. Das Ganze ließe sich einfach besser skalieren im extremfall wirklich 10 Stück mit zusammen dann 40 Festplatten. Die Kosten für eine Erweiterung um 4-5 Festplatten bleibt bei diesem Setup gleich. Und der Stromverbrauch dürfte unschlagbar sein.

willst Du dann pro RPi5 eine Node betreiben oder je RPi und je Festplatte eine Node?
Sprich bei 4-5 Festplatten = 4-5 Nodes oder die Nodes mit dementsprechenden Speicher?

Ich bin ehern überlegen meine Node abzuschalten, läuft jetzt ein paar Jahre, ist aber eigentlich nicht wirklich rentabel.

Gibt es immer noch die Beschränkung von einer Node in einem 24er Netz?

[skunk]

vor 9 Stunden schrieb Gandulf:

Sprich bei 4-5 Festplatten = 4-5 Nodes oder die Nodes mit dementsprechenden Speicher?

Pro Festplatte eine Node. Limitierender Faktor wird in diesem Fall die CPU des Pi5 sein.

vor 9 Stunden schrieb Gandulf:

Ich bin ehern überlegen meine Node abzuschalten, läuft jetzt ein paar Jahre, ist aber eigentlich nicht wirklich rentabel.

Das ist genau der Teil den ich nicht verstehe. Meine Node schreibt mit 200MBit die Festplatte vor und das ist dann immer noch zu wenig?

vor 9 Stunden schrieb Gandulf:

Gibt es immer noch die Beschränkung von einer Node in einem 24er Netz?

Es gibt eine neue Node Selektion, die die schnellen Nodes deutlich häufiger selektiert und dann eben 200MBit oder mehr schafft. Das sehe ich dann nur nicht weil meine Leitung bei 250MBit am Anschlag läuft. Glasfaser bekomme ich frühstens im Herbst diesen Jahres wenn die Telekom das nicht um weitere Jahre nach hinten schiebt.

[micro1]

Am 21.6.2024 um 12:35 schrieb skunk:

Warum ist es eigentlich so ungewöhnlich ruhig hier? Im Storj Netzwerk laufen fast schon täglich hunderte Nodes voll und die Bandbreite wird dünn sodas wir eigentlich locker die Anzahl der Nodes verdoppelt müssten aber außerhalb des Storj Forums hört man praktisch nichts davon. Woran liegt das?

Ich bin jetzt dabei mein Setup weiter auszubauen. Mit etwas Glück kann ich im Herbst auf bis zu 2GBit/s Glasfaser upgraden und damit könnte ich in wenigen Monaten bis zu 40 Festplatten voll machen. Die kann ich mit meinem aktuellen System aber nicht mehr managen. Mein Plan ist es stattdessen auf einen Raspberry Pi5 umstellen und wenn dessen Grenze erreicht ist einfach einen zweiten daneben. Ich vermute ein Pi5 kann relativ "problemlos" 4-5 Festplatten managen. Das Ganze ließe sich einfach besser skalieren im extremfall wirklich 10 Stück mit zusammen dann 40 Festplatten. Die Kosten für eine Erweiterung um 4-5 Festplatten bleibt bei diesem Setup gleich. Und der Stromverbrauch dürfte unschlagbar sein.

Sind das alles testdaten ?

[skunk]

vor 33 Minuten schrieb micro1:

Sind das alles testdaten ?

Beides. Der Großteil sind aktuell Testdaten aber mit dem Hintergrund, dass damit ein Anwendungsfall simuliert wird, der in Kürze auf US1 einschlagen dürfte. Die Testdaten werden mit einem TTL hochgeladen sodass sie dann nahtlos von Kundendaten ersetzt werden können. Zusätzlich hat Storj gestern angekündigt die Zufluss an Testdaten für einige Monate aufrecht zu erhalten um das Risiko vom Tisch zu nehmen, dass die Kunden am Ende nicht unterschreiben. Meinem Payout sind diese Details egal. Ich habe in den letzten 2 Monaten mein Payout verdoppelt. Vorbei ist die Zeit wo ich gerade so kostendeckend arbeiten konnte. Jetzt kann der Spaß losgehen.

Hardware für ein Pi5 habe ich vor mir liegen. Das ist jetzt der perfekte Zeitpunkt um mal zu testen wie schnell so eine Pi5 storage node wäre.

[Gandulf]

Am 22.6.2024 um 07:44 schrieb skunk:

Das ist genau der Teil den ich nicht verstehe. Meine Node schreibt mit 200MBit die Festplatte vor und das ist dann immer noch zu wenig?

 

Ich meinte kostendeckend.
Meine rewards haben sich nicht verdoppelt, sind ehern im Gegenteil deutlich weniger geworden.
Früher hatte ich ca 15$ im Monat, jetzt gerade knapp 10

Wenn du 4-5 Nodes amn einem PI laufen lässt, hast du dann ein VPS mit dauigehörigen VPN davorgeschaltet?

Mag das storj überhaupt? Ich stelle mir das Datentechnisch echt schwierig vor, denn wenn es dumm läuft liegen die Daten in Teilen alle auf Deinen Nodes an einem Ort.
Was passiert wenn Dein Haus abbrennt? Dann hat Storj ja ein Problem an die Daten des Kunden zu kommen.
(Ja ich weiss, sehr weit hergeholt)

[skunk]

vor 12 Minuten schrieb Gandulf:

Meine rewards haben sich nicht verdoppelt, sind ehern im Gegenteil deutlich weniger geworden.

Dann solltest du dich vielleicht auf Fehlersuche begeben. Irgendwas stimmt da nicht.

vor 13 Minuten schrieb Gandulf:

Wenn du 4-5 Nodes amn einem PI laufen lässt, hast du dann ein VPS mit dauigehörigen VPN davorgeschaltet?

Das ist nicht notwendig. Ich habe hier bis zu 200MBit/s auf einer einzige Node anliegen. Diesen Datenstrom will ich einfach auf 4-5 Festplatten aufteilen. Ob der Pi5 dafür auch schnell genug ist, muss ich erst noch austesten.

vor 15 Minuten schrieb Gandulf:

Was passiert wenn Dein Haus abbrennt? Dann hat Storj ja ein Problem an die Daten des Kunden zu kommen.

Das gleiche was bei einem RAID passieren würde. Nichts. Der Kunde kann weiterhin auf seine Daten zugreifen und noch lange bevor es zu Datenverlust kommen könnte, greift ein Repair Job ein und lädt ein paar zusätzliche Teile zu neuen Nodes hoch.

[Gandulf]

vor einer Stunde schrieb skunk:

Das ist nicht notwendig. Ich habe hier bis zu 200MBit/s auf einer einzige Node anliegen. Diesen Datenstrom will ich einfach auf 4-5 Festplatten aufteilen. Ob der Pi5 dafür auch schnell genug ist, muss ich erst noch austesten.

 

War da aber nicht einmal etwas mit einer node in einem 24/er Netzbereich? Oder ist das geändert worden?

Okay, habe dazu einen beitrag gefunden:

You may run several nodes if they are in the same /24 subnet of public IPs, but they will be treated as a one big node for uploads, and as a separate ones for downloads, repair and audit traffic and uptime checks: we want to be decentralized as much as possible.
Each new node must be vetted, while vetting the node can accept only 5% of the customers traffic until got vetted. To be vetted on the satellite the node should pass 100 audits from it. For the one node in the /24 subnet of public IPs it should take at least a month.
Several vetting nodes may have a longer vetting period, because they would share the ingress, so each would have less data and less audits.
Thus it’s recommended to start the second node only when the previous one almost full or at least vetted.

Bearbeitet 26. Juni von Gandulf

[skunk]

vor 17 Stunden schrieb Gandulf:

War da aber nicht einmal etwas mit einer node in einem 24/er Netzbereich? Oder ist das geändert worden?

Die Node selection wurde verändert und eventuell liegt da dein Problem. In meinem Fall gibt mir die neue Node selection deutlich mehr Daten weil ich die notwendige Performance habe um die Daten auch schnell genug auf die Festplatte zu schreiben. Nodes mit eher schlechter Performance bekommen dagegen weniger.

[Agoraphobie]

Hallo,

Ich habe seit 1.5 Jahren 3 Nodes 5/5/10TB - diese waren vor wenigen Monaten noch vollständig gefüllt und nun sehe ich insgesamt 10TB TRASH - tendenz steigend.

Beobachtet jemand ähnliches?

[skunk]

vor 2 Stunden schrieb Agoraphobie:

Beobachtet jemand ähnliches?

Was hast du in den letzten 2 Monaten beobachtet? Ich sehe aktuell lediglich eine kleine Pause von jetzt einer Woche und verglichen mit dem was davor los war erscheint mir das als vernachlässigbar. Es gibt mir vielleicht sogar die Chance noch rechtzeitig ein paar Sachen auf meinen nodes umzustellen. Ich bin fast durch. Ich brauche nur noch ein paar Tage mehr.

Bearbeitet 31. August von skunk

[Agoraphobie]

Ich beobachte das ich fast nur noch TRASH auf meinen Nodes habe, das ist doch contraproduktiv oder nicht

[micro1]

Hi. Ich bin wieder in Storj eingestiegen mit 40 TB. 10 sind schon belegt.

 

ich stelle fest das meine Fritz Box manchmal überfordert ist mit 2 nodes. Welchen Router verwendet ihr so? 
 

habt ihr ggf. Ein Tip für mich ?

[micro1]

Am 27.6.2024 um 15:45 schrieb skunk:

Die Node selection wurde verändert und eventuell liegt da dein Problem. In meinem Fall gibt mir die neue Node selection deutlich mehr Daten weil ich die notwendige Performance habe um die Daten auch schnell genug auf die Festplatte zu schreiben. Nodes mit eher schlechter Performance bekommen dagegen weniger.

Hast du einen SSD Cache für deine Nodes ?

[skunk]

vor 7 Minuten schrieb micro1:

Welchen Router verwendet ihr so?

Netgate 3100. Wenn ich das richtig sehe steht gerade einer bei Ebay Kleinanzeigen drin. Wäre vielleicht was für dich. Der ist vom Setup her aber etwas komplizierter als eine Fritzbox. Da müsstest du etwas Zeit für einplanen.

Ich bin noch am überlegen ob ich nicht sogar auf ein Netgate 4100 oder größer umstelle sofern hier irgendwann Glasfaser anliegt. Die größeren Modelle haben einen Port für ein Glasfaser Anschluss und man spart sich dann das Modem.

[micro1]

vor 3 Minuten schrieb skunk:

Netgate 3100. Wenn ich das richtig sehe steht gerade einer bei Ebay Kleinanzeigen drin. Wäre vielleicht was für dich. Der ist vom Setup her aber etwas komplizierter als eine Fritzbox. Da müsstest du etwas Zeit für einplanen.

Ich bin noch am überlegen ob ich nicht sogar auf ein Netgate 4100 oder größer umstelle sofern hier irgendwann Glasfaser anliegt. Die größeren Modelle haben einen Port für ein Glasfaser Anschluss und man spart sich dann das Modem.

Alles klar danke. Das dumme ist ich habe Kabel Internet 

[skunk]

vor 8 Minuten schrieb micro1:

Hast du einen SSD Cache für deine Nodes ?

Ja und Nein. Ich habe meinen alten Server durch zwei stromsparende Pi5 ersetzt. Die Herausforderung dabei ist die Pi5 auch schnell genug zu machen sodass sie in Summe meine 8 Festplatten weiter betreiben können. Ich habe mit der Umstellung begonnen zu einem Zeitpunkt zu dem eine Caching SSD notwendig war und habe Hardware Seitig auch erstmal alles darauf ausgelegt. Es gab in den letzten 2 Monaten diverse Verbesserungen sodass ein SSD Cache nicht mehr so ausschlaggebend ist. Aktuell laufen meine Nodes auf Standard ext4 sehr stabil und dank der Verbesserungen überraschend schnell. Die Einstellungen die du unbedingt setzen solltest sind folgende:
pieces.enable-lazy-filewalker: false
pieces.file-stat-cache: badger
 

Die aktuelle Situation können wir wohl als Ruhe vor dem Sturm bezeichnen. Mir fehlen noch Erfahrungswerte wie gut meine Nodes in den kommenden Stürmen abschneiden werden. Dank des Badger Cache ist Garbage Collection beeindruckend schnell. Es wäre jedoch denkbar, dass sich das in den bevorstehenden stürmischen Zeiten ändert. Ich behalte mir das Recht vor meine Standard ext4 Nodes auf LVM umzustellen. Noch sieht es aber so aus als wäre das nicht notwendig. Wir werden sehen.

[skunk]

vor 23 Minuten schrieb micro1:

Alles klar danke. Das dumme ist ich habe Kabel Internet 

Ich habe meine alte Fritzbox kurzerhand zum Modem umfunktioniert. Das müsste bei dir eigentlich auch möglich sein.

[micro1]

vor 2 Minuten schrieb skunk:

Ja und Nein. Ich habe meinen alten Server durch zwei stromsparende Pi5 ersetzt. Die Herausforderung dabei ist die Pi5 auch schnell genug zu machen sodass sie in Summe meine 8 Festplatten weiter betreiben können. Ich habe mit der Umstellung begonnen zu einem Zeitpunkt zu dem eine Caching SSD notwendig war und habe Hardware Seitig auch erstmal alles darauf ausgelegt. Es gab in den letzten 2 Monaten diverse Verbesserungen sodass ein SSD Cache nicht mehr so ausschlaggebend ist. Aktuell laufen meine Nodes auf Standard ext4 sehr stabil und dank der Verbesserungen überraschend schnell. Die Einstellungen die du unbedingt setzen solltest sind folgende:
pieces.enable-lazy-filewalker: false
pieces.file-stat-cache: badger
 

Die aktuelle Situation können wir wohl als Ruhe vor dem Sturm bezeichnen. Mir fehlen noch Erfahrungswerte wie gut meine Nodes in den kommenden Stürmen abschneiden werden. Dank des Badger Cache ist Garbage Collection beeindruckend schnell. Es wäre jedoch denkbar, dass sich das in den bevorstehenden stürmischen Zeiten ändert. Ich behalte mir das Recht vor meine Standard ext4 Nodes auf LVM umzustellen. Noch sieht es aber so aus als wäre das nicht notwendig. Wir werden sehen.

Diese 2 Optionen die du anführst.

Wie setze ich die. Ich nutze Docker ! Und was machen die ?

[micro1]

vor 2 Minuten schrieb skunk:

Ich habe meine alte Fritzbox kurzerhand zum Modem umfunktioniert. Das müsste bei dir eigentlich auch möglich sein.

Ja stimmt das geht. Denkst du das würde dann ein Vorteil bringen ? Weil letztendlich gehen dann doch alle connections über die Fritz Box 

[Gandulf]

vor 2 Stunden schrieb Agoraphobie:

Ich beobachte das ich fast nur noch TRASH auf meinen Nodes habe, das ist doch contraproduktiv oder nicht

Der Trash ist bei mir auch in der letzten Woche hoch gegangen.

Node1:  6,3TB von 10TB belegt - 1,6TB Trash Node läuft ein paar Jahre
Node2: 8,41TB von 18TB belegt - 2,41TB Trash Node läuft aber erst ca 1,5 Monate

[skunk]

vor 27 Minuten schrieb micro1:

Ja stimmt das geht. Denkst du das würde dann ein Vorteil bringen ? Weil letztendlich gehen dann doch alle connections über die Fritz Box 

Bei mir funktioniert es. Das aufwändige ist NAT und wenn die Fritzbox nur noch Modem ist, hat sie damit nichts mehr zu tun. Das muss dann der Router machen und ein Netgate ist dafür einfach besser ausgelegt.

Problematisch ist da eher das Setup. Schau dir vielleicht ein paar Youtube Videos an und überlege dir ob du damit klarkommen würdest.

[skunk]

vor 35 Minuten schrieb micro1:

Diese 2 Optionen die du anführst.

Wie setze ich die. Ich nutze Docker ! Und was machen die ?

Ich sage mal ausweichend so wie du jede andere Option auch setzt. Da gibt es diverse Möglichkeiten. Mach es einfach so wie du es bisher auch getan hast.