Storj - Potential?

[skunk]

Geht es nur mir so oder ist der Download Traffic gestiegen? Ich habe das Gefühl mein Payout ist deutlich gestiegen. Ich habe aber noch nicht die Zeit gefunden mal nachzuforschen was mein Payout so ansteigen lässt.

[GhostTyper]

vor 2 Stunden schrieb skunk:

Geht es nur mir so oder ist der Download Traffic gestiegen? Ich habe das Gefühl mein Payout ist deutlich gestiegen. Ich habe aber noch nicht die Zeit gefunden mal nachzuforschen was mein Payout so ansteigen lässt.

Das ist derzeit meine Tagesauslastung, wobei In- und Outbound vertauscht ist, weil das am VLAN der Stor-J-Nodes gemessen ist:
http://kwick.ghost-home.de/blog/storj-traffic.png

Es sieht nach etwas mehr aus zu dem ich das letzte Mal geguckt habe. Die durchschnittlichen 20 MBit/s sind gute 6,5 TB. Es sind 10 Stor-J-Nodes mit c.A. 50 TB belegtem Speicher.

[Agoraphobie]

Alle 10 Nodes an einer öffentlichen Adresse? Oder auch irgendwo gehostet.

[GhostTyper]

vor 3 Stunden schrieb Agoraphobie:

Alle 10 Nodes an einer öffentlichen Adresse? Oder auch irgendwo gehostet.

10 Nodes in 5 unterschiedlichen Klasse B Netzwerken in einem Rechenzentrum. Jede Node hat 12 TB Speicher.

@skunk: Wieviel Disk kann denn die StorJ-Software mittlerweile effektiv verwalten? Hab' die Disks nämlich nur auf 12 TB Begrenzt, weil es Mal hieß, dass das ein technisches Limit sei und die Node-Software danach langsam würde...

[skunk]

vor 14 Minuten schrieb GhostTyper:

@skunk: Wieviel Disk kann denn die StorJ-Software mittlerweile effektiv verwalten? Hab' die Disks nämlich nur auf 12 TB Begrenzt, weil es Mal hieß, dass das ein technisches Limit sei und die Node-Software danach langsam würde...

Nach oben gibt es eigentlich kein Limit. Behalte einfach Garbage Collection und den File Walker im Auge. Kannst du beides über den Debug Endpoint /mon/funcs abfragen. Sieht in etwa so aus:
 

[6687144771154964509] storj.io/storj/storage/filestore.(*Dir).walkNamespaceInPath
  parents: 9195562688679705438
  current: 0, highwater: 1, success: 12, errors: 0, panics: 0
  success times:
    0.00: 14.818921472s
    0.10: 20.496184729s
    0.25: 1m17.80682752s
    0.50: 3m53.662971904s
    0.75: 6m36.984614912s
    0.90: 18m56.858680524s
    0.95: 20m44.25226158s
    1.00: 21m18.41206272s
    avg: 6m8.927804802s
    ravg: 6m8.927834112s
    recent: 4m44.002429337s
    sum: 1h13m47.133657629s
  failure times:
    0.00: 0s
    0.10: 0s
    0.25: 0s
    0.50: 0s
    0.75: 0s
    0.90: 0s
    0.95: 0s
    1.00: 0s
    avg: 0s
    ravg: 0s
    recent: 0s
    sum: 0s

 

Den eigentlichen FileWalker habe ich bei mir deaktiviert daher kann ich dir nicht sagen wie die Funktion genau hieß. Wenn ich nicht ganz falsch liege sollte sie als Parent aufgelistet werden.

Bearbeitet 6. Juli 2022 von skunk

[GhostTyper]

vor 57 Minuten schrieb skunk:

Kannst du beides über den Debug Endpoint /mon/funcs abfragen.

Auf welchem Port läuft der? Auf 14002 bekomme ich da keinen Output. Muss ich dafür irgend was aktivieren?

[skunk]

vor 3 Stunden schrieb GhostTyper:

Auf welchem Port läuft der? Auf 14002 bekomme ich da keinen Output. Muss ich dafür irgend was aktivieren?

Ja. Anleitung hier: https://forum.storj.io/t/guide-to-debug-my-storage-node-uplink-s3-gateway-satellite/1372

[skunk]

Heute Abend ist Townhall: https://forum.storj.io/t/town-hall-q2-2022/19273

[GhostTyper]

Und, @skunk: Haben sie was erzählt, dass dafür verantwortlich ist, dass der Traffic um die Hälfte eingebrochen ist?

[skunk]

vor 14 Stunden schrieb GhostTyper:

Und, @skunk: Haben sie was erzählt, dass dafür verantwortlich ist, dass der Traffic um die Hälfte eingebrochen ist?

Ganz normale Schwankungen. Ich musste diesen Monat meine Nodes sogar etwas drosseln weil sie meine Leitung voll belegt hatten. Ich bin eigentlich ganz froh, dass es im Moment etwas ruhiger ist. Ich bin aktuell dabei einen L2ARC einzurichten und zu testen ob der mir Performance Vorteile bringt. Das macht sich einfach besser wenn man nicht gerade kurze Aussetzer wegen zu viel Traffic hat.

[DragonRE]

Am 6.7.2022 um 13:16 schrieb GhostTyper:

10 Nodes in 5 unterschiedlichen Klasse B Netzwerken in einem Rechenzentrum. Jede Node hat 12 TB Speicher.

@skunk: Wieviel Disk kann denn die StorJ-Software mittlerweile effektiv verwalten? Hab' die Disks nämlich nur auf 12 TB Begrenzt, weil es Mal hieß, dass das ein technisches Limit sei und die Node-Software danach langsam würde...

Moin,

mich würde interessieren bei welchem Anbieter / Rechenzentrum Du hostest und auf welchem Betriebssystem!
Wie stellst Du zudem sicher, dass Du unterschiedliche Subnetze erhälst?

Ich habe diesbezüglich mehrere Rechenzentren angefragt und lediglich unqualifizierte Antworten oder unwirtschaftliche Angebote erhalten.

Es wäre wirklich super, diesbezüglich eine kleine Starthilfe zu bekommen.
Danke schön

 

[GhostTyper]

Hallo @DragonRE,

ich kann das nur machen, weil ich schon sehr viele Ressourcen auf "Enterprise-Grade" Hardware habe, die einfach nicht benutzt werden. Falls ich diesen Speicher, der z.B. derzeit von StorJ-Nodes oder "einem anderen Spaß-Projekt" belegt ist dringend brauche lösche ich einfach eine Node, etc. Ich habe also nur so viele unterschiedliche Subnetze, weil ich so viel Infrastruktur habe und habe die Subnetze nicht nur gekauft wegen StorJ.

Ich kann nachfühlen, dass sich ein Rechenzentrum auf keinen Fall mit einzelnen IP-Adressen herumschlagen und eine Garantie geben möchte, das diese auch zukünftig nicht in ein gleiches Subnetz rutschen. (Z.B. durch Umstrukturierung, etc.) Denn Provider die günstig genug sind (also, dass sich eine Node lohnt, wenn man nicht sowieso schon Infrastruktur hat) garantieren einem nicht, dass sich die IP-Adresse nicht doch ändern kann.

vor 19 Stunden schrieb DragonRE:

auf welchem Betriebssystem

Nodes hoste ich auf Linux. Linux läuft virtualisiert und die Storages sind entgegen der Empfehlung von StorJ keine einzelnen Disks, sondern SANs mit RAID.

vor 19 Stunden schrieb DragonRE:

Wie stellst Du zudem sicher, dass Du unterschiedliche Subnetze erhälst?

Ich kaufe die Subnetze. 😕

vor 19 Stunden schrieb DragonRE:

Es wäre wirklich super, diesbezüglich eine kleine Starthilfe zu bekommen.

Ich glaube das nur für StorJ zu machen geht überhaupt nicht wirtschaftlich.

Bearbeitet 22. September 2022 von GhostTyper
Typo.

[micro1]

Wie siehts bei auch aktuell aus mit Storj. Ich habe das Gefühl es gibt kein Wachstum oder keine Kunden. Filebase hat Storj entfernt.

[skunk]

 

[micro1]

vor 5 Stunden schrieb skunk:

 

Danke. Ist ja gerade erst rausgekommen. 

[skunk]

Bald ist Blackfriday / Cybermonday. Ich denke ich werde meiner Storage Node mal eine neue CPU gönnen.

Ich habe auch schon die ersten 20TB Festplatten für unter 15€ pro TB gesehen. Kein schlechter Preis. Ich habe dieses Jahr allerdings keinen Bedarf an zusätzlichen Festplatten. Erstmal die Festplatten voll machen die ich schon habe.

[micro1]

Ich hab nodes deaktiviert. Ihr müsst mal zusehen jetzt Kunden heranzuziehen.

[skunk]

vor 11 Minuten schrieb micro1:

Ich hab nodes deaktiviert. Ihr müsst mal zusehen jetzt Kunden heranzuziehen.

Mehr Daten für mich  

Ich sehe auf meiner Storage Node bereits jetzt ein paar interessante Kunden. US1 hat bei mir deutlich mehr Download Traffic als ich mir jemals erträumt habe. Ich habe keinen Grund zu klagen. Meine Internetleitung ist dauerhaft ausgelastet.

[Agoraphobie]

Nodes zu deaktivieren halte ich für Unklug..einfach laufen lassen nur so hilft es dem Projekt, ob es scheitert oder nicht steht in den Sternen aber von allen Kryptos die nur Ressourcen verschwenden für NICHTS..oder geschürft werden müssen mit einem haufen Energieeinsatz und Ressourcen die für nichts aus dem Fenster gehauen werden.

Und verglichen mit anderen Kryptos ist der Aufwand und Energieeinsatz ein Witz..vergleichbar mit dem Licht auf dem Klo. Wenn die Cloud jetzt nu rnoch ein klein wenig Benutzerfreundlicher und Populärer wäre, würde ich Sie selbst aktiv nutzen aber aktuell ist mir das alles zu viel gebastel um Daten hochzuschieben...da bin ich und sicher sehr viele andere Menschen sehr verwöähnt von Drag und Drop CLouds mit schicken Desktopanwendungen.

Also von Internetanschluss ausgelastet ist meine Node weit entfernt..mein Traffic lag bevor die Node im November voll wurde bei über 1 TB. Nachdem sie voll war scheint es jetzt auf 300GB hinauszulaufen.

Wie viele Nodes bzw wie groß sind Sie denn bei dir Skunk das du so eine Auslastung hast? Bzw Was hast du für eine Leitung.

[GhostTyper]

Also meine 10 Nodes, die ich noch habe (5 unterschiedliche Netzbereiche) haben noch 24 MBit/s Outbound im Schnitt und 20 MBit/s Inbound. Verdient habe ich dadurch c.A. 250$ letzten Monat.

Würde mich also auch über mehr Traffic freuen, weitere Nodes abschalten werde ich aber nicht. Fände es vor allem Toll, wenn Nodes schneller voll würden. Dann würde ich nämlich weitere Nodes aufsetzen. XD

[skunk]

vor 5 Stunden schrieb Agoraphobie:

Nachdem sie voll war scheint es jetzt auf 300GB hinauszulaufen.

Wie wäre es mit einem Graceful Exit auf EU North? Damit hättest du wieder freien Speicher und würdest wieder mehr Traffic bekommen. Das ist natürlich keine dauerhafte Lösung. Deine Node wird irgendwann erneut voll laufen und der Traffic sink weiter ab. US2 sollte auch noch ein guter Kandidat sein für ein Graceful Exit. Die anderen Satellites habe ich bei mir erstmal noch drin gelassen. AP1 hat zwar nicht die höchsten Download Raten und dort erwarte ich mittelfristig auch kein großes Wachstum aber wie du schon selbst schreibst sollte man die darauf gespeicherten Kundendaten dennoch supporten damit es vielleicht langfristig etwas wird. Je nachdem wie altruistisch du drauf bist würde selbiges theoretisch auch für US2 gelten. Lediglich EU North und Saltlake sind reine Testdaten wo du garantiert keinen Kunden beeinträchtigst. 

[Agoraphobie]

Ich sehe bei diesem graceful Exit Thema irgendwie noch nciht so durch...kann das vllt jemand für mich mal in Laienhafte Worte fassen?..Löse ich damit die Node auf? Was bringt mir das? Ich möchte ja wirklich das die Leute vom Storj Projekt was haben, einen Mehrwert und nicht only Traffic für mich

[skunk]

vor 3 Stunden schrieb Agoraphobie:

Ich sehe bei diesem graceful Exit Thema irgendwie noch nciht so durch...kann das vllt jemand für mich mal in Laienhafte Worte fassen?..Löse ich damit die Node auf? Was bringt mir das? Ich möchte ja wirklich das die Leute vom Storj Projekt was haben, einen Mehrwert und nicht only Traffic für mich

Grundsätzlich ist Graceful Exit eine Funktion um seinen Heldback Betrag zu bekommen. Bei Graceful Exit erstellt der Satellite eine Liste an Pieces die deine Node dann direkt zu einer neuen Node hochladen soll. Das heißt die Daten werden einfach von deiner Node auf andere Nodes verteilt. Der Deal ist, dass bei einem Graceful Exit kein Repair Traffic notwendig ist. Es gehen keine Pieces verloren. Aus Sicht des Satellites ist das also eine kostengünstiger Weg um Storage Nodes einen Ausstieg zu ermöglichen.

Der Graceful Exit erlaubt es einer Storage Node auch sich nur von einem Satellite zurück zu ziehen und nicht gleich von allen Satellites.

vor 3 Stunden schrieb Agoraphobie:

Ich möchte ja wirklich das die Leute vom Storj Projekt was haben, einen Mehrwert und nicht only Traffic für mich

Bitte nicht hauen^^ Mein Vorschlag mit Graceful Exit wäre eher zur Maximierung des eigenen Traffics. Auf EU North gibt es keine Kundendaten. Insofern ist ein Graceful Exit hier kein Problem. Der einzige Nachteil ist, dass diese Testdaten dann auf andere Storage Nodes verschoben werden. Ist also als würdest du den Schnee vor deiner Haustür einfach zum Nachbarn verschieben.

[anonymous0815]

Hallo Forum!

Ich dachte ich melde mich hier auch mal zum mitreden an. Ich bin ein großer Fan von Storj und gleichzeitig SNO mit neuerdings 10 Nodes mit insgesamt 12 TB freigegebenen Speicher und 6,83 TB in aktueller Nutzung. Meine erste Node (5 TB groß, mit 4,07 TB belegt) habe ich im Mai 2021 erstellt. Neuerdings bin ich davon abgekehrt, für jede Node einen eigenen Linux-Host mit Docker-Installation hochzuziehen und habe ein Bash-Skript entworfen, was den Installationsprozess weitgehend automatisiert und den Multinodebetrieb auf einer einzigen VM ermöglicht.

Ich bin durch @Agoraphobieuf das Forum aufmerksam geworden, da er ein Bekannter von mir ist. Er hat mich auch vor wenigen Tagen auf einen Interessanten Gegenspieler zu Storj aufmerksam gemacht, ScPrime und ich würde gern wissen, ob Ihr davon schon mal gehört habt und wenn ja, wie Ihr darüber denkt. Mit ~6 Mio. US-Dollar Marktkapitalisierung ja ein unscheinbarer Zwerg, aber dafür mit riesigem Potenzial, allein eine Marktkapitalisierung wie Storj (~120 Mio.) wäre das eine Wertsteigerung um den Faktor 20. Zu Filecoin (~1,4 Mrd.) mehr als Faktor 200. Da muss es doch irgendetwas geben, was ich noch übersehe?

 

Bearbeitet 8. Dezember 2022 von anonymous0815
Lesbarkeit

[GhostTyper]

vor 58 Minuten schrieb anonymous0815:

einen Interessanten Gegenspieler zu Storj aufmerksam gemacht, ScPrime

Vielen Dank für diese Info.

Hast Du zu dem Projekt noch weitere Infos?