Storj - Potential?

[skunk]

vor einer Stunde schrieb GhostTyper:

Da es jetzt diesen Blog-Eintrag gibt, kannst Du dann was dazu sagen?

https://storj.io/blog/2020/02/maximizing-bandwidth-earnings-for-storage-node-operators/

Ja zu dem Thema kann ich jetzt etwas sagen. Wir haben in der Storage Node ein Traffic Limit eingebaut. Umfragen haben allerdings ergeben, dass die meisten Storage Nodes überhaupt kein Limit haben. Es ist außerdem sehr schwierig dieses Limit tatsächlich einzuhalten. Es würde in letzter Konsequenz bedeuten, dass ein Kunde seine Dateien zum Monats Ende nicht mehr mit der maximal möglichen Geschwindigkeit runterladen kann. Daher der Entschluss das Limit komplett zu entfernen. Umsetzung steht noch aus.

[skunk]

vor einer Stunde schrieb GhostTyper:

Ansonsten noch eine Frage: Gibt es eine Art geografische Statistik, wie hoch der Demand einzelner Regionen oder Satellites ist? (Also wie viel Kunden-Aktivität es aus der Region so gibt?)

Wenn dann bisher nicht öffentlich womit ich dann besser zu der Frage schweige.

[GhostTyper]

vor 3 Stunden schrieb skunk:

Ja zu dem Thema kann ich jetzt etwas sagen. Wir haben in der Storage Node ein Traffic Limit eingebaut. Umfragen haben allerdings ergeben, dass die meisten Storage Nodes überhaupt kein Limit haben. Es ist außerdem sehr schwierig dieses Limit tatsächlich einzuhalten. Es würde in letzter Konsequenz bedeuten, dass ein Kunde seine Dateien zum Monats Ende nicht mehr mit der maximal möglichen Geschwindigkeit runterladen kann. Daher der Entschluss das Limit komplett zu entfernen. Umsetzung steht noch aus.

Ich meinte auch hauptsächlich wegen dem Going Live!

Zitat

Good news, we’re just 4-5 weeks away from our production release! Clients, we’re ready for you to push the boundaries of our resilient, reliable distributed storage service. Storage Nodes Operators will definitely see an influx of data flow onto your hardware!

 

[Heisenberg420]

Ich bin nun doch auf die 4TB Platte umgestiegen.

Ist es normal dass nach einem Neustart die bereits verbrauchte Bandbreite nicht mehr angezeigt wird und die übrige Bandbreite von vorne startet?

Ich war erst bei 10GB, also halb so wild aber es würde mich für die Zukunft Interessieren.

 

Nachtrag: Mein Node wurde heute Nacht disqualifiziert. Ist wohl doch nicht so gerne gesehen wenn die Festplatte gewechselt wird? Denn alles was ich gemacht habe war den Docker gestoppt, den Pfad zur neuen HDD geändert und wieder gestartet. Ich denke ich hätte den Ordner von der alten auf die neue HDD kopieren müssen oder?

Witzigerweise habe ich aber auch endlich meine Invites erhalten, also hab ich nun einen Graceful Exit gestartet und setze den Node nochmal neu auf.

Bearbeitet 16. Februar 2020 von Heisenberg420

[skunk]

Für das verlieren von Daten wird man natürlich disqualifiziert. Graceful Exit wird in dem Fall ebenfalls nicht funktionieren.

[Heisenberg420]

Das hat leider im geringsten meine Fragen beantwortet 🦧

[GhostTyper]

vor 16 Stunden schrieb Heisenberg420:

Ist es normal dass nach einem Neustart die bereits verbrauchte Bandbreite nicht mehr angezeigt wird und die übrige Bandbreite von vorne startet?

Nein. Ich glaube sowieso dieses Accounting kommt von den Sattelites. Wenn der Key der Node der gleiche ist sollte das also auch korrekt angezeigt werden.

vor 16 Stunden schrieb Heisenberg420:

Nachtrag: Mein Node wurde heute Nacht disqualifiziert. Ist wohl doch nicht so gerne gesehen wenn die Festplatte gewechselt wird? Denn alles was ich gemacht habe war den Docker gestoppt, den Pfad zur neuen HDD geändert und wieder gestartet. Ich denke ich hätte den Ordner von der alten auf die neue HDD kopieren müssen oder?

Oh, dann vergiss meine erste Antwort. (Ich lösche sie extra nicht, damit Du weißt, wie Skunks Antwort zustande gekommen ist.)

Durch das einfache Wechseln der Platte sind alle Daten und die Konfiguration weg, was dazu führt, dass die Node samt Schlüssel unbrauchbar geworden ist. Ein Graceful Exit funktioniert in dem Fall auch nicht mehr, denn der Sinn ist ja, dass der Graceful-Exit ja die entsprechenden Dateien (die Du nicht mehr hast) von Deiner Node weg zu anderen im Netzwerk überträgt.

vor 16 Stunden schrieb Heisenberg420:

setze den Node nochmal neu auf.

Ja, das wird gehen, aber damit startest Du wieder komplett von vorne.

[Heisenberg420]

Danke @GhostTyper

 

Das war zwar nun Ärgerlich, aber aus Fehlern lernt man.

Also die korrekte vorgehensweise wäre tatsächlich gewesen den Ordner der alten HDD auf die neue zu kopieren?

Ich meine nämlich im Storj Forum gelesen zu haben dass man genau das nicht machen soll, aber evtl. aber ich das auch falsch verstanden.

Naja 5 Tage sind zu verkraften, im Endeffekt bin ich nun froh dass ich es doch gestern und nicht wie geplant nächstes Wochenende gemacht habe, da hätte ich mich mehr geärgert ^^

 

Macht es Sinn zuhause mit einer 55Mbit Leitung 2 Nodes zu betreiben oder lieber einer mit voller Bandbreite? An sich würde ich dann beim 2ten Node "nur" vom Speicherplatz profitieren weil die Bandbreite auf beide Notes aufgteilt wird oder?

[GhostTyper]

vor 1 Minute schrieb Heisenberg420:

Also die korrekte vorgehensweise wäre tatsächlich gewesen den Ordner der alten HDD auf die neue zu kopieren?

Genau.

vor 1 Minute schrieb Heisenberg420:

Ich meine nämlich im Storj Forum gelesen zu haben dass man genau das nicht machen soll, aber evtl. aber ich das auch falsch verstanden.

Kann mir keinen Rationalen Grund vorstellen, wieso das jemand behaupten sollte. Vielleicht deswegen, weil dabei Fehler passieren können. Aber ich hab' schon einige Nodes zwischen verschiedenen Standorten so migriert.

vor 2 Minuten schrieb Heisenberg420:

Macht es Sinn zuhause mit einer 55Mbit Leitung 2 Nodes zu betreiben oder lieber einer mit voller Bandbreite? An sich würde ich dann beim 2ten Node "nur" vom Speicherplatz profitieren weil die Bandbreite auf beide Notes aufgteilt wird oder?

Das weiß bisher noch keiner. Und im Endeffekt wird es auch etwas Glück sein. Kann ja sein, dass eine Deiner Nodes eine Datei bekommt, die sehr häufig abgefragt wird.

Jedenfalls gelten mehrere Nodes mit sehr naher Distanz (gleiche IP-Adresse) als eine Node. Die Satellites werden Dir also keine redundanten Dateien zwischen den Nodes zuweisen, sondern nur eine Node wird eine Datei im jeweiligen Fall bekommen.

[skunk]

Ordner kopieren ist problematisch wenn die Storage Node noch aktiv ist. Wenn du einen Stand von Heute kopierst und erst Morgen die Kopie ans Netz hängst, wirst du ebenfalls disqualifiziert für die Pieces, die du in den paar Stunden angenommen aber nicht mit kopiert hast.

Storage Node während des Kopierens offline nehmen ist aktuell zwar möglich aber irgendwann wollen wir auch dafür Storage Nodes disqualifizieren.

[skunk]

vor einer Stunde schrieb GhostTyper:

Das weiß bisher noch keiner. Und im Endeffekt wird es auch etwas Glück sein. Kann ja sein, dass eine Deiner Nodes eine Datei bekommt, die sehr häufig abgefragt wird.

Jedenfalls gelten mehrere Nodes mit sehr naher Distanz (gleiche IP-Adresse) als eine Node. Die Satellites werden Dir also keine redundanten Dateien zwischen den Nodes zuweisen, sondern nur eine Node wird eine Datei im jeweiligen Fall bekommen.

Fast richtig. Würde nur eine Storage Node ein Piece bekommen, würden beide zusammen trotzdem noch doppelt so oft einen Upload bekommen. Das würde in letzter Konsequenz aber bedeuten, dass jeder möglichst viele aber dann sehr langsame Storage Nodes betreiben würde. Bei diesem Spiel würde es nur Verlierer geben. Die Kunden laden nichts hoch weil das Netzwerk einfach langsam wäre.

Daher selektieren wir erst eine zufälle Node pro IP Range und diese eine Node darf dann an der Zufalls Verteilung teil nehmen. Damit ist nicht nur sicher gestellt, dass nicht zwei Pieces auf einer IP landen sondern auch, dass jede IP die gleichen Chancen hat egal wie viele Nodes dort laufen. Nachteil ist, dass einige ISPs nur wenige IP Ranges haben und dann zwangsläufig mehrere Storage Nodes als eine Gruppe angesehen werden auch wenn sie nicht geografisch zusammen gehören.

https://github.com/storj/storj/blob/1c1e62be099e7fd3686693201d8cc8d4cb927d8f/satellite/satellitedb/overlaycache.go#L257-L269

[Heisenberg420]

vor 14 Stunden schrieb skunk:

Ordner kopieren ist problematisch wenn die Storage Node noch aktiv ist. Wenn du einen Stand von Heute kopierst und erst Morgen die Kopie ans Netz hängst, wirst du ebenfalls disqualifiziert für die Pieces, die du in den paar Stunden angenommen aber nicht mit kopiert hast.

Storage Node während des Kopierens offline nehmen ist aktuell zwar möglich aber irgendwann wollen wir auch dafür Storage Nodes disqualifizieren.

Aber wiederspricht sich die Aussage nicht?

Ich soll den Ordner nicht im laufenden Betrieb kopieren aber im Offline Modus soll es bald auch nicht mehr möglich sein, so komme ich zu dem Ergebnis dass es eigentlich nicht gewollt ist dass der Node / Speicher verändert wird.

Bei 'ner vollen Festplatte vergeht ja einige Zeit bis die Daten kopiert sind, ich stelle mir nun vor ich muss 3.7TB auf eine neue HDD verschieben, da ist es doch (fast) unmöglich das ohne Disqualifizierung zu schaffen oder wie wäre die Praxis in diesem Fall?

Komischerweise läuft mein neuer Node nun besser als der alte. In der letzten Nacht wurde so viel Bandbreite verbraucht wie der alte in 5 Tagen.

Ich denke das liegt nun mit dem deutlich höheren Speicherplatz zusammen?

 

Ich werde mein Setup nun erstmal so laufen lassen und (bei mir zuhause) keinen zweiten Node aufsetzen.

[skunk]

vor 36 Minuten schrieb Heisenberg420:

Aber wiederspricht sich die Aussage nicht?

Ich soll den Ordner nicht im laufenden Betrieb kopieren aber im Offline Modus soll es bald auch nicht mehr möglich sein, so komme ich zu dem Ergebnis dass es eigentlich nicht gewollt ist dass der Node / Speicher verändert wird.

Bei 'ner vollen Festplatte vergeht ja einige Zeit bis die Daten kopiert sind, ich stelle mir nun vor ich muss 3.7TB auf eine neue HDD verschieben, da ist es doch (fast) unmöglich das ohne Disqualifizierung zu schaffen oder wie wäre die Praxis in diesem Fall?

Den vermeintlich Widerspruch erkenne ich nicht. Die Aussage passt doch genau zu dem was du im Forum gelesen hast.

vor 38 Minuten schrieb Heisenberg420:

Ich denke das liegt nun mit dem deutlich höheren Speicherplatz zusammen?

Nein der Speicherplatz hat keinen Einfluss darauf. Die Geschwindigkeit der Festplatte kann einen Einfluss haben aber wenn die alte Festplatte nicht gerade sehr langsam war, sollte der Unterschied verschwindend gering sein. Eher wahrscheinlich ist ein Zufall. Wir reden von einem Netzwerk bei dem es an einigen Tagen zu vermehrter Aktivität kommen kann und an anderen Tagen ist toten Stille. Zu jeder Zeit kann dein Traffic explodieren oder eine Null Linie hinlegen. Das lässt sich derzeit nicht vorhersagen.

[Heisenberg420]

vor einer Stunde schrieb skunk:

Den vermeintlich Widerspruch erkenne ich nicht. Die Aussage passt doch genau zu dem was du im Forum gelesen hast.

Widerspruch war villeicht das falsche Wort.

 

vor einer Stunde schrieb skunk:

..aber wenn die alte Festplatte nicht gerade sehr langsam war, sollte der Unterschied verschwindend gering sein..

Die alte HDD ist tatsächlich langsamer und älter gewesen. Auch hat die Geräusche gemacht die mich dazu bewegt haben auf die andere umzusteigen 😅

 

 

Ich bin jetzt auf jeden Fall zufrieden, die Uptime und Audit Checks stehen nun alle bei 100%, vorher waren die Audit zwar bei 100, Uptime aber teilweise nur bei 93 weil ich den ersten Node am Anfang gleich 4x neustarten musste.

[Stone]

Gibt es NEWS? Was ist los bei STORJ?

[GhostTyper]

vor 7 Minuten schrieb Stone:

Gibt es NEWS? Was ist los bei STORJ?

Gestern kam' 'ne Mail mit folgender Info:

Zitat

Early Access Production

Q1 2020

We're in early access production and onboarding our first paying customers, refining the Tardigrade onboarding experience, and fine-tuning the Storj Network to acheive optimal performance for official launch this quarter.

Ansonsten habe ich derzeit kaum Traffic.

[skunk]

vor 2 Stunden schrieb GhostTyper:

Ansonsten habe ich derzeit kaum Traffic.

Ich habe meine beiden Hetzner Storage Nodes gekündigt weil im letzten Town Hall von nur 10% Traffic die Rede war. Auf meiner QNAP Storage Node habe ich Graceful Exit ausgeführt um die ganzen Testdaten los zu werden. Jetzt habe ich 6-7% Traffic und das unverfälscht ohne die Testdaten. Viel ist es nicht aber doch mehr als ich erwartet hätte. Es scheint also schon einige aktive Kunden zu geben. Auch die Datenmenge steigt immer weiter an.

vor 2 Stunden schrieb GhostTyper:

Gestern kam' 'ne Mail mit folgender Info:

In der Email stand noch einiges mehr. Alterativ gibt es das alles auch hier: https://storj.io/blog

 

[GhostTyper]

vor 6 Stunden schrieb skunk:

Jetzt habe ich 6-7% Traffic und das unverfälscht ohne die Testdaten.

Ich will eigentlich keinen Graceful-Exit ausführen. Denn dann beginnt die Node-Reputation von vorne?

Was bedeutet 6-7%? 6-7% von Deiner Bandbreite? Wie viel Uplink hast Du?

So sieht meine "älteste" Node aus. Wie ist das im Vergleich? Umgerechnet sind das jetzt ~0,6 MBit/s Egress:

                   Available         Used       Egress      Ingress
     Bandwidth        3.2 PB     382.3 GB     145.3 GB     237.0 GB (since Feb 1)
          Disk        1.3 TB       0.7 TB

Ich vertraue einfach Mal darauf, dass STORJ die Test-Daten nach und nach zuverlässig von den Satellites löschen lässt.

[skunk]

vor 1 Minute schrieb GhostTyper:

Was bedeutet 6-7%? 6-7% von Deiner Bandbreite? Wie viel Uplink hast Du?

Von meinem Used Space. Je mehr Daten ich habe um so mehr Download Traffic sollte ich bekommen.

[GhostTyper]

Gerade eben schrieb skunk:

Von meinem Used Space. Je mehr Daten ich habe um so mehr Download Traffic sollte ich bekommen.

Okay. Da bin ich ja dann mit meiner Node bei 145,3 GB / 737,28 GB * 100% = 19,7% Egress-Traffic?

Wenn sich das Verhältnis dann sagen wir bei 10% einpendelt muss ich ja noch ein paar Storage-Nodes aufsetzen. XD

[Heisenberg420]

Was war am 27. los? Momentan geht so wenig dass sich meine HDD sogar in den Standbye verabschiedet.

[skunk]

vor 18 Minuten schrieb Heisenberg420:

Was war am 27. los? Momentan geht so wenig dass sich meine HDD sogar in den Standbye verabschiedet.

Das ist ein dezentrales Netzwerk. Selbst Storj selbst kann keine Aussage darüber machen welche Daten am 27. im Netzwerk bewegt wurden. Wir kennen nicht mal die Dateinamen.

[Heisenberg420]

Der Fehler lag an mir. Mein Watchtower Container lief nicht richtig und hat keine Automatischen Updates gemacht, seit dem Update ist wieder alles in Ordnung.

 

Ich habe noch einen Node aufm' VPS mit 1TB Speicher und 500MBit aufgesetzt. Eventuell buche ich noch einen dazu, mein Hoster hat derzeit Aktionspreise.

 

Ich habe irgendwo mal einen Befehl gelesen womit man sich den Verdienst in der Konsole ansehen kann. Leider finde ich den Thread nicht wieder, kann mir da jemand eventuell auf die Sprünge helfen?

[skunk]

https://forum.storj.io/t/earnings-calculator-update-2020-03-03-v8-1-3-now-with-audit-scores-vetting-progress-and-dq-indication/1794

[skunk]

Ich lade gerade mit rclone ein Backup meiner persönlichen Daten hoch. Das funktioniert erstaunlich gut. Der Upload läuft mit voller Geschwindigkeit und alles verschlüsselt. Hat von euch schon jemand einen Tardigrade Account bekommen?