Storj - Potential?

[Heisenberg420]

vor 6 Stunden schrieb skunk:

Die Lieferung meiner neuen Hardware verzögert sich weiterhin  

Sowas hasse ich ja.. Warten 🙄

Ich drück die Daumen dass es nicht mehr so lange dauert.

 

vor 9 Stunden schrieb skunk:

Du musst nur ein wenig mit den Ports aufpassen damit am Ende nicht eine deiner beiden Nodes versehentlich offline ist.

 

Davon habe ich nämlich viel und oft gelesen trotz dass alle Ports richtig geöffnet waren.

 

Wenn ich die Ports so setze sollte es aber eigentlich laufen oder?

    -p 28968:28967 \
    -p 14003:14002 \

 

Werde mich da nächste Woche mal ransetzen.

[Heisenberg420]

Wie schaut es bei Euch momentan aus?

                   Available       Used      Egress     Ingress
     Bandwidth           N/A     3.5 TB     87.0 GB      3.4 TB (since Apr 1)
          Disk      266.9 GB     3.2 TB

Mein Node ist seit 2 Tagen voll. Zwischendurch immer wieder mal "deleted" weshalb er langsam wieder leerer wird. Ich denke dass die Testdaten langsam wieder gelöscht werden?

Morgen hab ich endlich Zeit und es kommen dann weitere 8TB zum Netzwerk dazu 😃

Bearbeitet 24. April 2020 von Heisenberg420

[skunk]

Ich habe inzwischen die Hardware für mein neues System zusammen. Jetzt geht es an die Software. Openmediavault soll es werden. Wir mich aber sicherlich noch etwas Zeit kosten alles richtig zu konfigurieren.

[micro1]

Wer hält seine Storj Token noch ? Ist jemand ausgestiegen?

[GhostTyper]

Am 24.4.2020 um 18:28 schrieb Heisenberg420:

Wie schaut es bei Euch momentan aus?

Ich habe einige meiner Nodes vergrößert. Ich habe jetzt 9 Nodes mit insgesamt 34 TB netto. Hier zwei Beispiele:

1.                    Available       Used       Egress     Ingress
        Bandwidth           N/A     1.5 TB     186.8 GB      1.3 TB (since Apr 1)
             Disk        3.3 GB     2.0 TB

2.                    Available       Used       Egress     Ingress
        Bandwidth           N/A     3.9 TB     195.2 GB      3.7 TB (since Apr 1)
             Disk        4.1 TB     3.9 TB

Ich überlege jetzt, ob es sich lohnt den Speicher noch deutlich zu vergrößern. Für mehr Egress brauche ich offensichtlich viel mehr Speicher, was sehr schade ist...

vor 1 Stunde schrieb micro1:

Wer hält seine Storj Token noch ? Ist jemand ausgestiegen?

Ich steig' noch lang' nicht aus. Lohnt sich bisher nicht. Meine gemineten STORJ Token sind bis jetzt und derzeit nur ~150 EUR wert.

[Heisenberg420]

vor 2 Stunden schrieb GhostTyper:

...Für mehr Egress brauche ich offensichtlich viel mehr Speicher...

 

Ich glaube weniger dass das am Speicher liegt. Es wird ja noch sehr viel mit den Testdaten gearbeitet um die SNO's bei Laune zu halten.

[GhostTyper]

vor 6 Stunden schrieb Heisenberg420:

Ich glaube weniger dass das am Speicher liegt. Es wird ja noch sehr viel mit den Testdaten gearbeitet um die SNO's bei Laune zu halten.

Vielleicht kann @skunk uns was zur echten Traffic- / Disk-Verteilung sagen?

[skunk]

vor 3 Stunden schrieb GhostTyper:

Vielleicht kann @skunk uns was zur echten Traffic- / Disk-Verteilung sagen?

Auf meiner Storage Node ist mir aufgefallen, dass der EU-west Satellite bei mir zeitweise auf 7% Traffic kam wohingegen die ganzen Testdaten nur bei 4% lagen. Grundsätzlich passt der Traffic also. Es fehlt nur die notwendige Masse. Berauschend viel ist es so oder so nicht aber ich habe mir die neue Hardware extra für diese neue Situation zugelegt. Ich denke mit 7% Download Traffic lässt sich bereits etwas Gewinn machen.

Edit: Ihr könnt diese Zahlen recht einfach auf eurem Storage Node Dashboard ausrechnen. Das zeigt ja den Download Traffic pro Satellite an.

Bearbeitet 26. April 2020 von skunk

[GhostTyper]

Am 26.4.2020 um 12:06 schrieb skunk:

Berauschend viel ist es so oder so nicht aber ich habe mir die neue Hardware extra für diese neue Situation zugelegt. Ich denke mit 7% Download Traffic lässt sich bereits etwas Gewinn machen.

Ich könnte für 1632 EUR 36 TB netto Speicher dazu kaufen, ohne erhöhte Betriebskosten. Würde sich das lohnen?

Das wären 36 TB * 1,5 USD/TB = 54 USD für den Storage. Bei 5% Egress wären das 36 TB * 0,05 * 20 USD/TB = 36 USD.

90 USD ~= 83 EUR.

1632 EUR / 83 EUR/Monat / 12 Monat/Jahr = 1,6 Jahre.

Lohnt sich das oder stirbt die ganze Sache vorher? Ist vielleicht in der Zukunft mit mehr (oder vielleicht mit weniger) Traffic zu rechnen?

[skunk]

vor 8 Minuten schrieb GhostTyper:

Ich könnte für 1632 EUR 36 TB netto Speicher dazu kaufen, ohne erhöhte Betriebskosten. Würde sich das lohnen?

45€ der TB? Das kommt mir etwas teuer vor? Es dürfte besser sein jegliche Redundanzen weg zu lassen. Dann verlierst du zwar den Held Amount wenn die Platte an Altersschwäche stirbt aber dafür wird das komplette Setup billiger in der Anschaffung. Am Ende sind die zusätzliche Festplatten für ein RAID teurer als der Verlust einer Storage Node.

Was hast du eigentlich für Hardware im Sinn?

vor 12 Minuten schrieb GhostTyper:

Das wären 36 TB * 1,5 USD/TB = 54 USD für den Storage. Bei 5% Egress wären das 36 TB * 0,05 * 20 USD/TB = 36 USD.

90 USD ~= 83 EUR.

1632 EUR / 83 EUR/Monat / 12 Monat/Jahr = 1,6 Jahre.

Ich würde das als Rechenfehler bezeichnen weil das nur dann funktioniert wenn du die Platten am ersten Tag komplett voll machst. Ich rechne eher damit, dass ich in 3 Jahren meine geplanten 40 TB voll belegt habe. Am Anfang leere Festplatten und am Ende Volle Festplatten. Dann kann ich für die Rechnung einfach den Durchschnitt nehmen dann sollte es passen. Einzige Einschränkung ist, dass die Festplatten in 3 Jahren auch voll sein müssen. Das kann ich leider nicht vorher sehen aber das muss ich eigentlich auch nicht. Mein aktuelles Mainboard unterstützt 6 Festplatten und ins Gehäuse bekomme ich bis zu 11 Festplatten. Ich kaufe einfach immer dann eine zusätzliche Platte wenn die vorhandenen langsam voll werden. Meine Grenze ist erreicht wenn ich 50% meiner Leitung ausnutze. Damit sollte ich noch genug Reserven haben um eventuell Lastspitzen bedienen zu können.

vor 21 Minuten schrieb GhostTyper:

Lohnt sich das oder stirbt die ganze Sache vorher?

Dazu enthalte ich mich.

vor 27 Minuten schrieb GhostTyper:

Ist vielleicht in der Zukunft mit mehr (oder vielleicht mit weniger) Traffic zu rechnen?

Vorhersagen kann ich nicht machen. Ich weiß nur, dass EU-west bei mir aktuell 7% Download Traffic hat. Natürlich könnten da auch noch Reihenweise Kunden mit 0% Download Traffic aufspringen und so den Durchschnitt in den Keller reißen. Ich habe noch nicht ausgerechnet wo meine persönliche Schmerzgrenze ist. Das wollte ich die Tage eigentlich mal noch machen.

Kleines Update von meiner Seite:
Ich habe die Hardware erfolgreich in Betrieb genommen. Installiert habe ich OpenMediaVault einfach weil ich ein Fan von Debian bin. Setup war erstaunlich einfach auch wenn ich etwas tricksen musste um die finale Installation von einer SSD auf einen USB Stick zu clonen. Immerhin weiß ich jetzt wie man einem UEFI umgeht. Ja ich weiß jeder sagt mach das nicht. Hab auch gemerkt, dass es die Sache unnötig kompliziert gemacht hat aber jetzt weiß ich wie es geht.

Morgen geht es weiter mit ZFS, Union FS und snap RAID. Einfach mal alles ausprobieren.

[GhostTyper]

vor 3 Stunden schrieb skunk:

45€ der TB? Das kommt mir etwas teuer vor?

Ich baue die Platten in bestehende Storage-Lösungen ein. Und dort habe ich leider nur 2,5" Slots zur Verfügung. Ich würde 8x5TB Platten einbauen und diese schon ohne RAID betreiben.

Ich habe - weil ich mich auf so etwas vorbereiten wollte schon einige Nodes "vorgewärmt", die alle (6 Nodes à 2 TB) voll sind und diese würde ich dann auf gute 4 TB pro Node erweitern, indem ich diese auf das neue Storage umziehe. Dann müsste ich noch 2 weitere neue Nodes anlegen und 2 weitere zum Aufwärmen, falls ich nochmals Storage kaufen werde.

Die Node schnell voll zu kriegen scheint nicht besonders schwer:

                   Available       Used       Egress     Ingress
     Bandwidth           N/A     4.6 TB     257.1 GB      4.3 TB (since Apr 1)
          Disk        3.4 TB     4.6 TB

Das ist jetzt der Ingress innerhalb von einem Monat (4.3 TB) - und diese Node ist 1 1/2 Wochen bei 2 TB gestanden, bevor ich diese vergrößert habe. Alle 9 Nodes, die ich habe verhalten sich ungefähr so bei mir. Die Platten kriege ich also innerhalb von kurzer Zeit voll und meine Rechnung stimmt dann nach c.A. 1 Monat wieder - zumindest was Disk Usage angeht. Alle meine Nodes haben unterschiedliche IP-Adressen. (Ich bin der mit der 2x 10G Anbindung und den vielen IP-Bereichen.)

Ich kann also keine günstigeren Disks kaufen, weil ich kein System habe, welches 3,5" Disks unterstützt. Und komplett neue Hardware wollte ich mir nicht anschaffen - außer DU versprichst, dass sich das lohnt :D. (Wäre auch teurer von der Basis-Ausstattung her und ich müsste zusätzlich Strom und Netzwerk-Anbindung im Rechenzentrum zahlen.)

Wenn man nur irgendwie wissen könnte, wie sich der Traffic in der Zukunft verhält, bzw. ob sich auch dann meine Nodes weiterhin so schnell füllen. @Heisenberg420, hast Du mir nochmals Deine Statistik, nur damit ich weiß, ob ich eher vorne dabei bin oder nicht?

@skunk: Wenn ich in der Kommando-Zeile (Parameter für den Docker-Container) die Wallet-Adresse änder', wird das dann einfach bei der nächsten Auszahlung beachtet? Weitere Frage: Ich habe noch viel Speicher auf einem Backup-System frei. (c.A. 300 TB) Wie groß kann eine Node maximal werden, bevor sie die Daten nicht mehr managen kann, bzw. wegen vieler Daten zu langsam wird?

[skunk]

vor 4 Stunden schrieb GhostTyper:

Wenn ich in der Kommando-Zeile (Parameter für den Docker-Container) die Wallet-Adresse änder', wird das dann einfach bei der nächsten Auszahlung beachtet?

Ja das wird sofort übernommen außer du machst es während wir gerade den Vormonat abrechnen. Dann würde es erst für den nächsten Lauf gelten.

vor 4 Stunden schrieb GhostTyper:

Ich habe noch viel Speicher auf einem Backup-System frei. (c.A. 300 TB) Wie groß kann eine Node maximal werden, bevor sie die Daten nicht mehr managen kann, bzw. wegen vieler Daten zu langsam wird?

Unbekannt. Du könntest auch einfach mehrere Nodes aufsetzen. Die sind dann zwar alle gleichzeitig Tot wenn das System abschmiert aber wenn du jede Node auf sagen wir 10 TB begrenzt, kannst du sie jederzeit auf ein neues System migrieren. Hast du die Node dagegen auf 300 TB gezüchtet, kannst du sie selbst dann nicht mehr migrieren wenn sich Probleme mit der Hardware ankündigen.

vor 4 Stunden schrieb GhostTyper:

Ich baue die Platten in bestehende Storage-Lösungen ein. Und dort habe ich leider nur 2,5" Slots zur Verfügung. Ich würde 8x5TB Platten einbauen und diese schon ohne RAID betreiben.

Mal zum Vergleich mein aktuelles Setup inklusive Kosten:

Gehäuse: Fractal Design Define 7 ~155€
CPU: AMD Ryzen 5 1600 ~96€
Mainboard: AsRock B450 Pro4 ~87€
RAM: 2*16 GB ~136€
2*16GB Optane als SSD Cache ~ 40€
Dazu noch 3 leise Gehäuse Lüfter und ein leiser CPU Kühler. ~130€

Zusammen macht das 514€ ohne Festplatten und ohne Lüfter (Gehäuse und CPU kommen mit Lüfter). Wenn ein Gehäuse vorhanden ist sogar nur 359€.

Dazu nehmen wir dann 4 * WD Red 10TB was aktuell weitere 1152€ kosten würde. Mein Plan ist es eigentlich das Gehäuse mit WD Easystore zu füllen. Die würden dann nur 20€ der TB kosten.

Der Punkt ist das Setup ist inklusiver der Notwendigen Hardware billiger als deine 2,5 Festplatten allein. Die Differenz wird größer je mehr Platten ich bei mir anstecke. Daher werfe ich mal die Frage in den Raum ob es nicht besser wäre ein weiteres System mit 3,5er Platten hin zu stellen anstelle teurer 2,5er Platten.

Edit: Netzteil habe ich vergessen (Enermax Platimax D.F. EPF500AWT). Die Rechnung muss ich erst noch einscannen  

Bearbeitet 29. April 2020 von skunk

[GhostTyper]

vor 2 Stunden schrieb skunk:

Der Punkt ist das Setup ist inklusiver der Notwendigen Hardware billiger als deine 2,5 Festplatten allein. Die Differenz wird größer je mehr Platten ich bei mir anstecke. Daher werfe ich mal die Frage in den Raum ob es nicht besser wäre ein weiteres System mit 3,5er Platten hin zu stellen anstelle teurer 2,5er Platten.

Ja, leider kann ich das nicht ohne weiteres machen. Ich habe nur mobiles Internet zuhause. Meine Hardware steht immer in Rechenzentren. Neue Hardware würde bedeuten, dass ich extra Kosten für Strom, 2 HE und Netzwerk bezahlen müsste - was sich in keinem Fall lohnt.

Deshalb kann ich nur Upgrades machen, wo ich sowieso noch freie Disk-Slots 'rumstehen habe oder auf einem Storage noch Platz ist.

vor 2 Stunden schrieb skunk:

Du könntest auch einfach mehrere Nodes aufsetzen.

Ja, ist mir bewusst. Möchte ich aber auf dieser Hardware nicht machen. Ich würde wahrscheinlich vorerst einfach 30 TB für die Node auf dem System provisionieren.

[skunk]

vor 36 Minuten schrieb GhostTyper:

Ja, ist mir bewusst. Möchte ich aber auf dieser Hardware nicht machen. Ich würde wahrscheinlich vorerst einfach 30 TB für die Node auf dem System provisionieren.

Dann kannst du ja berichten ab wann die Node langsamer wird. Den Debug Port kennst du schon? Garbage collection und used space calculation sollten mit mehr Daten immer länger dauern. Allen anderen Prozessen sollte die Größe der Node egal sein.

[5219891570518176413] storj.io/storj/storagenode/pieces.(*Store).SpaceUsedTotalAndBySatellite
  parents: 204521702198856648
  current: 0, highwater: 1, success: 1, errors: 0, panics: 0
  success times:
    0.00: 2h54m45.40348416s
    0.10: 2h54m45.40348416s
    0.25: 2h54m45.40348416s
    0.50: 2h54m45.40348416s
    0.75: 2h54m45.40348416s
    0.90: 2h54m45.40348416s
    0.95: 2h54m45.40348416s
    1.00: 2h54m45.40348416s
    avg: 2h54m45.403431892s
    ravg: 2h54m45.40348416s
 

[4802344398558342543] storj.io/storj/storagenode/retain.(*Service).retainPieces
  parents: 7898740174293973729
  current: 0, highwater: 1, success: 4, errors: 0, panics: 0
  success times:
    0.00: 10.78547456s
    0.10: 11.012832051s
    0.25: 11.353868288s
    0.50: 51m23.565835264s
    0.75: 1h47m14.528821248s
    0.90: 1h55m36.621691699s
    0.95: 1h58m23.985981849s
    1.00: 2h1m11.350272s
    avg: 56m2.316728528s
    ravg: 56m2.316877824s
 

Das ist jetzt meine alte Node mit 6 TB used space und etwas ungünstigem Setup. Meine Schmerzgrenze wäre so bei 12 TB für dieses Setup. Aus dem Bauch heraus würde ich sagen ab dann werden diese beiden Jobs einfach zu "teuer". Mit der neuen Hardware habe ich mehr RAM und einen SSD Cache. Ich denke damit wird das deutlich beschleunigt. Ich berichte sobald ich neue Zahlen habe. Die Migration vom alten zum neuen System wird noch einige Tage dauern da ich etwas erfinderisch sein muss um die 6 TB irgendwo zwischen zu parken.

[GhostTyper]

vor 51 Minuten schrieb skunk:

Den Debug Port kennst du schon?

Nein. Link zu einer Doku?

[skunk]

https://forum.storj.io/t/guide-to-debug-my-storage-node/1372

[GhostTyper]

Yo, @skunk: Gibt es derzeit ein Problem mit Watchtower? Meine Nodes stehen alle noch auf v.1.1.1.

[skunk]

vor 7 Minuten schrieb GhostTyper:

Yo, @skunk: Gibt es derzeit ein Problem mit Watchtower? Meine Nodes stehen alle noch auf v.1.1.1.

Nein das ist Absicht.

[Heisenberg420]

Am 29.4.2020 um 06:41 schrieb GhostTyper:

Die Node schnell voll zu kriegen scheint nicht besonders schwer:

Pass da ganz genau auf... Wenn der Traffic vom Tardigrade Satelliten kommt sind es Testdaten die im April ins Netzwerk geladen wurden.

 

Wenn ich Euch so lese hasse ich ja meine DSL Anbindung Aber ich bin froh immerhin 50k im Dorf zu haben.

 

 

                   Available       Used       Egress     Ingress
     Bandwidth           N/A     3.7 TB     124.1 GB      3.6 TB (since Apr 1)
          Disk      345.5 GB     3.2 TB

 

 

Meine Docker stehen auch alle noch auf 1.1.1

Bearbeitet 30. April 2020 von Heisenberg420

[GhostTyper]

Am 1.5.2020 um 00:36 schrieb Heisenberg420:

Wenn der Traffic vom Tardigrade Satelliten kommt sind es Testdaten die im April ins Netzwerk geladen wurden.

Naja, solange der bezahlt wird ist mir das egal. Hab' jetzt die zusätzlichen Disks bestellt.

Am 1.5.2020 um 00:36 schrieb Heisenberg420:

Meine Docker stehen auch alle noch auf 1.1.1

Bei mir sind die meisten upgedated.

Am 1.5.2020 um 00:36 schrieb Heisenberg420:

Wenn ich Euch so lese hasse ich ja meine DSL Anbindung

Ich hab' gerade im 1.3.3 Dashboard festgestellt, dass meine erste Node 233.54 USD "Total Held Amount" hat. oO

[skunk]

vor 2 Stunden schrieb GhostTyper:

Naja, solange der bezahlt wird ist mir das egal. Hab' jetzt die zusätzlichen Disks bestellt.

Mit der Einschränkung, dass die Testdaten jederzeit auf 0 fallen könnten. Daher unterscheide ich zwischen Testdaten und Echten Daten. Es ist einfach ein anderes Risiko wenn es darum geht Hardware zu kaufen, die sich erst in 2 Jahren rechnet.

vor 2 Stunden schrieb GhostTyper:

Ich hab' gerade im 1.3.3 Dashboard festgestellt, dass meine erste Node 233.54 USD "Total Held Amount" hat. oO

Die Fußnote im Changelog hast du gelesen? Der Held Amount dürfte für 90% der Storage Nodes korrekt sein aber es gibt ein paar Situationen in denen es zu viel anzeigen würde. Seht wie gesagt im Changelog.

[GhostTyper]

vor 3 Stunden schrieb skunk:

Mit der Einschränkung, dass die Testdaten jederzeit auf 0 fallen könnten.

Klar. Das ganze Ding könnte auch Eingestellt werden. Ich hab' mich über die Versprechen von STORJ informiert und sie sagen zumindest im Forum, dass sie den test-Traffic noch für einige Zeit aufrecht erhalten wollen.

vor 3 Stunden schrieb skunk:

Die Fußnote im Changelog hast du gelesen? Der Held Amount dürfte für 90% der Storage Nodes korrekt sein aber es gibt ein paar Situationen in denen es zu viel anzeigen würde. Seht wie gesagt im Changelog.

Verdammt. XD

[skunk]

Gerade eben schrieb GhostTyper:

Verdammt. XD

Gehört du zu den 10%? Ich hätte behauptet dafür ist deine Storage Node zu jung von daher sollten die Zahlen eigentlich in deinem Fall stimmen.

[GhostTyper]

vor 6 Minuten schrieb skunk:

Gehört du zu den 10%? Ich hätte behauptet dafür ist deine Storage Node zu jung von daher sollten die Zahlen eigentlich in deinem Fall stimmen.

Naja, ich hatte ja Mal diesen krassen Monat von über 5 TB Egress (in den ersten 3 Monaten). Aber das dürfte trotzdem nur 100 USD sein...

[Heisenberg420]

vor 11 Stunden schrieb GhostTyper:

Ich hab' gerade im 1.3.3 Dashboard festgestellt, dass meine erste Node 233.54 USD "Total Held Amount" hat. oO

Das wäre ja mal Mega Nice und die Hardware schnell bezahlt :D Kannst ja nochmal Rückmeldung geben ob es mit dem nächsten Update noch angezeigt wird.

 

Ich hab auf meinem Node 1 knapp 10 USD Total Held Amount und somit für den ersten vollen Monat um die 17 USD erhalten. Habe niemals mit so "viel" gerechnet.