Storj - Potential?

[Heisenberg420]

Ich habe gestern schon mit FileZilla rumgespielt und finde die Bedienung dort nochmal einfacher. Liegt aber villeicht auch daran dass ich täglich mit FileZilla arbeite.

Aber: Ich sehe die Dateien die ich mit Duplicati in mein Bucket hochgeladen habe nicht in FileZilla. Dort sind alle Ordner leer. Ich habe die Ordner auch schon gelöscht und die Datenbank in Duplicati gelöscht. Wenn ich nun auf der Tardigrade Webseite schaue sind die Daten aber laut Speicheranzeige noch vorhanden.

Und: Die Geschwindigkeitsbegrenzung greift weder in FileZilla, noch in Duplicati. Wenn ich mich einem VPS verbinde greift die Begrenzung wieder. Das ist ziemlich blöd mit nur 10Mbit.

 

Ich lade gerade ein größeres Archiv hoch, der Upload läuft sehr stabil und lastet mein Upload vollkommen aus.

 

Edit: Nach mehreren Minuten scheint die Begrenzung in Filezilla nun doch zu funktionieren.

Edit2: Nein doch nicht. FileZilla zeigt zwar an dass mit nur xxx kib geladen wird, der Upload ist aber trotzdem voll ausgelastet. Beende ich FileZilla beruhigt sich der Upload auch wieder.

Bearbeitet 23. Oktober 2020 von Heisenberg420

[skunk]

vor 1 Stunde schrieb Heisenberg420:

Aber: Ich sehe die Dateien die ich mit Duplicati in mein Bucket hochgeladen habe nicht in FileZilla. Dort sind alle Ordner leer.

Das könnte an der Verschlüsselung liegen. Wenn FileZilla einen anderen Enschlüsselungs Key hat, kann er zwar auf die gleichen Buckets zugreifen aber würde die Daten von Duplicati nicht lesen können und zeigt sie dann auch nicht an.

Mein Trick um derartigen Problemen aus dem Weg zu gehen ist mit einem Uplink einen Access Grant zu erstellen. Da kann ich mir sicher sein, dass nicht einer der beiden Anwendungen mein Passwort unterschiedlich einließt oder ich mich irgendwie vertippe.

vor 1 Stunde schrieb Heisenberg420:

Edit: Nach mehreren Minuten scheint die Begrenzung in Filezilla nun doch zu funktionieren.

Edit2: Nein doch nicht. FileZilla zeigt zwar an dass mit nur xxx kib geladen wird, der Upload ist aber trotzdem voll ausgelastet. Beende ich FileZilla beruhigt sich der Upload auch wieder.

Mein letzter Test mit Filezilla ist schon ein paar Wochen her. Damals hat die Begrenzung nicht funktioniert. In Duplicati dagegen schon allerdings nur wenn man die Begrenzung aktiviert bevor der Backup Job gestartet wird. Wenn der Backup Job bereits läuft, hat das Limit wenn überhaupt mit einer größeren Verzögerung gewirkt. Ich bin irgendwann dazu über gegangen Duplicati sogar neu zu starten um sicher zu gehen, dass er die neuen Einstellungen auch geladen hat.

Was du in jedem Fall beachten musst ist der Storage Expansion Faktor. Wenn du den Upload Traffic auf sagen wir mal 3 MBit/s begrenzen willst, musst du in der Anwendung in etwa 1 MBit/s einstellen. Wir arbeiten an einer Lösung um diesen Expansion Faktor zu verringern oder sogar komplett zu umgehen. Das wird allerdings noch etwas dauern. Das ganze gilt nur für den Upload. Beim Download ist der Overhead deutlich kleiner sodass solche Korrekturen nicht notwendig sein sollten.

[Heisenberg420]

Ich konnte nun auch erfolgreich das Tardigrade S3Gateway im Docker starten und Verbinden. Gefällt mir soweit sehr gut. Wenn da noch eine Geschwindigkeitsbegrenzung möglich wäre dann wäre es perfekt.

Ich habe dort auch alles gefunden was ich vorher in Filezilla hochgeladen habe.

Kann es sein dass abgebrochene Uploads irgendwie unsichtbar sind? Ich hab mal alles gelöscht und es sind noch knapp 8GB belegt. Diese 8GB habe ich gestern mit Duplicati hochgeladen bis ich den Upload abgebrochen habe.

 

Zitat

ein letzter Test mit Filezilla ist schon ein paar Wochen her. Damals hat die Begrenzung nicht funktioniert.

Dem scheint auch noch immer so.

Bearbeitet 23. Oktober 2020 von Heisenberg420

[skunk]

vor 2 Stunden schrieb Heisenberg420:

Kann es sein dass abgebrochene Uploads irgendwie unsichtbar sind? Ich hab mal alles gelöscht und es sind noch knapp 8GB belegt. Diese 8GB habe ich gestern mit Duplicati hochgeladen bis ich den Upload abgebrochen habe.

Das sollte mit Duplicati eigentlich nicht möglich sein. Es ist möglich ein sogenanntes Zombie Segment zu erzeugen in dem man eine Datei größer 64 MB hochlädt und den Upload nach einigen Segmenten killt. Dann fehlt das letzte Segment für diese Datei und es wird im Listing nicht angezeigt. Kurzfristig haben wir dafür einen Job, der 2 mal die Woche läuft und diese Segmente löscht. Langfristig steht noch ein Refactoring auf dem Plan um Multipart Uploads zu ermöglichen. Das würde dann auch gleich das Problem der Zombie Segmente mit lösen.

Der Grund warum Duplicati keine Zombie Segmente erzeugen kann ist die größe der Blöcke. Duplicati würde von sich aus große Dateien in 64 MB Blöcke stückeln und dann ist jeder Block auch nur 1 Segment lang. Wenn es nur 1 Segment gibt, ist dieses Segment zwangsläufig auch das letzte Segment. Es kann entweder existieren oder nicht existieren. Ein Zombie Segment ist nur möglich wenn ein Upload mindestens zwei Segmente hat. Nur dann gibt es die Kombination, dass ein Segment existiert aber das letzte Segment fehlt.

Welche Block Größe hast du in Duplicati angegeben? Oder hast du eventuell eine größere Datei mit Filezilla hochgeladen? Damit könnte man Zombie Segmente generieren.

Edit: Du musst den Upload nicht mal abbrechen. Es reicht völlig wenn du mit Filezilla eine größere Datei hochgeladen hast. Es gibt noch ein paar andere Möglichkeiten wie so ein Zombie Segment entstehen kann. Zum Beispiel könnte das Löschen der Datei fehlschlagen. Das würde sogar zu einem anderen mir bekannten Fehler passen.

Bearbeitet 23. Oktober 2020 von skunk

[Heisenberg420]

vor 3 Stunden schrieb skunk:

Welche Block Größe hast du in Duplicati angegeben?

Meinst du die Remote-Volume Größe? Die steht auf 50MB.

 

Ich konnte nun auch erfolgreich Tardigrade in meine Nextcloud integrieren -> Screenshot 😍🎉

 

Edit: Hier mal eine Demodatei -> Tardigradeshare. Gefällt mir sehr gut mit der Karte. 👍

 

Sehr praktisch jetzt. Ich hoste meine Cloud zuhause auf einem RaspberryPi4 und hab dafür keine Ports freigegeben. Wenn ich jetzt mal eine Datei teilen will kann ich diese einfach in den Tardigrade Ordner schieben und sie über Tardigradeshare teilen.

Bearbeitet 23. Oktober 2020 von Heisenberg420

[Heisenberg420]

Guten Morgen.

Ich konnte gestern mittels UplinkCLI das Bucket löschen in dem sich die abgebrochenen Uploads befanden.  Das Bucket war nicht leer, man konnte darin aber nichts sehen. Ich konnte das Bucket nur mittels --force löschen. Nach einigen Stunden passt es wieder mit dem Speicherplatz. 

 

[skunk]

vor 3 Stunden schrieb Heisenberg420:

Guten Morgen.

Ich konnte gestern mittels UplinkCLI das Bucket löschen in dem sich die abgebrochenen Uploads befanden.  Das Bucket war nicht leer, man konnte darin aber nichts sehen. Ich konnte das Bucket nur mittels --force löschen. Nach einigen Stunden passt es wieder mit dem Speicherplatz. 

 

Da tippe ich wie gesagt auf einen abweichenden Verschlüsselungskey.

[GhostTyper]

@skunk: Bei mir im Node-Dashboard steht zu den Satellites z.B.:

saltlake.tardigrade.io:7777

Suspension 100 %
Audit 100 %

Was bedeutet Suspension?

[Heisenberg420]

Dann ist alles gut.

Bei meinem 1. Node stehen 3 Satelliten auf 99,9995%

Mit dem neuen Update wird das dann denke ich als 99,8% oder 99,9% angezeigt.

Wird wohl wegen meinem Mountfehler "damals" sein. 

 

Suspension = Suspendierung

[finehobby]

gibt es eigentlich eine Marktübersicht oder einen Vergleich der aktuellen Krypto-Speicherprojekte?

Bearbeitet 28. Oktober 2020 von finehobby

[GhostTyper]

vor 20 Minuten schrieb finehobby:

gibt es eigentlich eine Marktübersicht oder einen Vergleich der aktuellen Krypto-Speicherprojekte?

Würde mich auch Interessieren. Ich habe neben meinen StorJ-Nodes noch 20 BTFS-Nodes, die ich jetzt, wo der AirDrop von BTT vorbei ist aber wahrscheinlich löschen werde. XD

[GhostTyper]

Am 25.10.2020 um 08:49 schrieb Heisenberg420:

Dann ist alles gut.

Des wundert mich sehr, denn alle meine Nodes waren immer Zeitversetzt während der Speicher-Migration offline. Manche auch für einen halben Tag.

[Heisenberg420]

Die Downtime wird momentan ja auch nicht bestraft. Deshalb gibt es auch keine Mail wenn dein Node offline ist.

 

Ich glaube vor 3- oder 4 Versionen wurde wieder was eingeführt was aber vorerst nur ein Test für Storj ist wie verlässlich das Tracking System bezüglich Downtimes ist.

skunk kann da sicher nochmal genauer drauf eingehen oder du schaust die letzten Changelogs durch.

 

Ich habe letzte Woche auch meinen zweiten Node auf eine größere Festplatte migriert... 9 Tage für 6,4TB.... die letzten 2 Tage habe ich den Node dann auch ausgeschaltet weil das Synchonisieren dann deutlich schneller ging.

 

Aktuell migriere ich meinen Node 4 auf eine größere Festplatte. Bin jetzt seit 2 1/2 Tagen dabei für 1.6TB... Hab den Node heute auch wieder ausgeschaltet. Was ne Quälerei mit rsync.... Noch kann man es so machen.

 

mit 1.15.3 kam nun auch noch der Online Status dazu und mein Audit und Suspension Status ist doch wieder auf 100% gewachsen. 

[skunk]

Ich überlege schon seit Tagen ob ich mir pünktlich zum Black Friday ein paar zusätzliche Festplatten gönnen soll und wenn ja wie viele? Die Preise für 14 TB WD Whitelabel Festplatten sind ja schon jetzt recht günstig.

[GhostTyper]

vor 1 Stunde schrieb skunk:

Ich überlege schon seit Tagen ob ich mir pünktlich zum Black Friday ein paar zusätzliche Festplatten gönnen soll und wenn ja wie viele?

Ich hab' mir jetzt übrigens die 256 TB gekauft.

[skunk]

Ich habe bisher lediglich eine 2 TB SSD nachgerüstet und spiele mit dem Gedanken neben der Storj einfach noch ETH2.0 zu installieren. Es wäre eigentlich ganz praktisch beides parallel laufen zu lassen.

[GhostTyper]

Gibt's 'ne Info, wann sich der Traffic wieder erhöht? Sieht so aus, wie wenn derzeit überhaupt kein Test-Traffic statt findet.

[skunk]

vor 19 Stunden schrieb GhostTyper:

Gibt's 'ne Info, wann sich der Traffic wieder erhöht? Sieht so aus, wie wenn derzeit überhaupt kein Test-Traffic statt findet.

Ich hatte das intern bei uns schon angesprochen aber bisher hat sich nicht wirklich jemand zuständig gefühlt. Du kannst das Thema ja gern mal im Storj Forum ansprechen. Wichtig ist es dabei möglichst sachlich zu bleiben und lieber mit Zahlen zu glänzen.

[GhostTyper]

vor 2 Stunden schrieb skunk:

Du kannst das Thema ja gern mal im Storj Forum ansprechen.

Das hat schon jemand getan. Nur so hab' ich's bemerkt. XD

[skunk]

So jetzt habe ich meine Steuererklärung für das Jahr 2020 vorbereitet und weiß welchen Gewinn meiner Storage Nodes zusammen erwirtschaftet haben. Es übertrifft meine Erwartungen. Selbst nach Abzug aller Kosten bleibt da noch ein Betrag für das Finanzamt übrig.

Weitere Hardware werde ich mir für den Moment aber nicht kaufen. Bei den Festplatten gibt es ja durchaus einige interessante Neuentwicklungen. Sobald die raus sind dürfte der Preis nochmal fallen.

[Philbert]

vor einer Stunde schrieb skunk:

Bei den Festplatten gibt es ja durchaus einige interessante Neuentwicklungen. Sobald die raus sind dürfte der Preis nochmal fallen.

Ich habe gerade 2 mal 14TB WD Red (NAS) ziemlich günstig gekauft.... 273,50 € /Stück
Angebot auf mydealz.de

Vielleicht für den ein oder anderen interessant...

[skunk]

Warum keine Whitelabel? Die 12 TB Version gab es zwischenzeitlich für 13€ pro TB.

[Philbert]

Weil die nicht für Dauereinsatz konzipiert wurden.

13€/TB ist natürlich extrem günstig. Im aktuellen Preisvergleich sehe ich aber keine günstigere HDD egal welchen Herstellers mit 12 TB unter 18,81 €.
Bei 13 € hätte ich eventuell nochmal drüber nachgedacht

[skunk]

vor 17 Minuten schrieb Philbert:

Weil die nicht für Dauereinsatz konzipiert wurden.

Sollten Baugleich mit den WD Red sein. Unterschiede gibt es dann höchstens noch in der Firmware.

Ich habe hier sogar alte WD Green am Laufen. Die sind auch nicht für den Dauereinsatz konzipiert und funktionieren dennoch wunderbar. Auf der anderen Seite habe ich ein paar neuere WD Red mit sporadischen Lesefehlern. Das ist bei WD Red aber durchaus normal und steht sogar im Datenblatt. Beim Vergleich meiner alten WD Green mit den neueren WD Red überlege ich mir dann schon ob es den Aufpreis wirklich Wert ist.

vor 17 Minuten schrieb Philbert:

13€/TB ist natürlich extrem günstig. Im aktuellen Preisvergleich sehe ich aber keine günstigere HDD egal welchen Herstellers mit 12 TB unter 18,81 €.

Es gibt ja noch den Cyber Monday  

Edit: Was bei mir natürlich einen gewaltigen Unterschied macht ist das fehlen eines Raids in Kombination mit ZFS und Write Cache. Da merkt man nicht mehr viel von der vermeintlich schlechteren Performance einer WD Green.

Bearbeitet 27. November 2020 von skunk

[Philbert]

vor 30 Minuten schrieb skunk:

Sollten Baugleich mit den WD Red sein. Unterschiede gibt es dann höchstens noch in der Firmware.

Ja, das liest man immer wieder. Definitiv bestätigen könnte das wohl nur WD. Vielleicht ist es auch trotz Baugleichheit ein Sortieren nach Prüfergebnissen. 
Ich hatte die aktuellen Preise auch mit den "My Book" Single Teilen verglichen. Da sind ja White Label drin. Und eben mit den WD Einzelplatten. Letztendlich war mir der Preisunterschied nicht groß genug. Und ich möchte die Platten eben jetzt und nicht irgendwann mal ...
Gestern hatte ich eine neue NAS gekauft. Da sollen jetzt auch "ordentliche" Platten rein. Da ich den Kram problemlos steuerlich geltend machen kann ist der Preis jetzt eh nicht so entscheidend.... aber es gibt mir ein gutes Gefühl!