easyVDR

Hallo

Da die Datenmengen wachsen habe ich mich etwas mit ZFS befasst.
Was ist das?
Ein Datei System wo jede Datei mit Prüfsummen gespeichert wird. (Ist technisch nicht so aber vom Prinzip)
Da ZFS die Datenträger selber verwaltet brauch mein keine Raid Ḱontroller (ist in dem Fall sogar schlecht welche zu nutzen).
Ich werde das mit 2 Festplatten nutzen (Spiegelung).

Vorteile:
Beim lesen etwas schneller da von beiden Platten gelesen wird.
Es werden Bit Fehler der Platte erkannt und korrigiert.
Man kann es einigermaßen einfach erweitern.
Man kann einfach einen Aktuellen Stand einfrieren.

Nachteile:
Unter Linux nicht zu empfehlen. Mit Ubuntu geht es mittlerweile.
Für das OS sollte eine Extra Platte / USB Stick vorhanden sein.
Die Konfiguration des Filesystems wird nicht auf der ZFS Platte gespeichert.
Vielleicht in einem etc/XX verzeichniss muss ich noch prüfen.
Das bedeutet bei einem Crash der Systemplatte ist das ZFS Dateisystem futsch.
Vielleicht kann es wieder aufgebaut werden wenn alle Daten bekannt sind.
Einfach Platte einstecken Pool importieren und fertig (auch unter Ubuntu)

Getestet habe ich in einer VM mit Nas4Free

Man kann bei Nas4Free aber Einstellungen Exportieren werde mal testen ob das bei einem Crash hilft.
Ansonsten muss man das System Extra Sichern, natürlich nicht auf dem Nas ...
Wenn das Problem nicht wäre dann wäre es Perfekt. Man könnte von Zeit zu Zeit eine 3 Platte einbauen und hätte immer ein Backup. Aber da empfehle ich nach den heutigen tests lieber auf eine normale Platte kopieren ...

Ziel ist ein Rechner auf dem Nas4Free oder FreeNas + Ubuntu laufen.
Eins davon als VM, welches wird sich noch rausstellen.
Der Rechner soll per WOL starten und bei Nichtbenutzung nach 30 Min herunterfahren.

Einen Bug habe ich auch gefunden, wenn man in der Web Oberfläche einen 2. Pool anlegen will das geht nicht fehlerfrei.
Vielleicht nach einem neustart, werde ich noch testen.

Da man aber nur Positives liest und wenn man die Schwachstelle mit dem System berücksichtigt kann man vermutlich gut damit leben.

Falls es jemand interessiert kann ich ein kleines Howto posten wenn ich durch bin.

Kennst Du diesen "Aufsatz" ?
http://www.easy-vdr.de/forum/index.php?t...#msg105823
Da sind 1-2 sehr gute Links enthalten.

Die Platten kann man wenn das Rootfs weg ist wieder suchen lassen. Auch wenn man etwas Angst hat in den paar Sekunden wo er sucht hat das bei mir zu 100% geklappt.

Damit bin ich nicht so ganz einverstanden:

Zitat:Unter Linux nicht zu empfehlen.

BSD ist besser, Linux funktioniert auch gut, nur ist es evtl eine Gerwissensfrage mit den Kernel-Tainted Meldungen... (FreeNAS basiert z.B auf BSD; NAS4Free kenne ich nicht)

RAID Level auf einen Intel PC wäre wohl am besten RAID5 ab 4 Platten oder RAID Z.
Aber auch Dein Setup sieht ganz korrekt aus. Nur was ich anregen wollte: erst 1,2,3 oder vier Wochen intensiv damit spielen. Wenn man im Ernstfall keine große Ahnung hat könnte es gefährlich werden. Nur ein Beispiel: Bei mir ist eine Platte gestorben und ich hab mich echt darauf verlassen dass man Volumes auch verkleinern kann.
Da das nicht geht konnte ich ohne HW zu kaufen nur durch wegwerfen einiger Daten (VDR Aufnahmen löschen) sofort weiterarbeiten.

Hi

Zitat:BSD ist besser, Linux funktioniert auch gut, nur ist es evtl eine Gerwissensfrage mit den Kernel-Tainted Meldungen...

Bei Linux gibt es nur eine ältere Version, und wenn den Aufwand sehe das Upzudaten bei neuren Kerneln usw.
Dann lieber eins der beiden in einer VM

Zitat:(FreeNAS basiert z.B auf BSD; NAS4Free kenne ich nicht)

Ist beides BSD und ist beides aus FreeNas entstanden, da FreeNas den Maintainer gewechselt hat ist bei beiden die Entwicklung auseinander gegangen. Nas4Fre machen die alten Entwickler von FreeNas.

FreNas ist für Firmen
Nas4Free eher für Privat ist aber beides sehr ähnlich. Nur bei Nas4Free sind Multimedia Sachen usw. dabei.

Zitat: Nur was ich anregen wollte: erst 1,2,3 oder vier Wochen intensiv damit spielen.

Da ich das einmal einrichte und dann nur nutze sehe ich da keine großen Probleme.
Außerdem gibt es auch ein Backup.

Bei meinen Experimenten habe ich mit 5 Platten gespielt. Das Ergebnis war dann lieber 2 Platten.

Da auch was dazu:
http://constantin.glez.de/blog/2010/01/h...still-best

Zitat:Die Platten kann man wenn das Rootfs weg ist wieder suchen lassen.

Wie geht das?

Mein Test war ein Array mit 3 Platten (In etwa Raid 5)
Und ein Array gespiegelt.

System auf extra Platte, das neu installiert.
Dann gab es keinen ZFS Pool mehr.


Das half nicht. In denke man müsste zuerst die VDEV wieder herstellen, geht das auch?

Gruß
Bleifuss

Zitat:Wie geht das?

Das war 2011 und meine Aufzeichnungen stelle ich fest sind entsorgt (Evernote).
Fakt ist dass sich vieles selbst erklärt (einfach zfs und zpool eingeben und schauen was es da so an Optionen gibt). Aber Feinheiten habe ich nur per Google herausgefunden. Und das während eines Krisenfalles steigert den Blutdruck.

Kannst ja mal in einiger Zeit berichten wie die Erfahrungen so sind...

Hi

Du hast recht man kann das ganze wieder einlesen.
Sieht jetzt richtig gut aus. 

Dann wird mein neues Setup vermutlich so aussehen.

Mirror 3 Platten.
1 eine wird nur bei bedarf eingebaut, das ist dann das Backup.

Muss ich aber vorher noch testen was passiert wenn ich eine neue Installation habe und da dann die Backup Platte einbaue.
Wenn das dann bei einem Vergleich mit dem Array passt, dann wäre das eine perfekte Lösung.
Einzig die Nas4Free Version müsste man gut archivieren damit man im Notfall wieder installieren kann.
Die Lösung würde sicher einige Jahre überleben.

Gruß
Peter

Nach einigen Test's werde ich es jetzt verwenden.

Platten einrichten:

1. Festplatten Management -> Platten importieren
2. Festplatten mit ZFS formatieren.
3. ZFS->Virtuelles Gerät Einrichten, ich habe 2x2 Platten als Mirror (also 2 x Raid 1 Array)
  bei aktuellen Platten 4k Sektorgröße wählen.
4.Pool einrichten (bei mir 2) ein Pool ist ungefähr das selbe wie eine Partition. Ich würde nicht alles in einen werfen.
  Bei unterschiedlichen Plattengrößen und Auswahl Mirror Häkchen bei "Erzwinge die Nutzung von "vdevs", auch wenn diese in Benutzung erscheinen oder andere Größe angeben" setzen
5. Datensätze, hier kann man "Verzeichnisse" parametrieren mit rechten und Komprimierung.
Ich habe einen Bereich angelegt wegen der Komprimierung.
Wichtig das ganze funktioniert nur wenn man direkt den Datensatz freigibt und mountet.
6. Verzeichnisse außerhalb des Datensatz anlegen Video / Audio usw (das ist dann nicht komprimiert)


Es gibt leider einige Eigenheiten was aber nicht vom ZFS kommt vermutlich ist es BSD.


Datei Rechte:
Das gilt für NFS:
Der Besitzer des Verzeichnis darf alle darin enthaltene Dateien löschen, selbst wenn die Datei root gehört.
Gehört das Verzeichnis z.B dem user easyvdr und die darin enthaltene Datei dem User vdr dann kann der user easyvdr die Datei nicht ändern aber löschen.
Der Besitzer einer Datei kann sie immer überschreiben / ändern egal wem das Verzeichnis gehört. Aber der Besitzer kann die Datei nur löschen wenn ihm auch das Verzeichnis gehört.
Etwas gewöhnungsbedürftig das ganze.
Einzig sinnvolle Möglichkeit das löschen von Dateien zu verhindern ist die w Berechtigung entziehen auch bei root.

NFS Freigabe einrichten:
Dienste NFS -> Einstellungen haken bei Freigabe setzten.
Dann auf Freigaben klicken eine Freigabe erzeugen.
Pfad auswählen /mnt/meinname  -> Direkter Zugriff
Pfad auswählen /mnt/meinname/Datensatz  -> Zugriff mit Komprimierung usw.
Bilde alle Benutzer auf den Nutzer 'root' ab -> Nein wählen.
NFS Einstellungen Speichern und neu starten.

Sämtliche Benutzter Gruppen usw default lassen.




Ich werde das hier nach und nach erweitern. Vielleicht wandert es auch noch ins Wiki, mal sehen.

Hallo

So das ganze läuft sehr gut bisher gab es noch keine Probleme Waf passt.
WOL und abschalten wenn keine Verbindung besteht funktioniert bisher zu 100%.
Da ich günstig an eine zweite 4TB Platte gekommen bin habe ich am Wochenende aus 4 Platten 2 gemacht. Hat erstaunlicherweise gut Funktioniert, auch schnell. ca. 5Std für 2TB.

Jetzt liegt der Stromverbauch wenn es läuft bei 35W das ist erträglich, abgeschaltet 1,8W.
Demnächst versuche im mal eine Sicherung, ich bin nur unschlüssig ob ich es mit ZFS versuchen soll.

Bei ZFS sollte man vielleicht noch erwähnen, dass Oracle wohl Neuerungen für ZFS nur für Solaris bereitstellen wird, das heißt ZFS auf BSD wird bei den Features zurückfallen oder inkompatibel werden zu Solaris ZFS.(habe ich zumindest mal gelesen, zB ZFS-Verschlüsselung solls nur unter Solaris geben)

Ich würde eher warten bis Btrfs stabil ist und dann das verwenden, das wird bestimmt noch länger entwickelt/unterstützt. Oder Hammer (DragonFly BSD), das soll wohl auch viele Features haben, aber keine Ahnung wie weit/stabil das ist.

Warum waten? Wenn du das in der PC Branche anfängst wartest du dein ganzes Leben.

Wenn ich zurück denke, hmm 286 nein lieber nicht im Sommer gibt es 386.
Hmm 386 unbezahlbar, an Weihnachten gibt es 486 SX, Toll kann man bezahlen, aber der 486 DX wird ja auch noch billiger. ...
Hm nehm ich Win 3.0 nein, win 3.1 gibts auch bald. Bo eh Win 3.11 kann Netzwerk.
Jetzt kauf ich es, was ist das denn OS2? OLE, Multimedia, Multitasking, kein DOS, Super (das war echt ein tolles System, bis Win XP SP1 war das echt gut) usw.
Heute kaufe ich eine Nvidia 750TI oder warte ich noch, ist die neue GT520 ist ja eigentlich eine GT220 usw..

Fazit wenn es nichts kostet wie ZFS dann nutze ich das, wenn btrfs mal geil ist dann kopiere ich von a nach b und fertig. Nur wenn es danach ginge wäre ReiserFS das Maß der Dinge, gibt es das noch?
Die Erfahrung lehrt wenn etwas ein halbes Jahr auf dem Markt ist dann kann man es sich überlegen.
Sonnst geht es einem so: dont have time to play with myself, damn im lookin good
Oder:Shake it, baby

Falls wer das nicht kennt DUKE NUKEM.

Come get some, Let's Rock,He He He

Klar, der Gedanke dass man einfach umkompiert kam mir auch, aber evtl kann man das nicht weil man keine 2. Festplatte hat die groß genug ist. Wenn das aber vorhanden(oder geplant) ist, dann klar, nutze was du willst
Warten kann übrigens schon Sinn machen. Kurz vor ner neuen Hardwaregeneration würde ich zB nix kaufen.

Hi

Das sollte keine Kritik sein, nur so die Erfahrungen.

Und da ich mit EXT3 schon eine ganze Platte an Daten verloren habe (mit EXT2 auch schon) war halt zu neu ... Nehme ich bei Dateisystemen nur Sachen die >3 Jahre auf dem Markt sind.
Das einzige Dateisystem außer HPFS bei dem ich noch keinen Datenverlust hatte ist XFS.
ZFS habe ich noch nicht lange genug. Wobei EXT3 mittlerweile auch sehr stabil ist.

Zitat:Klar, der Gedanke dass man einfach umkompiert kam mir auch, aber evtl kann man das nicht weil man keine 2. Festplatte hat die groß genug ist.

Wie du oben siehst ein Backup braucht man immer. Aber ich war auch schon oft an den Punkt, ich weiß was du meinst. Nur früher war man da 300-500 € los da war das generell schwerer.
Privat (also nicht Beruflich) hatte ich schon:
QIC Streamer, war sowas von instabil, cpbackup mit Disketten war sicherer.
Syquest Wechselplatte 200MB, da hat man wirklich die Scheibe gewechselt (so um die 300DM).
MO Disk 640MB ca 600DM
CD Brenner (500DM) na ja 6Monate dann war Schluss mit den CD's
DVD Brenner, war nicht brauchbar für Datensicherung
NAS, viel zu langsam ...
Heute, nur noch Festplatten.

Das schlechteste war QIC und MOD, MOD wäre sicher gut gewesen aber das IBM Laufwerk war nach 1 Jahr defekt.

Ich arbeite heute (Beruflich) noch mit 5,25 360KB Disketten die laufen noch.

Das stabilste was ich bisher in den Händen hatte ist Bluray (erste Generation) Brenner lag bei 800€
Scheibe ca. 30€, da kann ich mit dem Schraubendreher kratzen, die gehen noch.
Letzte Woche habe ich eine 6 oder 7 Jahre alte in den Händen die geht noch.
Auch das Laufwerk läuft noch (Plextor), ist aber Beruflich.

Nur so zum nachdenken, wenn die Fotos wegen 100€ weg sind, das steht in keinem Verhältnis.

Gruß

Mal wieder ein Update.

Bisher bin ich immer noch zufrieden, aber ...

Vor kurzem wollte ich einige 100GB auf das NAS kopieren, dauert ewig.
Bisher habe ich die Platten immer direkt angeschlossen.
Das war übers Netz. Nach einigem Experimentieren und googeln bin ich zu den Ergebnis gekommen das es an NFS liegt.  :'(
Da muss ich dann in Zukunft Samba nehmen. Außerdem ist der Pentium auch etwas klein.
Der kommt auch an die Grenzen.

NFS
Lesen kein Problem >80 MB/s
Schreiben ~ 30MB/s

CIFS
Lesen ~ 80 MB/s
Schreiben ~ 70MB/s

Ist schon ein Unterschied ...
Es gibt leider keine sichere Abhilfe ist ein altes Problem. Wenn man es weiß kann man sich ja damit Arrangieren.

Bleifuss

Ich muss mal wieder updaten.

Mittlerweile habe ich die Software upgedatet, 0 Probleme 
Für das Backup des Nas nehme ich eine 6TB WD USB3 Platte.
Die Platte ist mittlerweile ZFS Formatiert, mit Ubuntu kann man darauf problemlos zugreifen.

Bin mal gespannt wie das ausgeht:
http://www.heise.de/newsticker/meldung/D...11940.html

Ich habe mal wieder upgedatet

Geil jetzt kann man VM's daruf Betreiben.

Mein Easyvdr System läuft schon drauf.
Auch Windows 10 (mit Win 7 Serien Nummer installiert) das brauche ich noch für meine Buchhaltung.
Super kann ich endlich an jedem beliebigen PC arbeiten.

Das ganze geht per VNC, Windows per Remote Desktop (mind. Professional).
Ich habe Win 1o zwar schon oft installiert aber noch nie damit gearbeitet.
Bin ja mal gespannt, demnächst laufen ja auch Linux Programme unter Win10.

Gruß
Bleifuss

Was meinst du jetzt genau mit der VM-Neuerung ?

PS Auch interessant: Welches FS killt man am schnellsten... Ich finde jetzt das PDF von Oracle nicht mehr... Hier die Zusammenfassung: https://blog.fefe.de/?ts=a9f560e2 (Das komplexeste ist am schnellsten kaputt, EXT4 ist ganz OK...)

Und was für eine HW für das nas?
Stromverbrauch ist schon von Relevanz weil die Kiste in Bälde auch als Recorder für eine Überwachungscamera reichen soll und damit wohl etwas länger wie 2-3h am Tag läuft.
Die 18W einer DS216j ist schon eine Größe


Danke und Gruß
Michel

Hallo

VM -> Virtual Box ist beim neuen nas4free gleich eingebaut. Kann man über Webbrowser verwalten.
Eigentlich wollte ich auf VM Manager umsteigen (Linux) das nutze ich sonnst immer.
So ist es aber von der Verfügbarkeit besser. Ich brauche Lokal nur noch VNC bzw Remmina (Windows und VNC), der Rest ist egal. Endlich kann ich meine Win Partition auf dem Laptop löschen.
Die Update Orgien sind mir jetzt dann auch egal es wird ja kein System mehr blockiert.
Ich brauche Windows nur alle 6 Monate, dann aber 2-3 Stunden warten bis alles upgedatet ist.

Zum System:
Da es schon älter ist braucht es noch viel Strom, so um die 30W.
Es sind 2 4TB Platten verbaut, eine RED und eine Green WD.
Für das Betriebssystem habe ich einen USB Stick verwendet, denn habe ich jetzt aber durch eine SSD (32GB) ersetzt. Da mir die Boot Zeit jetzt wichtiger ist. Mit einer schnellen CPU reicht aber auch ein USB Stick.
Es macht so ca. 30s unterschied.

Es ist ein Assus Server Board + 8GB ECC Ram und bequiet Netzteil.

Zitat:10.2.0.2 - Prester (Revision 2433)
Kompiliert Do. Mrz. 17 17:09:53 CET 2016
Betriebssystem FreeBSD Revision: 199506
FreeBSD 10.2-RELEASE-p14 #0 r296987M: Thu Mar 17 14:42:39 CET 2016
Plattform x64-full auf Intel® Pentium® CPU G3420 @ 3.20GHz
System ASUSTeK COMPUTER INC. P9D WS
System-Bios ASUSTeK COMPUTER INC. (Licensed from AMI) Version: 2004 06/05/2014
Systemzeit Sa. Apr. 16 21:13:46 CEST 2016
Systemlaufzeit 2 Minute(n) 41 Sekunde(n)

Ich starte das per WOL dann wird geprüft ob ein Client läuft wenn nicht fährt der Server nach 2 Stunden wieder runter.

Das Skript macht das, einfach 1:1 rein kopiert, nicht mal umbenannt.

Das einzige worauf du achten musst wenn du ZFS verwendest ist das dein System ECC Speicher kann.


Gruß
Peter

Ich hatte auch lange Zeit NAS4Free mit ZFS im Einsatz. Prinzipiell lief das alles super. Mich hat nur immer die FreeBSD-Unterlage gestört. Insbesondere dewegen, weil zu der Zeit vieles nicht als Plugin verfügbar war.
Das ZFS lief bei mir mit 5 x 2 GB Platten als RAID-Z2 Verbund. Also mit 2facher Parity.
Plattenausfälle hatte ich mehrfach, Datenverlust nie.

Inzwischen bin ich aber zu BTFS gewechselt. Als Distribution nutze ich Rockstor. Schön bei Rockstor finde ich das Plugin-Konzept. Es ist eigentlich keines. Die nutzen einfach Docker-Container, um zusätzliche Applikationen auf das System zu kriegen.
Das Rockstor-System hat 6 x 3 GB Platten im RAID10-Verbund.

Hallo

Mal wieder ein Update.

@Schrauber

Ja das sieht auch gut aus, aber BTRFS ist mir noch zu unfertig.


https://btrfs.wiki.kernel.org/index.php/Status


Ich habe vor längerem Nextxloud auf meinem NAS installiert, da habe ich den kompletten home Ordner synchronisiert (das läuft recht gut im hintergrund).
Nach dem ich mein Laptop neu installiert habe, wollte ich alles wieder zurück synchronisieren. Da klemmt es bei Dateien >10GB.
Alles andere hat gepasst (ich habe vor dem neu installieren alles manuell gesichert) mit rsync Bit genau geprüft.
Die großen Dateien habe ich dann von Hand zurück kopiert, die haben auch gepasst.

Fazit, ich bin überrascht das es so gut läuft.
Jetzt der Nachteil, das ganze läuft sehr langsam wenn es kleine Dateien sind.

Da ich vermute das die Nas4free da auch nicht optimal ist wird es daher kommen.

Da mir mittlerweile mehrere Punkt bei Nas4Free nicht mehr so gefallen und Ubuntu ZFS ohne gebastel kann werde ich zu Ubuntu Server wechseln. Langfristig wird es ja mal BTRFS.

Warum wechseln?
Mir gefällt Virtualbox nicht so, Virtmanager ist schneller besser und vor allem im Netzwerk viel einfacher.
Nextcloud ist extrem langsam (könnte aber unter Ubuntu auch so sein, werde mich melden wenn ich es weiß).
Und zuletzt es startet langsam da es immer eine RAM Disk erzeugt.

Einziger Nachteil bei Nextcloud, die Datei Attribute werden nicht mit gesichert, bei Programmen Skripten usw muss man das ausführbarkeits Attribut wieder setzen.

Update folgt ...

Gruß
Bleifuss

Goodbye ZFS und DTrace ?
http://www.phoronix.com/scan.php?page=ne...s-Hit-Hard

Das hört sich nicht gut an. :-(

Ich glaube ZFS wird eh nicht mehr weiter entwickelt.

Wobei ich mit Ubuntu Server + ZFS zufrieden bin.
Bei Nextcloud bin ich mir noch nicht sicher, es funktioniert gut, da meine Platte defekt war habe ich schon einen Life test. Aber es ist auch umständlich zum einrichten. Und mit Android (deshalb habe ich es mal installiert) ist es auch nicht so der hit.

Gruß
Bleifuss

Klingt echt interessant. Danke für die Arbeit, alles mal zu schreiben.

Hallo Lanzi

Zitat:Klingt echt interessant. Danke für die Arbeit, alles mal zu schreiben.

Es muss ja nicht jeder alles ausprobieren, da ich denke es gibt mehr Leute mit so einem Problem spart sich der eine oder andere Zeit ...

Mich ärgert nur das ich sowas nicht schon 5 Jahre früher gemacht habe.
Hat ganz schön viel Zeit gekostet die zig doppelten Daten zu sortieren.
Für sowas ist Flsint gut, da kann man Doppelte Dateien nach Ordnern sortiert löschen.

Gruß
Bleifuss

Hi Bleifuss :)

Mir fehlt da momentan leider komplett die Zeit, aber für meine Datenmenge, auch an Raw-Fotos wäre das sicher gut.
Habe hier aber noch einen alten Core2 rumstehen, vielleicht sollte ich mit dem mal experimentieren :)

FSlint ist klasse, gerade bei großen doppelten Dateien, die man mal übersehen hat, findet es sehr zuverlässig alles, was platz verschwendet.

VG,
Lanzi