hfs filesystem - gefühlte doppelte geschwindigkeit und mehr ...

[a_client]

hallo,

habe hier mal auf xfs umgebaut, die gefühlte geschwindigkeit ist 2x !

das ganze mit ner 2 tbyte festplatte von hitachi, vorher mit ext3 dauerte das ewig wenn ich mal die aufnahmen auflistete, jetzt "wusch" alles da!

auch dateinen löschen, oder neu anlegen via netzwerk, geht nun wieder fix!

netter nebeneffekt ist das der fchk ( wenn man ihn nutzen würde ) nur noch bei der o.g. platte beim shutdown ca 60 sek. dauern würde.

vorher mit ext3 ca  2,5 stunden, bei gleichem inhalt.

somit könnte ich im shutdown script immer checken, weil die zeit ja nun wirklich vernachlässigbar klein ist  8)

grüße a_client

[tuxnet]

Interessant

[a_client]

na dann schreib ich mal ein mini how to!


vorher natürlich /media inkl. aller dateien sichern.

stopvdr

apt-get install xfs
apt-get install xfsprogs
apt-get install xfsdump 

danach umount /media

media partition mit mkfs.xfs /dev/partition    (hier /sda2)

neustart!

das wars bei mir - daten wieder drauf und geschwindigkeit geniessen

xfs_db -r -c frag /dev/sdx    zeigt aktuelle fragmentierung an

xfs_fsr                                  defragmentiert die platte bei laufenden vdr

xfs_repair -n  /dev/sdx müsste dann zum filecheck beim systemshutdown noch rein




hat das einen grund warum ext3 als standartformat mit journal beim0.8er läuft? xfs soll auch jounaling machen, habe sogar 2 mal hier den stromaus beim schreiben probiert und danach geschaut ob fehler da  sind. alles ok!


grüße a_client

[Martin]

Ich nutze auf dem Server nur XFS für die Datenplatten. Und nur Ext3 für das Betriebssystem.

Grund für ext3 ist die die hohe Verbreitung und bekannte Stabilität. Außerdem gibts dazu massiv Tools falls doch mal Probleme.

Meine Rangfolge der Filesysteme:

1. ZFS: Das Beste, leider nur in Kombination mit Solaris sinnvoll zu nutzen (obwohl: das soll sich evtl ändern)
2. Reiser: "Leider"sitzt der Hans im Knast, auch wenn seine tote Frau m.E. bis heute nicht gefunden wurde
3. XFS: m.E. ähnlich gut wie Reiser
4. FAT: das verbreitetste Filesystem, aber unter *X* nicht zu gebrauchen
5. EXT2-4: alle ziemlich gleich und bis ext3 bekannt stabil.

Also somit kannst Du XFS gerne nutzen. Standard in einer Distrie die auch für Anfänger gedacht ist wird es wohl nie werden. Bei richtig ernsthaften Problemen kann m.E. nur noch Silicon-Graphics helfen. Wers ganz sicher haben will ist mit Nr. 4-5 besser aufgehoben.

[michel8]

hat das einen grund warum ext3 als standartformat mit journal beim0.8er läuft? xfs soll auch jounaling machen, habe sogar 2 mal hier den stromaus beim schreiben probiert und danach geschaut ob fehler da  sind. alles ok!

Danke für das HowTo, a_client !

Ein weiterer Grund, warum immer noch ext3 als Standard verwendet wird ist folgender:
Das Ändern widerspricht auch der Grundphilosophie, die Mediapartition immer wiederzuverwenden (wenn vorhanden), damit Bestandsaufnahmen übernommen werden können.

Den Filecheck beim shutdown in Abhängigkeit des Filesystems zu machen, ist sicher möglich, aber da müsste mir jemand beim scripten helfen, dann könnte jeder der will Deinem HowTo folgend die media-Partition umstellen.
Automatisch wird ein anderes Filesystem auch nicht mehr in die 0.8 einfließen können...

Gruß
Michel

[a_client]

hallo,

gerne 

wird der fchk eigentlich in der runvdr beim stop gemacht oder wo genau?

grüße a_client

[Duffy]

Nabend,
ne das wird im poweroff bzw. shutdown script gemacht
Gruss
Duffy

[a_client]

danke duffy,

schau mir das die tage mal an

grüße a_client

[gb]

danke für den tip,
hab bei mir auch hin und wieder das problem, das sich das system beim testen festfährt und dann nur noch das 3sec drücken auf poweroff hilft( ich weiß, schande auf mein haupt)
wenn das system wieder am booten ist, will er nach dem 5ten mal ein festplattencheck machen, das dann bei 1tb daten ca 2-3h dauert (das sind ca 2-3L kaffee);D
zum glück macht er den test immer schon beim 4ten mal und das auch noch beim runterfahren. grund ist mir nicht bekannt und war auf einmal von jetzt auf heute so.


mfg* gb

[a_client]

hallo gb,

gerne

vielleicht schaust du deine festplatte aber nochmal genau an,  test auf defekte!?

ich benutze für sowas gerne:

http://www.chip.de/downloads/Drive-Fitne...07626.html

grüße a_client

[Paulaner]

schau mir das die tage mal an

@a_client,
hast Du da schon was rausgefunden, wie man den fsck für die xfs-Partition unterbindet bzw. ändert nach xfs_repair?
Ich habe nämlich die letzten Tage auch mal meine media-Partition mit xfs formatiert.
Das Löschen von großen Dateien geht wirklich ratzfatz, wesentlich schneller als bei ext3. 
Ebenso der Check der Partition mit xfs_repair dauert bei 500GB nur ein paar Sekunden und kann theoretisch bei jedem Runterfahren gemacht werden.

Hast Du die xfs-Partition extra in die fstab eingetragen?

Paulaner

[Wirbel]

wie man den fsck für die xfs-Partition unterbindet bzw. ändert nach xfs_repair?

Wer sollte so etwas wollen?

[Paulaner]

Wer sollte so etwas wollen?

Na ich!  8)
Nein im ernst, ich bin jetzt nicht der Oberguru für Dateisysteme, aber Google sagte mir, dass man bei xfs-Dateisystemen anstelle von fsck besser xfs_check bzw. xfs_repair einsetzen soll.

Manuell habe ich einfach mal xfs_repair /dev/sda4 mal getestet und das ging eben superschnell.
Dagegen dauert das bei der gleichen Platte mit 500GB und noch ext3-Dateisystem eben rund 30 Minuten.

Deshalb wollte ich wissen, wie man das am geschicktesten in EasyVDR integrieren kann.

Paulaner

[Wirbel]

Eigentlich benutzt man diese tools nur dann, wenn es mit der Partition nicht ok ist.

[Paulaner]

Ok, im Prinzip hast Du ja recht, aber es beruhigt ungemein!
Dieses fsck bzw. xfs_check suggeriert einem ja, das alles ist i. O. mit meinen Daten.

Aber etwas ist mir gerade aufgefallen:
Beim Runterfahren vom VDR wird ja RCSutdown ausgeführt und da gibt es ein "tune2fs ..." mit dem getestet wird, ob ein fsck ansteht. Für xfs funktioniert aber "tune2fs..." nicht und somit wird jedesmal ein fsck für die Partition ausgeführt!
Ich könnte das jetzt alles auskommentieren, um die Fehlermeldungen zu unterdrücken, aber das ist ja dann auch nicht der Weisheit letzter Schluss!

Man brauchte also ein Script, was erstmal das Filesystem erkennt und abhängig davon tune2fs ausführt oder nicht. Meine Scriptkenntnisse sind leider sehr marginal, so dass ich hier auf eure Hilfe angewiesen bin.
Hat da schon jemand was in der Richtung gemacht?

Paulaner

[MFG]

Moin moin Paulaner,

meinst sowas ?

Code:

easyVDRdxr3:/mnt/usb1# echo "$(grep /dev/hdb3 /etc/mtab | awk -F\   '{print $3}')"
ext3

MfG.
          MFG.

[michel8]

So dreht sich die diskussion im Kreis:
http://www.easyvdr-forum.de/forum/index....l#msg92538

Was muss ich denn genau in der RCShutdown ändern?
Das sieht derzeit so aus:

Code:

##### Vorgezogener fsck, falls ein fsck innerhalb der naechsten 24h ansteht #####
PARTITIONS=`mount | grep ^/dev/[hs]d[a-z][1-9] | awk '{print " "$1 }'`
for partition in $PARTITIONS ; do
  NextFsck=`tune2fs -l $partition | grep "^Next check after" | cut -d":" -f2-`
  if [ `date -d "$NextFsck" +%s` -lt $[`date +%s`+86400] ]; then
    if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
      FSCKHDD="$FSCKHDD $partition"
    fi
  fi
  MOUNTCOUNT=$(tune2fs -l $partition | grep "mount count:"| cut -d ":" -f 2)
  if [ $[$MOUNTCOUNT+0] -gt 0 ]; then
    if [ $MOUNTCOUNT -le $(expr $(tune2fs -l $partition | grep "^Mount count:" | cut -d ":" -f 2) + 1) ] ; then
      if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
        FSCKHDD="$FSCKHDD $partition"
      fi
    fi
  fi
done

Dann packe ich das auch gleich in Updaate 2 mit rein...

Danke und Gruß
Michel

Nachtrag, das hier steht auch noch in der RCShutdown:

Code:

# run fsck?
if [ -n "$FSCKHDD" ]; then
  touch /etc/mtab
  if [ $? -eq 0 ]; then
    echo "Root FS noch rw gemountet, ueberspringe fsck!"
  else
    echo "Running fsck in advance"
    for partition in $FSCKHDD; do
      STPID=$!
      echo "Starte FSCK fuer $partition"
      fsck -y -f $partition
      tune2fs -T now $partition
      echo "FSCK fuer $partition fertig"
    done
  fi
else
  echo "Kein FSCK noetig." >/dev/tty1
fi

[Wirbel]

tune2fs ist ausshließlich für ext2..4

[Paulaner]

tune2fs ist ausshließlich für ext2..4

Das hatten wir ja schon rausgefunden und bringt uns jetzt nicht wirklich weiter!
Jetzt geht es darum die vorhandenen Scripte anzupassen, dass tune2fs bei einem anderen Filesystem außer ext2...4 nicht ausgeführt wird!

Paulaner

[a_client]

hallo,

mein vorschlag:

beim shutdown testen ob kein ext filesystem.
wenn hfs dann immer xfs_repair -n device.
dauert wie gesagt nur 60sek bei voller 2tbyte platte  8)

grüße a_client

[soulianis]

Hallo zusammen,

ich habe es folgendermaßen gelöst. Hier der entsprechende Ausschnitt aus der /etc/init.d/RCShutdown (easyVDR 0.6.10):

Code:

##### Vorgezogener fsck, falls ein fsck innerhalb der nächsten 24h ansteht ##
###
PARTITIONS=`mount | grep ^/dev/[hs]d[a-z][1-9] | awk '{print " "$1 }'`
for partition in $PARTITIONS ; do
  NextFsck=`tune2fs -l $partition 2>/dev/null | grep "^Next check after" | cut -d":" -f2-`   <--- hier 2>/dev/null hinzugefügt
  if [ -n "$NextFsck" ]; then     <------------------------------------------------ Diese Zeile hinzugefügt
    if [ `date -d "$NextFsck" +%s` -lt $[`date +%s`+86400] ]; then
      if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
        FSCKHDD="$FSCKHDD $partition"
      fi
    fi
  fi     <--------------------------------------------------------------------------- Diese Zeile hinzugefügt
  MOUNTCOUNT=$(tune2fs -l $partition 2>/dev/null | grep "mount count:"| cut -d ":" -f 2)   <--- hier 2>/dev/null hinzugefügt
  if [ -n "$MOUNTCOUNT" ]; then     <------------------------------------------------ Diese Zeile hinzugefügt
    if [ $[$MOUNTCOUNT+0] -gt 0 ]; then
      if [ $MOUNTCOUNT -le $(expr $(tune2fs -l $partition | grep "^Mount count:" | cut -d ":" -f 2) + 1) ] ; then
        if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
          FSCKHDD="$FSCKHDD $partition"
        fi
      fi
    fi
  fi     <-------------------------------------------------------------------------- Diese Zeile hinzugefügt
done
...

Die Idee dabei ist: Die beiden tune2fs Aufrufe geben für xfs Filesysteme nichts aus. Ich habe noch ein 2>/dev/null hinzugefügt, um Felermeldungen zu unterdrücken. Wenn der jeweilige tune2fs Aufruf nichts ausgegeben hat, wird der jeweilige Block übersprungen.

M.E. genügt das. Ich denke, ein xfs_repair Aufruf ist nicht nötig. Ein xfs Filesystem geht so schnell nicht kaputt, auch nicht bei zig mutwillig ausgeführten Hard-Resets. Und wenn, muss man xfs_repair sowieso interaktiv aufrufen, weil xfs_repair, genau wie e2fsck, bei gravierenden Schäden immer interaktiv nachfragt, bevor es was repariert.

Der vorgeschlagene xfs_repair -n Aufruf ist m.E. in der Shutdown-Phase sowieso nur wenig sinnvoll, es sei denn, jemand beobachtet die Meldungen während der Shutdown-Phase so genau, dass er mitkriegt, dass xfs_repair -n was zu meckern hat. Aber wer tut das schon?

Mir ist seit Jahren nur einmal ein xfs Filesystem kaputtgegangen, da war es ein Hardwareproblem. Ich habe damals den Inhalt der defekten Platte noch halbwegs auf eine Ersatzplatte kopieren können und konnte dann dank xfs_repair den Großteil der Daten retten. Sowas ist aber wie gesagt immer ein interaktiver Prozess.

Mein Lösungsvorschlag ist daher, auf xfs_repair zu verzichten und die xfs Filesysteme vom e2fsck einfach auszunehmen, wie oben gezeigt.

Viele Grüße,
soulianis

[soulianis]

Hallo nochmal,

folgendes ist mir oben noch aufgefallen:

na dann schreib ich mal ein mini how to!
...
apt-get install xfs
apt-get install xfsprogs
apt-get install xfsdump 

Das "xfs" Paket ist der X Fontserver, hat mit dem xfs Filesystem nichts zu tun!

Also nur:
apt-get install xfsprogs
apt-get install xfsdump 

Viele Grüße,
soulianis

[michel8]

Super, DANKE (K++) soulianis,

Das kann ich so gut für das Update2 der Version 0.8 übernehmen!

Wenn nicht noch kurzfristig ein Veto kommt, ist es in Update2 dann enthalten.

Zum Testen bräuchte ich dann doch noch jemanden, da ich meine media-platten voll mit dem Kram für das Update habe und daher nicht einfac auf xfs umstellen kann.

Wer könnte eine erweiterte RCShutdown mit xfs-platten in 0.8er Systemen testen?
Bitte kurze PM

Gruß
Michel