easyVDR Kopie des easyVDR-Forums zum Nachschlagen
hfs filesystem - gefühlte doppelte geschwindigkeit und mehr ...

easyVDR - >VARforumsname - >hfs filesystem - gefühlte doppelte geschwindigkeit und mehr ...

a_client  30.Dec.2010 20:13:28
hallo,

habe hier mal auf xfs umgebaut, die gefühlte geschwindigkeit ist 2x !

das ganze mit ner 2 tbyte festplatte von hitachi, vorher mit ext3 dauerte das ewig wenn ich mal die aufnahmen auflistete, jetzt "wusch" alles da!

auch dateinen löschen, oder neu anlegen via netzwerk, geht nun wieder fix!

netter nebeneffekt ist das der fchk ( wenn man ihn nutzen würde ) nur noch bei der o.g. platte beim shutdown ca 60 sek. dauern würde.

vorher mit ext3 ca  2,5 stunden, bei gleichem inhalt.

somit könnte ich im shutdown script immer checken, weil die zeit ja nun wirklich vernachlässigbar klein ist  8)

grüße a_client
1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
tuxnet  30.Dec.2010 21:03:27
Interessant
VDR 1 : BM2LTS Route 66; Reelbox Avantgarde 2, 512 MB RAM, SSD HD, 2x single DVB-s2
VDR 2 : In Arbeit
a_client  30.Dec.2010 21:13:49
na dann schreib ich mal ein mini how to!


vorher natürlich /media inkl. aller dateien sichern.

stopvdr

apt-get install xfs
apt-get install xfsprogs
apt-get install xfsdump 

danach umount /media

media partition mit mkfs.xfs /dev/partition    (hier /sda2)

neustart!

das wars bei mir - daten wieder drauf und geschwindigkeit geniessen

xfs_db -r -c frag /dev/sdx    zeigt aktuelle fragmentierung an

xfs_fsr                                  defragmentiert die platte bei laufenden vdr

xfs_repair -n  /dev/sdx müsste dann zum filecheck beim systemshutdown noch rein




hat das einen grund warum ext3 als standartformat mit journal beim0.8er läuft? xfs soll auch jounaling machen, habe sogar 2 mal hier den stromaus beim schreiben probiert und danach geschaut ob fehler da  sind. alles ok!


grüße a_client

1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
Martin  30.Dec.2010 23:03:00
Ich nutze auf dem Server nur XFS für die Datenplatten. Und nur Ext3 für das Betriebssystem.

Grund für ext3 ist die die hohe Verbreitung und bekannte Stabilität. Außerdem gibts dazu massiv Tools falls doch mal Probleme.

Meine Rangfolge der Filesysteme:

1. ZFS: Das Beste, leider nur in Kombination mit Solaris sinnvoll zu nutzen (obwohl: das soll sich evtl ändern)
2. Reiser: "Leider"sitzt der Hans im Knast, auch wenn seine tote Frau m.E. bis heute nicht gefunden wurde
3. XFS: m.E. ähnlich gut wie Reiser
4. FAT: das verbreitetste Filesystem, aber unter *X* nicht zu gebrauchen
5. EXT2-4: alle ziemlich gleich und bis ext3 bekannt stabil.

Also somit kannst Du XFS gerne nutzen. Standard in einer Distrie die auch für Anfänger gedacht ist wird es wohl nie werden. Bei richtig ernsthaften Problemen kann m.E. nur noch Silicon-Graphics helfen. Wers ganz sicher haben will ist mit Nr. 4-5 besser aufgehoben.

Grüße
Martin
-----------------------------------------------------------------------------------------------------------
[url=http://wiki.easy-vdr.de/index.php/Hilfe]Du brauchst Hilfe? Wir brauchen Daten! English-Version: Don't eat yellow snow!
Meine VDRs (Spoiler klicken) 
VDR1: ASROCK Q1900M, 4GB, SSDs als Bootplatte, Bild+Ton aus Geforce 720, easyVDR3.x als Streamdev- und SatIP Client
VDR2: Esprimo, 2GB, NVIDIA Ausgabe per HDMI, kein GraphTFT am VGA Anschluss, easyVDR3.x als Streamdev-Client
VDR3: Activy350; SW: Gen2VDR Activy-Edition
SERVER: Asrock Q170M vPro, Core i5-6600K, Cine S2 V4 mit 4 S2-Tunern, 16GB Corsair, 4*4TB WD-RED, 240 GB SSD,  19" Gehäuse

Clients: Motorola VIP 19xx, Handys und Tablets 


michel8  30.Dec.2010 23:10:03
[quote='a_client link' pid='11136' dateline='1293740029']
hat das einen grund warum ext3 als standartformat mit journal beim0.8er läuft? xfs soll auch jounaling machen, habe sogar 2 mal hier den stromaus beim schreiben probiert und danach geschaut ob fehler da  sind. alles ok!

Danke für das HowTo, a_client !

Ein weiterer Grund, warum immer noch ext3 als Standard verwendet wird ist folgender:
Das Ändern widerspricht auch der Grundphilosophie, die Mediapartition immer wiederzuverwenden (wenn vorhanden), damit Bestandsaufnahmen übernommen werden können.

Den Filecheck beim shutdown in Abhängigkeit des Filesystems zu machen, ist sicher möglich, aber da müsste mir jemand beim scripten helfen, dann könnte jeder der will Deinem HowTo folgend die media-Partition umstellen.
Automatisch wird ein anderes Filesystem auch nicht mehr in die 0.8 einfließen können...

Gruß
Michel

Produktiv-VDR:
msi K9N2G-Neo (nvidia 8200 onBoard) mit Athlon X2 4850e mit SamuraiZZ
2xNova-HDS2, DH102
a_client  31.Dec.2010 00:51:35
hallo,

gerne  ;)

wird der fchk eigentlich in der runvdr beim stop gemacht oder wo genau?

grüße a_client
1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
Duffy  31.Dec.2010 03:00:27
Nabend,
ne das wird im poweroff bzw. shutdown script gemacht
Gruss
Duffy
VDR 1: Silverstone GD04 | M3N78-EM | X2 240 (AM3) | 2x 1GB | 2x Cinergy 1200 DVB-T | 1TB Samsung EcoGreen
easyVDR 0.9.A2 per HDMI an Samsung 32"
VDR 2: TT-DVB-T-1.2-Premium (FF) und PVR an normaler Röhre

[url=http://wiki.easy-vdr.de/index.php/Hilfe]Wenn wir helfen sollen, dann brauchen wir Daten
a_client  01.Jan.2011 17:06:20
danke duffy,

schau mir das die tage mal an

grüße a_client

1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
gb  02.Jan.2011 11:36:56
danke für den tip,
hab bei mir auch hin und wieder das problem, das sich das system beim testen festfährt und dann nur noch das 3sec drücken auf poweroff hilft( ich weiß, schande auf mein haupt)
wenn das system wieder am booten ist, will er nach dem 5ten mal ein festplattencheck machen, das dann bei 1tb daten ca 2-3h dauert (das sind ca 2-3L kaffee);D
zum glück macht er den test immer schon beim 4ten mal und das auch noch beim runterfahren. grund ist mir nicht bekannt und war auf einmal von jetzt auf heute so.


mfg* gb
Mediacenter
easyVDR4.Alpha(Lubuntu18.04 64-Bit) Gigabyte, Ltd. H97-HD3 mit Intel(R) G3260 @ 3.30GHz 4GB DDRx,Intelgrafik,MATSHITA BD-MLT UJ265 Bluray LW, 2TB Festplatte,LCD+IRTrans-Empfänger,2x SkystarS2 PCI

[spoiler=(weitere easyVDR)]
easyVDR3.0(4.2.0 32-Bit) N4l-VM DH DualCore Asus Motherboard mit Intel(R)T2400 @1.83GHz 2GB DDR2, GT218 (rev a2),  Panasonic UJ-825-B Notebook DVD Brenner adaptiert auf IDE, LCD+IRTrans-Empfänger, 250GB Samsung 840 SATA SSD 2,5",Skystar S2 DVBS2 PCI, Avermedia AVerTV A835 HD USB DVB-T (ID 07ca:b835)
a_client  02.Jan.2011 16:14:36
hallo gb,

gerne ;)

vielleicht schaust du deine festplatte aber nochmal genau an,  test auf defekte!?

ich benutze für sowas gerne:

http://www.chip.de/downloads/Drive-Fitness-Test_13007626.html

grüße a_client

1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
Paulaner  13.Jan.2011 12:13:57
[quote='a_client link' pid='11136' dateline='1293897980']
schau mir das die tage mal an

@a_client,
hast Du da schon was rausgefunden, wie man den fsck für die xfs-Partition unterbindet bzw. ändert nach xfs_repair?
Ich habe nämlich die letzten Tage auch mal meine media-Partition mit xfs formatiert.
Das Löschen von großen Dateien geht wirklich ratzfatz, wesentlich schneller als bei ext3.  :)
Ebenso der Check der Partition mit xfs_repair dauert bei 500GB nur ein paar Sekunden und kann theoretisch bei jedem Runterfahren gemacht werden.

Hast Du die xfs-Partition extra in die fstab eingetragen?

Paulaner
yaVDR-0.6.0 mit kernel-4.2.0
ASUS P8Z77-L-VX, 1x TBS-6981, 1x TBS-8922,  6,4"-TFT-Display
zzzözzz  13.Jan.2011 15:53:28

wie man den fsck für die xfs-Partition unterbindet bzw. ändert nach xfs_repair?


Wer sollte so etwas wollen?
Paulaner  13.Jan.2011 17:49:21
[quote='Wirbel link' pid='11136' dateline='1294930408']
Wer sollte so etwas wollen?

Na ich!  8)
Nein im ernst, ich bin jetzt nicht der Oberguru für Dateisysteme, aber Google sagte mir, dass man bei xfs-Dateisystemen anstelle von fsck besser xfs_check bzw. xfs_repair einsetzen soll.

Manuell habe ich einfach mal xfs_repair /dev/sda4 mal getestet und das ging eben superschnell.
Dagegen dauert das bei der gleichen Platte mit 500GB und noch ext3-Dateisystem eben rund 30 Minuten.

Deshalb wollte ich wissen, wie man das am geschicktesten in EasyVDR integrieren kann.

Paulaner
yaVDR-0.6.0 mit kernel-4.2.0
ASUS P8Z77-L-VX, 1x TBS-6981, 1x TBS-8922,  6,4"-TFT-Display
zzzözzz  13.Jan.2011 18:02:07
Eigentlich benutzt man diese tools nur dann, wenn es mit der Partition nicht ok ist.
Paulaner  13.Jan.2011 18:15:28
Ok, im Prinzip hast Du ja recht, aber es beruhigt ungemein!
Dieses fsck bzw. xfs_check suggeriert einem ja, das alles ist i. O. mit meinen Daten.

Aber etwas ist mir gerade aufgefallen:
Beim Runterfahren vom VDR wird ja RCSutdown ausgeführt und da gibt es ein "tune2fs ..." mit dem getestet wird, ob ein fsck ansteht. Für xfs funktioniert aber "tune2fs..." nicht und somit wird jedesmal ein fsck für die Partition ausgeführt!
Ich könnte das jetzt alles auskommentieren, um die Fehlermeldungen zu unterdrücken, aber das ist ja dann auch nicht der Weisheit letzter Schluss!

Man brauchte also ein Script, was erstmal das Filesystem erkennt und abhängig davon tune2fs ausführt oder nicht. Meine Scriptkenntnisse sind leider sehr marginal, so dass ich hier auf eure Hilfe angewiesen bin.
Hat da schon jemand was in der Richtung gemacht?

Paulaner
yaVDR-0.6.0 mit kernel-4.2.0
ASUS P8Z77-L-VX, 1x TBS-6981, 1x TBS-8922,  6,4"-TFT-Display
MFG  13.Jan.2011 18:22:52
Moin moin Paulaner,

meinst sowas ?

easyVDRdxr3:/mnt/usb1# echo "$(grep /dev/hdb3 /etc/mtab | awk -F\  '{print $3}')"
ext3



MfG.
          MFG.
Sorry, das war mal dir Hardware, nu wechselt die zu oft ;-]
P4/1.8 1024 mit VGA, 100Mbit, USB 2.0 onBoard VGA misc HDDs CDRW2100E - DXR3 EM8300 original Hollywood+ V1 - DVB-C PCI Twinhan 2021 - DVB-T USB2.0 MSI DIGIVOX II V2+3
easyVDR 0.6.08 Kernel 2.6.28.9 - testing 0.7v5, vga2scart,... ;-]

[url=http://www.easyvdr-forum.de/forum/index.php?topic=5901.0]Du Brauchen Hilfe? Wir brauchen Daten! <-> [url=http://www.easyvdr-forum.de/forum/index.php?topic=5901.0]Indianer
michel8  13.Jan.2011 18:34:42
So dreht sich die diskussion im Kreis:
[url=http://www.easyvdr-forum.de/forum/index.php/topic,11378.msg92538.html#msg92538]http://www.easyvdr-forum.de/forum/index.php/topic,11378.msg92538.html#msg92538

Was muss ich denn genau in der RCShutdown ändern?
Das sieht derzeit so aus:
##### Vorgezogener fsck, falls ein fsck innerhalb der naechsten 24h ansteht #####
PARTITIONS=`mount | grep ^/dev/d | awk '{print " "$1 }'`
for partition in $PARTITIONS ; do
  NextFsck=`tune2fs -l $partition | grep "^Next check after" | cut -d":" -f2-`
  if [ `date -d "$NextFsck" +%s` -lt $[`date +%s`+86400] ]; then
    if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
      FSCKHDD="$FSCKHDD $partition"
    fi
  fi
  MOUNTCOUNT=$(tune2fs -l $partition | grep "mount count:"| cut -d ":" -f 2)
  if [ $[$MOUNTCOUNT+0] -gt 0 ]; then
    if [ $MOUNTCOUNT -le $(expr $(tune2fs -l $partition | grep "^Mount count:" | cut -d ":" -f 2) + 1) ] ; then
      if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
        FSCKHDD="$FSCKHDD $partition"
      fi
    fi
  fi
done

Dann packe ich das auch gleich in Updaate 2 mit rein...

Danke und Gruß
Michel

Nachtrag, das hier steht auch noch in der RCShutdown:
# run fsck?
if [ -n "$FSCKHDD" ]; then
  touch /etc/mtab
  if [ $? -eq 0 ]; then
    echo "Root FS noch rw gemountet, ueberspringe fsck!"
  else
    echo "Running fsck in advance"
    for partition in $FSCKHDD; do
      STPID=$!
      echo "Starte FSCK fuer $partition"
      fsck -y -f $partition
      tune2fs -T now $partition
      echo "FSCK fuer $partition fertig"
    done
  fi
else
  echo "Kein FSCK noetig." >/dev/tty1
fi

Produktiv-VDR:
msi K9N2G-Neo (nvidia 8200 onBoard) mit Athlon X2 4850e mit SamuraiZZ
2xNova-HDS2, DH102
zzzözzz  13.Jan.2011 19:08:06
tune2fs ist ausshließlich für ext2..4
Paulaner  13.Jan.2011 19:24:12
[quote='Wirbel link' pid='11136' dateline='1294942086']
tune2fs ist ausshließlich für ext2..4

Das hatten wir ja schon rausgefunden und bringt uns jetzt nicht wirklich weiter!
Jetzt geht es darum die vorhandenen Scripte anzupassen, dass tune2fs bei einem anderen Filesystem außer ext2...4 nicht ausgeführt wird!

Paulaner
yaVDR-0.6.0 mit kernel-4.2.0
ASUS P8Z77-L-VX, 1x TBS-6981, 1x TBS-8922,  6,4"-TFT-Display
a_client  22.Jan.2011 19:39:13
hallo,

mein vorschlag:

beim shutdown testen ob kein ext filesystem.
wenn hfs dann immer xfs_repair -n device.
dauert wie gesagt nur 60sek bei voller 2tbyte platte  8)

grüße a_client

1 * easyvdr 0.8 gforce 9500, coreduo, skystar 2, skystar hd (noch nicht ganz umgezogen / fertig)
1 * easyvdr 0.6.10, 2*skystar 2 (sd) wartet auf den 0.8er
soulianis  23.Jan.2011 13:04:12
Hallo zusammen,

ich habe es folgendermaßen gelöst. Hier der entsprechende Ausschnitt aus der /etc/init.d/RCShutdown (easyVDR 0.6.10):


##### Vorgezogener fsck, falls ein fsck innerhalb der nächsten 24h ansteht ##
###
PARTITIONS=`mount | grep ^/dev/d | awk '{print " "$1 }'`
for partition in $PARTITIONS ; do
  NextFsck=`tune2fs -l $partition 2>/dev/null | grep "^Next check after" | cut -d":" -f2-`  <--- hier 2>/dev/null hinzugefügt
  if [ -n "$NextFsck" ]; then    <------------------------------------------------ Diese Zeile hinzugefügt
    if [ `date -d "$NextFsck" +%s` -lt $[`date +%s`+86400] ]; then
      if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
        FSCKHDD="$FSCKHDD $partition"
      fi
    fi
  fi    <--------------------------------------------------------------------------- Diese Zeile hinzugefügt
  MOUNTCOUNT=$(tune2fs -l $partition 2>/dev/null | grep "mount count:"| cut -d ":" -f 2)  <--- hier 2>/dev/null hinzugefügt
  if [ -n "$MOUNTCOUNT" ]; then    <------------------------------------------------ Diese Zeile hinzugefügt
    if [ $[$MOUNTCOUNT+0] -gt 0 ]; then
      if [ $MOUNTCOUNT -le $(expr $(tune2fs -l $partition | grep "^Mount count:" | cut -d ":" -f 2) + 1) ] ; then
        if [ $(echo $FSCKHDD | grep -ic $partition) -eq 0 ]; then
          FSCKHDD="$FSCKHDD $partition"
        fi
      fi
    fi
  fi    <-------------------------------------------------------------------------- Diese Zeile hinzugefügt
done
...


Die Idee dabei ist: Die beiden tune2fs Aufrufe geben für xfs Filesysteme nichts aus. Ich habe noch ein 2>/dev/null hinzugefügt, um Felermeldungen zu unterdrücken. Wenn der jeweilige tune2fs Aufruf nichts ausgegeben hat, wird der jeweilige Block übersprungen.

M.E. genügt das. Ich denke, ein xfs_repair Aufruf ist nicht nötig. Ein xfs Filesystem geht so schnell nicht kaputt, auch nicht bei zig mutwillig ausgeführten Hard-Resets. Und wenn, muss man xfs_repair sowieso interaktiv aufrufen, weil xfs_repair, genau wie e2fsck, bei gravierenden Schäden immer interaktiv nachfragt, bevor es was repariert.

Der vorgeschlagene xfs_repair -n Aufruf ist m.E. in der Shutdown-Phase sowieso nur wenig sinnvoll, es sei denn, jemand beobachtet die Meldungen während der Shutdown-Phase so genau, dass er mitkriegt, dass xfs_repair -n was zu meckern hat. Aber wer tut das schon?

Mir ist seit Jahren nur einmal ein xfs Filesystem kaputtgegangen, da war es ein Hardwareproblem. Ich habe damals den Inhalt der defekten Platte noch halbwegs auf eine Ersatzplatte kopieren können und konnte dann dank xfs_repair den Großteil der Daten retten. Sowas ist aber wie gesagt immer ein interaktiver Prozess.

Mein Lösungsvorschlag ist daher, auf xfs_repair zu verzichten und die xfs Filesysteme vom e2fsck einfach auszunehmen, wie oben gezeigt.

Viele Grüße,
soulianis
easyVDR 0.6.10/VDR 1.4.7, Kernel 2.6.28.9 (wolf), ASUS M3N78 Mainboard (NVIDIA GeForce 8200 Chipset), AMD X2 4850e 2x2.5GHz CPU, 2GB RAM, 32 GB Super Talent Ultradrive GX MLC Solid State Disk (FTM32GX25H), 2 x 2TB WD AV-GP Platten (WD20EVDS), LG GH22NS30 SATA DVD-Brenner, TechnoTrend C-1500 DVB-C, Hauppauge PVR-150 Analog, Ausgabe über MagicDVD , atric IR-Empfänger/Einschalter, schwarzes Silverstone Lascala LC20 Gehäuse, Loewe RC4 Fernbedienung (VCR-Modus)
soulianis  23.Jan.2011 13:16:32
Hallo nochmal,

folgendes ist mir oben noch aufgefallen:

[quote='a_client link' pid='11136' dateline='1293740029']
na dann schreib ich mal ein mini how to!
...
apt-get install xfs
apt-get install xfsprogs
apt-get install xfsdump 


Das "xfs" Paket ist der X Fontserver, hat mit dem xfs Filesystem nichts zu tun!

Also nur:
apt-get install xfsprogs
apt-get install xfsdump 

Viele Grüße,
soulianis
easyVDR 0.6.10/VDR 1.4.7, Kernel 2.6.28.9 (wolf), ASUS M3N78 Mainboard (NVIDIA GeForce 8200 Chipset), AMD X2 4850e 2x2.5GHz CPU, 2GB RAM, 32 GB Super Talent Ultradrive GX MLC Solid State Disk (FTM32GX25H), 2 x 2TB WD AV-GP Platten (WD20EVDS), LG GH22NS30 SATA DVD-Brenner, TechnoTrend C-1500 DVB-C, Hauppauge PVR-150 Analog, Ausgabe über MagicDVD , atric IR-Empfänger/Einschalter, schwarzes Silverstone Lascala LC20 Gehäuse, Loewe RC4 Fernbedienung (VCR-Modus)
michel8  23.Jan.2011 13:58:41
Super, DANKE (K++) soulianis,

Das kann ich so gut für das Update2 der Version 0.8 übernehmen!

Wenn nicht noch kurzfristig ein Veto kommt, ist es in Update2 dann enthalten.

Zum Testen bräuchte ich dann doch noch jemanden, da ich meine media-platten voll mit dem Kram für das Update habe und daher nicht einfac auf xfs umstellen kann.

Wer könnte eine erweiterte RCShutdown mit xfs-platten in 0.8er Systemen testen?
Bitte kurze PM

Gruß
Michel
Produktiv-VDR:
msi K9N2G-Neo (nvidia 8200 onBoard) mit Athlon X2 4850e mit SamuraiZZ
2xNova-HDS2, DH102