Die E / A meiner Software RAID6 friert häufig etwa 30 Sekunden lang ein. Danach ist alles wieder normal.
Nachdem das Einfrieren vorbei ist, wird dies in syslog gestellt:
Mar 14 18:43:57 server kernel: [35649.816060] sd 5:0:23:0: [sdy] CDB: Read(10): 28 00 6c 52 68 58 00 04 00 00
Mar 14 18:43:58 server kernel: [35651.149020] mptbase: ioc0: LogInfo(0x31140000): Originator={PL}, Code={IO Executed}, SubCode(0x0000) cb_idx mptscsih_io_done
Mar 14 18:43:58 server kernel: [35651.151962] mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff8807b02dfe80)
Mar 14 18:43:58 server kernel: [35651.151967] mptscsih: ioc0: attempting task abort! (sc=ffff88002a7f30c0)
Mar 14 18:43:58 server kernel: [35651.151972] sd 5:0:23:0: [sdy] CDB: Read(10): 28 00 6c 52 6c 58 00 04 00 00
Mar 14 18:43:58 server kernel: [35651.151981] mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff88002a7f30c0)
Mar 14 18:43:58 server kernel: [35651.151984] mptscsih: ioc0: attempting task abort! (sc=ffff8804120e5ec0)
Mar 14 18:43:58 server kernel: [35651.151988] sd 5:0:23:0: [sdy] CDB: Read(10): 28 00 6c 52 70 58 00 04 00 00
Mar 14 18:43:58 server kernel: [35651.151996] mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff8804120e5ec0)
Mar 14 18:43:58 server kernel: [35651.151999] mptscsih: ioc0: attempting task abort! (sc=ffff880154afb280)
Mar 14 18:43:58 server kernel: [35651.152020] sd 5:0:23:0: [sdy] CDB: Read(10): 28 00 6c 52 74 58 00 04 00 00
Mar 14 18:43:58 server kernel: [35651.152029] mptscsih: ioc0: task abort: SUCCESS (rv=2002) (sc=ffff880154afb280)
Ich habe den Fehler gegoogelt und jemand schlug vor, 1,5 Gbit / s anstelle von 3,0 Gbit / s zu verwenden. Mit lsiutilIch habe die Verbindungsgeschwindigkeit geändert:
# lsiutil -p 1 -i
Firmware Settings
-----------------
SAS WWID: 500605b002c0f680
Multi-pathing: Disabled
SATA Native Command Queuing: Enabled
SATA Write Caching: Enabled
SATA Maximum Queue Depth: 32
Device Missing Report Delay: 0 seconds
Device Missing I/O Delay: 0 seconds
Phy Parameters for Phynum: 0 1 2 3 4 5 6 7
Link Enabled: Yes Yes Yes Yes Yes Yes Yes Yes
Link Min Rate: 1.5 1.5 1.5 1.5 1.5 1.5 1.5 1.5
Link Max Rate: 1.5 1.5 1.5 1.5 1.5 1.5 1.5 1.5
SSP Initiator Enabled: Yes Yes Yes Yes Yes Yes Yes Yes
SSP Target Enabled: No No No No No No No No
Port Configuration: Auto Auto Auto Auto Auto Auto Auto Auto
Target IDs per enclosure: 1
Persistent mapping: Enabled
Physical mapping type: None
Target ID 0 reserved for boot: No
Starting slot (direct attach): 0
Target IDs (physical mapping): 8
Interrupt Coalescing: Enabled, timeout is 16 us, depth is 4
Das hat nicht geholfen.
Ich habe versucht, "Device Missing I / O Delay" auf 32 zu ändern. Das hat auch nicht geholfen.
Ich habe versucht, / sys / class / scsi_device / * / device / timeout von 30 auf 100 und dann auf 3 zu ändern. Alle fehlgeschlagen.
$ uname -a
Linux server 3.2.0-0.bpo.1-amd64 #1 SMP Sat Feb 11 08:41:32 UTC 2012 x86_64 GNU/Linux
$ grep LSISAS1068E /var/log/messages
Mar 13 15:47:44 server kernel: [ 21.082363] scsi5 : ioc0: LSISAS1068E B3, FwRev=01210000h, Ports=1, MaxQ=483, IRQ=45
$ modinfo mptscsih
filename: /lib/modules/3.2.0-0.bpo.1-amd64/kernel/drivers/message/fusion/mptscsih.ko
version: 3.04.20
license: GPL
description: Fusion MPT SCSI Host driver
author: LSI Corporation
srcversion: 85D42A00FEBA3C95555E3AF
depends: scsi_mod,mptbase
intree: Y
vermagic: 3.2.0-0.bpo.1-amd64 SMP mod_unload modversions
$ cat /sys/block/sdae/device/model
ST3000DM001-9YN1
$ cat /sys/block/sdae/device/rev
CC4C
Das Problem tritt äußerst selten auf, wenn nur Lese- oder Schreibvorgänge ausgeführt werden: Ich kann 1 TB ohne Probleme lesen oder schreiben. Das Problem scheint aufzutreten, wenn sowohl Lese- als auch Schreibvorgänge ausgeführt werden. Bei einem RAID6 geschieht dies, wenn Sie eine Datei schreiben, die kleiner als die Stripe-Größe ist und der Stripe noch nicht zwischengespeichert ist (in diesem Fall muss der Stripe gelesen werden, um eine neue Prüfsumme zu berechnen).
Das System ist keine virtuelle Maschine.
Was verursacht das Problem? Wie werde ich die 30 Sekunden des Einfrierens los?
Bearbeiten: zusätzliche Tests
Ich habe ein schönes Test-Set gefunden, das das Problem zu provozieren scheint. Es enthält Dateien, die kleiner als die Streifengröße sind, wodurch eine Neuberechnung der Parität erzwungen wird, wodurch viele Lesevorgänge in Kombination mit den Schreibvorgängen erzwungen werden.
Ich muss zugeben, dass ich nicht gedacht habe, dass der Warteschlangenplaner Auswirkungen auf dieses Problem haben würde. Ich hab mich geirrt. Es ist klar, dass deadlinedas viel schlimmer ist als die anderen. Keiner von ihnen löst das Problem.
# cat /sys/block/sdaa/queue/scheduler
noop deadline [cfq]
Wenn Sie den Scheduler so ändern, noopdass das Problem nach 100 bis 120 Sekunden auftritt.
parallel echo noop \> {} ::: /sys/block/sd*/queue/scheduler
Wenn Sie den Scheduler so ändern, deadlinedass das Problem nach 20 bis 30 Sekunden auftritt.
parallel echo deadline \> {} ::: /sys/block/sd*/queue/scheduler
cfqWenn Sie den Scheduler so ändern , dass das Problem nach 120-300 Sekunden auftritt.
parallel echo cfq \> {} ::: /sys/block/sd*/queue/scheduler
Edit2
Da der Scheduler eine Auswirkung hat, denke ich, ob das Problem durch zu viele Anforderungen in einem Zeitrahmen verursacht wird. Kann ich die Anzahl der pro Sekunde gesendeten Anfragen irgendwie drosseln?