Ich arbeite mit 2 x Supermicro SC837E26-RJBOD1-Chassis, die an eine einzelne LSI 9285-8e-Karte in einem Supermicro 1U-Host angeschlossen sind. In jedem Gehäuse befinden sich 28 Laufwerke für insgesamt 56 Laufwerke in 28 RAID1-Spiegeln.
Das Problem, auf das ich stoße, ist, dass es doppelte Steckplätze für die 2 Chassis gibt (die Steckplätze werden zweimal aufgelistet und gehen nur von 0 auf 27). Alle Laufwerke weisen außerdem dieselbe Gehäuse-ID (ID 36) auf. MegaCLI -encinfo listet die beiden Gehäuse jedoch korrekt auf (ID 36 und ID 65).
Meine Frage ist, warum sollte das passieren? Gibt es eine Option, die mir fehlt, um 2 Gehäuse effektiv zu nutzen?
Dies blockiert die Neuerstellung eines Laufwerks, das in Steckplatz 11 fehlgeschlagen ist, da ich nur Gehäuse und Steckplatz als Parameter zum Ersetzen eines Laufwerks angeben kann. Wenn ich dies tue, wählt es den falschen Steckplatz 11 (Geräte-ID 46 anstelle der Geräte-ID 19).
Adapter Nr. 1 ist das LSI 9285-8e, Adapter Nr. 0 (den ich aus Platzgründen entfernt habe) ist das integrierte LSI.
Adapterinformationen:
Adapter #1
==============================================================================
Versions
================
Product Name : LSI MegaRAID SAS 9285-8e
Serial No : SV12704804
FW Package Build: 23.1.1-0004
Mfg. Data
================
Mfg. Date : 06/30/11
Rework Date : 00/00/00
Revision No : 00A
Battery FRU : N/A
Image Versions in Flash:
================
BIOS Version : 5.25.00_4.11.05.00_0x05040000
WebBIOS Version : 6.1-20-e_20-Rel
Preboot CLI Version: 05.01-04:#%00001
FW Version : 3.140.15-1320
NVDATA Version : 2.1106.03-0051
Boot Block Version : 2.04.00.00-0001
BOOT Version : 06.253.57.219
Pending Images in Flash
================
None
PCI Info
================
Vendor Id : 1000
Device Id : 005b
SubVendorId : 1000
SubDeviceId : 9285
Host Interface : PCIE
ChipRevision : B0
Number of Frontend Port: 0
Device Interface : PCIE
Number of Backend Port: 8
Port : Address
0 5003048000ee8e7f
1 5003048000ee8a7f
2 0000000000000000
3 0000000000000000
4 0000000000000000
5 0000000000000000
6 0000000000000000
7 0000000000000000
HW Configuration
================
SAS Address : 500605b0038f9210
BBU : Present
Alarm : Present
NVRAM : Present
Serial Debugger : Present
Memory : Present
Flash : Present
Memory Size : 1024MB
TPM : Absent
On board Expander: Absent
Upgrade Key : Absent
Temperature sensor for ROC : Present
Temperature sensor for controller : Absent
ROC temperature : 70 degree Celcius
Settings
================
Current Time : 18:24:36 3/13, 2012
Predictive Fail Poll Interval : 300sec
Interrupt Throttle Active Count : 16
Interrupt Throttle Completion : 50us
Rebuild Rate : 30%
PR Rate : 30%
BGI Rate : 30%
Check Consistency Rate : 30%
Reconstruction Rate : 30%
Cache Flush Interval : 4s
Max Drives to Spinup at One Time : 2
Delay Among Spinup Groups : 12s
Physical Drive Coercion Mode : Disabled
Cluster Mode : Disabled
Alarm : Enabled
Auto Rebuild : Enabled
Battery Warning : Enabled
Ecc Bucket Size : 15
Ecc Bucket Leak Rate : 1440 Minutes
Restore HotSpare on Insertion : Disabled
Expose Enclosure Devices : Enabled
Maintain PD Fail History : Enabled
Host Request Reordering : Enabled
Auto Detect BackPlane Enabled : SGPIO/i2c SEP
Load Balance Mode : Auto
Use FDE Only : No
Security Key Assigned : No
Security Key Failed : No
Security Key Not Backedup : No
Default LD PowerSave Policy : Controller Defined
Maximum number of direct attached drives to spin up in 1 min : 10
Any Offline VD Cache Preserved : No
Allow Boot with Preserved Cache : No
Disable Online Controller Reset : No
PFK in NVRAM : No
Use disk activity for locate : No
Capabilities
================
RAID Level Supported : RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 with spanning, SRL 3 supported, PRL11-RLQ0 DDF layout with no span, PRL11-RLQ0 DDF layout with span
Supported Drives : SAS, SATA
Allowed Mixing:
Mix in Enclosure Allowed
Mix of SAS/SATA of HDD type in VD Allowed
Status
================
ECC Bucket Count : 0
Limitations
================
Max Arms Per VD : 32
Max Spans Per VD : 8
Max Arrays : 128
Max Number of VDs : 64
Max Parallel Commands : 1008
Max SGE Count : 60
Max Data Transfer Size : 8192 sectors
Max Strips PerIO : 42
Max LD per array : 16
Min Strip Size : 8 KB
Max Strip Size : 1.0 MB
Max Configurable CacheCade Size: 0 GB
Current Size of CacheCade : 0 GB
Current Size of FW Cache : 887 MB
Device Present
================
Virtual Drives : 28
Degraded : 0
Offline : 0
Physical Devices : 59
Disks : 56
Critical Disks : 0
Failed Disks : 0
Supported Adapter Operations
================
Rebuild Rate : Yes
CC Rate : Yes
BGI Rate : Yes
Reconstruct Rate : Yes
Patrol Read Rate : Yes
Alarm Control : Yes
Cluster Support : No
BBU : No
Spanning : Yes
Dedicated Hot Spare : Yes
Revertible Hot Spares : Yes
Foreign Config Import : Yes
Self Diagnostic : Yes
Allow Mixed Redundancy on Array : No
Global Hot Spares : Yes
Deny SCSI Passthrough : No
Deny SMP Passthrough : No
Deny STP Passthrough : No
Support Security : No
Snapshot Enabled : No
Support the OCE without adding drives : Yes
Support PFK : Yes
Support PI : No
Support Boot Time PFK Change : Yes
Disable Online PFK Change : No
PFK TrailTime Remaining : 0 days 0 hours
Support Shield State : Yes
Block SSD Write Disk Cache Change: Yes
Supported VD Operations
================
Read Policy : Yes
Write Policy : Yes
IO Policy : Yes
Access Policy : Yes
Disk Cache Policy : Yes
Reconstruction : Yes
Deny Locate : No
Deny CC : No
Allow Ctrl Encryption: No
Enable LDBBM : No
Support Breakmirror : No
Power Savings : Yes
Supported PD Operations
================
Force Online : Yes
Force Offline : Yes
Force Rebuild : Yes
Deny Force Failed : No
Deny Force Good/Bad : No
Deny Missing Replace : No
Deny Clear : No
Deny Locate : No
Support Temperature : Yes
Disable Copyback : No
Enable JBOD : No
Enable Copyback on SMART : No
Enable Copyback to SSD on SMART Error : Yes
Enable SSD Patrol Read : No
PR Correct Unconfigured Areas : Yes
Enable Spin Down of UnConfigured Drives : Yes
Disable Spin Down of hot spares : No
Spin Down time : 30
T10 Power State : Yes
Error Counters
================
Memory Correctable Errors : 0
Memory Uncorrectable Errors : 0
Cluster Information
================
Cluster Permitted : No
Cluster Active : No
Default Settings
================
Phy Polarity : 0
Phy PolaritySplit : 0
Background Rate : 30
Strip Size : 64kB
Flush Time : 4 seconds
Write Policy : WB
Read Policy : Adaptive
Cache When BBU Bad : Disabled
Cached IO : No
SMART Mode : Mode 6
Alarm Disable : Yes
Coercion Mode : None
ZCR Config : Unknown
Dirty LED Shows Drive Activity : No
BIOS Continue on Error : No
Spin Down Mode : None
Allowed Device Type : SAS/SATA Mix
Allow Mix in Enclosure : Yes
Allow HDD SAS/SATA Mix in VD : Yes
Allow SSD SAS/SATA Mix in VD : No
Allow HDD/SSD Mix in VD : No
Allow SATA in Cluster : No
Max Chained Enclosures : 16
Disable Ctrl-R : Yes
Enable Web BIOS : Yes
Direct PD Mapping : No
BIOS Enumerate VDs : Yes
Restore Hot Spare on Insertion : No
Expose Enclosure Devices : Yes
Maintain PD Fail History : Yes
Disable Puncturing : No
Zero Based Enclosure Enumeration : No
PreBoot CLI Enabled : Yes
LED Show Drive Activity : Yes
Cluster Disable : Yes
SAS Disable : No
Auto Detect BackPlane Enable : SGPIO/i2c SEP
Use FDE Only : No
Enable Led Header : No
Delay during POST : 0
EnableCrashDump : No
Disable Online Controller Reset : No
EnableLDBBM : No
Un-Certified Hard Disk Drives : Allow
Treat Single span R1E as R10 : No
Max LD per array : 16
Power Saving option : Don't Auto spin down Configured Drives
Max power savings option is not allowed for LDs. Only T10 power conditions are to be used.
Default spin down time in minutes: 30
Enable JBOD : No
TTY Log In Flash : No
Auto Enhanced Import : No
BreakMirror RAID Support : No
Disable Join Mirror : No
Enable Shield State : Yes
Time taken to detect CME : 60s
Exit Code: 0x00
Gehäuseinformationen:
# /opt/MegaRAID/MegaCli/MegaCli64 -encinfo -a1
Number of enclosures on adapter 1 -- 3
Enclosure 0:
Device ID : 36
Number of Slots : 28
Number of Power Supplies : 2
Number of Fans : 3
Number of Temperature Sensors : 1
Number of Alarms : 1
Number of SIM Modules : 0
Number of Physical Drives : 28
Status : Normal
Position : 1
Connector Name : Port B
Enclosure type : SES
VendorId is LSI CORP and Product Id is SAS2X36
VendorID and Product ID didnt match
FRU Part Number : N/A
Enclosure Serial Number : N/A
ESM Serial Number : N/A
Enclosure Zoning Mode : N/A
Partner Device Id : 65
Inquiry data :
Vendor Identification : LSI CORP
Product Identification : SAS2X36
Product Revision Level : 0718
Vendor Specific : x36-55.7.24.1
Number of Voltage Sensors :2
Voltage Sensor :0
Voltage Sensor Status :OK
Voltage Value :5020 milli volts
Voltage Sensor :1
Voltage Sensor Status :OK
Voltage Value :11820 milli volts
Number of Power Supplies : 2
Power Supply : 0
Power Supply Status : OK
Power Supply : 1
Power Supply Status : OK
Number of Fans : 3
Fan : 0
Fan Speed :Low Speed
Fan Status : OK
Fan : 1
Fan Speed :Low Speed
Fan Status : OK
Fan : 2
Fan Speed :Low Speed
Fan Status : OK
Number of Temperature Sensors : 1
Temp Sensor : 0
Temperature : 48
Temperature Sensor Status : OK
Number of Chassis : 1
Chassis : 0
Chassis Status : OK
Enclosure 1:
Device ID : 65
Number of Slots : 28
Number of Power Supplies : 2
Number of Fans : 3
Number of Temperature Sensors : 1
Number of Alarms : 1
Number of SIM Modules : 0
Number of Physical Drives : 28
Status : Normal
Position : 1
Connector Name : Port A
Enclosure type : SES
VendorId is LSI CORP and Product Id is SAS2X36
VendorID and Product ID didnt match
FRU Part Number : N/A
Enclosure Serial Number : N/A
ESM Serial Number : N/A
Enclosure Zoning Mode : N/A
Partner Device Id : 36
Inquiry data :
Vendor Identification : LSI CORP
Product Identification : SAS2X36
Product Revision Level : 0718
Vendor Specific : x36-55.7.24.1
Number of Voltage Sensors :2
Voltage Sensor :0
Voltage Sensor Status :OK
Voltage Value :5020 milli volts
Voltage Sensor :1
Voltage Sensor Status :OK
Voltage Value :11760 milli volts
Number of Power Supplies : 2
Power Supply : 0
Power Supply Status : OK
Power Supply : 1
Power Supply Status : OK
Number of Fans : 3
Fan : 0
Fan Speed :Low Speed
Fan Status : OK
Fan : 1
Fan Speed :Low Speed
Fan Status : OK
Fan : 2
Fan Speed :Low Speed
Fan Status : OK
Number of Temperature Sensors : 1
Temp Sensor : 0
Temperature : 47
Temperature Sensor Status : OK
Number of Chassis : 1
Chassis : 0
Chassis Status : OK
Enclosure 2:
Device ID : 252
Number of Slots : 8
Number of Power Supplies : 0
Number of Fans : 0
Number of Temperature Sensors : 0
Number of Alarms : 0
Number of SIM Modules : 1
Number of Physical Drives : 0
Status : Normal
Position : 1
Connector Name : Unavailable
Enclosure type : SGPIO
Failed in first Inquiry commnad
FRU Part Number : N/A
Enclosure Serial Number : N/A
ESM Serial Number : N/A
Enclosure Zoning Mode : N/A
Partner Device Id : Unavailable
Inquiry data :
Vendor Identification : LSI
Product Identification : SGPIO
Product Revision Level : N/A
Vendor Specific :
Exit Code: 0x00
Beachten Sie nun, dass jedes Gerät mit Steckplatz 11 eine Gehäuse-ID von 36 aufweist. Ich denke, hier tritt die Diskrepanz auf. Einer sollte 36 sein. Der andere sollte sich im Gehäuse 65 befinden.
Laufwerke in Steckplatz 11:
Enclosure Device ID: 36
Slot Number: 11
Drive's postion: DiskGroup: 5, Span: 0, Arm: 1
Enclosure position: 0
Device Id: 48
WWN:
Sequence Number: 11
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA
Raw Size: 2.728 TB [0x15d50a3b0 Sectors]
Non Coerced Size: 2.728 TB [0x15d40a3b0 Sectors]
Coerced Size: 2.728 TB [0x15d400000 Sectors]
Firmware state: Online, Spun Up
Is Commissioned Spare : YES
Device Firmware Level: A5C0
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x5003048000ee8a53
Connected Port Number: 1(path0)
Inquiry Data: MJ1311YNG6YYXAHitachi HDS5C3030ALA630 MEAOA5C0
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive Temperature :30C (86.00 F)
PI Eligibility: No
Drive is formatted for PI information: No
PI: No PI
Drive's write cache : Disabled
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No
Enclosure Device ID: 36
Slot Number: 11
Drive's postion: DiskGroup: 19, Span: 0, Arm: 1
Enclosure position: 0
Device Id: 19
WWN:
Sequence Number: 4
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA
Raw Size: 2.728 TB [0x15d50a3b0 Sectors]
Non Coerced Size: 2.728 TB [0x15d40a3b0 Sectors]
Coerced Size: 2.728 TB [0x15d400000 Sectors]
Firmware state: Online, Spun Up
Is Commissioned Spare : NO
Device Firmware Level: A580
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x5003048000ee8e53
Connected Port Number: 0(path0)
Inquiry Data: MJ1313YNG1VA5CHitachi HDS5C3030ALA630 MEAOA580
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive Temperature :30C (86.00 F)
PI Eligibility: No
Drive is formatted for PI information: No
PI: No PI
Drive's write cache : Disabled
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No
Update 28.06.12:
Ich habe endlich einige neue Informationen über (was wir denken) die Grundursache dieses Problems, also dachte ich, ich würde teilen.
Nachdem sie Kontakt mit einem sehr sachkundigen Supermicro-Techniker aufgenommen hatten, stellten sie uns ein Tool namens Xflash zur Verfügung (das auf ihrem FTP nicht ohne weiteres verfügbar zu sein scheint). Als wir mit diesem Dienstprogramm einige Informationen sammelten, fand mein Kollege etwas sehr Seltsames:
root @ mogile2 test] # ./xflash.dat -i erhalten Erfolg
Initializing Interface.
Expander: SAS2X36 (SAS2x36)
1) SAS2X36 (SAS2x36) (50030480:00EE917F) (0.0.0.0)
2) SAS2X36 (SAS2x36) (50030480:00E9D67F) (0.0.0.0)
3) SAS2X36 (SAS2x36) (50030480:0112D97F) (0.0.0.0)
Hier werden die angeschlossenen Gehäuse aufgelistet. Sie sehen die 3 mit ihrer jeweiligen SAS-Adresse / WWN (50030480: 00EE917F) verbunden (wir haben seitdem eine 3. und eine 4. hinzugefügt, die noch nicht angezeigt werden). Jetzt können wir diese Adresse verwenden, um Informationen zu den einzelnen Gehäusen zu erhalten:
[root@mogile2 test]# ./xflash.dat -i 5003048000EE917F get exp
Initializing Interface.
Expander: SAS2X36 (SAS2x36)
Reading the expander information..........
Expander: SAS2X36 (SAS2x36) B3
SAS Address: 50030480:00EE917F
Enclosure Logical Id: 50030480:0000007F
IP Address: 0.0.0.0
Component Identifier: 0x0223
Component Revision: 0x05
[root@mogile2 test]# ./xflash.dat -i 5003048000E9D67F get exp
Initializing Interface.
Expander: SAS2X36 (SAS2x36)
Reading the expander information..........
Expander: SAS2X36 (SAS2x36) B3
SAS Address: 50030480:00E9D67F
Enclosure Logical Id: 50030480:0000007F
IP Address: 0.0.0.0
Component Identifier: 0x0223
Component Revision: 0x05
[root@mogile2 test]# ./xflash.dat -i 500304800112D97F get exp
Initializing Interface.
Expander: SAS2X36 (SAS2x36)
Reading the expander information..........
Expander: SAS2X36 (SAS2x36) B3
SAS Address: 50030480:0112D97F
Enclosure Logical Id: 50030480:0112D97F
IP Address: 0.0.0.0
Component Identifier: 0x0223
Component Revision: 0x05
Hast du es gefangen? Die logische ID der ersten beiden Gehäuse ist teilweise ausgeblendet, die dritte (die eine korrekte eindeutige Gehäuse-ID hat) nicht. Wir haben Supermicro darauf hingewiesen und konnten bestätigen, dass diese Adresse während der Herstellung festgelegt werden soll, und es gab ein Problem mit einem bestimmten Stapel dieser Gehäuse, bei dem die logische ID nicht festgelegt wurde.
Wir glauben, dass der RAID-Controller die ID basierend auf der logischen ID ermittelt. Da unsere ersten beiden Gehäuse dieselbe logische ID haben, erhalten sie dieselbe Gehäuse-ID. Wir haben außerdem bestätigt, dass 0000007F die Standardeinstellung ist, die von LSI als ID stammt.
Der nächste Zeiger, der dies bestätigt, könnte ein Herstellungsproblem bei einer Reihe von JBODs sein, ist die Tatsache, dass alle 6 Gehäuse mit diesem Problem mit 00E beginnen . Ich glaube, dass Supermicro zwischen 00E8 und 00EE vergessen hat, die logischen IDs korrekt zu programmieren, und es versäumt hat, das Problem nach der Produktion abzurufen oder zu beheben.
Zum Glück gibt es ein Tool zum Verwalten des WWN und der logischen ID der Geräte von Supermicro: ftp://ftp.supermicro.com/utility/ExpanderXtools_Lite/ . Unser nächster Schritt besteht darin, ein Herunterfahren dieser JBODs (nach der Datenmigration) zu planen und die logische ID neu zu programmieren, um festzustellen, ob das Problem dadurch behoben wird.
Update 28.06.12 # 2:
Ich habe diese FAQ gerade bei Supermicro entdeckt, als Google nach "lsi 0000007f" suchte: http://www.supermicro.com/support/faqs/faq.cfm?faq=11805 . Ich verstehe immer noch nicht, warum sie uns in den letzten Malen, in denen wir Supermicro kontaktiert haben, nie auf diesen Artikel verwiesen hätten: \
Antworten:
Wir haben es endlich geschafft, dieses Problem zu beheben. Die ultimative Ursache und Lösung? Es scheint, dass ein Herstellungsprozessfehler dazu geführt hat, dass einige von Supermicro gelieferte JBODs eine standardmäßig eingebrannte logische ID (0000007F) haben. Diese Adresse soll standardmäßig mit der SAS-Adresse übereinstimmen.
Um dieses Problem zu beheben, mussten wir ein Tool namens ExpanderXtools Lite ( ftp://supermicro.com/utility/ExpanderXtools_Lite/ ) ausführen . Sie führen die SMC-Binärdatei aus und erhalten ein X-Fenster-Popup (entweder muss X installiert sein, oder wenn Sie X nicht auf Ihren Servern wie uns ausführen, wird ein lokaler X-Server auf Ihrem Laptop über SSH weitergeleitet). Im SMC-Programm wählen Sie das COM-Menü und klicken auf Inband.
Jetzt können Sie zum WWN-Menü gehen und WWN auswählen. Ein neues Popup zeigt Ihre primären und sekundären JBOD-Controller (wenn Sie das E26-Modell haben) an. Sie müssen beide Controller gleichzeitig aktualisieren, bevor Sie das Fenster schließen. Schalten Sie das Array nach dem Aktualisieren und Schließen des Fensters für einige Zeit aus und wieder ein. Verwenden Sie die SMC-Binärdatei erneut, um zu überprüfen, ob die logische Adresse korrekt angezeigt wird.
Der größte Schmerzpunkt dabei war, die Arrays ausschalten zu müssen. Möglicherweise können Sie dies online tun und einen erneuten Scan mit Ihrer RAID-Karte durchführen. Aber besser auf Nummer sicher gehen. Port-IDs für Festplatten ändern sich. Für uns konnte unsere LSI-Karte die Arrays nach dem Wechsel abholen. Ihr Kilometerstand kann variieren.
quelle
Ich weiß nicht, warum MegaRAID in der Steckplatzliste für beide Gehäuse dieselbe ID hat, aber Sie können diese beiden Gehäuse definitiv daran erkennen
Connected Port Number.Anlagenliste:
Slot 11 Auflistung:
Ich denke, dass Sie identifizieren können
port 0 as port Aundport 1 as port Bquelle