新ファイルサーバができた

omnios

zfs

40GbE

100GbE

Broadcom 9400-16e interface cards/adapter SAS,SATA Internal

Mellanox ConnectX-5 EN - Network adapter - PCIe 3.0 x16 - 100 Gigabit QSFP28 x 2

10 年くらい増強しながら使い続けてきた仕事場のファイルサーバがさすがにやばくなってきたので、新しい構成に入れ替えました。
筐体は年初くらいに届いていたのですが、結局忙しくて 2 ヶ月くらい放置モードでした。

今回のサーバ構成はこんな感じ。

Dell PowerEdge R7515 (8C, 64GB)
OmniOS CE
HDD 10TB × 18（本体 3.5″ 14 Bay + エンクロージャー 3.5″12 Bay）
Mellanox® ConnectX®-5 100GbE Dual^*1（ただし、接続は 40GbE）
Broadcom HBA 9400-16e ^*2

OS や構成的には安定したものを選んでいるのと、移行は zfs の send/recv を使ったので特に苦戦しませんでした。
シーケンシャルなスループットは現状で 4～5Gbps (SSD 未搭載なので)くらいなので、普通にファイルサーバとして使うには十分な性能です。

とりあえず動くようになったので、今後は SSD を搭載したりメモリ増やしたりする予定です。

† HBA からはカーネルの warning が出るけど・・・

起動するたびにポートが 21 個あるとか言ってますが、何なんでしょうね？

Mar 15 01:12:55 host scsi: [ID 107833 kern.warning] WARNING: /pci@b6,0/pci1022,1483@1,1/pci1000,3020@0 (mpt_sas1):#012#011Number of phys reported by HBA SAS IO Unit Page 0 (21) is greater than that reported by the manufacturing information (16). Driver phy count limited to 16. Please contact the firmware vendor about this.

Broadcom HBA 9400-16e のポートは miniSAS HD × 4 で、MiniSAS HD 1 ポートあたり SAS 4 ポートなので物理的にも 16 ポートしか存在しないはずなので、mpt_sas1 のバグでしょうか。
ひとまず実害はないようなので無視することにします。