ConnectX®-4 VPI Single and Dual QSFP28 Port Adapter Card User Manual for Dell PowerEdge Rev 1.3
Mellanox Technologies 4
4.1.1 Hardware and Software Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.1.2 Downloading Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.1.3 Installing Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.1.3.1 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.1.3.2 Installation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.3.3 Installation Logging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.3.4 openibd Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.3.5 Driver Load Upon System Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.3.6 mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.4 Uninstalling Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.5 Installing MLNX_OFED using YUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.5.1 Setting up MLNX_OFED YUM Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.5.2 Installing MLNX_OFED using the YUM Tool . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.5.3 Uninstalling Mellanox OFED using the YUM Tool . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.6 Installing MLNX_OFED using apt-get. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.6.1 Setting up MLNX_OFED apt-get Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.6.2 Installing MLNX_OFED using the apt-get Tool. . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.6.3 Uninstalling Mellanox OFED using the apt-get Tool . . . . . . . . . . . . . . . . . . . . . . 31
4.1.7 Updating Firmware After Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.7.1 Updating the Device Online . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.7.2 Updating the Device Manually . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.7.3 Updating the Device Firmware Automatically upon System Boot . . . . . . . . . . . . 32
4.1.8 UEFI Secure Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.8.1 Enrolling Mellanox's x.509 Public Key On your Systems . . . . . . . . . . . . . . . . . . 33
4.1.8.2 Removing Signature from Kernel Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.9 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Chapter 5 Updating Adapter Card Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.1 Firmware Update Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35
Chapter 6 Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
6.1 General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36
6.2 Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
Chapter 7 Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
7.1 06W1HY/0JJN39 Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38
7.2 0068F2/0NNJ2M Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39
7.3 Airflow Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
7.4 Adapter Card LED Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
7.5 Board Mechanical Drawing and Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
7.6 Bracket Mechanical Drawings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42
Appendix A Interface Connectors Pinout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.1 QSFP28 Connector Pinout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
A.2 PCI Express x16 Edge Connector Pinout. . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Appendix B Finding the GUID/MAC and Serial Number on the Adapter Card . . . . 47
Appendix C Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Appendix D Avertissements de sécurité d’installation (Warnings in French) . . . . . . 52
Appendix E Sicherheitshinweise (Warnings in German) . . . . . . . . . . . . . . . . . . . . . . . 54
Appendix F Advertencias de seguridad para la instalación (Warnings in Spanish) . 56
