Beschaffung der Hardware

Die Gesamtkosten für dieses Upgrade belaufen sich auf 700 bis 900 Euro (Stand: Mitte August), wovon der größte Anteil auf die Mellanox-ConnectX-3-Netzwerkkarten und die Mikrotik-Switches entfällt.

Bestellung bei FS (Fiber Store)

Stellenmarkt
  1. CAD/CAM Programmierer (w/m/d)
    AIXTRON SE, Herzogenrath
  2. Embedded Linux-Programmierer (m/w/d) Entwicklung
    wenglor MEL GmbH, Eching
Detailsuche

FS.com war meine Bezugsquelle für sämtliche Hardware im Glasfaserbereich. Alle dort verfügbaren Produkte sind recht preisgünstig und die Produkte, die im deutschen Lager vorrätig sind, kamen (zumindest zum Zeitpunkt meiner Bestellung im Juni) noch in derselben Woche in der Schweiz an.

AnzahlPreisBezeichnung
1xrund 48 Euro (Stand: Mitte August 2022)Generisch kompatibel 10GBASE-BX BiDi SFP+ 1270nm-TX/1330nm-RX 10km DOM Transceiver Modul, FS P/N: SFP-10G-BX #74681
1xrund 48 Euro (Stand: Mitte August 2022)Generisch kompatibel 10GBASE-BX BiDi SFP+ 1330nm-TX/1270nm-RX 10km DOM Transceiver Modul, FS P/N: SFP-10G-BX #74682
2xrund 20 Euro (Stand: Mitte August 2022)Generisch kompatibles 10G SFP+ passives Twinax Kupfer Direct Attach-Kabel (DAC), 3m
Preise und Bezeichnungen

Bestellung bei Digitec

Ein paar Dinge hat FS.com nicht auf Lager. Die habe ich bei Digitec, einem großen und beliebten Elektronikladen in der Schweiz, gekauft. Höchstwahrscheinlich sind die Produkte, die es bei Digitec gibt, auch in jedem anderen großen Elektronikfachgeschäft erhältlich.

AnzahlPreisBezeichnung
2x175 CHF (rund 180 Euro; Stand Mitte August 2022/in anderen Shops mitunter auch schon ab 150 Euro)MikroTik CRS305-1G-4S+IN-Switch
Mikrotik-Switch bei Digitec

Weitere Bestellungen

Die Mellanox-Karten sind nicht so leicht zu bekommen, wie ich es mir eigentlich wünsche. Ich warte gerade noch auf eine Karte von FS.com, die vielleicht die bessere Wahl ist.

AnzahlPreisBezeichnung
2xzwischen 150 und 200 Euro (Stand: Mitte August 2022)Mellanox ConnectX-3 MCX311A-XCAT
Mellanox-Karten

Setup der Mikrotik-Switches

Golem Karrierewelt
  1. AZ-104 Microsoft Azure Administrator: virtueller Vier-Tage-Workshop
    07.-10.11.2022, virtuell
  2. Apache Kafka Grundlagen: virtueller Zwei-Tage-Workshop
    22./23.11.2022, Virtuell
Weitere IT-Trainings

Ich möchte meine Switches als reine Switches nutzen, ohne jegliches Routing oder andere Layer-3-Funktionen, welche eventuell die Bandbreite reduzieren könnten. Deshalb führe ich als erstes ein Reboot des Mikrotik CRS305-1G-4S+ auf SwOS durch:

1. Im Menü der Weboberfläche navigiere ich zu System → Routerboard → Settings, öffne das Dropdown-Menü Boot OS und wähle die Option SwOS aus.

2. Dann navigiere ich im Menü der Weboberfläche zu System → Reboot.

3. Nach dem Reboot des Gerätes ändere ich den Hostnamen, der auf Mikrotik zurückgesetzt wurde.

Anschließend führe ich ein Upgrade der Firmware auf 2.12 durch, um ein merkwürdiges Problem mit bestimmten Kombinationen aus SFP-Modulen zu beheben (SFP-10G-BX in SFP1, SFP-10G-T in SFP2): Auf der Weboberfläche von SwOS wähle ich die Registerkarte Upgrade aus und klicke auf Download & Upgrade.

MikroTik CRS305-1G-4S+IN

Setup der Netzwerkkarte (Linux)

Nach dem Booten mit der Mellanox ConnectX-3 in einem PCIe-Slot sollte die Karte unter dmesg(8) angezeigt werden:


mlx4_core: Mellanox ConnectX core driver v4.0-0
mlx4_core: Initializing 0000:03:00.0
mlx4_core 0000:03:00.0: DMFS high rate steer mode is: disabled performance optimized steering
mlx4_core 0000:03:00.0: 31.504 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x4 link)
mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0
mlx4_en 0000:03:00.0: Activating port:1
mlx4_en: 0000:03:00.0: Port 1: Using 16 TX rings
mlx4_en: 0000:03:00.0: Port 1: Using 16 RX rings
mlx4_en: 0000:03:00.0: Port 1: Initializing port
mlx4_en 0000:03:00.0: registered PHC clock
mlx4_core 0000:03:00.0 enp3s0: renamed from eth0
<mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v4.0-0
<mlx4_ib> mlx4_ib_add: counter index 1 for port 1 allocated 1
mlx4_en: enp3s0: Steering Mode 1
mlx4_en: enp3s0: Link Up

Es gibt noch eine andere Möglichkeit, um auf dem PCIe-Bus des Computers zu überprüfen, ob das Gerät mit Höchstgeschwindigkeit läuft: Man stellt sicher, dass LnkSta mit LnkCap in der Ausgabe lspci(8) übereinstimmt:


% sudo lspci -vv
03:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]
        Subsystem: Mellanox Technologies Device 0055

[...]
	Capabilities: [60] Express (v2) Endpoint, MSI 00
[...]
		LnkCap:	Port #8, Speed 8GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
			ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
		LnkCtl:	ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
			ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
		LnkSta:	Speed 8GT/s (ok), Width x4 (ok)
			TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
[...]

Alternativ kann mit ethtool(8) überprüft werden, ob die Netzwerkverbindung mit 10 Gigabit pro Sekunde ausgeführt wird:


% sudo ethtool enp3s0
Settings for enp3s0:
	Supported ports: [ FIBRE ]
	Supported link modes:   1000baseKX/Full
	                        10000baseKR/Full
	Supported pause frame use: Symmetric Receive-only
	Supports auto-negotiation: No
	Supported FEC modes: Not reported
	Advertised link modes:  1000baseKX/Full
	                        10000baseKR/Full
	Advertised pause frame use: Symmetric
	Advertised auto-negotiation: No
	Advertised FEC modes: Not reported
	Speed: 10000Mb/s
	Duplex: Full
	Auto-negotiation: off
	Port: Direct Attach Copper
	PHYAD: 0
	Transceiver: internal
	Supports Wake-on: d
	Wake-on: d
        Current message level: 0x00000014 (20)
                               link ifdown
	Link detected: yes

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Glasfaser: Das private Netzwerk auf 10 Gigabit pro Sekunde upgradenBenchmarks für Batch-Übertragungen 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6.  


Brian Kernighan 03. Sep 2022 / Themenstart

Wenn Du jemanden hast, der die Glasfaser auf dosen spleißen kann mach ruhig. Die meisten...

recluce 30. Aug 2022 / Themenstart

Ich verwende zwei Switches: Ein Zyxel 8-Port nBase-T Switch (1G, 2,5G, 5G und 10Gbit/s...

gorden 29. Aug 2022 / Themenstart

Ähm wo finde ich Kabel die länger als 3m sind mit so viel Power bzw. generell wenn diese...

Brian Kernighan 29. Aug 2022 / Themenstart

40 GBit ist im Grunde nichts anderes als vier 10GBit Kanäle die parallel laufen. Da...

Kommentieren



Aktuell auf der Startseite von Golem.de
Minority Report wird 20 Jahre alt
Die Zukunft wird immer gegenwärtiger

Minority Report zog aus, die Zukunft des Jahres 2054 vorherzusagen. 20 Jahre später scheint so manches noch prophetischer.
Von Peter Osteried

Minority Report wird 20 Jahre alt: Die Zukunft wird immer gegenwärtiger
Artikel
  1. Luftfahrt: Wisk Aero zeigt autonomes Flugtaxi
    Luftfahrt
    Wisk Aero zeigt autonomes Flugtaxi

    Das senkrecht startende und landende Lufttaxi soll in fünf Jahren im regulären Einsatz sein.

  2. Gegen Agile Unlust: Macht es wie Bruce Lee
    Gegen Agile Unlust
    Macht es wie Bruce Lee

    Unser Autor macht seit vielen Jahren agile Projekte und kennt "agile Unlust". Er weiß, warum sie entsteht, und auch, wie man gegen sie ankommen kann.
    Ein Erfahrungsbericht von Marvin Engel

  3. Firefly Aerospace: Rakete erreicht den Orbit
    Firefly Aerospace
    Rakete erreicht den Orbit

    Der zweite Start der Alpha-Rakete war erfolgreich. Sie hat Satelliten in einer niedrigen Erdumlaufbahn ausgesetzt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MindFactory (u. a. PowerColor RX 6700 XT Hellhound 489€, ASRock RX 6600 XT Challenger D OC 388€) • Kingston NV2 1TB (PS5) 72,99€ • be quiet! Silent Loop 2 240 99,90€ • Star Wars: Squadrons PS4a 5€ • Acer 24"-FHD/165 Hz 149€ + Cashback • PCGH-Ratgeber-PC 3000 Radeon Edition 2.500€ [Werbung]
    •  /