Unbegrenzte Freiheit für Edge-Server

Intel Xeon D Prozessoren in COM-HPC Servermodulen

Durch die Integration von Intel Xeon D Prozessoren in COM-HPC Servermodule von Herstellern wie congatec können Edge-Server-Installationen von den engen thermischen Zwängen klimatisierter Serverräume befreit werden. Sie können erstmals überall dort eingesetzt werden, wo ein massiver Datendurchsatz mit möglichst geringen Latenzen bis hin zu deterministischer Echtzeit erforderlich ist.

Edge-Server verarbeiten Daten am Rand von Kommunikationsnetzwerken und nicht in den zentralen Clouds. Dies ermöglicht eine verzögerungsfreie bzw. in Echtzeit erfolgende Interaktion mit Clients aller Art, stellt Hersteller von Server-, Netzwerk- und Speichertechnologien jedoch vor große Herausforderungen.

Bisher entwickelten sie für ihre Systeme standardisierte Rack-Lösungen mit aktiven Belüftungskonzepten und leistungsfähiger Klimatechnik zur Steuerung des Rack-Thermomanagements und der Serverraum-Klimatisierung. Dieser Ansatz ist jedoch für die heutige hochmoderne Servertechnologie oft nicht mehr geeignet.

Die American Society of Heating, Refrigerating and Air-Conditioning Engineers, kurz ASHRAE, hat sich eingehend mit der Frage beschäftigt, wie man Edge-Server-Performance in rauen Umgebungen am besten installiert. Aus Sicht der HLK-Partner gibt es also schon jetzt durchaus plausible Empfehlungen, wie man Edge-Rechenzentren mit leistungsfähiger HLK und bestmöglicher Isolierung gegen Hitze und Wind auslegen kann.

Edge-Server von den Fesseln der HLK befreien

ASHRAE schlägt jedoch eine maximal zulässige Temperaturschwankung von 20 °C in einer Stunde und maximal 5 °C in 15 Minuten für Edge-Rechenzentren vor. Dies erfordert aufwändige Klimatechnik und ist daher sehr schwierig anzuwenden. Aber nicht nur das; Das Einhalten dieser Richtlinien ist nahezu unmöglich, insbesondere bei Wartungsarbeiten an Edge-Rechenzentren, die kleiner als eine Telefonzelle sind, da diese Lösungen bei jeder Umgebungstemperatur für Wartungsarbeiten geöffnet sein müssen. Es ist einfach nicht möglich, durch eine HLK-Kammer in diese Systeme einzudringen und die Tür schnell wieder zu schließen, bevor der vollständig klimatisierte Edge-Serverraum gewartet wird.

Edge-Server und Rechenzentren, die in rauen Umgebungen betrieben werden, erfordern daher Systemdesigns, die größere Temperaturschwankungen und einen viel größeren Temperaturbereich als die typischen 0-40 °C in IT-Innenräumen bewältigen können. In industriellen Umgebungen können eingebettete Systemdesigns Umgebungstemperaturen von arktischen -40 °C bis zu sengenden +85 °C ausgesetzt sein. Das bedeutet, dass jede Komponente verstärkt werden muss.

Robuste Konstruktionen reduzieren die Kühlkosten

Der kritischste Punkt beim Design von Edge-Servern, Netzwerk- und Speichertechnologien ist die Wahl der Prozessortechnologie. Die Entscheidung, die bei dieser Wahl hin und her geht, ist, ob man den Empfehlungen der ASHRAE folgt und massiv in HLK- und Isoliertechnik investiert, was zu hohen Investitions- und Betriebskosten für Sekundärenergie führt. Oder ob man Systeme entwickelt, die all das nicht brauchen, weil sie auch bei extremen Temperaturen zuverlässig funktionieren und daher viel günstiger in rauen Umgebungen eingesetzt werden können: von Fabrikgeländen bis hin zu Outdoor-Kommunikation, Videoüberwachung und anderen kritischen Infrastrukturgeräten über Server in mobilen Systemen, die von Zügen und Flugzeugen bis hin zu autonomen Shuttlebussen in Smart Cities reichen.

Dank der neuen Intel Xeon D Prozessoren steht nun eine sehr leistungsfähige Servertechnologie zur Verfügung, die für den Einsatz in extremen Temperaturbereichen von -40°C bis +85°C qualifiziert ist. Selbst ultrahochleistungsfähige Serverdesigns sind nicht mehr durch die strengen thermischen Einschränkungen klimatisierter Serverräume eingeschränkt. Letztlich können sie überall dort eingesetzt werden, wo am Rande des Internets der Dinge und in Industrie-4.0-Fabriken ein massiver Datendurchsatz ohne Latenz erforderlich ist.

Ein Serverprozessor allein macht einen Edge-Server jedoch noch nicht robust. Um den Anforderungen des Systemdesigns für raue Umgebungen gerecht zu werden, ist auch umfassendes technisches Wissen erforderlich. Jede verwendete Komponente muss für diese Umgebung qualifiziert sein, außerdem gelten besondere Anforderungen an das Leiterplatten- und Kartendesign. Einige Beispiele sind spezielle Beschichtungen, die vor Kondenswasser und anderen Umwelteinflüssen schützen, oder ein hoher Schutz vor hochfrequenten und elektromagnetischen Fremdsignalen, die die Leistung des Geräts beeinträchtigen könnten.

Abbildung 2. Der modulare Server-on-Module-Ansatz macht es einfach, dedizierte Edge-Server mit anwendungsspezifischen Schnittstellendesigns unter Verwendung von kundenspezifischen Trägerplatinen zu entwickeln.

Entwickler von Embedded-System-Technologien wie congatec verfügen über jahrzehntelange Erfahrung im Design solcher Systeme. Sie integrieren seit langem Standard-PC-Technologien wie Intel-Core-Prozessoren industrietauglich in eingebettete Systeme. Sie kennen sich mit den Anforderungen und Zertifizierungsstandards verschiedenster Branchen aus und sind es gewohnt, ihre Anlagen langfristig verfügbar zu gestalten, um den Branchenanforderungen gerecht zu werden und OEM-Lösungen mit identischen Plattenkonfigurationen liefern zu können für 7, 10 oder 15 Jahre. Sie wissen auch, dass industrielle Anwendungen sich erheblich von Standard-Systemdesigns für die Büroumgebung unterscheiden, da industrielle Anwendungen immer mehr oder weniger individuelle Anpassungen erfordern, sodass modulare Designs, die COM-Module implementieren, der ideale Weg sind, um Plaques zu entwickeln. Sie haben auch gelernt, dass Standardisierung von entscheidender Bedeutung ist, weshalb sie dazu beigetragen haben, weltweit anerkannte Standards für diese Art von Modulen zu schaffen.

Mit Standards schneller ans Ziel

Mit der neuen COM-HPC-Serverspezifikation und der Veröffentlichung von Intel Xeon D-Prozessoren wurde dieses kombinierte Know-how nun auf hochmoderne industrielle Serverdesigns übertragen. Erstmals haben Entwickler Zugriff auf echte Produkte. Der Vorteil dieser neuen COM-HPC-standardisierten Servermodule besteht darin, dass Entwickler sie als anwendungsfertige eingebettete Computerlogik in ihre kundenspezifischen Trägerplatinen integrieren können. Das bedeutet, dass sie sich nicht um die Grundlagen der Prozessortechnik kümmern müssen, sondern sich lediglich mit der anwendungsspezifischen Positionierung der Komponenten auf der Platine auseinandersetzen und die Schnittstellen an der richtigen Stelle auf der Trägerplatine ausführen müssen. Zu diesem Zweck hat das Standardisierungsgremium der PICMG kürzlich den COM-HPC Carrier Design Guide veröffentlicht. Es bietet wesentliche Richtlinien für den Aufbau kundenspezifischer, interoperabler und skalierbarer Embedded-Computing-Plattformen auf Basis des neuen Standards und erleichtert Entwicklern außerdem das Verständnis der Logik hinter dem Standard.

Wissen ist Macht

Damit Entwickler schnell, einfach und effizient in die neuen Designstandards eintauchen können, hat congatec eine Online- und Präsenzschulungsakademie für COM-HPC-Client- und -Serverdesigns eröffnet. Hier erhalten Entwickler eine fachkundige Einführung in die neue Welt der High-End-Edge- und Embedded-Systemdesigns auf Basis des neuen COM-Standards (Computer-on-Module). Das Schulungsprogramm umfasst alle erforderlichen und empfohlenen Designgrundlagen sowie Best-Practice-Anleitungen für das Design von COM-HPC-Trägerboards und Zubehör, wie z. B. lüfterlose High-End-Kühllösungen für Serverdesigns bis zu 100 Watt oder mehr. COM-HPC Server Module Evaluation Carrier Boards dienen als Referenzplattform zum Erlernen der Implementierung von Intel Xeon D Prozessoren, nutzen den vollen Funktionsumfang des Standards und können von Entwicklern als Plattformen für die weitere Anwendungsentwicklung genutzt werden.

Die congatec academy zielt darauf ab, Entwickler in allen Grundlagen des COM-HPC-Designs zu schulen, von PCB-Layer-Prinzipien, Power-Management-Regeln und Signalintegritätsanforderungen bis hin zur Komponentenauswahl. Sitzungen mit besonderem Fokus auf Kommunikationsschnittstellen bieten Anleitungen zur Vermeidung der Fallstricke im anspruchsvollen Design der seriellen Hochgeschwindigkeitskommunikation: von PCIe Gen 4 und 5 über USB 3.2 Gen 2 und USB 4 mit Thunderbolt auf USB-C bis hin zu 100 Gigabit Ethernet , sowie Seitenband-Signalmanagement für 10G / 25G / 40G / 100G KR-Ethernet-Schnittstellen, die in COM-HPC auf der Trägerplatine deserialisiert werden müssen. Während dieser Sitzungen wird auch erklärt, wie Best-Practice-Designs Schnittstellenstandards wie eSPI, I²C und GPIOs verwenden.

Abbildung 3. Standard-Motherboard/Motherboard-Designs unterstützen in der Regel nur Standard-Onboard-Schnittstellen, die auf der Rückseite des Boards laufen (Rear I/O). Da industrielle Anforderungen nicht berücksichtigt werden, ist ihre Eignung als Edge-Server für das Internet der Dinge eingeschränkt. Und sie sind in der Regel nicht für den weiten Temperaturbereich von -40°C bis +85°C ausgelegt und garantieren auch keine Langzeitverfügbarkeit von 7 bis 15 Jahren. Mit Servermodulen ist es jedoch möglich, die Mechanik dieser Formfaktoren zu nutzen und ein Trägerboard zu entwerfen, das die gewünschten Schnittstellen dort führt, wo sie benötigt werden.

Eine Einführung in die x86-Firmware-Implementierung – die alles vom eingebetteten BIOS bis hin zu Board-Management-Controller- und Modulmanagement-Controller-Funktionen abdeckt – ergänzt die Designschulung. Und zu guter Letzt gibt es Sitzungen zu Test- und Verifizierungsstrategien, die alle Herausforderungen angehen, von der anfänglichen Verifizierung des Motherboard-Designs bis hin zu Tests in der Massenproduktion. Mit einem so umfassenden Schulungsprogramm möchte die congatec academy das Design robuster Edge-Server-Technologie so einfach wie möglich machen. Natürlich kann das Unternehmen interessierten OEM-Kunden auch komplette Systemdesigns anbieten, die die Vorteile seiner neuen COM-HPC-Servermodule und seines umfangreichen Partnernetzwerks nutzen.

Referenzdesign für KI-Clustering für maschinelles Lernen

COM-HPC-Edge-Server-Designs sind nicht auf Einzelmodulkonzepte beschränkt. Der Standard unterstützt auch ausdrücklich Multimodulunterstützung mit heterogenen Konfigurationen von COM-HPC-Modulen, die beispielsweise FPGAs oder GPGPU-Beschleuniger integrieren. Auch ein Mix aus COM-HPC-Server- und COM-HPC-Client-Modulen auf einem Board ist möglich. Beispielsweise arbeitet congatec derzeit mit der Universität Bielefeld und Christmann IT an einem Edge-Server-Design, das verschiedene COM-HPC-Module auf einem Motherboard kombiniert, um extreme Echtzeit-Workloads in einem Multi-System-Design für KI-Clustering zu verarbeiten hochdimensionale Daten (selbstorganisierende Karten).

Edge-Server mit drei COM-HPC-Modulen für extreme Echtzeit-Workloads.

Abbildung 4. Der Unterschied zwischen Intel Xeon D in COM-HPC Server Size E und Size D liegt in der Anzahl der möglichen RAM-Sockel, die auch die Größe der Module bestimmt.

Beschleunigung von Edge-Server-Workloads

Die neuen COM-HPC-Servermodule E-Size und D-Size mit BGA-montierten Intel Xeon D-Prozessoren (Referenzname Ice Lake D) überzeugen jedoch nicht nur durch ihre Kompatibilität mit dem erweiterten Temperaturbereich von -40°C bis +85°C °C. Sie überwinden auch viele der früheren Engpässe, die durch Edge-Server-Einschränkungen verursacht wurden, und werden die nächste Generation von Echtzeit-Mikroserver-Workloads in rauen Umgebungen und erweiterten Temperaturbereichen erheblich beschleunigen. Zu den Verbesserungen gehören bis zu 20 Kerne, bis zu 1 TB Speicher in bis zu 8 DRAM-Sockeln bei 2933 MT/sg, bis zu 47 PCIe-Lanes insgesamt pro Modul und 32 PCIe-Gen-4-Lanes mit der doppelten Leistung pro Lane sowie bis zu 100 GbE-Konnektivität und TCC/TSN-Unterstützung mit optimiertem Energieverbrauch dank 10-nm-Fertigung. Videoanalyse- und Speicherserver profitieren auch von der integrierten Unterstützung für Intel AVX-512, VNNI und OpenVINO für KI-basierte Datenanalyse.

Ein Meilenstein für Echtzeit-Edge-Server-Designs

Tatsächlich markiert die Markteinführung von Ice Lake D-basierten COM-HPC-Modulen einen dreifachen Meilenstein: Erstens, weil die Unterstützung des erweiterten Temperaturbereichs bedeutet, dass Intel Xeon D-Servermodule nicht mehr auf Standard-Industrieanwendungen beschränkt sind, sondern auch für Outdoor- und automobile Umgebungen. Zweitens erhöhen die weltweit ersten COM-HPC-Servermodule erstmals die Anzahl der verfügbaren Kerne auf 20; Mit bis zu 8 DRAM-Sockeln bietet dies eine deutlich höhere Speicherbandbreite als Servermodule nach anderen PICMG-Spezifikationen. Drittens sind diese neuen Servermodule echtzeitfähig, sowohl in Bezug auf Prozessorkerne als auch auf TCC/TSN-fähiges Echtzeit-Ethernet, was für digitalisierte IIoT- und Industrie 4.0-Projekte unerlässlich ist.

Um Serverausgleichs- und Konsolidierungsdienste für deterministische Echtzeit-Edge-Server-Bereitstellungen zu implementieren, bei denen mehrere Echtzeitanwendungen unabhängig voneinander auf einem einzigen Edge-Server ausgeführt werden, ist es für Plattformen nützlich, zeitfähige virtuelle Maschinen zu unterstützen. beispielsweise der RTS-Hypervisor von Real-Time Systems. Dies ermöglicht Industrie-4.0-Fabriken, heterogene Echtzeitanwendungen auf einer einzigen Edge-Server-Plattform ihrer privaten 5G-Netzwerke zu hosten und einzelnen Prozessen dedizierte Systemressourcen zuzuweisen. Die Servermodule von congatec sind für diese Art von Service vorqualifiziert. Kundenspezifische Installationen mit allen notwendigen Parametrierungen gehören zu den Standardleistungen, die congatec für die neuen COM-HPC-Module anbietet.

Die Module beeindrucken außerdem mit einem umfassenden Funktionsumfang auf Server-Niveau: Für unternehmenskritische Designs bieten sie leistungsstarke Hardware-Sicherheitsfunktionen wie Intel Boot Guard, Intel Total Memory Encryption – Multi-Tenant (Intel TME-MT) und Intel Software Guard Erweiterungen (Intel SGX). Für die besten RAS-Fähigkeiten integrieren die Prozessormodule die Intel ME Manageability Engine und unterstützen Remote-Hardwareverwaltungsfunktionen wie IPMI und Redfish. Tatsächlich gibt es eine weitere PICMG-Spezifikation, die die Interoperabilität solcher Implementierungen garantiert, und das Schulungsprogramm der congatec academy deckt diesen Aspekt ebenfalls ab.

Servermoduloptionen für Intel Xeon D

Die neuen Module werden als HCC- (High Core Count) und LCC-Variante (Low Core Count) mit unterschiedlichen Prozessortypen der Intel Xeon D-Serie erhältlich sein.

Die conga-HPC/sILH COM-HPC Size E Servermodule werden mit 5 verschiedenen Intel Xeon D 27xx HCC Prozessoren mit einer Auswahl von 4 bis 20 Kernen, 8 DIMM Sockeln für bis zu 1 TByte schnellen 4 MT/sg DDR2933 Speicher erhältlich sein mit ECC, 32x PCIe Gen 4 und 16x PCIe Gen 3, sowie 100 GbE Performance plus Echtzeit 2,5 Gbit/s Ethernet mit TSN und TCC Support mit 65 bis 118 Watt Basisprozessorleistung.

COM-HPC Size D und COM Express Type 7 Servermodule werden mit 5 verschiedenen Intel Xeon D 17xx LCC Prozessoren mit einer Auswahl von 4 bis 10 Kernen geliefert. Während das conga-B7Xl COM Express Server Module bis zu 128 GB DDR4 2666 MT/sg RAM über bis zu 3 SODIMM-Sockel unterstützt, bietet das conga-HPC/SILL COM-HPC Server Size D Modul 4 DIMM-Sockel für bis zu 256 GB mit schnellem 4 MT/s DDR2933 RAM oder 128 GB mit UDIMM ECC RAM. Beide Modulfamilien bieten 16 Lanes PCIe Gen 4 und 16 Lanes PCIe Gen 3. Für eine schnelle Vernetzung bieten sie bis zu 50 GbE Durchsatz und TSN/TCC-Unterstützung über 2,5 Gbit/sg Ethernet bei einer Basisleistung des Prozessors von 40 bis 67 Watt .

Module können bereits vorbestellt werden und applikationsreife Testmuster – mit robusten Kühllösungen passend zur TDP des Prozessors – sind sofort verfügbar. Die Kühllösungen reichen von leistungsstarker aktiver Kühlung mit Heatpipe-Adapter bis hin zu vollständig passiven Kühllösungen für eine höhere mechanische Beständigkeit gegen Vibrationen und Stöße. Letztere mindern auch thermische Belastungen in Anwendungen, die kurzzeitigen extremen Temperaturschwankungen standhalten müssen. In Bezug auf die Software werden die neuen Module mit Full-Board-Support-Paketen für Windows, Linux und VxWorks sowie RTS-Hypervisor-Technologie geliefert.

COM-HPC-basierte Multi-Modul-Designs

Modul	conga-B7XL	conga-HPC/sILL	conga-HPC/sILH
Factor de Forma	COM-Express-Typ 7	COM-HPC Server Größe D	COM-HPC-Servergröße E
Maximale Abmessungen	125 mm x 95 mm	160 mm x 160 mm	200 mm x 160 mm
Prozessor	Intel Ice Lake D (LCC)	Intel Ice Lake D (LCC)	Intel Ice Lake D (HCC)
Kerne	4 zu 10	4 zu 10	4 zu 20
RAM	Bis zu 128 GB DDR4 (bis zu 4x S0-DIMMs)	Bis zu 256 GB DDR4 (4x RDIMM/UDIMM)	Bis zu 1 TB GB DDR4 (8x RDIMM/UDIMM)
TDP	40-67 W	40-67 W	65-118 W
Schnittstellen
PCIe	16 x PCIe-Gen 4 16 x PCIe-Gen 3	16 x PCIe-Gen 4 16 x PCIe-Gen 3	32 x PCIe-Gen 4 16 x PCIe-Gen 3
USB	4 USB 3.1 Gen 1 4x USB 2.0	4 USB 3.1 Gen 1 4x USB 2.0	4 USB 3.1 Gen 1 4x USB 2.0
Ethernet	1x 2.5 GbE mit TSN 4x 10GbE (KR-Unterstützung)	1x 2.5 GbE mit TSN 2x 25, 4x 10, 8x 2.5 GbE (unterstützt KR oder SFI)	1x 2.5 GbE mit TSN 1x 100, 2x 50, 4x 25, … GbE (KR- oder SFI-Unterstützung)
SATA	2x SATAII	2x SATAII	2x SATAII

Abbildung 5. COM Express Type 7 und COM-HPC Size D Servermodule basierend auf dem Intel Xeon D Prozessor unterscheiden sich nicht nur in der Größe, sondern auch in der Pinbelegung.

Abbildung 6. Bis zu 20 Kerne bieten eine große Auswahl an sicheren Optionen für eine Vielzahl von Echtzeitanwendungen, wenn die Virtualisierungstechnologie von Real-Time Systems verwendet wird.

Abbildung 7. Die Intel Xeon D 27xx HCC Prozessorkonfigurationen der congatec COM-HPC Size E (200mm x 160mm) Servermodule

Abbildung 8, Die Intel Xeon D 17xx LCC-Prozessorkonfigurationen der Servermodule COM-HPC Size D (160 mm x 160 mm) und COM Express Type 7 (95 mm x 120 mm) von congatec