NTT och Red Hat driver AI-analys

Vid kanten med IOWN Technologies

Gemensam lösning möjliggör AI-analys i realtid av massiva datamängder, samtidigt som strömförbrukning och latens minskar

Som en del av initiativet Innovative Optical and Wireless Network (IOWN) har NTT Corporation (NTT) och Red Hat, i samarbete med NVIDIA och Fujitsu, skapat en lösning för att förbättra och utöka potentialen för realtidsanalys av artificiell intelligens (AI) vid kanten. Med teknik utvecklad av IOWN Global Forum och byggd på Red Hat OpenShift, ledande applikationsplattform för hybrida moln som drivs av Kubernetes, har denna lösning fått ett erkännande från IOWN Global Forums Proof of Concept (PoC)[1] [2] för dess verkliga genomförbarhet och tillämpningsområden.

Eftersom AI, avkänningsteknik och nätverksinnovation fortsätter att växa, kommer det vara avgörande att använda AI-analys för att utvärdera och prioritera data vid nätverkskanten, särskilt eftersom datakällorna utvidgas nästan dagligen. Trots fördelarna kan omfattande användning av AI-analys vara långsam och komplicerad, samt generera högre underhållskostnader och mjukvaruuppdateringar för att integrera nya AI-modeller och ny hårdvara. I och med framväxten av edge computing på mer avlägsna platser, kan AI-analys placeras närmare sensorerna, vilket minskar latens och ökar bandbredd.

Denna lösning innefattar IOWN All-Photonics Network (APN) och teknologier för acceleration av datapipelines i IOWN Data-Centric Infrastructure (DCI). NTT:s accelererade datapipeline för AI använder Remote Direct Memory Access (RDMA) över APN för effektiv insamling och bearbetning av stora mängder sensordata vid kanten. Genom användning av teknik för container-orkestrering från Red Hat OpenShift[3] uppnås ökad flexibilitet för hantering av arbetsbelastningar inom den påskyndade datapipelinen över geografiskt distribuerade och avlägsna datacenter. NTT och Red Hat har framgångsrikt visat att denna lösning effektivt minskar strömförbrukningen, samtidigt som den bibehåller låg latens för realtidsanalys av AI vid kanten.

En förstudie (PoC) utvärderade en AI-analysplattform i realtid[4] med Yokosuka City som bas för sensorinstallation och Musashino City som fjärrdatacenter, båda anslutna via APN. Resultatet visade en minskning av fördröjningen för insamling av sensordata för AI-analys med 60% jämfört med konventionella AI-inferensarbeten, även vid användning av ett stort antal kameror. Dessutom påvisade IOWN PoC-testningen att strömförbrukningen för AI-analys per kamera vid kanten kunde minskas med 40%, jämfört med konventionell teknik. Den realtidsbaserade AI-analysplattformen möjliggör skalning av GPU:n för att hantera fler kameror utan att CPU:n blir en flaskhals. Enligt en preliminär beräkning förväntas strömförbrukningen kunna minskas ytterligare med 60%, förutsatt att 1 000 kameror kan integreras. Här är några av höjdpunkterna i förstudien (PoC) för denna lösning:

• Accelererad datapipeline för AI-inferens, som tillhandahålls av NTT, använder RDMA över APN för att direkt hämta storskalig sensordata från lokala platser till minnet i en accelerator i ett fjärrdatacenter. Detta minskar kostnaderna för protokollhantering i det konventionella nätverket. Därefter utförs databearbetning av AI-inferens i acceleratorn med lägre CPU-kontrollerande kostnader, vilket förbättrar energieffektiviteten i AI-inferens.
• Storskalig realtidsanalys av AI-data, driven av Red Hat OpenShift, kan stödja Kubernetes-operatörer[5] för att förenkla implementeringen av hårdvarubaserade acceleratorer (GPU:er, DPU:er, etc.). Det möjliggör förbättrad flexibilitet och enklare distribution över olika webbplatser, inklusive fjärrdatacenter.
• Denna PoC använder NVIDIA A100 Tensor Core GPU och NVIDIA ConnectX-6 NIC för AI-inferens.

Denna lösning möjliggör intelligent AI-teknik, vilken hjälper företag att skala på ett hållbart sätt. Med denna lösning kan organisationer dra nytta av:
• Minskade omkostnader i samband med insamling av stora mängder data;
• Förbättrad datainsamling som kan delas mellan storstadsområden och fjärrdatacenter för snabbare AI-analys;
• Förmågan att utnyttja lokalt tillgänglig och potentiellt förnybar energi, såsom sol eller vind;
• Ökad områdeshanteringssäkerhet med videokameror som fungerar som sensorenheter.

Stödjande citat:
Chris Wright, chief technology officer och senior vice president för Global Engineering vid Red Hat samt styrelseledamot för IOWN Global Forum
"Under de senaste åren har vi arbetat som en del av IOWN Global Forum för att skapa förutsättningar för AI-innovation som drivs av öppen källkod och leverera teknologier som hjälper oss att göra smartare val för framtiden. Detta är ett viktigt och spännande arbete, och dessa resultat hjälper till att bevisa att vi kan bygga AI-aktiverade lösningar som är hållbara och innovativa för företag över hela världen. Med Red Hat OpenShift kan vi hjälpa NTT att gränslöst tillhandahålla storskalig AI-dataanalys i realtid.”

Katsuhiko Kawazoe, senior executive vice president för NTT och ordförande för IOWN Global Forum
”NTT Group, i stort samarbete med partners, accelererar utvecklingen av IOWN för att uppnå ett hållbart samhälle. Denna IOWN PoC är ett viktigt steg framåt mot grön datoranvändning för AI, som stöder kollektiv intelligens av AI. Vi förbättrar ytterligare IOWN:s energieffektivitet genom att tillämpa Photonics-Electronics Convergence-teknologier på en datorinfrastruktur. Vi strävar efter att realisera den hållbara framtiden för nettonollutsläpp med IOWN.”

Kenichi Sakai, senior vice VD för Fujitsu LTD, Infrastructure System Business Unit
"Vi har bidragit till förverkligandet av ett hållbart och smartare samhälle genom att använda våra serverteknologier, inklusive PRIMERGY CDI (Composable Disaggregated Infrastructure), som möjliggör disaggregerad databehandling. Dessa PoC-resultat visar att IOWN:s genomförbarhet har ökat mot kommersialiseringen 2026 och att IOWN har en potential för AI-applikationer. Fujitsu möjliggör högre prestanda och energieffektivitet med PRIMERGY CDIs kompositbarhet och fortsätter att bidra till förverkligandet av IOWNs datorinfrastruktur."

Ronnie Vasishta, senior vice president för telekom, NVIDIA
"Efterfrågan på AI-inferencing växer, och telco edge har där en avgörande roll att spela. NVIDIA har samarbetat med NTT och IOWN för att kombinera APN-nätverket med en påskyndad pipeline för databehandling och AI, som visar upp datorseende och bildbehandlingsteknik som har både låg latens och är strömsnål.”

Ytterligare resurser
• Kolla in NTT Corporation R&D Forum Keynote: Innovating a Sustainable Future for People and Planet
• Lär dig mer om Red Hat OpenShift
• Lär dig mer om edge computing med Red Hat
• Läs mer om Red Hats nyheter på MWC Barcelona 2024

Ta del av det fullständiga pressmeddelandet på engelska här.

-----------------------------------------------------------------------------------------------------------------------
[1] Innovative Optical and Wireless Network Global Forum: https://iowngf.org/
[2] PoC Reference: Reference Implementation Model for the Area Management Security Use Case, August 2022. https://iowngf.org/wp-content/uploads/formidable/21/IOWN-GF-RD-RIM_for_AM-S_UC_PoC_Reference_1.0.pdf
[3] This demonstration uses Red Hat OpenShift 4.13 for container orchestration.
[4] This PoC uses Fujitsu PRIMERGY RX2540 M7 with NVIDIA A100 Tensor Core GPUs and NVIDIA ConnectX-6 NICs for AI inference at the edge/suburban data centers. This PoC also utilizes NVIDIA’s libraries for data pipeline acceleration, such as NVIDIA Rivermax, nvJPEG, CV-CUDA, and the Unified Communication - XFramework.
[5] https://www.redhat.com/en/topics/containers/what-is-a-kubernetes-operator

2/27/2024 - Industritorget