Resum

A mesura que la intel·ligència artificial (IA) avança ràpidament, les xarxes tradicionals de centres de dades s'enfronten a grans reptes quan transporten trànsit d'IA. La utilització d'ample de banda elevat i un nombre reduït de fluxos d'elefant poden fer que l'equilibri de càrrega convencional per-flux sigui ineficaç, donant lloc a congestió i pèrdua de paquets que augmenten significativament els temps de formació i finalització de les tasques del model d'IA. Aquest document blanc examina una tecnologia d'encaminament intel·ligent dinàmic que combina la consciència-en temps real amb la presa de decisions-intel·ligents. Utilitza la mesura de la qualitat del camí-, la sincronització d'atributs-estès BGP, el cost múltiple de costos ponderats dinàmics (WCMP), l'eliminació de-camí anormal i

Balanç automàtic de càrrega (ALB) de nivell-Flowlet per millorar la programació del trànsit en entorns d'IA. El disseny també utilitza la virtualització per proporcionar un aïllament de diversos-inquilins i ofereix escenaris d'aplicació i orientació de planificació per a xarxes de centres de dades d'IA eficients, estables i intel·ligents.

 

Introducció: Evolució de la xarxa en la IA Era

 

Per què les xarxes tradicionals lluiten amb la IA Trànsit

A les xarxes tradicionals de centres de dades, un gran nombre de petits fluxos permet l'equilibri de càrrega per-flux per aconseguir una distribució acceptable i evitar la congestió, fins i tot sense conèixer-en temps real les condicions de la xarxa. El trànsit d'IA és molt diferent: la utilització de l'ample de banda és extremadament alta i sovint el trànsit només està dominat per uns pocs fluxos d'elefants. Per tant, les col·lisions de hash poden col·locar múltiples fluxos grans al mateix camí mentre que altres camins romanen infrautilitzats. Un cop es produeix la pèrdua de paquets, el temps de finalització de tota la càrrega de treball d'IA pot augmentar significativament. Per aquest motiu, la indústria se centra cada cop més en algorismes d'equilibri de càrrega-optimitzats per a teixits d'IA de manera que el trànsit es distribueixi de manera més uniforme en diversos camins .

1

 

Figura 1. Comparació del trànsit-de flux d'elefants d'IA i el trànsit tradicional de flux-de petit volum.

 

Combinant la consciència dinàmica amb la presa{0}}de decisions intel·ligent

L'encaminament intel·ligent dinàmic és una tecnologia d'equilibri de càrrega-basada en consciència-. Utilitza la qualitat del camí detectada pels interruptors del teixit per ajustar la selecció del camí local i admet l'equilibri de càrrega ponderat dinàmicament. Basada en BGP, la tecnologia defineix un nou atribut de comunitat ampliat-.

S'utilitzen mesures multi-dimensionals i d'alta-precisió per avaluar la qualitat del camí, i el resultat es propaga a través de BGP per guiar el reenviament de trànsit posterior. Això millora la-distribució de càrrega a tota la xarxa i redueix el temps de resposta de l'aplicació [1].

 

2

 

Figura 2. Flux de treball dinàmic de consciència, decisió i execució.

 

Tecnologies bàsiques: Programació intel·ligent de trànsit

 

Els enfocaments d'equilibri-de càrrega de la xarxa convencional inclouen:

  • ECMP per-flux: l'enfocament més comú, basat en un hash de cinc-tuples. Funciona bé quan hi ha molts fluxos i conserva l'ordre dels paquets, però les col·lisions de hash poden produir un equilibri deficient quan els recomptes de flux són baixos, com en l'entrenament d'IA [1].
  • Equilibri-basat en fluxos: depèn de la configuració correcta de la bretxa entre-fluxos. La configuració precisa és difícil quan es desconeix la latència del nivell de ruta-global [1].
  • ECMP per-paquet: proporciona un excel·lent equilibri teòric, però pot generar una reordenació extensiva de paquets al receptor [1].

L'enfocament d'encaminament intel·ligent dinàmic que utilitzen els commutadors RoCE de la sèrie XingRongyuan CX-N (basats en SONiC-) combina l'equilibri per-flux ECMP i Flowlet-. Introdueix WCMP dinàmic (Cost ponderat per camins múltiples) i ALB basat en Flowlet-(Auto Load Balancing) [1].

 

Mesura de la qualitat del camí

El sistema avalua la qualitat del camí de la xarxa mitjançant factors que afecten fortament els teixits del clúster d'IA, com ara la utilització de l'ample de banda, la utilització de la cua i la latència de reenviament .

Comptadors estadístics

L'ample de banda i la utilització de la cua es mesuren mitjançant comptadors de maquinari ASIC amb precisió al nivell de cent-mil·lisegons. L'ASIC registra els-reenviaments de ports i els comptadors de reenviaments de cua-en temps real. El pla de control SONiC llegeix els comptadors a través de la interfície SAI amb una precisió inferior a -segons i els emmagatzema a Redis. El procés de control de l'encaminament-avalua la qualitat de la interfície mitjançant aquests comptadors i anuncia el resultat mitjançant BGP. Per limitar la càrrega del pla de control-, els anuncis s'envien actualment a intervals de segon-nivell, amb una mitjana ponderada aplicada a diverses mostres; les mostres més recents reben més pes.

 

A-Telemetria de banda

La mesura del retard de reenviament-es basa en INT (telemetria de xarxa dins-banda) i pot assolir una precisió de nivell-nanosegons. HDC (High Delay Capture) captura paquets que experimenten una alta latència dins de l'ASIC. Quan un paquet supera un llindar de retard definit per l'usuari-, el commutador envia els primers 150 bytes del paquet original juntament amb metadades, inclosos el port d'entrada, el port de sortida i la latència, a un col·lector. En aquest disseny, la CPU actua com a col·lector i analitzador HDC, permetent mesuraments de retard d'enviament d'alta-precisió-i una avaluació de la qualitat del camí-més precisa.

 

3

Figura 3. Propagació de la qualitat del camí-i instal·lació de WCMP.

 

La tecnologia utilitza un nou atribut de comunitat ampliada de BGP-, Path Bandwidth Extended Community, per indicar la qualitat agregada d'un camí cap a una destinació. El byte d'ordre superior-del camp de tipus-estès és 0x00 i el byte de -ordre inferior és 0x05. Al camp de valor, el subcamp Administrador global representa el número AS. La qualitat del camí es codifica en quatre bytes utilitzant el format{10}}de coma flotant IEEE i s'expressa en GB/s .

Quan NIC1 es comunica amb NIC2, NIC2 anuncia primer la seva adreça IP a Leaf2. Leaf2 anuncia l'adreça a la columna vertebral juntament amb el valor de qualitat de l'enllaç-cap a NIC2 multiplicat pel pes de l'enllaç descendent de Leaf2. La columna vertebral afegeix la seva pròpia qualitat d'enllaç ponderada i passa el valor acumulat a Leaf1. Leaf1 resumeix la qualitat del camí i instal·la rutes que guien el reenviament. En un teixit-Full-de dos nivells, els ports es classifiquen com a enllaços amunt de fulla, enllaços de baixada de fulla i ports de columna vertebral, amb coeficients de càlcul configurables per a cada classe.

 

WCMP dinàmic

L'equilibri de càrrega distribueix el trànsit entre diversos enllaços. En entorns d'IA, això és essencial per construir un teixit Ethernet sense pèrdues amb una pèrdua mínima de paquets, latència i degradació del rendiment. ECMP és el mecanisme convencional dels centres de dades. WCMP amplia ECMP mitjançant la distribució

trànsit proporcional entre els enllaços. En l'encaminament intel·ligent dinàmic, els pesos WCMP s'ajusten en temps real segons la qualitat del camí. Per exemple, si existeixen dos camins entre NIC1 i NIC2, el sistema pot calcular una proporció de 3:7. A mesura que canvia el trànsit, la informació de qualitat del camí-actualitzada es propaga a través de BGP a cada commutador Leaf, on es generen rutes WCMP dinàmiques per guiar el reenviament .

 

Eliminació de camins anormals

Quan la qualitat agregada d'un camí cau per sota d'un llindar acordat, el camí es considera inutilitzable per a la càrrega de treball d'IA i s'elimina del reenviament. Els camins restants continuen transportant trànsit a través del WCMP dinàmic. Un cop el camí torna a la normalitat, es recupera. Tot i que això pot deixar temporalment una mica de capacitat sense utilitzar, prevé una congestió més greu i la pèrdua de paquets [1].

 

Equilibri intel·ligent de càrrega (ALB)

ALB proporciona una distribució de càrrega-basada en Flowlet. L'ASIC mesura la càrrega i la latència en diferents ports en temps real i dirigeix ​​cada Flowlet a l'enllaç amb menor càrrega o menor retard. Això afegeix una-programació més precisa a l'ECMP tradicional. ALB també admet la migració per error de ports i redistribueix automàticament el trànsit quan falla un enllaç de sortida [1].

 

Virtualització

Les xarxes frontals-sovint necessiten suport per a diversos-inquilins perquè es puguin assignar diferents recursos de GPU a diferents usuaris. La solució utilitza VRF (Virtual Routing and Forwarding) per aïllar els inquilins, amb un VRF assignat a cada usuari. Les subxarxes relacionades amb la GPU-es col·loquen al VRF de l'usuari i les ACL PRE a l'ASIC classifiquen el trànsit d'entrada de manera que el trànsit de cada usuari es reenviï només dins del VRF corresponent [1].

 

Escenaris d'aplicació

 

1.Com el WCMP dinàmic absorbeix les pujades de trànsit

Per a un teixit amb 256 ports de GPU de 400 G, es pot dissenyar una arquitectura Clos de dos-nivells amb una relació de convergència d'enllaç descendent-a{-1:1 per mantenir un alt rendiment, una amplada de banda elevada i una capacitat simètrica. Els models de producte adequats inclouen XingRongyuan CX864E-N o CX732Q-N [1]. Sota l'ECMP convencional, un nombre reduït de fluxos d'elefants d'IA poden afectar a la mateixa columna vertebral, provocant congestió de l'enllaç ascendent o pèrdua de paquets. El WCMP dinàmic ajusta contínuament la distribució del trànsit segons la qualitat de la ruta-en temps real, reduint els augments de trànsit i evitant la congestió [1].

 

2.Flowlet-Nivell d'equilibri de càrrega

En el mateix teixit de GPU de 256 x 400 G, no tots els dispositius o càrregues de treball es troben millor amb WCMP dinàmic. L'interruptor pot seleccionar dinàmicament l'ALB basat en Flowlet-. L'ALB mesura la càrrega i la latència dels enllaços del grup ECMP i envia Flowlets als enllaços amb menor utilització o retard. Si una interfície es sobrecarrega o augmenta el seu retard d'enviament, l'ASIC evita automàticament aquesta sortida fins que les condicions tornin a la normalitat [1].

 

Disseny i planificació de xarxes d'IA

 

Els serveis d'IA generalment inclouen tres etapes: recollida i preprocessament de dades, formació de models i inferència d'IA. Cada etapa imposa requisits diferents a la xarxa.

 

1.Recollida i pretractament de dades

Una xarxa de preprocessament i recollida de dades de formació-global ha de proporcionar recursos d'ample de banda i IP públics elàstics i a gran-escala perquè es puguin recopilar conjunts de dades en brut massius de manera eficient des d'Internet global. El disseny ha de garantir una transmissió segura i estable alhora que millora l'agregació de dades i el rendiment del preprocessament [2].

 

1.1 Segmentació de VPC

El disseny de VPC per a la recollida de dades basada en el núvol-ha de seguir els principis mínims-privilegis, aïllament en capes, control de seguretat i escalabilitat elàstica. Es poden utilitzar múltiples VPC o diverses subxarxes dins d'una única VPC [2].

  • Segmenta per fase de servei: desplega la recollida de dades, el preprocessament, l'emmagatzematge, la formació i la inferència en subxarxes o VPC separades. Col·loqueu punts d'entrada de recollida en una VPC o subxarxa pública DMZ; col·locar dades de preprocessament i temporals en un VPC de processament dedicat; col·loqueu dades en brut sensibles i formació en IA en un VPC d'alta-seguretat sense accés públic directe.
  • Aïlla per nivell de seguretat: creeu VPC o subxarxes de seguretat-, mitjana- i baixa-seguretat i utilitzeu grups de seguretat, ACL de xarxa i connectivitat privada per controlar el trànsit entre-VPC i subxarxa entre-.
  • Aïllament per llogater o projecte: assigneu VPC independents a diferents llogaters o projectes per aïllar recursos, xarxes i dades.

 

1.2 Xarxa de sortida de recollida de dades

Passarel·la NAT: utilitzeu un conjunt d'EIP i SNAT a través d'una passarel·la NAT, permetent als programes de recollida accedir a Internet des d'adreces IP públiques seleccionades aleatòriament.

Proxy-construït per compte propi: implementeu servidors intermediaris que mantenen les assignacions entre els processos de recollida i les adreces IP públiques, i distribueixen una única sol·licitud de recollida entre diversos servidors intermediaris.

Proveïdor de serveis IP: connecteu-vos a un proveïdor de serveis IP a través de la xarxa privada del núvol per obtenir un cost més baix, una seguretat controlada i una qualitat estable [2].

 

1.3 Agregació i preprocessament de dades entre -regions

Seleccioneu la regió OSS d'acord amb el-pla de clúster de preprocessament i creeu una-VPC d'agregació de dades a la mateixa regió. Creeu un encaminador de trànsit (TR) a cada regió, connecteu VPC locals i interconnecteu els TR perquè els VPC de recollida regional puguin accedir directament a l'OSS central. Serveis com ara PAI-iTAG, MaxCompute i Flink poden realitzar l'etiquetatge i el preprocessament de dades a la regió OSS [2].

 

2. Model de Xarxa de Formació

La xarxa de-formació del model està estretament integrada amb la xarxa de recollida i preprocessament per formar un teixit global que connecta els centres de dades del núvol, els nodes perifèrics i els IDC-locals.

La interconnexió d'alta-velocitat proporciona un moviment de dades de baixa-latència i-alt rendiment, mentre que l'ample de banda, les polítiques de seguretat, els controls d'accés i la recuperació de desastres s'han de dissenyar de punta a punta [2].

  • Agrupació de càlculs entre-regions-clústers: un encaminador de trànsit connecta diversos VPC dins de la mateixa regió. Els ENI del servidor es connecten als commutadors VPC i es poden configurar per al rendiment i RDMA requerits.
  • Grup de computació en-núvol creuat: circuits dedicats connecten un IDC o un altre núvol a un VPC de la mateixa-regió. Els VBR del núvol d'Alibaba es connecten a la capa 3 al dispositiu igual, amb BGP, BFD i una ràpida migració per error per a una convergència ràpida.

Grup de càlcul global: els enllaços entre-regions entre TRs s'aprovisionen segons el trànsit màxim entre-regions, amb QoS entre-regions opcional per crear un grup de càlcul unificat entre regions [2].

 

3. Xarxa de serveis-Global Inference

Una xarxa d'inferència global selecciona models de desplegament segons els recursos i serveis al núvol disponibles a cada regió i proporciona una distribució i un accés eficients del servei [2].

  • Implementació de model o agent: utilitzeu el desplegament MaaS de Model Studio, el desplegament PAI-EAS o Function Compute PaaS o el desplegament IaaS a la infraestructura de metall nu-EGS, ACK, ACS o Lingjun dins de la VPC del client.
  • Distribució del servei: creeu una-VPC de distribució d'inferència i connecteu xarxes privades mitjançant VPC Peering, VPC-de serveis al núvol associats o PrivateLink. Desplegueu ALB o ALB millorat com a punt d'accés i sol·licituds de proxy a diferents models o agents.
  • Accés al servei: els usuaris locals d'Internet poden accedir directament a l'ALB millorat; els usuaris remots poden utilitzar Global Accelerator (GA); Els usuaris empresarials interns o externs d'Alibaba Cloud es poden connectar de manera privada mitjançant PrivateLink.

 

Conclusió i perspectives

 

Aquest llibre blanc explica els reptes als quals s'enfronten les xarxes IDC a l'era de la IA i com l'encaminament intel·ligent dinàmic pot abordar-los. La consciència dinàmica, la presa de decisions-intel·ligents, la virtualització WCMP, ALB i VRF milloren l'eficiència de l'equilibri de càrrega-, redueixen la congestió i la pèrdua de paquets i acceleren l'entrenament i la inferència d'IA. La secció de planificació posa èmfasi en la segmentació de VPC, el disseny-de sortida de col·leccions, l'agregació i el preprocessament entre -regions, la formació de models i la distribució d'inferències globals. A mesura que la IA segueixi evolucionant, les xarxes de centres de dades s'enfrontaran a requisits més estrictes. L'encaminament intel·ligent dinàmic continuarà millorant per a la IA de punta, l'aprenentatge federat i altres escenaris complexos. Les futures xarxes IDC posaran més èmfasi en la-convergència de la xarxa informàtica, l'eficiència energètica i les operacions automatitzades, creant una base més intel·ligent, eficient i fiable per a l'economia digital.

 

Referències

Document font tècnic proporcionat per l'usuari-.

Llibre blanc d'Alibaba Cloud AI Network. Accés el 27 de maig de 2026.

https://help.aliyun.com/zh/cloud-xarxa-ben-arquitectura-disseny/alibaba-núvol-ai-xarxa-document blanc-

 

 

Enviar la consulta