Módulos ópticos 400G em redes modernas

 

As guerras do fator de forma que ninguém ganhou

 

QSFP-DD e OSFP surgiram do processo de padrões como dois irmãos que não conseguiam concordar em nada, exceto que ambos queriam 400G. A indústria precisava de oito faixas elétricas de 50 Gbps cada, e dois consórcios diferentes decidiram resolver esse problema de duas maneiras diferentes.

QSFP-DD venceu o argumento de compatibilidade. Ele se encaixa nas gaiolas QSFP28 existentes se você apertar os olhos com força suficiente e não se importar com a segunda fileira de pinos. A compatibilidade com versões anteriores é importante quando você tem dezenas de milhares de portas implantadas e um CFO que faz perguntas pontuais sobre ativos ociosos.

OSFP venceu a discussão térmica. A caixa um pouco maior e o dissipador de calor integrado significam que você pode dissipar os 15-20 watts que esses módulos consomem sem queimar as portas adjacentes. Já vi placas de linha em que as portas QSFP-DD dos cantos funcionam consistentemente 8 graus mais quentes do que as do meio porque o design do fluxo de ar pressupõe envelopes de energia de 100G.

Nenhum dos dois realmente ganhou. A maioria dos hiperescaladores optou por QSFP-DD para simplificar o inventário. A maioria das implantações de telecomunicações passou a OSFP porque seus módulos coerentes precisavam de espaço térmico. Todos os outros escolheram o que o fornecedor do switch enviou e seguiram em frente.

A variante QSFP112 merece destaque porque confunde a todos. Quatro pistas de 100 G cada-mesmo agregado de 400 G, menos pistas, SerDes mais recentes. É importante para a conectividade NIC onde você deseja links-de servidor-TOR sem a complexidade da caixa de engrenagens DSP. Importa menos do que os fornecedores afirmam em outros lugares.

 

PAM4 mudou tudo (e quebrou algumas coisas)

 

Aqui está o que ninguém explica adequadamente quando está vendendo 400G: a sinalização PAM4 troca imunidade a ruído por eficiência de largura de banda, e essa compensação não é gratuita.

A codificação NRZ usou dois níveis de sinal. Alto ou baixo. Um ou zero. Seu receptor só precisava distinguir entre esses dois estados, e o diagrama ocular lhe proporcionou margens confortáveis. O PAM4 usa quatro níveis-00, 01, 10, 11-o que significa que seu receptor agora precisa distinguir entre três cruzamentos de limite com um terço da separação de tensão. A penalidade teórica de 9,54dB SNR não é nada teórica. Ele aparece em seus contadores pré-FEC BER todos os dias.

O DSP dentro de um módulo 400G faz um trabalho heróico para compensar isso. Equalização-de avanço, equalização de feedback de decisão, relógio e recuperação de dados-tudo rodando a 53,125 GBaud por pista. Quando funciona, é invisível. Quando isso não funciona, você obtém explosões de erros corrigíveis pontuados por erros ocasionais incorrigíveis, e boa sorte para descobrir se o problema é seu módulo, sua fibra, seu host ou a radiação cósmica de fundo.

 

 

Variantes de comprimento de onda: mais do que apenas alcance

 

As especificações de alcance contam apenas parte da história.

400G-SR8 usa VCSELs de 850 nm em oito fibras paralelas, visando 100 metros acima do OM4. É barato. É multimodo. Requer um conector MPO-16 com oito fibras TX e oito RX. Dentro de um rack ou entre racks adjacentes, isso funciona bem. No momento em que alguém perguntar sobre ir “um pouco mais longe”, lembre-o de que a dispersão modal em 850 nm não negocia.

O 400G-DR4 opera a 1310 nm em quatro fibras paralelas-de modo único, classificadas para 500 metros. O conector MPO-12 usa as oito fibras externas e deixa quatro não utilizadas-um fato que confunde os instaladores de cabos aproximadamente uma vez por implantação. O DR4 se tornou o carro-chefe da conectividade leaf{12}}spine em plantas monomodo porque 500 metros cobrem a maioria das geometrias de datacenter com espaço de sobra.

400G-FR4 usa comprimentos de onda CWDM4 (1271, 1291, 1311, 1331nm) multiplexados em um único par de fibra via LC duplex. Alcance de dois quilômetros. É aqui que o 400G começa a parecer econômico para interconexões de campus, porque você não puxa oito -troncos MPO de fibra entre edifícios.

400G-LR4 amplia a mesma abordagem CWDM4 para 10 quilômetros com maior potência de lançamento e melhores receptores. O salto de preço de FR4 para LR4 ainda surpreende os departamentos de compras que não atualizaram seu modelo mental de preços de 100G-LR4.

 

O Elefante Coerente

 

400G-ZR merece sua própria seção porque representa uma tecnologia fundamentalmente diferente vestida no mesmo formato.

Tudo o que descrevi até agora usa óptica de detecção-direta. A luz entra, o fotodiodo a converte, o DSP a limpa. A óptica coerente codifica informações em amplitude e fase em duas polarizações simultaneamente e, em seguida, usa um oscilador local e um sofisticado processamento de sinal digital para recuperar tudo no receptor. O resultado: 400 Gbps em 120+ quilômetros de fibra não amplificada em um módulo conectável.

O padrão OIF 400ZR especifica modulação 16QAM a 60 GBaud com polarização dupla. O FEC concatenado (decisão suave-de Hamming interno, escada externa-de decisão difícil) fornece cerca de 10,8dB de ganho líquido de codificação. A coisa toda consome 15-20 watts e gera um calor que faria um módulo QSFP-DD chorar.

Já vi módulos ZR instalados em switches que não foram projetados para essa carga térmica. O chassi do switch relatou temperaturas normais porque seus sensores de entrada mediram o ar frio. O módulo relatou 73 graus porque estava imprensado entre dois outros módulos ZR com fluxo de ar inadequado. O link funcionou-quase-com correções de FEC elevadas que ninguém notou até que a tendência pré-FEC BER ultrapassasse o limite e os pacotes começassem a cair.

As variantes ZR+ e MZR aumentam ainda mais o alcance às custas da interoperabilidade. Aprimoramentos-específicos do fornecedor para potência de lançamento, sensibilidade do receptor e algoritmos FEC podem estender os links além de 400 km, mas você está comprando uma solução em vez de uma mercadoria.

 

 

A questão-de terceiros

 

Já tive essa conversa cerca de seiscentas vezes.

"Podemos usar óptica 400G de terceiros-?"

Tecnicamente sim. As especificações MSA existem precisamente para permitir a interoperabilidade de vários-fornecedores. Um QSFP-DD compatível do fabricante X deve se comportar de forma idêntica a um do fabricante Y. Os padrões IEEE definem os parâmetros ópticos e elétricos. CMIS (Common Management Interface Specification) padroniza como o host se comunica com o módulo.

Praticamente, depende.

Os mecanismos de autenticação da Cisco evoluíram da abordagem direta de "erro-desativar a porta" das plataformas mais antigas para uma verificação mais sofisticada do fornecedor que registra avisos, mas não necessariamente desativa a funcionalidade. O comando do transceptor-de serviço não suportado continua sendo a saída de emergência. Arista tende a ser mais permissiva, mas se recusará a oferecer suporte a problemas que possam surgir de módulos-de terceiros. A postura da Juniper varia de acordo com a plataforma e a versão do software, exigindo a consulta de suas matrizes de compatibilidade.

Eu executo óptica-de terceiros em ambientes de laboratório sem hesitação. Para caminhos de produção que transportam tráfego de receita às 2h, quando algo falha? Quero poder ligar para o TAC e fazer com que eles realmente ajudem, em vez de desviar imediatamente para "substituir por transceptores suportados".

A matemática dos custos altera esse cálculo para hiperscaladores que compram módulos às dezenas de milhares e empregam engenheiros ópticos que podem caracterizar e qualificar fornecedores de forma independente. A matemática é diferente para empresas que compram centenas de módulos através de canais de distribuição com recursos técnicos limitados.

 

Realidade Térmica

 

Um módulo 400G QSFP-DD consome algo entre 10 e 15 watts, dependendo da variante e do fornecedor. Um módulo ZR coerente de 400G consome 15-20 watts. Um-módulo DD800-QSFP de 800G já implantado em clusters de IA consome de 18 a 25 watts.

Coloque 64 deles em um switch 2RU e você terá 640 watts apenas da óptica antes de contabilizar o ASIC do switch, memória, ventiladores e fontes de alimentação. O problema do projeto térmico passou de “adequado” para “crítico” em uma única geração.

Observei uma câmera de imagem térmica varrer um-switch de coluna 400G totalmente carregado durante um teste de qualificação. Os módulos mais interessantes não eram os que você esperava. As posições de canto, na direção do vento do escapamento ASIC, esquentavam mais do que os módulos centrais da placa frontal que recebiam ar fresco. As leituras de temperatura padrão do DDM mostraram uma dispersão de 17 graus entre portas que eram supostamente idênticas.

As especificações do módulo prometem operação de 0 a 70 graus, mas as curvas de desempenho não parecem as mesmas em 70 graus e em 25 graus. A corrente limite do laser aumenta. A eficiência da inclinação diminui. Desvios de comprimento de onda-e para sistemas CWDM4 e DWDM, desvios de comprimento de onda significam diafonia com canais adjacentes.

Os sistemas-refrigerados a ar estão chegando ao limite. O resfriamento líquido para switches permanece exótico, mas cada vez mais necessário para clusters de IA/ML onde GPUs e ópticas competem pelo mesmo orçamento térmico.

 

 

Testando Realidades

 

Os padrões IEEE definem pontos de conformidade. Eles não garantem que seu link específico funcionará.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) é o equivalente PAM4 do OMA (Optical Modulation Amplitude), mas é mais complicado. Ele tenta caracterizar a qualidade do transmissor de uma forma que preveja o desempenho do receptor. A medição requer receptores de referência e transformações matemáticas que variam entre os fornecedores de equipamentos de teste de maneiras que causam intermináveis ​​debates no comitê de padrões.

Os testes pré{0}}FEC BER são mais importantes do que nunca. A "impressão digital" de seus erros de bits-aleatórios versus intermitentes, distribuídos uniformemente versus concentrados em símbolos PAM4 específicos-determina se seu FEC pode realmente corrigi-los. Erros aleatórios verdadeiros funcionam bem com os códigos Reed{6}}Solomon. Erros de burst devido a problemas de recuperação de clock ou mau comportamento do DSP podem sobrecarregar o FEC mesmo quando o BER bruto parece aceitável.

Aprendi a exigir estatísticas pré-FEC de cada link 400G, não apenas pós-FEC. Um link mostrando 0,00 pós-FEC BER durante a execução pré-FEC BER em 2×10⁻⁴ parece ótimo até você perceber que quase não há margem restante. Adicione um conector ligeiramente sujo ou um laser envelhecido e esse link tombará no penhasco do FEC sem aviso prévio.

 

Contaminação do Conector

 

Em 400G o problema de contaminação torna-se agudo. O olho modulado tem menos margem. Partículas que seriam invisíveis em velocidades mais baixas agora são atenuadas o suficiente para serem importantes.

Os núcleos de fibra-monomodo têm 9 micrômetros de diâmetro. Um conector MTP/MPO-12 carrega oito caminhos de fibra ativos (quatro TX, quatro RX) mais quatro não utilizados. Cada ciclo de acasalamento corre o risco de contaminação. Cada face final contaminada corre o risco de perda de inserção que prejudica seu orçamento de links.

A disciplina de limpeza exigida não é{0}negociável, mas raramente é seguida de forma consistente. Limpadores de um{2}}clique, lenços secos com preocupações estáticas, limpeza úmida com álcool isopropílico que deve ser enxugado imediatamente em vez de evaporar-todos os métodos têm adeptos e críticos. O que todos concordam: inspecione com um osciloscópio de fibra antes de conectar e, se estiver sujo, limpe e inspecione novamente.

Observei uma equipe de implantação passar uma tarde inteira solucionando problemas em um link DR4-intermitente de 400G. Trocas de vários módulos. Revisões de configuração. Finalmente abri o escopo da inspeção e encontrei detritos de construção no adaptador do anteparo que ninguém havia pensado em verificar. Vinte segundos com uma ferramenta de limpeza consertaram o que quatro horas de solução de problemas não conseguiram.

 

 

O que tudo isso significa para o planejamento

 

Se você estiver implantando uma nova malha de datacenter hoje, 400G será a linha de base para a camada de coluna e, cada vez mais, para uplinks de coluna-de folha. O custo por bit caiu para onde o breakout 4×100G de um módulo 400G costuma ser mais barato do que módulos individuais de 100G. DR4 para qualquer coisa acima de 30 metros dentro de um edifício. FR4 para interconexões de campus. LR4 ou ZR se você estiver acessando entre sites.

Se você é uma empresa que está pensando em implementar sua primeira implantação de 400G, as plataformas de comutação amadureceram, a cadeia de fornecimento de módulos se estabilizou e o preço não exige mais a aprovação-do executivo em cada pedido de compra. Comece com uma atualização-da espinha dorsal, prove que sua infraestrutura de cabeamento pode lidar com a tolerância mais rígida à contaminação e entenda que suas ferramentas de gerenciamento precisam começar a coletar estatísticas de FEC antes que você realmente precise delas.

Se você é um hiperescalador lendo isso, já ultrapassou os 400G para clusters de GPU e está se perguntando como o 1.6T será realmente implantado. Boa sorte com os problemas térmicos; Lerei seus artigos em dois anos.

Os próprios módulos tornaram-se extremamente confiáveis. Os problemas estão em todos os outros lugares: conectores contaminados, modos FEC mal configurados, projetos térmicos que assumiram os envelopes de energia de ontem e organizações de suporte que ainda estão aprendendo como solucionar problemas de integridade do sinal PAM4. Os fundamentos nada glamorosos-limpam seus conectores, medem suas temperaturas, entendem seu orçamento FEC-são mais importantes do que os debates sobre folhas de especificações jamais serão.