¿Por qué es importante PCI Express para  la comunidad de interconexiones de cobre y fibra óptica?
PCI Express es el sistema bus principal que conecta a los microprocesadores de servidores Intel con los periféricos y tarjetas de red. Junto con las mejoras de los microprocesadores, la arquitectura PCI Express es la esencia de los servidores de los centros de datos, de los dispositivos de almacenamiento, switches y periféricos. Los cambios hechos aquí, como el de Marzo de 2012- introducción “Romley” y las actualizaciones recientes para la arquitectura PCI Express Gen3 tienen grandes impactos en el ciclo de actualización de hardware del centro de datos. Estos son los elementos “atómicos” que desencadena el ciclo de actualización de la industria de interconexión desde 1G a 10G en el enlace del servidor al switch y desde 10G a 40G en los enlaces superiores del rack hacia el enlace de red metropolitana usando transceptores 40G y 100G LR4.

En el informe de LightCounting sobre 10GBASE-T se explica el modelo de actualización de Intel llamado “tick-tock”. Mediante el seguimiento de este ciclo de actualización junto con el ciclo de actualización del iPhone/iPad de Apple, se puede modelizar como todo lo que hay entre medias, se acualiza,  desde el acceso inalámbrico y backhaul, de la red metropolitana, de larga distancia, y televisión por cable por Internet, a través de todo el camino hasta el centro de datos, al servidor MPU y a las infraestructuras de almacenamiento. Intel fabrica los servidores y Apple hace que los clientes - todo el trabajo en red está entre medias, AMD, Google, Samsung, etc, todo sigue a estos líderes del mercado. Se puede ver el Tick-Tock de Intel y las actualizaciones de Apple como los “relojes atómicos” para el centro de datos.

PCI Express presenta la especificación de cableado para 4x8G a un enlace cobre-óptico a 3 metros
PCI-SIG (Grupo de Interés Especial de PCI Express), es un grupo industrial independiente para mejorar el sistema bus usado en muchos ordenadores. Aunque PCIe ha sido principalmente una tecnología “dentro del chasis”, ahora se mueve fuera de él. PCI-SIG anunció avances correspondientes a la interconexión de alta velocidad, la conmutación y de la comunidad de  servidores para centros de datos:

•    PCIe OCuLink - un nuevo esquema de chasis interno y externo de interconexión que soporta apoyo 1,2 y 4-canales a 8G hasta de 3 metros sobre un medio de cobre u óptico a 32G. Con Gen4 y señalización 16G soporta 4x16G o 64G
•    PCI Express Gen 4 - ofrece señalización de 16G por línea y 16 líneas por servidor 256Gbps E/S -~2016.

En pocos años, los servidores necesitarán enlaces ascendentes 100G. ¿Cómo conseguirá la industria satisfacer esta necesidad de interconexión? Entonces, ¿OCuLink se convierte en una nueva oportunidad para el cobre y la fibra óptica¿, ¿u otro nivel de estándar de interconexión y conector para el desafío Ethernet, SAS, Fibre Channel, InfiniBand?.  ¿Es una amenaza para eliminar todo lo anterior? Al hablar con nuestros clientes, consideramos algunos de los acalorados debates!

OCuLink - Un nuevo esquema de interconexión Nuevo - ¿Impacto en el cableado/transceptores existentes en los centros de datos?
Al parecer, no hay cableado, conectores y protocolos lo suficientemente diferente en los centros de datos para mover los 1s y 0s digitales.  Una especificación completa saldrá el próximo año y un conector aún no definido, que forma parte de la especificación Mini CEM (Tarjeta Electro-Mecánica). También es compatible con el SFF-8639 para SATA y SAS. LightCounting supone que se parecen mucho a un conector USB de 4 canales, potencia, planos y pequeños - no del estilo habitual de monstruoso iPass ó QSFP.

Otra de las novedades es un esquema de integración de reloj de espectro de propagación independiente paraa hacer frente al desafío del nivel de sistema clave en la extensión de PCIe fuera del chasis - distribución de reloj entre sistemas separados. PCIe Gen3 deja la codificación 8b/10b para una velocidad más rápida con 128b/130b con casi ninguna penalización de sobrecarga en el rendimiento, a pesar del -20% con 8b/10b. Esto significa que un enlace 4x10G utilizando 8b/10b, tales como InfiniBand o Ethernet, es tan rápido como un enlace PCI Express en 4x8G con corrección de errores más rápido.

InfiniBand se ha hecho nombre al proporcionar una pila de protocolos muy pequeña en comparación con Ethernet. InfiniBand tiene una latencia muy corta de <900 ns en comparación con Ethernet a 3-4-us y 1-2-us con un protocolo de corte. Como resultado, InfiniBand es popular con superordenadores. Pero PCI Express va a ~ 600-ns en latencia. Infiniband, Ethernet Fibre Channel, SATA, SAS, etc tienen que convertir desde PCI Express fuera del servidor para el protocolo específico y luego otra vez de vuelta en un tramo de sólo 1-3 metros. Esto añade una gran cantidad de costes, latencia, complejidad y consumo de energía en un simple enlace corte de subsistema

OCuLink es claramente una respuesta al enlace Intel Thunderbolt, que ya está disponible en Apple y PCs de Windows y estrechamente controlado por Intel junto con los chips de protocolo del router en las placas base de los dispositivos en cada extremo. OCuLink es una oportunidad de convertirse en un estándar de interconexión que está abierto a la industria para servidores dentro y fuera, sistemas de almacenamiento en centros de datos y HDTVs, PCs, tablets y teléfonos inteligentes en el espacio del consumidor. Si bien hoy en día, Thunderbolt está diseñado para transportar señales de video a través de PCIe, el chip del router que se encuentra en la tarjeta principal en cada extremo será capaz de transferir Ethernet, USB y casi cualquier protocolo a través de PCIe. AMD tiene su esfuerzo “Lighting Bolt” que utiliza el protocolo 5G USB en lugar de PCI Express. Estos enlaces sólo necesitan ser fortalecidos y encontrarán su camino en los servidores de enlace de los centros de datos y subsistemas de almacenamiento. Los elevados volúmenes generados por el espacio de los consumidores permitirá unos precios muy bajos. Otros esquemas de interconexión para tramos cortos, como conexión directa de cobre, 10GBASE-T, y AOCs basados en VCSEL encontrarán muy dura esta competencia de precios.

Thunderbolt es actualmente una interconexión orientada al video para consumo que se ejecuta en dos líneas de 10G cada una y puede conectar dispositivos en cadena. OCuLink está siendo diseñado desde el inicio para servidores/subsistemas y mercados de consumo (no hay información sobre la conexión en cadena o canales de energía). Es probable que OCuLink sea incluido en las placas base de los servidor en el futuro y tal vez compita  con Thunderbolt (y Lightning Bolt). OCuLink pueden llegar a ser un competidor muy veloz y de bajo coste para todo, desde USB a Thunderbolt pasando por la fijación directa de cobre, SAS, y AOCs de SFP+ para la zona de <10 metros. Los productos de cableado es probable que estén fuera en los próximos 18-24 meses.

Los rumores alrededor de la fotónica de silicio de Intel nos llevan a creer que una línea dual de 28G Thunderbolt estará disponible en 2015, a tiempo para la próxima generación de MPUs y PCI Express Gen4. Es muy probable que un enlace 2x28G se centrará en los centros de datos y no el consumidor. Hoy en día, Thunderbolt utiliza cable coaxial y un chip activo en cada extremo para abarcar 2 metros. Sumitomo anunció un AOC Thunderbolt de 100 metros usando VCSELs 10G y TIAs, LDs, etc. Las versiones de 2015 de Intel pueden incorporar láseres de silicio híbridos  III-V integrados en un solo chip fotónico de silicio (al menos esto lo que el vídeo de YouTube de Intel dice). Cuando se producen en volúmenes muy elevados para el PC, esta tecnología también se puede aplicar a los servidores de enlace de los centros de datos con los switches top-of-rack , sistemas de almacenamiento SAS y GPUs utilizados para el cálculo en lugar de los gráficos.

Impacto en los sistemas del centro de datos
PCI Express se utiliza para conectar los subsistemas. OCuLink podría redefinir  la definición de “subsistemas”. En lugar de estar separados por 20-pulgadas, ahora, cada subsistema podría estar separado 3 metros (usando cobre), 15 metros (con extremos activos), 100 metros utilizando AOCs y de un lado a otro del océano con la infraestructura óptica. (Un nuevo enlace óptico submarino transatlántico instalado para el comercio de alta velocidad, permite enlazar la Bolsa de Nueva York y Europa en 23 ms. ¿Qué tal un servidor de enlace transatlántico con un switch top-of-rack?). Cuando OCuLink tenga una baja latencia (600-ns), un largo alcance (+ de 100 metros) y ancho de banda (32G Gen3 o 64G Gen4), lo que ahora se define como un subsistema podría implicar un sistema centro de datos “rack o fila.” Los servidores directamente vinculados a switches de final de fila con AOCs, SAS y SATA Express también usando PCI Express, como capa de transporte que une las bahías SSD, SSD/HDDs, tarjetas PCI Express-FLASH y clústeres GPU - también podrían considerarse como el “subsistema”. Casi más del 80% de todo el tráfico del centro de datos se encuentra hoy dentro de esta fila subsistema. Esta transición no ocurrirá en un día, pero el potencial está ahí para cambiar una gran cantidad de componentes y cambiar el poder económico de la empresa. Comenzarán muchos debates sobre exactamente donde debe residir el protocolo Ethernet y Fibre Channel - en el servidor, top-of-rack o en el switch de final de fila.

En pocas palabras: OCuLink representa una nueva oportunidad para los proveedores ópticos, de cableado de conectores. Cada protocolo y MSA tendrá su lugar, la preferencia del usuario final, es probable que mantenga su propia infraestructura de software. Probablemente uno de los temas más importantes para continuar con la infraestructura existente es “compatibilidad retroactiva” con los protocolos existentes e interconexiones. Pronto, en el centro de datos habrá Thunderbolt, Lighting Bolt y OCuLink PCIe añadido a la mezcla, cada uno con nuevos conectores. SATA y SAS van hacia PCI Express en capa 1. Fibre Channel ha experimentado un crecimiento significativo y tuvo un impacto muy limitado por Fibre Channel sobre Ethernet (FCoE). InfiniBand ha obtenido ganancias significativas de popularidad en los centros de datos de alta gama. La Tecnología PLX ha sido un gran defensor de los enlaces PCIe ópticos (ver video SSC en el sitio web de PLX) y ha mostrado varias demos con productos Avago Micropod y McLink mostrando un USB óptico y Mini-SAS HD.

Mientras que el jurado está fuera de si, PCI Express puede convertirse en un enlace de transmisión del protocolo real en lugar de un bus de sistema, las mega-fuerzas de la industria están moviendo PCI Express en esta dirección. Los cambios reales probablemente se producirán si PCI Express extiende lo que se define como un subsistema fuera del chasis, tal vez a un centro de datos de fila.

Autor:

Brad Smith, Vicepresidente y Analista Jefe de Data Center Interconnects

Más información o presupuesto