Light meets the switch chipÁnh sáng gặp chip chuyển mạch

One switch in an AI data center can move 51.2 terabits of data every second. That data is born as electricity inside the switch chip and leaves as light in a fiber, but on the way it still has to cross a stretch of copper. At today’s speeds that short stretch costs a surprising amount of power, and the newest switches are rebuilt around getting rid of it.

Một bộ chuyển mạch trong trung tâm dữ liệu (data center) AI có thể chuyển 51,2 terabit dữ liệu mỗi giây. Dữ liệu ấy sinh ra dưới dạng điện bên trong con chip chuyển mạch và rời đi dưới dạng ánh sáng trong sợi quang, nhưng dọc đường vẫn phải đi qua một đoạn dây đồng. Ở tốc độ ngày nay, đoạn ngắn ấy tốn điện đến bất ngờ, và những bộ chuyển mạch mới nhất được thiết kế lại chính là để loại bỏ nó.

In this chapter

Trong chương này

• What a pluggable optical module does, and why its trip across the circuit board is the problem
• Where the power goes, and why saving it pays twice
• How co-packaged optics moves the light right next to the switch chip
• The two problems still open: the light source and the heat
• Why radio waves cannot take fiber’s place inside a data center

• Module quang cắm rời làm gì, và vì sao quãng đường băng qua bo mạch của nó lại là vấn đề
• Điện năng đi đâu, và vì sao tiết kiệm được nó lại có hiệu quả kép
• Co-packaged optics đưa ánh sáng đến sát chip chuyển mạch như thế nào
• Hai bài toán vẫn còn bỏ ngỏ: nguồn sáng và nhiệt
• Vì sao sóng vô tuyến không thể thay cáp quang trong trung tâm dữ liệu

The module sits at the board's edge, far from the switch chip

Module quang cắm ở mép bo mạch, xa chip chuyển mạch

The part that turns electrical data into light and back is an optical transceiver. In most of today’s data centers it comes as pluggable optics: a module the size of a finger that slides into a port on the front panel of a network switch. At its heart is the modulator met in chapter 2, which writes the zeros and ones onto the light. The switch’s own brain is an application-specific integrated circuit (ASIC), a chip built to do one job, here forwarding data, and it sits in the middle of the circuit board. Between the two runs a trace of copper tens of centimeters long.

Bộ phận biến dữ liệu điện thành ánh sáng và ngược lại là bộ thu phát quang (optical transceiver). Trong phần lớn các trung tâm dữ liệu ngày nay, nó có dạng pluggable optics (module quang cắm rời): một module cỡ ngón tay cắm vào cổng ở mặt trước của bộ chuyển mạch. “Trái tim” của nó là modulator đã gặp ở chương 2, bộ phận ghi các số 0 và 1 lên ánh sáng. Còn “bộ não” của bộ chuyển mạch là một ASIC (application-specific integrated circuit), loại chip chuyên cho một nhiệm vụ, ở đây là chuyển tiếp dữ liệu, và nó nằm giữa bo mạch. Nối hai thứ ấy với nhau là một đường dây đồng dài vài chục centimet.

A few tens of centimeters sounds harmless, but, as chapter 7 showed, the faster the signal, the shorter the distance copper can carry it cleanly. The chart below puts that in one picture: the higher the data rate and the longer the distance, the sooner optics beat copper.^8.1 Links inside a server and from a switch to the servers in its rack still sit on copper’s side of the line; everything longer has crossed to light.

Vài chục centimet nghe có vẻ vô hại, nhưng như chương 7 đã cho thấy, tín hiệu càng nhanh thì quãng đường dây đồng truyền được mà tín hiệu không bị méo càng ngắn. Biểu đồ dưới đây gói gọn điều đó trong một hình: tốc độ dữ liệu càng cao và khoảng cách càng xa thì ánh sáng càng sớm thắng dây đồng.^8.1 Các đường nối bên trong máy chủ, và từ bộ chuyển mạch xuống các máy chủ trong cùng tủ, vẫn nằm ở phía của dây đồng; mọi đường dài hơn đều đã chuyển sang ánh sáng.

Slide the rate up below and watch copper’s reach collapse while fiber’s hardly moves. Each copper figure comes from a named cable type and its IEEE standard.

Hãy kéo tốc độ lên ở hình dưới đây và xem tầm xa của dây đồng tụt hẳn xuống, trong khi của cáp quang gần như không nhúc nhích. Mỗi con số của dây đồng đều gắn với một loại cáp cụ thể và chuẩn IEEE của nó.

So by the time the electrical signal reaches the front panel, it has already been blurred. Before the module can turn it into light, a digital signal processor (DSP) inside the module has to rebuild it, and it also prepares the signal for the optical side. Many modules are also still assembled from separate optical parts, which makes them large and hungry for power.

Vì vậy khi tín hiệu điện tới được mặt trước, nó đã bị méo. Trước khi module biến nó thành ánh sáng, một bộ xử lý tín hiệu số (DSP) bên trong module phải tái tạo lại tín hiệu, đồng thời chuẩn bị tín hiệu cho phía quang. Nhiều module còn lắp từ những linh kiện quang rời, nên vừa cồng kềnh vừa ngốn điện.

Where the power goes

Điện năng đi đâu

In a pluggable transceiver, the DSP that cleans up the electrical signal can use 40 to 50 percent of the module’s power.^8.2 One module draws only a modest amount, but a large data center uses up to millions of them. And the faster the link, the harder the DSP has to work, or the harder the switch has to drive the signal, to get it across the board intact.

Trong một bộ thu phát quang cắm rời, riêng DSP làm sạch tín hiệu điện có thể dùng tới 40 đến 50 phần trăm điện năng của module.^8.2 Mỗi module chỉ tốn một lượng điện vừa phải, nhưng một trung tâm dữ liệu lớn dùng đến hàng triệu module như thế. Đường truyền càng nhanh thì DSP càng phải làm việc vất vả hơn, hoặc bộ chuyển mạch càng phải phát tín hiệu mạnh hơn, để tín hiệu băng qua bo mạch mà vẫn nguyên vẹn.

Go back to that 51.2 Tb/s switch, the top speed of its generation; chips twice as fast began shipping in 2025.^8.3 The power figures below are for the 51.2 Tb/s generation. Fitted with pluggable optics, the whole system draws around 2 kilowatts, and about half of that goes to the transceivers.^8.4 That figure is for the whole box with its fans and power supplies; the switch chip itself is only part of it.

Quay lại với bộ chuyển mạch 51,2 Tb/s ở đầu chương, loại nhanh nhất cùng thế hệ; những chip nhanh gấp đôi đã bắt đầu xuất xưởng từ năm 2025.^8.3 Các con số điện năng dưới đây là của thế hệ 51,2 Tb/s. Khi lắp các module quang cắm rời, cả hệ thống tiêu thụ khoảng 2 kilowatt, trong đó chừng một nửa dành cho các bộ thu phát quang.^8.4 Con số ấy tính cho cả thiết bị, kể cả quạt và bộ nguồn; bản thân con chip chuyển mạch chỉ chiếm một phần.

Saving that power pays twice. Every watt a module no longer draws is also a watt of heat that no longer has to be carried away, and cooling is a large bill of its own. Fans show why: their power rises with the cube of their speed, so a fan that can slow down saves far more than it seems.^8.5

Tiết kiệm được phần điện ấy mang lại hiệu quả kép. Mỗi watt module không còn tiêu thụ cũng là một watt nhiệt không còn phải thải ra ngoài, mà làm mát vốn đã là một khoản chi lớn. Chiếc quạt cho thấy rõ vì sao: công suất của quạt tăng theo lập phương tốc độ quay, nên cho quạt quay chậm lại sẽ tiết kiệm hơn người ta tưởng rất nhiều.^8.5

Step by step, the light moves next to the chip

Ánh sáng từng bước tiến đến sát con chip

The fix is to shorten the copper until the signal no longer needs rebuilding, and then to drop the DSP altogether. That has happened in steps. On-board optics moved the module from the front panel onto the board, closer to the switch chip. Co-packaged optics (CPO) takes the last step: the optical engine sits in the same package as the switch chip, a few millimeters away, and a small driver chip beside it drives the modulator directly. With silicon photonics that engine is a small photonic chip, so many of them fit around one switch and more data can leave it. This is where photonics reaches the chip itself.

Cách khắc phục là rút ngắn đoạn dây đồng cho đến khi tín hiệu không cần tái tạo nữa, rồi bỏ hẳn DSP. Việc này diễn ra từng bước. On-board optics (quang trên bo mạch) chuyển module từ mặt trước vào hẳn trên bo mạch, gần chip chuyển mạch hơn. Co-packaged optics (CPO) tiến thêm bước cuối: bộ phận quang nằm chung một package (phần đóng gói của chip) với chip chuyển mạch, cách nó vài milimet, và một chip điều khiển (driver) nhỏ đặt ngay cạnh trực tiếp cấp tín hiệu cho modulator. Với silicon photonics, bộ phận ấy là một chip quang tử (photonic integrated circuit) nhỏ, nên quanh một chip chuyển mạch đặt được nhiều chip như vậy, và dữ liệu ra vào được nhiều hơn. Đây là chỗ quang tử học (photonics) chạm tới chính con chip.

The savings are real. A switch system built on Broadcom’s first co-packaged-optics chip, carrying 51.2 Tb/s, cut total power by more than 40 percent in its maker’s tests.^8.6 In March 2025 NVIDIA announced its own co-packaged-optics switches, Quantum-X Photonics for InfiniBand, with 800 Gb/s ports, and Spectrum-X Photonics for Ethernet, announced at up to 1.6 Tb/s per port, with a claimed 3.5 times better power efficiency.^8.7 As of mid-2026 the Ethernet switches, now called Spectrum-X Ethernet Photonics, were in production.^8.8 Analysts were careful about the pace. In February 2025, Scott Wilkinson of Cignal AI saw positive signs for deploying co-packaged optics by 2026, but judged that large-scale deployment would need investment from motivated industry players such as the hyperscalers or NVIDIA.^8.9

Khoản tiết kiệm là có thật. Một hệ thống chuyển mạch dùng chip co-packaged optics đầu tiên của Broadcom, xử lý 51,2 Tb/s, giảm được hơn 40 phần trăm tổng điện năng trong thử nghiệm của nhà sản xuất.^8.6 Tháng 3/2025, NVIDIA công bố các bộ chuyển mạch co-packaged optics của riêng mình: Quantum-X Photonics cho InfiniBand với các cổng 800 Gb/s, và Spectrum-X Photonics cho Ethernet, công bố tới 1,6 Tb/s mỗi cổng, kèm hiệu quả điện năng mà hãng nêu là tốt hơn 3,5 lần.^8.7 Tính đến giữa năm 2026, các bộ chuyển mạch Ethernet, nay mang tên Spectrum-X Ethernet Photonics, đã đi vào sản xuất.^8.8 Giới phân tích thì thận trọng về tốc độ phổ biến. Tháng 2/2025, Scott Wilkinson của Cignal AI thấy đã có dấu hiệu tích cực cho việc triển khai co-packaged optics vào năm 2026. Tuy nhiên, theo ông, muốn triển khai trên diện rộng thì phải có những bên trong ngành đủ động lực, như các hyperscaler hay NVIDIA, bỏ vốn đầu tư.^8.9

The same idea is being tried one level down, between chips inside a single package. When a processor is split into chiplets, small dies joined by advanced packaging, an optical chiplet could carry its data out as light. Intel showed one in 2024: an optical I/O chiplet carrying 4 Tb/s in both directions, packaged with a concept CPU.^8.10 For switches, co-packaged optics is now in production; for the links between chiplets it is still a research demonstration.

Cùng ý tưởng ấy đang được đem thử ở cấp nhỏ hơn nữa, giữa các con chip bên trong một package. Khi một bộ xử lý được chia thành nhiều chiplet, tức những die (mảnh chip) nhỏ ghép lại bằng đóng gói tiên tiến (advanced packaging), một chiplet quang có thể đưa dữ liệu ra ngoài dưới dạng ánh sáng. Intel đã trình diễn một chiplet như vậy năm 2024: chiplet optical I/O truyền 4 Tb/s theo cả hai chiều, đóng gói chung với một CPU mẫu.^8.10 Với bộ chuyển mạch, co-packaged optics nay đã đi vào sản xuất; còn với đường nối giữa các chiplet, đây mới dừng ở mức trình diễn nghiên cứu.

The light source and the heat are still open problems

Nguồn sáng và nhiệt vẫn là hai bài toán còn bỏ ngỏ

The architecture is simple to draw. Building it is another matter, and two problems stand out.

Kiến trúc này vẽ ra thì đơn giản. Làm được nó lại là chuyện khác, và có hai bài toán nổi bật.

The first is the light source. Co-packaged optics needs lasers that fit its new layout, for example a single laser that emits many wavelengths at once, and lasers of that kind are still being developed. NVIDIA’s own design sets out to use four times fewer lasers.^8.7 Many designs keep the lasers out of the hot package altogether, in replaceable modules at the front panel. Placing the chips and fibers precisely enough for the light to line up is also new work.

Thứ nhất là nguồn sáng. Co-packaged optics cần những con laser hợp với kiến trúc mới này, chẳng hạn một laser duy nhất phát ra nhiều bước sóng cùng lúc, và loại laser như vậy vẫn đang được phát triển. Chính thiết kế của NVIDIA cũng tìm cách giảm số laser cần dùng đi bốn lần.^8.7 Nhiều thiết kế còn đặt hẳn laser ra ngoài package vốn rất nóng, trong những module thay được ở mặt trước. Căn chỉnh các con chip và sợi quang chính xác đến mức ánh sáng khớp nhau cũng là việc mới.

The second is heat. The switch chip runs very hot, and co-packaged optics puts the photonic chip right beside it, where optical parts that are sensitive to temperature must keep working to specification. Both chips, and the package that holds them, must stay reliable for years in a data center, often five or more, while heating and cooling as the load changes. Mechanical strain in that small package is part of the same problem. These questions are why co-packaged optics was still largely at the trial stage when the first switches were announced in 2024 and 2025.

Thứ hai là nhiệt. Chip chuyển mạch vốn rất nóng, và co-packaged optics đặt chip quang tử ngay bên cạnh nó, nơi các linh kiện quang vốn nhạy với nhiệt độ vẫn phải hoạt động đúng thông số. Cả hai con chip và phần đóng gói chứa chúng phải bền bỉ suốt nhiều năm trong trung tâm dữ liệu, thường từ năm năm trở lên, trong khi nóng lên nguội đi theo tải. Ứng suất cơ học trong package nhỏ ấy cũng là một phần của bài toán. Chính những câu hỏi này khiến co-packaged optics phần lớn vẫn ở giai đoạn thử nghiệm khi những bộ chuyển mạch đầu tiên được công bố vào năm 2024 và 2025.

Light on the board, or radio instead of cables?

Đưa ánh sáng vào bo mạch, hay dùng sóng vô tuyến thay cáp?

For the switch, light has moved onto the board in steps, first near the chip with on-board optics and then into its package with co-packaged optics; radio, by contrast, cannot take fiber’s place inside a data center. Moving data, inside and between data centers, remains the largest use of photonic chips, though not the only one.

Với bộ chuyển mạch, ánh sáng đã tiến vào bo mạch từng bước, trước hết đến gần con chip nhờ on-board optics, rồi vào hẳn package của nó nhờ co-packaged optics. Còn sóng vô tuyến thì không thể thay cáp quang trong trung tâm dữ liệu. Truyền dữ liệu, bên trong và giữa các trung tâm dữ liệu, vẫn là ứng dụng lớn nhất của chip quang tử, dù không phải là ứng dụng duy nhất.