Chapter 7 of 10Chương 7/10 6 min6 phút

Inside the data centerBên trong trung tâm dữ liệu

Walk down an aisle of a large and racks of servers line both sides, each cabinet taller than a person, their fans roaring. Through layers of switches, every one of them can reach every other. The distances run only from a few meters to a few kilometers, yet the links are beyond counting, and the speed each must carry climbs every two or three years. This chapter asks which of those wires are still copper, and why the rest have turned to light.

Bước dọc lối đi của một lớn, hai bên là những dãy tủ máy (rack) chứa máy chủ nối tiếp nhau, tủ nào cũng cao hơn đầu người, quạt chạy ù ù. Qua nhiều lớp bộ chuyển mạch, tủ nào cũng liên lạc được với mọi tủ còn lại. Khoảng cách chỉ từ vài mét đến vài cây số, nhưng số đường nối thì nhiều không đếm xuể, và tốc độ mỗi đường phải gánh cứ hai ba năm lại tăng một bậc. Chương này tìm hiểu xem dây nào vẫn còn là dây đồng, và vì sao phần còn lại đã chuyển sang ánh sáng.

In this chapter

Trong chương này

  • How Ethernet climbed from 10 megabits a second toward 1.6 terabits in about forty years
  • Why the faster a link runs, the sooner it has to leave copper for fiber
  • How the racks in a data center are wired together, layer by layer
  • Which two kinds of fiber a data center uses, and what each is for
  • Trong khoảng bốn mươi năm, Ethernet đã tăng từ 10 megabit mỗi giây lên gần 1,6 terabit ra sao
  • Vì sao đường truyền càng nhanh thì càng sớm phải rời dây đồng để sang cáp quang
  • Các tủ máy trong trung tâm dữ liệu được nối với nhau ra sao, từng lớp một
  • Trung tâm dữ liệu dùng hai loại sợi quang nào, và mỗi loại để làm gì

For forty years, Ethernet has kept getting faster

Suốt bốn mươi năm, Ethernet ngày một nhanh hơn

Carrying data between machines inside a data center, and between data centers, is called , to set it apart from the long-distance telecom networks of the last two chapters. Most of it speaks , the family of standards that the IEEE, the Institute of Electrical and Electronics Engineers, has published under the number 802.3 since 1983. The first version ran at 10 megabits per second over copper, and it took more than ten years to reach 100 megabits.

Việc truyền dữ liệu giữa các máy trong cùng một trung tâm dữ liệu và giữa các trung tâm dữ liệu với nhau được gọi là , để phân biệt với mạng viễn thông đường dài ở hai chương trước. Phần lớn lưu lượng ấy đi theo , họ tiêu chuẩn mà IEEE (Viện Kỹ sư Điện và Điện tử) ban hành dưới số hiệu 802.3 từ năm 1983. Phiên bản đầu tiên chạy 10 megabit mỗi giây trên dây đồng, và phải mất hơn mười năm mới lên được 100 megabit.

Fiber arrived early. 10BASE-F, the first full fiber version of Ethernet, was standardized in 1993. Gigabit Ethernet, standardized in 1998, ran mainly on optical fiber, and in 2002 the first 10 Gb/s standard, 802.3ae, ran on fiber alone. Then the pace quickened: 400 Gb/s was standardized in 2017, 800 Gb/s in 2024, and 1.6 Tb/s is next: its standard, 802.3dj, was planned for 2026, but as of September 2026 the draft was still being revised in answer to reviewers’ comments., Counting that step, Ethernet will have grown more than 100,000 times faster in about forty years, with a new generation now every two to three years, driven by AI.

Cáp quang đến với Ethernet từ khá sớm. 10BASE-F, phiên bản Ethernet đầu tiên chạy hoàn toàn trên sợi quang, được chuẩn hóa năm 1993. Gigabit Ethernet, chuẩn hóa năm 1998, chủ yếu chạy trên sợi quang, và năm 2002, chuẩn 10 Gb/s đầu tiên là 802.3ae chỉ chạy trên sợi quang. Từ đó nhịp độ ngày càng dồn dập: 400 Gb/s được chuẩn hóa năm 2017, 800 Gb/s năm 2024, và kế tiếp là 1,6 Tb/s: chuẩn cho tốc độ này, 802.3dj, dự kiến hoàn tất trong năm 2026, nhưng tính đến tháng 9/2026, nhóm soạn thảo vẫn đang sửa bản dự thảo theo góp ý của các chuyên gia thẩm định., Tính cả bậc ấy, Ethernet sẽ nhanh hơn trên 100.000 lần trong khoảng bốn mươi năm, và giờ đây cứ hai đến ba năm lại có một thế hệ mới, với AI là động lực chính.

A step chart of the fastest standard Ethernet speed on a logarithmic scale from 10 Mb/s to 1.6 Tb/s, against the year the IEEE approved each standard, 1980 to 2030. The steps: 802.3, 10 Mb/s over copper, 1983; 10BASE-F (802.3j), the first full fiber Ethernet, 1993; Fast Ethernet (802.3u), 100 Mb/s, 1995; Gigabit Ethernet (802.3z), mainly on fiber, 1998; 802.3ae, the first 10 Gb/s, fiber only, 2002; 802.3ba, 40 and 100 Gb/s, 2010; 802.3bs, 400 Gb/s, 2017; 802.3df, 800 Gb/s, 2024; and a hollow point for 802.3dj, 1.6 Tb/s, planned for 2026 and still a draft. The three optical milestones are marked in green. A step chart of the fastest standard Ethernet speed on a logarithmic scale from 10 Mb/s to 1.6 Tb/s, against the year the IEEE approved each standard, 1980 to 2030. The steps: 802.3, 10 Mb/s over copper, 1983; 10BASE-F (802.3j), the first full fiber Ethernet, 1993; Fast Ethernet (802.3u), 100 Mb/s, 1995; Gigabit Ethernet (802.3z), mainly on fiber, 1998; 802.3ae, the first 10 Gb/s, fiber only, 2002; 802.3ba, 40 and 100 Gb/s, 2010; 802.3bs, 400 Gb/s, 2017; 802.3df, 800 Gb/s, 2024; and a hollow point for 802.3dj, 1.6 Tb/s, planned for 2026 and still a draft. The three optical milestones are marked in green.
PLATE 7.1HÌNH 7.1 Tốc độ cao nhất của Ethernet tăng dần qua từng tiêu chuẩn: từ cuối những năm 1990, Ethernet nhanh nhất chủ yếu chạy trên sợi quang, còn các bậc mới nhất chỉ cách nhau vài năm. Trục tốc độ dùng thang logarit.Ethernet's top speed has climbed one standard at a time: from the late 1990s the fastest Ethernet ran mainly on fiber, and the newest steps come only a few years apart. The speed axis is logarithmic. Data: IEEE 802.3

Why speed pushes links onto light

Vì sao tốc độ đẩy đường truyền sang ánh sáng

A faster signal spreads over a wider of frequencies, and copper loses the high ones far faster than fiber does. That is why, as chapter 5 noted, a fast copper link reaches only a few meters.

Tín hiệu càng nhanh thì trải trên tần số càng rộng, mà trong dây đồng, các thành phần tần số cao nhanh hơn trong sợi quang rất nhiều. Vì thế, như chương 5 đã nói, đường truyền đồng tốc độ cao chỉ đi được vài mét.

So light has moved step by step from long cables toward shorter links wherever high speed is needed. Homes came first. In Vietnam, as in many places, a dial-up phone line once gave a few tens of kilobits per second and ADSL a few megabits; now brings 1 gigabit per second or more. Then fiber spread through data centers, and at terabits per second it is moving into the switches and servers themselves.

Vì vậy ánh sáng đã từng bước đi từ những tuyến cáp dài vào các đường truyền ngắn hơn, ở bất cứ đâu cần tốc độ cao. Hộ gia đình là nơi đầu tiên. Ở Việt Nam, cũng như nhiều nơi khác, đường điện thoại quay số ngày trước chỉ cho vài chục kilobit mỗi giây, ADSL được vài megabit; nay đưa tới 1 gigabit mỗi giây hoặc hơn. Rồi cáp quang lan khắp các trung tâm dữ liệu, và nay, ở tốc độ hàng terabit mỗi giây, nó đang tiến vào tận bên trong các bộ chuyển mạch và máy chủ.

Five illustrated panels in a row, under a double-headed arrow that runs from short links, very many of them, whose parts must be small and low-cost, on the left, to long links with high capacity and long reach on the right. Green lines mark the fiber in each panel. Inside the data center: a room of server racks with fiber dropping from an overhead tray. Between data centers: two buildings joined by fiber. Linking cell towers: a phone talks by radio to a tower, and fiber runs from the tower down to a building. Linking nearby areas: two city skylines joined by fiber. Across the world: a globe with fiber arcs between the continents. Five illustrated panels in a row, under a double-headed arrow that runs from short links, very many of them, whose parts must be small and low-cost, on the left, to long links with high capacity and long reach on the right. Green lines mark the fiber in each panel. Inside the data center: a room of server racks with fiber dropping from an overhead tray. Between data centers: two buildings joined by fiber. Linking cell towers: a phone talks by radio to a tower, and fiber runs from the tower down to a building. Linking nearby areas: two city skylines joined by fiber. Across the world: a globe with fiber arcs between the continents.
PLATE 7.2HÌNH 7.2 Cáp quang nay truyền tải dữ liệu từ những đường nối ngắn trong trung tâm dữ liệu đến những tuyến dài khắp thế giới. Đường nối ngắn trong trung tâm dữ liệu nhiều vô kể, nên linh kiện phải nhỏ gọn và rẻ; đường nối giữa các thành phố, các châu lục thì phải truyền tải nhiều dữ liệu nhất đi xa nhất.Fiber now carries data from the short links inside a data center to the longest links across the world. Short links inside a data center come in huge numbers, so their parts must be small and cheap; links between cities and continents must carry the most data the farthest.

Thousands of racks are joined through layers of switches

Hàng nghìn tủ máy được nối qua nhiều lớp bộ chuyển mạch

A data center run by a such as Meta, Microsoft, Google or Oracle is a campus of several buildings, each the size of several football fields. Inside, rows of racks hold the equipment: servers full of for AI, storage, and the switches that join them. A large building holds thousands of racks, each with dozens of servers.

là những tập đoàn vận hành hạ tầng điện toán khổng lồ như Meta, Microsoft, Google hay Oracle. Mỗi trung tâm dữ liệu của họ là cả một khu gồm nhiều tòa nhà, mỗi tòa rộng bằng mấy sân bóng đá. Bên trong, từng dãy tủ máy đặt thiết bị: máy chủ chứa đầy để chạy AI, thiết bị lưu trữ, và các bộ chuyển mạch nối chúng lại. Một tòa nhà lớn chứa hàng nghìn tủ máy, mỗi tủ có hàng chục máy chủ.

Joining them takes a great many , stacked in layers. At the top of almost every rack sits a that links the servers in that rack. A layer above joins the racks of one zone, and more layers join the zones to each other and, finally, to the internet. Meta’s published design, shown below, groups 48 racks into a pod served by four fabric switches, and joins every pod through four parallel planes of spine switches.

Để nối chừng ấy thiết bị cần rất nhiều , xếp thành nhiều lớp. Trên đỉnh gần như mọi tủ máy có một nối các máy chủ trong tủ ấy với nhau. Một lớp phía trên nối các tủ trong cùng một khu, rồi thêm những lớp nữa nối các khu với nhau và cuối cùng ra Internet. Hình dưới đây là thiết kế Meta đã công bố. Cứ 48 tủ máy gom thành một pod do bốn fabric switch phục vụ, rồi mọi pod nối với nhau qua bốn nhóm spine switch song song, độc lập với nhau, gọi là bốn mặt phẳng (plane).

Two panels. (a) A photo of an aisle between tall server racks, with a technician and a cart. (b) A diagram of the layers of switches: two edge switches at the top, linked to the internet and other buildings, then two spine switches, two fabric switches and two top-of-rack switches, each layer cross-connected to the next by fiber; each top-of-rack switch links the two servers of its own rack by mostly copper cable. Two panels. (a) A photo of an aisle between tall server racks, with a technician and a cart. (b) A diagram of the layers of switches: two edge switches at the top, linked to the internet and other buildings, then two spine switches, two fabric switches and two top-of-rack switches, each layer cross-connected to the next by fiber; each top-of-rack switch links the two servers of its own rack by mostly copper cable.
PLATE 7.3HÌNH 7.3 Trong một trung tâm dữ liệu cỡ lớn, cáp quang nối các lớp bộ chuyển mạch, còn trong từng tủ máy phần lớn vẫn là cáp đồng: (a) một lối đi giữa các tủ máy; (b) các lớp bộ chuyển mạch nối các tủ với nhau.In a hyperscale data center, fiber joins the layers of switches, while copper still does most of the wiring inside each rack: (a) an aisle of racks; (b) the layers of switches that join them. Photo: Engineering at Meta; switch layers redrawn after Meta's fabric design (A. Andreyev, 2014)

In a design like Meta’s, every link between those layers is fiber. Only inside the rack, from the top-of-rack switch down to the servers below it, does most wiring still use copper. The fiber runs are short, from a few tens of meters to a few kilometers at most, but the number of links is enormous, so a single data center holds a staggering length of fiber.

Trong một thiết kế như của Meta, mọi đường nối giữa các lớp ấy đều là cáp quang. Chỉ trong lòng tủ máy, từ top-of-rack switch xuống các máy chủ bên dưới, phần lớn dây vẫn là dây đồng. Các tuyến cáp quang không dài, từ vài chục mét đến nhiều nhất vài cây số, nhưng số đường nối thì khổng lồ, nên tổng chiều dài cáp quang trong riêng một trung tâm dữ liệu lớn đến kinh ngạc.

An isometric plan of one data-center building. Two data halls, X and Y, each have a network room (MDF) holding four groups of green fabric switches. Two central BDF rooms hold racks of blue spine switches topped with yellow edge switches, split into four planes, with backbone rooms (MPOE) directly above them. Colored fiber trunks run from each hall's fabric switches to the spine planes, and short vertical runs lead up to the backbone rooms. One sample top-of-rack switch is shown with dashed links to four fabric switches. An isometric plan of one data-center building. Two data halls, X and Y, each have a network room (MDF) holding four groups of green fabric switches. Two central BDF rooms hold racks of blue spine switches topped with yellow edge switches, split into four planes, with backbone rooms (MPOE) directly above them. Colored fiber trunks run from each hall's fabric switches to the spine planes, and short vertical runs lead up to the backbone rooms. One sample top-of-rack switch is shown with dashed links to four fabric switches.
PLATE 7.4HÌNH 7.4 Trong một tòa nhà theo thiết kế của Meta, các fabric switch đặt trong phòng mạng của từng phòng máy, spine switch và edge switch đặt ở các phòng trung tâm, và các bó cáp quang chạy nối giữa chúng.In one building of Meta's design, the fabric switches sit in each hall's network room, the spine and edge switches in central rooms, and fiber trunks run between them. Building plan: A. Andreyev, Engineering at Meta, 2014
Layer What it joins What the link runs on
Inside the rack Servers to the top-of-rack switch Mostly copper cable
Rack to zone Top-of-rack switches to the fabric switches of their pod Fiber
Zone to zone Fabric switches to the spine switches of the building Fiber
Out of the building Spine and edge switches to other buildings and the internet Fiber
Lớp Nối những gì Loại dây
Trong tủ máy Máy chủ với top-of-rack switch Phần lớn là cáp đồng
Từ tủ lên khu Các top-of-rack switch với các fabric switch của pod Cáp quang
Giữa các khu Các fabric switch với các spine switch của tòa nhà Cáp quang
Ra khỏi tòa nhà Spine switch và edge switch với các tòa nhà khác và Internet Cáp quang

A data center uses two kinds of fiber

Trung tâm dữ liệu dùng hai loại sợi quang

Not all of that fiber is the same. is exactly the kind laid under the sea: a core only about 8 to 9 micrometers across, so the light follows a single path and can go far at high speed. has a wider core that carries many rays of light at once. Its light sources and receivers are cheaper, but the rays spread out as they travel, so it serves only short runs: the current standard carries 400 Gb/s up to about 100 meters.

Không phải sợi quang nào cũng như nhau. chính là loại được thả dưới đáy biển: lõi chỉ rộng khoảng 8 đến 9 micromet, nên ánh sáng đi theo một đường duy nhất và có thể đi xa ở tốc độ cao. có lõi rộng hơn, dẫn nhiều tia sáng cùng lúc. Nguồn sáng và bộ thu dùng cho nó rẻ hơn, nhưng các tia tản ra dần khi truyền đi, nên nó chỉ hợp với những đoạn ngắn: chuẩn hiện hành cho phép truyền 400 Gb/s trên quãng tới khoảng 100 mét.

Single-mode fiber Multimode fiber
Core About 8 to 9 micrometers Much wider, typically 50 micrometers
How the light travels One path Many rays at once
Cost of the parts at each end Higher Lower
Reach Kilometers and far beyond Short runs, around a hundred meters at today’s top speeds
Where it is used Between buildings, across the sea, and long runs inside Short links inside a hall
Sợi đơn mode Sợi đa mode
Lõi Khoảng 8 đến 9 micromet Rộng hơn nhiều, thường khoảng 50 micromet
Ánh sáng đi thế nào Theo một đường Nhiều tia cùng lúc
Giá linh kiện ở hai đầu Cao hơn Thấp hơn
Tầm xa Nhiều km trở lên Đoạn ngắn, khoảng một trăm mét ở tốc độ cao nhất hiện nay
Dùng ở đâu Giữa các tòa nhà, xuyên đại dương, và các tuyến dài bên trong Các đường nối ngắn trong một phòng máy
Câu hỏi thường gặp Common questions
Is InfiniBand different from Ethernet?InfiniBand có khác Ethernet không?

is another networking standard, built like Ethernet for moving data between machines but tuned for supercomputers and AI clusters, where every microsecond of delay counts. uses it widely to link servers full of its GPUs, and its fastest generation runs at 800 Gb/s end to end. At that speed, depending on the distance, a link can still be copper over a short span or fiber over a longer one.

là một chuẩn mạng khác, cũng dùng để chuyển dữ liệu giữa các máy như Ethernet, nhưng được tinh chỉnh cho siêu máy tính và cụm máy AI, nơi độ trễ dù chỉ một micro giây cũng đáng kể. dùng nó rộng rãi để nối các máy chủ chứa GPU của hãng, và thế hệ nhanh nhất của nó đạt 800 Gb/s từ đầu đến cuối đường truyền. Ở tốc độ ấy, tùy khoảng cách, đường nối vẫn có thể là dây đồng nếu ngắn, hoặc cáp quang nếu dài hơn.

Where does copper hit its limit?Giới hạn của dây đồng nằm ở đâu?

At 800 Gb/s a copper cable still works across a rack, over a meter or so; at 1.6 Tb/s and beyond its reach gets shorter still. So the faster the link, the closer the optics must sit to the chip that makes the signal, like bringing the highway right up to the house. The next chapter follows that move all the way to the switch chip.

Ở 800 Gb/s, cáp đồng vẫn dùng được trong phạm vi một tủ máy, quãng chừng một mét; từ 1,6 Tb/s trở lên, tầm xa của nó còn ngắn hơn nữa. Vì vậy đường truyền càng nhanh thì phần quang càng phải đặt sát con chip tạo ra tín hiệu, giống như đưa đường cao tốc vào tận cửa nhà. Chương sau sẽ đi tiếp con đường ấy, tới tận con chip chuyển mạch.