👋 Привет, сетевой друг!
Сегодня разберём как устроена сетевая инфраструктура крупных дата-центров - spine-leaf архитектура которая пришла на смену классическому three-tier.
🟣Классический three-tier: core, distribution, access. Три уровня иерархии, трафик от сервера до сервера идёт через все три. При росте нагрузки узкое место всегда наверху, масштабирование болезненное, east-west трафик (между серверами) делает лишние хопы.
🟣Spine-leaf решает именно это: два уровня вместо трёх. Leaf-свитчи подключаются к серверам, spine-свитчи соединяют все leaf между собой. Каждый leaf подключён к каждому spine - нет единой точки отказа, нет иерархии где трафик собирается наверху.
Spine1 Spine2 Spine3 Spine4
| \ / | \ / | \ / |
Leaf1 Leaf2 Leaf3 Leaf4 Leaf5
| | | | |
Servers Servers ...
🟣Почему это важно для east-west трафика: в современных датацентрах 70-80% трафика идёт между серверами внутри ЦОД, а не наружу. В three-tier этот трафик поднимается до distribution и обратно - лишние хопы и задержка. В spine-leaf любой leaf до любого leaf всегда два хопа через spine.
🟣ECMP (Equal-Cost Multi-Path) - основа балансировки в spine-leaf: каждый leaf видит несколько равнозначных путей до любого другого leaf через разные spine. Трафик балансируется по хэшу из заголовков пакета:
show ip route 10.0.0.0/24
# Видим несколько next-hop через разные spine
show ip ecmp
# Статистика распределения по путям
🟣BGP вместо STP в spine-leaf: классический spanning tree не масштабируется и блокирует резервные линки. В spine-leaf используют BGP (часто eBGP с разными AS на каждом устройстве) или OSPF для маршрутизации — все линки активны, нет заблокированных портов:
router bgp 65001 # leaf1
neighbor 10.0.0.1 remote-as 65100 # spine1
neighbor 10.0.0.2 remote-as 65100 # spine2
router bgp 65100 # spine
neighbor 10.0.0.10 remote-as 65001 # leaf1
neighbor 10.0.0.20 remote-as 65002 # leaf2
🟣Ограничение spine-leaf и как его решают: классическая топология плохо работает когда нужно L2-связность между leaf (например для vMotion или кластеризации). Решение - VXLAN поверх IP-фабрики с EVPN для управления MAC/IP-адресами через BGP. Leaf инкапсулирует L2-фреймы в UDP/IP, fabric остаётся чистым L3.
Серверная Админа | #история #Network
Сегодня разберём как устроена сетевая инфраструктура крупных дата-центров - spine-leaf архитектура которая пришла на смену классическому three-tier.
🟣Классический three-tier: core, distribution, access. Три уровня иерархии, трафик от сервера до сервера идёт через все три. При росте нагрузки узкое место всегда наверху, масштабирование болезненное, east-west трафик (между серверами) делает лишние хопы.
🟣Spine-leaf решает именно это: два уровня вместо трёх. Leaf-свитчи подключаются к серверам, spine-свитчи соединяют все leaf между собой. Каждый leaf подключён к каждому spine - нет единой точки отказа, нет иерархии где трафик собирается наверху.
Spine1 Spine2 Spine3 Spine4
| \ / | \ / | \ / |
Leaf1 Leaf2 Leaf3 Leaf4 Leaf5
| | | | |
Servers Servers ...
🟣Почему это важно для east-west трафика: в современных датацентрах 70-80% трафика идёт между серверами внутри ЦОД, а не наружу. В three-tier этот трафик поднимается до distribution и обратно - лишние хопы и задержка. В spine-leaf любой leaf до любого leaf всегда два хопа через spine.
🟣ECMP (Equal-Cost Multi-Path) - основа балансировки в spine-leaf: каждый leaf видит несколько равнозначных путей до любого другого leaf через разные spine. Трафик балансируется по хэшу из заголовков пакета:
show ip route 10.0.0.0/24
# Видим несколько next-hop через разные spine
show ip ecmp
# Статистика распределения по путям
🟣BGP вместо STP в spine-leaf: классический spanning tree не масштабируется и блокирует резервные линки. В spine-leaf используют BGP (часто eBGP с разными AS на каждом устройстве) или OSPF для маршрутизации — все линки активны, нет заблокированных портов:
router bgp 65001 # leaf1
neighbor 10.0.0.1 remote-as 65100 # spine1
neighbor 10.0.0.2 remote-as 65100 # spine2
router bgp 65100 # spine
neighbor 10.0.0.10 remote-as 65001 # leaf1
neighbor 10.0.0.20 remote-as 65002 # leaf2
🟣Ограничение spine-leaf и как его решают: классическая топология плохо работает когда нужно L2-связность между leaf (например для vMotion или кластеризации). Решение - VXLAN поверх IP-фабрики с EVPN для управления MAC/IP-адресами через BGP. Leaf инкапсулирует L2-фреймы в UDP/IP, fabric остаётся чистым L3.
Серверная Админа | #история #Network