Два порта, но 200G одни на двоих: как соединить DGX Spark в кластер от 2 до 8 узлов
Коротко. У DGX Spark 2 порта QSFP на 200 Гбит/с каждый, но вместе они дают не 400 Гбит/с сети. ConnectX-7 подключена к SoC двумя линками PCIe Gen5 x4, поэтому на весь узел приходится около 200 Гбит/с в каждую сторону, а один кабель отдаёт их только тогда, когда нагружены оба линка. Из этого факта следует любая схема: 1 кабель для 2 спарков, 3 кабеля треугольником для 3, кольцо или коммутатор для 4 и коммутатор дальше. По кабелям: 12 из 13 протестированных на моей паре дали одинаковые 185,1 Гбит/с. 13-й 101 минуту работал чисто при простаивающих GPU, а через 3 минуты после запуска нагрузки на GPU потерял линк. ...