Оптоволокно как замена DRAM: передача 256 Тбит/с и концепция памяти на линиях задержки
Ключевые факты
- 1 Достигнута скорость передачи данных 256 Тбит/с на 200 км по оптоволокну.
- 2 Предложена концепция использования оптоволокна в качестве памяти на линиях задержки для циркуляции весов нейросетей, заменяя DRAM.
- 3 Идея основана на предсказуемости обращения к весам в AI-моделях.
- 4 Более практичный подход для инференса — использование параллельных массивов дешевой флеш-памяти с грамотной предзагрузкой.
Недавние достижения в области оптоволоконной связи продемонстрировали возможность передачи данных со скоростью 256 Тбит/с на расстояние 200 км. Эта скорость позволяет одновременно удерживать в кабеле до 32 ГБ данных, что теоретически создает буфер с пропускной способностью 32 ТБ/с. На основе этого принципа выдвинута инженерная концепция создания системы без традиционной оперативной памяти (DRAM) для AI-вычислений. Веса нейросети, порядок обращения к которым предсказуем, могут циркулировать по замкнутому оптоволоконному кольцу, попадая в кэш чипа (L2) ровно в момент, когда они необходимы для обработки. Эта идея является современным аналогом древней памяти на ртутных линиях задержки. Хотя для запуска моделей с триллионами параметров потребуются сложные конвейеры, рост пропускной способности оптоволокна опережает рост скорости DRAM, что делает эту концепцию потенциально реализуемой в будущем. Более практичное решение для инференса сегодня — это объединение большого количества дешевой флеш-памяти в параллельный массив. При условии чтения данных крупными блоками и грамотной предзагрузки, это может обеспечить необходимую скорость, если производители флеш-памяти и AI-ускорителей договорятся о едином высокоскоростном стандарте подключения.