Децентрализованный ИИ уже близко. OpenDiLoCo-это новая open source технология, которая позволяет обучать большие ИИ модели в разных частях мира
Как это работает?
Технология основана на методе DiLoCo, разработанной DeepMind, которая позволяет компьютерам обмениваться данными не постоянно, а только каждые 500 шагов обучения.
Это значит, что компьютеры могут работать самостоятельно большую часть времени.
Разработчики успешно обучили ИИ модель, используя компьютеры в трех разных странах.
При этом компьютеры работали на 90-95% своей мощности, что очень эффективно.
Удалось обучить модель, которая в 3 раза больше, чем в оригинальном эксперименте DeepMind.
OpenDiLoCo - это шаг к тому, чтобы сделать обучение сложных ИИ систем более доступными и эффективными, используя распределенные компьютерные ресурсы по всему миру.
Отметим, что в мире уже профинансировано множество исследований в этой области, ожидается, что децентрализованные сети ИИ превзойдут централизованные гигамодели в ближайшие несколько лет.
Как это работает?
Технология основана на методе DiLoCo, разработанной DeepMind, которая позволяет компьютерам обмениваться данными не постоянно, а только каждые 500 шагов обучения.
Это значит, что компьютеры могут работать самостоятельно большую часть времени.
Разработчики успешно обучили ИИ модель, используя компьютеры в трех разных странах.
При этом компьютеры работали на 90-95% своей мощности, что очень эффективно.
Удалось обучить модель, которая в 3 раза больше, чем в оригинальном эксперименте DeepMind.
OpenDiLoCo - это шаг к тому, чтобы сделать обучение сложных ИИ систем более доступными и эффективными, используя распределенные компьютерные ресурсы по всему миру.
Отметим, что в мире уже профинансировано множество исследований в этой области, ожидается, что децентрализованные сети ИИ превзойдут централизованные гигамодели в ближайшие несколько лет.