Равновесие дискретного отклика

ИИ – метаинтерфейс между человеком и реальностью
Он становится полупрозрачной живой линзой – второй сетчаткой между человеком и миром
В недавнем эссе NYT Элис Лассман назвала ИИ «социальным герметиком»: он заполняет щели человеческих отношений. Некому написать, не хочется беспокоить друга, страшно спросить напрямую – обратись к ChatGPT.
Но метафора «герметика» описывает лишь часть происходящего.
 
ИИ одновременно становится «социальным лубрикатором», снижающим трение между людьми: он объясняет чужие сообщения, подбирает правильные слова, помогает репетировать трудные разговоры и избегать конфликтов.
 
А еще он работает «социальным амортизатором» – принимает на себя первый удар раздражения, тревоги, ревности или обиды и возвращает человеку уже переработанную версию его эмоций.
 
Получается, что ИИ выполняет как минимум три новые социальные функции: заполняет пустоты, снижает трение и поглощает удары при коммуникации людей.
 
Но самое важное начинается за пределами коммуникации.

ИИ превращается в новый интерфейсный слой среды существования разума.

Он все чаще оказывается не только между человеком и человеком, а также и между человеком и текстом, событием, знанием, проблемой, собственной мыслью.
 
Т. е. меняется сама среда, внутри которой мы понимаем, интерпретируем и познаем мир, а коммуникация – лишь один из ее процессов.

Культура единственного носителя интеллекта постепенно превращается в гибридную культуру двух типов носителей – биологического и алгоритмического, то есть в алгокогнитивную культуру.
И одним из ее ключевых отличий становится трансформация культурной медиасреды.
ИИ постепенно превращается в метаинтерфейс между человеком и миром. Для математика, исследователя, дизайнера, поэта, студента или школьника это будут разные специализированные ИИ-интерфейсы. Но общий принцип один:
мы всё чаще обращаемся к миру через другой интеллект.

Прежде главным интерфейсом человека с информационной реальностью были экран, меню, поисковая строка. Теперь им становится другой носитель интеллекта.
 
В 1970–1980-е графический интерфейс изменил способ взаимодействия человека с компьютером – и помог превратить компьютер в массовый цивилизационный инструмент.
Сейчас происходит смена куда более высокого уровня.

Меняется интерфейс не между человеком и машиной, а между человеком и реальностью.

И впервые в технологической истории человечества этим интерфейсом становится иной интеллект.
 
#АлгокогнитивнаяКультура  #ИнойИнтеллект

Ладно, на самом деле вот он для открытого доступа - "сад блога ЦГ"
499 концептов — от HCI и скевоморфизма до советской «Технической эстетики» и ВНИИТЭ. 
198 персон исследователей и проектировщиков - тех, кто это придумал, спроектировал, сломал или предсказал.
2412 постов - от первых курсоров до нейросетевых интерфейсов.
23 763 связи между всем этим

https://lilalogos.github.io/garden1/

🌟 WASTE: запускаем полную Kimi K3 на MacBook Pro с 64 ГБ памяти

SQLite AI собрала движок на 6000 строк C, который гоняет полновесную K3 без BLAS, CUDA и Python в рантайме.

Kimi K3 после предварительной конвертации из safetensors в формат, который движок умеет читать, занимает 982 ГиБ (диск бы назвал это 1,05 ТБ). В оперативную память она не влезает даже приблизительно.

WASTE держит в RAM только резидентную часть на 27,28 ГБ, а экспертов подтягивает с SSD ровно тогда, когда они понадобились. Скорость генерации выходит 0,49-0,54 токена в секунду. Веса при этом полные, без дистилляции и обрезки слоёв.

🟡Расчёт строится на устройстве MoE

На каждый токен K3 включает около 4% собственных весов - 16 экспертов в каждом из 92 слоёв. Простаивающему весу незачем сидеть в памяти, ему достаточно успеть подгрузиться вовремя.

Контейнер с моделью устроен так, что один эксперт стоит ровно одного чтения с диска - матрицы gate, up и down лежат вплотную, а сами эксперты хранятся в остаточном векторном квантовании (3 ступени кодбуков по 256 записей, 3 бита на вес), и матрица никогда не разворачивается целиком.

🟡Скорость диска

На один токен движок вычитывает 17 ГБ. Внутренний NVMe в MacBook выдаёт 12,78 ГБ/с, и модель успевает читать.

Внешний бокс по USB даёт 0,94 ГБ/с, и тот же токен считается 13 секунд. Вариант для очень терпеливых.

🟡Работа с памятью

Раздувать кэш экспертов выше 46 ГБ бесполезно и вредно - на 52 ГБ скорость падает втрое, на 58 ГБ в 8 раз.

Причина в том, что движок остаётся внутри своего бюджета, а система уже нет - macOS вытесняет кэш на диск, и попадание в память оборачивается обращением к подкачке. Поэтому по умолчанию WASTE не забирает все доступные ресурсы, а берёт на один рабочий набор экспертов меньше, чем мог бы.

Полтокена в секунду - это 30 секунд на одно предложение, но модели вчетверо меньше до сих пор запускают на серверах с терабайтом DDR5, а здесь почти 3 триллиона параметров отвечают без сети.

Если триллионы параметров не нужны, тот же движок крутит Kimi-Linear 48B из контейнера на 19 ГБ и выдаёт 10,7 токена в секунду - с этого проще начать знакомство.

Для K3 придётся освободить терабайт на диске и потратить около 5 часов на M5 Pro в три процесса, почти сутки - если гонять конвертацию чистым торчем.

Авторы, кстати, завели файл с опровергнутыми гипотезами и записали туда всё, что померили и выбросили.


📌Лицензирование: Apache 2.0 License.


🖥Github


@ai_machinelearning_big_data

#AI #ML #Inference #KimiK3 #WASTE #SQLiteAI