OK ML dan repost
Попытка объединить интуицию нейросетей и логику человека
Развитие ИИ сегодня идет не только по пути увеличения размеров моделей и объемов данных. Одним из перспективных направлений считается нейросимволический ИИ (Neuro-Symbolic AI) — подход, объединяющий нейронные сети и методы символического (символьного) вывода🤞!
Современные LLM демонстрируют впечатляющие результаты в генерации текста, программировании и анализе данных, однако по-прежнему страдают от галлюцинаций и не гарантируют логическую корректность выводов. 🚮 Это связано с тем, что их знания представлены в виде статистических зависимостей, извлеченных из обучающих данных, а не в виде формальных правил.
🔛 Нейросимволический ИИ решает эту проблему за счет явного представления знаний в виде фактов, правил и онтологий (да-да, снова графы любимые, но не только). Такие системы позволяют в принципе обеспечивать прозрачность рассуждений и, в ограниченных подзадачах, формальную верификацию результатов, но плохо работают с неструктурированными данными — изображениями, аудио и естественным языком.
❤ Нейросимволические системы стремятся объединить сильные стороны обоих подходов. Нейронные сети выполняют задачи восприятия и извлечения признаков, а символический слой отвечает за логический вывод, проверку ограничений и принятие решений.
🚗 Классический пример — автономное вождение. Модели глубокого обучения обнаруживают на видеопотоке дорожные знаки, транспорт и пешеходов, после чего символический модуль применяет правила дорожного движения и ограничения безопасности для выбора допустимого действия. Аналогичный подход используется в медицинской диагностике 🧑⚕️, робототехнике, планировании и системах поддержки принятия решений.
📛Если масштабирование LLM обеспечивает рост возможностей за счет данных и вычислений, то нейросимволический ИИ рассматривается как один из кандидатов на следующий этап развития интеллектуальных систем, где обучение на данных будет дополняться формальными механизмами рассуждения и проверки знаний.
Насколько вообще актуально?
Изучайте репозиторий от IBM. 😯 какая коллекция нейросимволических (или нейросимвольных, нет по-русски единого перевода) проектов от IBM Research. Содержит ссылки на Logical Neural Networks (LNN), reasoning frameworks, knowledge graphs и инструменты интеграции логики с нейросетями. И интересная репа Scallop - фреймворк для дифференцируемого даталога для построения гибридных нейросимвольных систем. Благодаря поддержке дифференцируемого логического вывода Scallop позволяет интегрировать знания, правила и ограничения предметной области непосредственно в процесс обучения нейронных моделей, обеспечивая интерпретируемость и более надежное принятие решений. Хочется скорее накрутить Neuro-symbolic agents поверх LLM для анализа патчей. И сделать что-то, что будет выглядеть как SecurityGPT с доказуемым reasoning по уязвимостям, связка GraphCodeBERT + Neo4j + Scallop/LNN сейчас выглядит наиболее перспективной… 💪
Что почитать?
Для инженеров особенно рекомендую начать с этих работ (Neuro-Symbolic Artificial Intelligence, From Deep Learning to Deep Reasoning , The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence) — они хорошо объясняют, почему одних больших языковых моделей может оказаться недостаточно для построения надежных систем принятия решений. Там и отсылки на психолога Канемана и его быстрое мышление (трансформеры и большие модели отлично работают на больших данных, но часто используют поверхностные корреляции вместо логического вывода - быстрое мышление (System 1 по Канеману), а не на осознанное рассуждение (System 2). Заодно для вас ссылка на Хабр на разбор монументального труда о мышлении, уже для общего кругозора) .
Все!
✋️
Развитие ИИ сегодня идет не только по пути увеличения размеров моделей и объемов данных. Одним из перспективных направлений считается нейросимволический ИИ (Neuro-Symbolic AI) — подход, объединяющий нейронные сети и методы символического (символьного) вывода🤞!
Современные LLM демонстрируют впечатляющие результаты в генерации текста, программировании и анализе данных, однако по-прежнему страдают от галлюцинаций и не гарантируют логическую корректность выводов. 🚮 Это связано с тем, что их знания представлены в виде статистических зависимостей, извлеченных из обучающих данных, а не в виде формальных правил.
🔛 Нейросимволический ИИ решает эту проблему за счет явного представления знаний в виде фактов, правил и онтологий (да-да, снова графы любимые, но не только). Такие системы позволяют в принципе обеспечивать прозрачность рассуждений и, в ограниченных подзадачах, формальную верификацию результатов, но плохо работают с неструктурированными данными — изображениями, аудио и естественным языком.
❤ Нейросимволические системы стремятся объединить сильные стороны обоих подходов. Нейронные сети выполняют задачи восприятия и извлечения признаков, а символический слой отвечает за логический вывод, проверку ограничений и принятие решений.
🚗 Классический пример — автономное вождение. Модели глубокого обучения обнаруживают на видеопотоке дорожные знаки, транспорт и пешеходов, после чего символический модуль применяет правила дорожного движения и ограничения безопасности для выбора допустимого действия. Аналогичный подход используется в медицинской диагностике 🧑⚕️, робототехнике, планировании и системах поддержки принятия решений.
📛Если масштабирование LLM обеспечивает рост возможностей за счет данных и вычислений, то нейросимволический ИИ рассматривается как один из кандидатов на следующий этап развития интеллектуальных систем, где обучение на данных будет дополняться формальными механизмами рассуждения и проверки знаний.
Насколько вообще актуально?
Изучайте репозиторий от IBM. 😯 какая коллекция нейросимволических (или нейросимвольных, нет по-русски единого перевода) проектов от IBM Research. Содержит ссылки на Logical Neural Networks (LNN), reasoning frameworks, knowledge graphs и инструменты интеграции логики с нейросетями. И интересная репа Scallop - фреймворк для дифференцируемого даталога для построения гибридных нейросимвольных систем. Благодаря поддержке дифференцируемого логического вывода Scallop позволяет интегрировать знания, правила и ограничения предметной области непосредственно в процесс обучения нейронных моделей, обеспечивая интерпретируемость и более надежное принятие решений. Хочется скорее накрутить Neuro-symbolic agents поверх LLM для анализа патчей. И сделать что-то, что будет выглядеть как SecurityGPT с доказуемым reasoning по уязвимостям, связка GraphCodeBERT + Neo4j + Scallop/LNN сейчас выглядит наиболее перспективной… 💪
Что почитать?
Для инженеров особенно рекомендую начать с этих работ (Neuro-Symbolic Artificial Intelligence, From Deep Learning to Deep Reasoning , The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence) — они хорошо объясняют, почему одних больших языковых моделей может оказаться недостаточно для построения надежных систем принятия решений. Там и отсылки на психолога Канемана и его быстрое мышление (трансформеры и большие модели отлично работают на больших данных, но часто используют поверхностные корреляции вместо логического вывода - быстрое мышление (System 1 по Канеману), а не на осознанное рассуждение (System 2). Заодно для вас ссылка на Хабр на разбор монументального труда о мышлении, уже для общего кругозора) .
Все!
✋️