Несколько дней назад Sequoia собрали у себя 100 ведущих основателей и исследователей в ИИ, среди которых был Альтман, Карпатый, Эндрю Нг и др.
Вот, что они говорили об ИИ:
1. ИИ-помощники
LLM потенциально могут стать мощными агентами, что определяется как выбор последовательности действий, которые необходимо предпринять – посредством рассуждений/планирования или запрограммированных цепочек; выполнение этой последовательности действий.
Примеры: Zapier, Glean, Cognition AI.
2. Планирование и обоснование
Планированию и рассуждениям уделялось основное внимание на мероприятии, т.к. это являются важной и активно исследуемой подтемой агентов.
Если вы сравните AlphaGo и другие игровые процессы с искусственным интеллектом, то шаг 1 (предварительное обучение/имитационное обучение) приведет вас лишь к определенной цели, в то время как шаг 2 (обучение с подкреплением, поиск по дереву Монте-Карло, итерация функции значения) на самом деле создал эти ИИ сверхчеловек.
- Аналогичная аналогия справедлива и для LLM, где провели только предварительное обучение, но не добавили вычисления времени вывода для достижения сверхчеловеческого уровня производительности.
- Эти идеи — не просто уроки игрового процесса, это уроки 70 лет исследований ИИ. Два метода, которые масштабируются произвольно и обычно — это поиск и обучение. Поиск недостаточно изучен из-за его важности.
3. Чего ожидать от Foundation Model Companies
- Большие и умные модели
- Менее большие, менее дорогие и довольно умные модели.
- Больше возможностей платформы для разработчиков.
- Различные направления деятельности: Mistral для разработчиков и открытого исходного кода, Anthropic для предприятий.
4. Последствия для стартапов в ИИ
Некоторые модели быстро меняется и становится лучше, быстрее, дешевле.
Сосредоточьтесь на создании приложений, которые будут становиться лучше по мере того, как модели становятся умнее.
Не тратьте время на исправление дыр в текущих моделях, которые исчезнут по мере совершенствования самих моделей.
Вот, что они говорили об ИИ:
1. ИИ-помощники
LLM потенциально могут стать мощными агентами, что определяется как выбор последовательности действий, которые необходимо предпринять – посредством рассуждений/планирования или запрограммированных цепочек; выполнение этой последовательности действий.
Примеры: Zapier, Glean, Cognition AI.
2. Планирование и обоснование
Планированию и рассуждениям уделялось основное внимание на мероприятии, т.к. это являются важной и активно исследуемой подтемой агентов.
Если вы сравните AlphaGo и другие игровые процессы с искусственным интеллектом, то шаг 1 (предварительное обучение/имитационное обучение) приведет вас лишь к определенной цели, в то время как шаг 2 (обучение с подкреплением, поиск по дереву Монте-Карло, итерация функции значения) на самом деле создал эти ИИ сверхчеловек.
- Аналогичная аналогия справедлива и для LLM, где провели только предварительное обучение, но не добавили вычисления времени вывода для достижения сверхчеловеческого уровня производительности.
- Эти идеи — не просто уроки игрового процесса, это уроки 70 лет исследований ИИ. Два метода, которые масштабируются произвольно и обычно — это поиск и обучение. Поиск недостаточно изучен из-за его важности.
3. Чего ожидать от Foundation Model Companies
- Большие и умные модели
- Менее большие, менее дорогие и довольно умные модели.
- Больше возможностей платформы для разработчиков.
- Различные направления деятельности: Mistral для разработчиков и открытого исходного кода, Anthropic для предприятий.
4. Последствия для стартапов в ИИ
Некоторые модели быстро меняется и становится лучше, быстрее, дешевле.
Сосредоточьтесь на создании приложений, которые будут становиться лучше по мере того, как модели становятся умнее.
Не тратьте время на исправление дыр в текущих моделях, которые исчезнут по мере совершенствования самих моделей.