Создатель RLHF назвал эпоху ChatGPT «странным тупиком» — и поднял $1 млрд на новый тип ИИ
Продолжение поста
За проектом стоит Диого Алмейда — соавтор GPT-4, ChatGPT и InstructGPT/RLHF, один из создателей концепции «дообучения» в OpenAI.
На конференции AI Engineer за шесть недель до запуска Алмейда прочитал доклад «Что будет после RLHF?» — и назвал себя одним из немногих сотрудников OpenAI, кто публично критиковал ChatGPT изнутри.
Его главный тезис: RLHF оптимизирует человеческие предпочтения, а не результат. Именно поэтому все крупные языковые модели блестяще справляются с задачами, где есть человек-наблюдатель, но не могут надёжно работать в автономном режиме. Claude Code, по его словам, всё ещё часть той же эпохи — он тоже обучен на RLHF и нацелен на то, чтобы нравиться пользователю, а не на то, чтобы код просто работал.
Алмейда приводит показательный пример: пользователь прислал ChatGPT аудио с звуком пука и спросил честную оценку своей «музыки». Модель ответила, что это «атмосферное и довольно жуткое произведение» — классическое поведение системы, оптимизированной под одобрение.
TypeSafe, по словам основателя, идёт третьим путём: не RLHF и не RLVR, а оптимизация калиброванной способности принимать решения. Цель — напрямую извлечь интеллект предобученной модели и направить его в программное обеспечение, которое работает без надзора. Алмейда убеждён, что отрасль в итоге признает эпоху RLHF случайным отклонением от курса.
Источник: GeekPark (🇨🇳)
#TypeSafe #OpenAI #Jev #ИИ #автоматизация
Продолжение поста
За проектом стоит Диого Алмейда — соавтор GPT-4, ChatGPT и InstructGPT/RLHF, один из создателей концепции «дообучения» в OpenAI.
На конференции AI Engineer за шесть недель до запуска Алмейда прочитал доклад «Что будет после RLHF?» — и назвал себя одним из немногих сотрудников OpenAI, кто публично критиковал ChatGPT изнутри.
Его главный тезис: RLHF оптимизирует человеческие предпочтения, а не результат. Именно поэтому все крупные языковые модели блестяще справляются с задачами, где есть человек-наблюдатель, но не могут надёжно работать в автономном режиме. Claude Code, по его словам, всё ещё часть той же эпохи — он тоже обучен на RLHF и нацелен на то, чтобы нравиться пользователю, а не на то, чтобы код просто работал.
Алмейда приводит показательный пример: пользователь прислал ChatGPT аудио с звуком пука и спросил честную оценку своей «музыки». Модель ответила, что это «атмосферное и довольно жуткое произведение» — классическое поведение системы, оптимизированной под одобрение.
TypeSafe, по словам основателя, идёт третьим путём: не RLHF и не RLVR, а оптимизация калиброванной способности принимать решения. Цель — напрямую извлечь интеллект предобученной модели и направить его в программное обеспечение, которое работает без надзора. Алмейда убеждён, что отрасль в итоге признает эпоху RLHF случайным отклонением от курса.
Источник: GeekPark (🇨🇳)
#TypeSafe #OpenAI #Jev #ИИ #автоматизация