Шедеврально! Компании из Долины выпустили конкурс «Последний экзамен человечества»
Scale AI и Center of AI Safety объявили о проведении конкурса под названием "Humanity's Last Exam" (Последний экзамен человечества).
Цель - создать самый сложный тест, который человечество способно разработать для оценки ИИ.
Существующие тесты стали слишком простыми и не позволяют отслеживать прогресс ИИ.
Каждый может придумать свой вопрос и отправить его организаторам, но есть требования
1. к вопросам:
- Высокий уровень сложности: должны быть трудными для неспециалистов и не иметь простых ответов в интернете.
- Объективность: ответы должны быть признаны экспертами в данной области.
- Оригинальность: вопросы должны быть авторскими.
- Конфиденциальность: вопросы не должны быть общедоступными.
- Ограничения по темам: запрещены вопросы, связанные с оружием и опасными технологиями.
2. Рекомендации для участников:
- Желательно иметь 5+ лет опыта в технической отрасли или быть аспирантом/выше в академической среде.
- Вопросы должны быть сложнее уровня магистратуры.
- Если случайный студент может понять вопрос, он, вероятно, слишком прост для современных и будущих ИИ-систем.
Награды:
- Возможное соавторство в итоговой научной работе.
- Денежные призы: $5000 за каждый из 50 лучших вопросов, $500 за каждый из следующих 500 вопросов.
Scale AI и Center of AI Safety объявили о проведении конкурса под названием "Humanity's Last Exam" (Последний экзамен человечества).
Цель - создать самый сложный тест, который человечество способно разработать для оценки ИИ.
Существующие тесты стали слишком простыми и не позволяют отслеживать прогресс ИИ.
Каждый может придумать свой вопрос и отправить его организаторам, но есть требования
1. к вопросам:
- Высокий уровень сложности: должны быть трудными для неспециалистов и не иметь простых ответов в интернете.
- Объективность: ответы должны быть признаны экспертами в данной области.
- Оригинальность: вопросы должны быть авторскими.
- Конфиденциальность: вопросы не должны быть общедоступными.
- Ограничения по темам: запрещены вопросы, связанные с оружием и опасными технологиями.
2. Рекомендации для участников:
- Желательно иметь 5+ лет опыта в технической отрасли или быть аспирантом/выше в академической среде.
- Вопросы должны быть сложнее уровня магистратуры.
- Если случайный студент может понять вопрос, он, вероятно, слишком прост для современных и будущих ИИ-систем.
Награды:
- Возможное соавторство в итоговой научной работе.
- Денежные призы: $5000 за каждый из 50 лучших вопросов, $500 за каждый из следующих 500 вопросов.