В DeepMind разработали IQ-тест для моделей искусственного интеллекта

Исследователи определяют абстрактное мышление как способность распознавать образы и решать задачи на концептуальном уровне. Для человека вербальное, пространственное и математическое мышление можно измерить с помощью тестов на выявление связей между формами, объектами и цветами. Но и этот способ далеко не совершенен хотя бы потому, что к ним можно заранее подготовиться, заучив короткие способы решения задач.

Для нейросетей, которые способны запоминать несравнимо больше и быстрее человека, разработчики создали генератор вопросов, включающих абстрактный набор факторов, таких как зависимости (например, прогрессия) и свойства (цвет или размер). Затем эти факторы комбинируются в различные наборы задач для тестирования и тренировки моделей машинного обучения. Самые умные алгоритмы оказались более чем способны вывести понятия, которых прежде никогда не встречали.

Большинство моделей показало высокие результаты, некоторые набрали до 75 процентов. По словам учёных, точность моделей была тесно связана с их способностью выводить лежащие в основе задач абстрактные понятия. Исследователи смогли увеличить результативность моделей, обучив их «осмысливать» ответы и предсказывать, какие зависимости и свойства необходимо задействовать для решения задания.

Но даже самой производительной нейросети Wild Relation Network не удалось экстраполировать значения свойств, которые она не видела во время обучения. Также она достигла более низких показателей при решении задач на обобщение, если тренировалась на закономерностях, которые уже видела, или на новых свойствах.

Учёные отмечают, что успех в решении таких задач зависел от ряда факторов, таких как архитектура моделей и того, обучали ли её выдавать интерпретируемое объяснение своего ответа. Исследователи планируют разработать новые стратегии для повышения результативности моделей при решении задач на обобщение.