OpenAI предлагает изучать нейросети с помощью ИИ

По мере того как системы ИИ становятся все больше и мощнее, исследовательским группам становится все труднее анализировать, как модель приходит к тому или иному решению.

Именно поэтому OpenAI решил обратиться к власти. Исследовательская лаборатория, стоящая за ChatGPT, показала, что она использует GPT-4, свою самую большую и мощную языковую модель на сегодняшний день, для автоматизации анализа более старой версии, модели GPT-2.
Команда исследователей предложила использовать ИИ для создания и оценки естественно-языковых объяснений поведения нейронов одной модели и применения их к нейронам другой языковой модели.
Обычно этим процессом занимаются люди, что занимает значительное время и плохо масштабируется, особенно если нейронные сети имеют десятки или сотни миллиардов параметров.
OpenAI предлагает использовать GPT-4 для ускорения этого процесса, говорится в ее статье «Языковые модели могут объяснить нейроны в языковых моделях». Компания говорит, что этот подход можно использовать для «всестороннего аудита безопасности моделей перед развертыванием».

Как это будет происходить?
GPT-4, который был выпущен в марте, использовался для измерения способности GPT-2 сжимать и реконструировать активации нейронов с помощью естественного языка. GPT-2, выпущенный еще в 2019 году, гораздо проще по сравнению со своими преемниками, в нем всего 1,5 миллиарда параметров.
Однако, хотя эта концепция работает на небольших моделях, таких как GPT-2, OpenAI заявила, что эта техника «плохо работает для более крупных моделей, возможно, потому что более поздние слои сложнее объяснить».
Тем не менее, «несмотря на то, что подавляющее большинство наших объяснений оценивается плохо, мы считаем, что теперь можем использовать методы ML для дальнейшего улучшения наших возможностей по созданию объяснений», — заявили исследователи.

OpenAI заявила, что она выкладывает в открытый доступ наборы данных и инструменты визуализации для GPT-4 — письменные объяснения всех 307 200 нейронов в GPT-2. Также публикуется код для объяснения и подсчета баллов с использованием общедоступных моделей на OpenAI API.
«Мы надеемся, что исследовательское сообщество разработает новые методы генерации объяснений с более высокой оценкой и лучшие инструменты для изучения GPT-2 с помощью объяснений», — говорится в сообщении в блоге компании.