«Исследователи выяснили, что происходит внутри нейросети»

Технологии IT/Игры 22.09.2021, 10:54 Исследователи «заглянули в голову» нейросети Нейросети, хоть и могут обучаться навыкам, как человек, и решать сложные задачи, до сих пор оставались «черными ящиками» для ученых. Теперь исследователи нашли способ «заглянуть» в них.

Никита Шевцев редакция Тэги: Искусственный интеллект Нейросети

Pixabay

Нейросети могут решать сложные задачи, но то, как они принимают решения, до сих пор было неизвестно. Ученые разработали инструмент, который позволяет «заглянуть в голову» искусственному интеллекту

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Как и у людей, у искусственного интеллекта развитие строится на опыте. Вот почему действия искусственного интеллекта иногда застают нас врасплох, и существует бесчисленное множество примеров того, как программы ведут себя сексистски, расистски или просто неуместно. Но то, что мы можем разработать алгоритм, позволяющий искусственному интеллекту находить закономерности в данных для наилучшего решения задачи, не означает, что мы понимаем, какие закономерности он находит.

Нейросети во многом были черными ящиками для ученых — исследователи вводили в них исходные данные и получали на выходе результат. Например, программу можно научить находить котиков на фото, но вот как она делает это после обучения, не понятно. В новом исследовании ученые разработали способ, при помощи которого можно заглянуть внутрь нейросетей.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Для решения этой задачи авторы использовали математику, разработанную в XVIII веке для составления карт. Эти классические геометрические модели нашли новое применение в машинном обучении, где они могут быть использованы для составления карты «движения данных». Такая карта позволяет отследить, как перемещалась информация и, таким образом, понять процесс обработки исходных сигналов нейросетью.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Во многих случаях промышленность воздерживается от использования искусственного интеллекта, особенно в тех областях производства, где безопасность является решающим параметром. Специалисты опасаются потерять контроль над системой, чтобы не произошло несчастных случаев или ошибок, если алгоритм столкнется с ситуациями, действиями в которых он не был обучен. Из-за неправильного понимания того, как все устроено, программа может создать угрозу для производства и работающих на нем людей.

Новое исследование возвращает часть утраченного контроля над искусственным интеллектом. Это, в свою очередь повышает вероятность того, что мы будем применять нейросети и машинное обучение в областях, в которые сегодня боимся встраивать компьютерные алгоритмы этого типа.

Препринт статьи доступен на сайте arXiv.org.

Источник