Объяснимый искусственный интеллект: новый шаг к пониманию решений

Новая технология искусственного интеллекта позволяет чётко объяснять, почему он принимает те или иные решения при классификации изображений. Разработана она в Мичиганском университете и может быть полезна в областях, где важно понимать, как ИИ пришёл к определённому выводу, например, в медицине.

Сейчас ИИ может, например, определить, что на снимке опухоль злокачественная, но не объяснить, почему он так решил — из-за размера, формы или тени. Это может затруднить проверку результата врачом или объяснение пациенту. Более того, ИИ может обнаружить несущественные для человека закономерности в данных и ошибочно использовать их.

Салар Фаттахи из Мичиганского университета, старший автор исследования, говорит, что нам нужны надёжные системы ИИ, особенно в медицине. Он хочет создать ИИ, который будет не только точным, но и понятным.

ИИ использует числа для описания понятий, например, «перелом» или «здоровая кость». Объяснимый ИИ делает эти числа понятными для человека.

Ранее для объяснения работы ИИ добавляли интерпретируемость уже после создания модели. Эти методы могут показывать важные факторы, но сами по себе не всегда понятны. Кроме того, они рассматривают числа как фиксированные и не учитывают возможные ошибки или искажения.