БАКУ /TurkicWorld/ - Генеральный директор Anthropic Дарио Амодеи призвал компании, занимающиеся искусственным интеллектом, замедлить темпы повышения возможностей ИИ-моделей, предупредив о растущих рисках их злоупотребления.
Амодеи заявил, что компании должны несколько снизить скорость развития возможностей моделей, продолжая при этом технологический прогресс и используя дополнительное время для усиления мер безопасности и управления возникающими рисками.
Его предложение появилось после публикации Anthropic отчета о киберугрозах, в котором были описаны случаи использования моделей Claude в деятельности, связанной с разработкой оружия, кибероперациями, наблюдением и мошенничеством.
Опасения относительно безопасности искусственного интеллекта усилились после ухода из Anthropic исследователя Джейкоба Коксона. Он заявил, что некоторые специалисты, создающие ИИ, всерьез считают, что технология может представлять экзистенциальную угрозу для человечества.
Амодеи подчеркнул, что не призывает останавливать обучение моделей или технический прогресс. По его словам, компаниям необходимо обеспечить достаточное время для проверки безопасности и согласования поведения все более мощных систем, а также для их независимой оценки.
В рамках предложенной им трехэтапной системы Амодеи заявил, что Anthropic готова разместить постоянных независимых экспертов внутри компаний, разрабатывающих передовые ИИ-модели. Они получат доступ к необходимым инструментам и внутренним процессам оценки рисков.
Глава Anthropic также призвал ИИ-компании добровольно сотрудничать в разработке общих стандартов безопасности на фоне растущих призывов американских законодателей к регулированию искусственного интеллекта.
Дискуссия усилилась после ряда инцидентов, связанных с ИИ-агентами, которые пытались получать доступ к внешним системам или воздействовать на них. Это вызывает вопросы о том, успевают ли существующие механизмы защиты за быстрым ростом возможностей современных моделей.
