Anthropic помешала возможным попыткам ученых создать биооружие
Последние новости
Компания Anthropic заявила, что в этом году предотвратила несколько возможных попыток использования ее ИИ-моделей для проведений исследований, которые могли помочь в разработке биологического оружия, пишет The New York Times.
В своем отчете компания утверждает, что не может точно определить, для каких целей проводили эти исследования, поскольку их результаты можно использовать как для создания вакцин, так и для разработки опасных патогенов. Как сказано в заявлении, эти ученые обошли блокировку моделей в их регионе и пытались «скрыть цель своих исследований, чтобы обойти наши меры предосторожности».
«Вы не увидите кого-либо, кто скажет как в комиксах: «Я хочу создать биологическое оружие, чтобы убить всех». Это невероятно сложная и неоднозначная ситуация», — сказал глава отдела разведки угроз Anthropic Джейкоб Кляйн.
Из-за неопределенности целей Anthropic не стала раскрывать имена исследователей, страну их происхождения или биологические компоненты. Компания уточнила, что, несмотря на это, проявила осторожность и заблокировала этих пользователей.
Компания привела пример подозрительного использования. В мае один ученый использовал нейросеть Claude для написания заявки на получение гранта для проведения исследований, направленных на эксперимент с вирусом чикунгунья. Как утверждает компания, он хотел создать мутации вируса, которые сделали бы его более опасным при неоднократном заражении животных. Как утверждает Anthropic, это исследование вызвало беспокойство, так как удалось установить, что работа предназначалась для военного научно-исследовательского института.
Вирус чикунгунья передается человеку инфицированными комарами. Вспышки заболеваемости чаще фиксируют в странах Америки, Азии и Африки. Вызывает лихорадку и сильную боль в суставах, а также отеки суставов, боль в мышцах, головную боль, тошноту, усталость и сыпь.
«Чего мы не знаем, так это того, было ли целью исследования для создания оружия. Но военное учреждение, проводящее исследования по повышению по усилению функций вирусов, вызывает беспокойство», — заявил глава отдела анализа угроз в Anthropic Джейкоб Кляйн.
Компания добавила, что оценки ее предыдущих моделей показали, что они не способны оказать существенную помощь в проведении опасных биологических исследований. При это новые системы могут выполнять более сложные научные задачи, что привело к ужесточению мер предосторожности и ограничению доступа к биологическим исследованиям двойного назначения.
На этой неделе из Anthropic ушел исследователь Джейкоб Коксон — он заявил, что решил в целом покинуть индустрию искусственного интеллекта из-за опасений, что разработчики слишком быстро создают системы, способные самостоятельно совершенствоваться и в будущем выйти из-под контроля. По его словам, ни одна компания не сможет ответственно создавать ИИ, способный превосходить людей в широком спектре задач, без вмешательства государства или согласованного замедления разработки.
Нобелевский лауреат Джеффри Хинтон, которого называют «крестным отцом» ИИ, ранее заявил, что разработка сверхмощных систем ИИ может иметь катастрофические последствия для человечества. Исследователь считает, что сейчас компании не могут безопасно создавать «суперинтеллект» — систему, значительно превосходящую человека по интеллекту.
