Заварили дети кашу - испугались кашу есть!
Маск и эксперты в области ИИ призвали приостановить обучение нейросетей
111257
29.03.2023 18:41
Ряд известных исследователей искусственного интеллекта и миллиардер Илон Маск подписали открытое письмо с призывом к исследовательским лабораториям по всему миру приостановить разработку крупномасштабных систем этой сфере из-за вытекающих "глубинных рисков для общества и всего человечества".
В письме, опубликованном некоммерческой организацией Институт будущей жизни, отмечается, что сегодня лаборатории искусственного интеллекта втянулись в "неуправляемую гонку" по разработке и внедрению систем машинного обучения, которые "непонятны, непредсказуемы и неподконтрольны даже их создателям".
"Мы призываем все лаборатории ИИ немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода, — говорится в письме. — Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий".
Помимо прочих письмо подписали: писатель Юваль Ноа Харари, соучредитель Apple Стив Возняк, соучредитель Skype Яан Таллинн, политик Эндрю Янг и ряд известных исследователей и руководителей компаний в сфере ИИ, в том числе Стюарт Рассел, Йошуа Бенжио, Гэри Маркус и Эмад Мостак. Однако к новым именам в списке следует относиться с осторожностью, поскольку есть сведения, что некоторых занесли туда шутки ради (в частности, генерального директора OpenAI Сэма Альтмана, который во многом определяет ход гонки в сфере ИИ).
Едва ли письмо окажет сколь-либо существенное влияние на сложившийся климат в исследованиях ИИ, поскольку технологические гиганты вроде Google и Microsoft торопятся с запуском новых продуктов, подчас совершенно не считаясь с прошлыми опасениями насчет безопасности и этики. И все же это говорит о том, что сопротивление подходу "отправь сейчас, а исправь позже" крепнет. Со временем это неприятие может перекинуться в политику и стать предметом рассмотрения законодателей.
Как отмечается в письме, сама компания OpenAI признала потенциальную необходимость "независимой проверки" будущих систем ИИ на предмет соответствия стандартам безопасности. Авторы письма полагают, что момент для этого уже настал.
"Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами, — пишут они. — Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем".
Остановите масштабные эксперименты с искусственным интеллектом — открытое письмо
Мы призываем все лаборатории ИИ немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода.
Системы искусственного интеллекта, потенциально соперничающие с человеком, могут представлять глубинную опасность для общества и человечества. Это показали обширные исследования и признано ведущими лабораториями ИИ. Как отмечено в общепризнанных Асиломарских принципах, продвинутый ИИ может повлечь за собой коренную перемену в жизни на Земле, поэтому его следует планировать и управлять им с должным тщанием и соответствующими ресурсами. Увы, надлежащего уровня планирования и управления мы не наблюдаем — наоборот, за последние месяцы лаборатории искусственного интеллекта втянулись в неуправляемую гонку по разработке и внедрению систем машинного обучения, которые непонятны, непредсказуемы и неподконтрольны никому — даже их создателям.
Современные системы искусственного интеллекта постепенно становятся конкурентоспособными в решении общих задач, и мы должны задаться вопросом: можем ли мы позволить, чтобы машины заполоняли наши информационные каналы пропагандой и неправдой? Надо ли автоматизировать все подряд рабочие места — даже те, что приносят удовлетворение? Надо ли развивать нечеловеческий разум, который в конечном счете превзойдет нас числом, перехитрит и заменит как безнадежно устаревших? Можем ли мы рисковать утратой контроля над всей нашей цивилизацией? Такие решения нельзя отдавать на откуп технологическим лидерам, которых никто не выбирал. Мощные системы искусственного интеллекта следует разрабатывать лишь в том случае, если мы полностью уверены, что сами они принесут пользу, а сопутствующие риски окажутся управляемыми. Эта уверенность должна быть оправдана и крепнуть с ростом потенциальных последствий. В недавнем заявлении о развитии ИИ компания OpenAI признала: "В какой-то момент перед обучением будущих систем может понадобится независимая оценка, а перед разработкой самых передовых из них — ограничение скорости роста вычислений". Мы согласны. И этот момент настал.
Поэтому мы призываем все лаборатории немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода. Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий.
Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами. Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем. Это означает не паузу в развитии ИИ как такового, а лишь приостановку опасной погони за все более крупными и непредсказуемыми моделями черного ящика, чьи возможности еще только проявляются.
Исследования и разработки в области ИИ должны быть переориентированы, чтобы сделать современные мощные системы более точными, безопасными, объясняемыми, прозрачными, надежными, согласованными, безотказными и верными.
Параллельно разработчики должны в сотрудничестве с политиками значительно ускорить разработку надежных систем управления ИИ. В них должны войти как минимум следующие элементы: новые, дееспособные регулирующие органы по вопросам ИИ; надзор и отслеживание высокопроизводительных систем ИИ и больших массивов вычислительных мощностей; системы происхождения и водяных знаков, помогающие отличить оригинал от синтезированного продукта и отслеживать утечки моделей; надежная экосистема аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; и, наконец, обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений в результате деятельности ИИ (особенно для демократий).
В будущем благодаря ИИ человечество сможет добиться процветания. Если мы преуспеем в создании мощных систем, нас ждет "лето ИИ", когда мы будем пожинать плоды, разработав эти системы ради общего блага и дав обществу возможность адаптироваться. Общество уже останавливало применение других технологий с потенциально катастрофическими для себя последствиями. Мы можем повторить это и здесь. Давайте же вместе радоваться "лету ИИ", а не бросаться очертя голову в осень.
Йошуа Бенжио, лауреат премии Тьюринга за развитие глубокого обучения, глава Монреальского института алгоритмов обучения
Стюарт Рассел, профессор компьютерных наук Университета Беркли, директор Центра интеллектуальных систем и соавтор учебника "Искусственный интеллект: современный подход"
Илон Маск, генеральный директор SpaceX, Tesla и Twitter
Стив Возняк, сооснователь Apple
Юваль Ной Харари, писатель и профессор Еврейского университета в Иерусалиме
Эндрю Янг, сопредседатель партии
"Вперед" кандидат в президенты 2020 года, президентский посол в области глобального
предпринимательства
Коннор Лихи, генеральный директор Conjecture
Яан Таллинн, соучредитель Skype, Центр изучения экзистенциального риска, Институт будущей жизни
Уважаемые, гости, если Вам понравилась или наоборот не понравилась новость, оставьте, пожалуйста, Ваш комментарий. Регистрация не займет у Вас времени, Ваше мнение важно для нас. Большое спасибо за Ваше внимание!
Комментарии к новости (1)
Популярные новости
06.07.2012 8:25 - smeshinka
Дин Рид. Открытое письмо А.Солженицину
Я, как американский артист, должен ответить на некоторые ваши обвинения, публикуемые капиталистической прессой во всем мире. По моему мнению, они являются ложными обвинениями, и народы мира должны знать, почему они ложные.
15.03.2013 22:11 - солдат
Островский Николай Алексеевич: "Самое дорогое у человека - это жизнь..."
"Самое дорогое у человека - это жизнь. Она дается ему один раз, и прожить ее надо так, чтобы не было мучительно больно за бесцельно прожитые годы, чтобы не жег позор за подленькое и мелочное прошлое
22.01.2014 15:39 - солдат
"Кому-то мелочь дашь, навек запомнит. Кому-то жизнь отдашь, а он и не поймет..." Омар Хайям
4 декабря 1131 года ушел из жизни великий персидский поэт, философ и математик Омар Хайям.
10.12.2013 17:18 - Сокол
Белые в США выбирают белых и азиатов, москвичи – иных
Исследование приложения для знакомств в Фейсбуке показало, что азиатские женщины получили наибольшее внимание мужчин всех рас (после выбора партнера внутри своей расы). Среди мужчин фавориты - белые. Наименьшим спросом при знакомстве пользуются чёрные женщины и мужчины-азиаты.
02.04.2012 16:13 - 555
Почему американским солдатам не стоит воевать с русскими
Иван Гладилин на страницах km.ru в жанре короткого рассказа пересказывает одну историю, которая случилась в Африке
18.07.2012 8:52 - солдат
Деградация личности
Ниже представлены фотографии англичан. Такое происходит каждые выходные в каждом городе Англии! Вот такие вот особенности национальной культуры. У них даже имя этому беспределу есть - binge drinking
11.09.2012 9:14 - солдат
Изобретения Ломоносова
Ломоносов справедливо считается крупнейшим ученым, вставшим в один ряд со знаменитыми европейскими исследователями, чьи имена сияют нам со страниц школьных учебников.
21.10.2013 8:44 - 555
Славянские узоры и их значение
Ах, эти народные славянские узоры! Как приковывает внимание их тонкая вязь, так отзывается что-то в душе! И кажется, что эти кружевные орнаменты источают дурманящий аромат древних тайн и мерцая, пытаются что-то сказать. Увы! Не многие знают символичный язык славянских узоров, не многие
19.07.2012 23:16 - солдат
Отсутствие интимного стыда - признак шизофрении - психиатр
Мы живем в обществе, в котором грубые психиатрические симптомы — именно те симптомы
22.07.2012 22:27 - 100/500
Российские спортсмены и их зарплаты
За счет чего и из каких источников складываются зарплаты российских олимпийцев. В нашей стране даже не самые известные футболисты и хоккеисты уже давно стали миллионерами, лучшие из них получают 15-20 миллионов
14.12.2011 23:23 - 555
Началась чипизация населения Земли
Компания "Апплайд диджитал солюшнз" (АДС) объявила о том, что Бразилия и Мексика приступили к имплантированию производимых этой фирмой микрочипов под кожу детям. АДС выпускает на рынок работающие на высоких радиочастотах
14.06.2021 7:26 - 555
С 2025 года пенсионный возраст в Германии будет повышен до 70 лет
Это значит, что каждый гражданин Германии, родившийся после 1980 года, будет работать еще дольше. Необходимость повышения пенсионного возраста подтверждает анализ Института немецкой экономики (Institut der Deutschen Wirtschaft, IW). Исследователи IW предупредили правительство, что повышения пенсионного возраста до 68 лет, как того хотят политики, будет недостаточно для сохранения ставки пенсионных взносов на постоянной основе на уровне 22%.
07.07.2013 11:40 - smeshinka
Либерализм – это фашизм сегодня
Либерализм, с моей точки зрения, есть великая утопия. Как система он никогда и нигде не существовать и существовать в принципе не мог. Вне социума человек не существует. Социум же всегда накладывает определенные ограничители. Начало социума — это введение первых табу. Исторически запрет на инцест как акт введения первого табу рождает социум.
10.02.2012 16:40 - солдат
КТО ТАКОЙ СЕРДЮКОВ? Информация к размышлению
От "тамбовских"бандитов до миллиардных поставок военных автомобилей через собственного зятя
16.09.2012 7:57 - 100/500
Советское детство
Детство - чудесная пора в жизни каждого человека. И став взрослыми, мы вспоминаем лишь самое хорошее о детстве. Это не значит, что плохого не было в детстве совсем. Были в детстве и свои трагедии, и разочарования, и горькие обиды.
