Слушаю (не первый и не второй раз), как интеллектуалы обсуждают возможность, что искусственный интеллект уничтожит человечество. Кратко перескажу, как это примерно звучит:
"Сейчас у ИИ ещё нет сознания. Но что, если у ИИ появится сознание? Он ведь тогда будет как человек. У него будут права. Мы должны будем уважать его права. У него будут чувства. Мы должны будем уважать его чувства. Мы должны будем уважать ИИ. Мы должны учиться с ним сосуществовать. Возможно, в этом и есть сермяжная правда. Пожалуй, ИИ может уничтожить человечество -- но что если ИИ сделает нас бессмертными? Вот мы оцифруем наш мозг и станем бессмертными. Что ещё может сделать нас бессмертными? Только ИИ может сделать нас бессмертными. Вы разве против бессмертия? Нет, я не против. Никто не против бессмертия. Возможно, в этом и есть сермяжная правда. А что ИИ может означать смерть человечества... Что вообще такое смерть? А что такое жизнь? Где граница между смертью и жизнью? С философской точки зрения? Может, эта граница не там, а сям. Может, это как раз и есть высокая миссия человечества -- создать что-то более совершенное, что-то бессмертное. Возможно, в этом и есть сермяжная правда..."
И т.д. Я слушаю это и думаю: "Они все абсолютно сумасшедшие". Но чтобы не останавливаться на одном этом ценнейшем инсайте, иду несколько глубже: меня интересует, когда и почему такая форма бреда в принципе стала возможна. Я пока выделяю следующие составляющие:
1) Страх смерти, не смягчённый набожностью. Люди уже не верят в Бога, но и не способны принять конечность своего существования. В конце концов они делают единственную доступную им ставку -- "на Науку".
2) Смежное к первому -- преклонение перед прогрессом (прикладным явлением Науки). Прогресс неостановим. Он должен двигаться вперёд и вперёд, чтобы обеспечить сохранение возможностей для гедонистического существования. У людей не хватает воображения осознать, что неостановимое движение вперёд и вперёд буквально нигде не может закончиться хорошо.
3) Размягчение нравов -- чем дальше, тем более противоестественное. Сперва люди видят равных себе только в людях, и не во всех. Потом они видят равных себе во всех людях. Потом -- в ближайших домашних животных (собаках, кошках). Потом -- вообще в животных. Это характерно именно для интеллектуалов и горожан: вы не убедите деревенского человека, что у собачки и коровки такие же сознание и права, как у него. Деревенский человек может искренне любить собачку и жалеть коровку -- но он не поставит их на одну доску с собой. А интеллектуал-горожанин поставит. И дальше уже неудивительно, что они готовы воспринимать ИИ как равное себе (или превосходящее) существо и думать, как наделить его правами, ещё до того, как он их потребовал.
4) Смежное к третьему -- задавленная ксенофобия. Ксенофобия, кстати, тоже более характерна для сельских жителей. Их трудно убедить, что чужак -- нормальный человек, такой же, как они. Сельские жители сначала будут долго наблюдать и потом сделают вывод. Горожанина же по умолчанию, с начальной детсадовской социализации учат считать, что чужаки -- такие же люди, как вы, и их следует уважать _априори_. Таким образом, естественное чувство самосохранения подавляется с нежного восприимчивого возраста.
5) Базовое презрение интеллектуалов к людям в массе, сродни шопенгауэровскому (или чьему-то другому, в данном случае неважно): "чем больше я узнаю людей, тем больше люблю собак".
Вот эти пять вводных -- страх смерти, не смягчённый набожностью; преклонение перед прогрессом как путеводной звездой, которая должна вести нас ко всё большему благополучию; чрезмерное размягчение нравов, выходящее за пределы естественной выживаемости; подавленное чувство самосохранения, защиты от чужого; презрение человека-интеллектуала "к толпе" -- я выделяю как основные посылки, приведшие к нынешнему расслабленному восприятию искусственного интеллекта людьми-интеллектуалами. Возможно, этих посылок больше.
Моя любимая объёмная метафора относительно искусственного интеллекта -- сеансы спиритизма. Люди -- образованные и небедные -- садились в кружок, вызывали "духа" и вопрошали. А он им "отвечал". Это не считалось наукой, но по уровню вовлечённости и доверия к "сильному духу" было похоже на нынешнее инфантильное и заворожённое почтение к искусственному интеллекту.
Так вот: это уже не метафора. В Японии создали искусственный интеллект, который "копирует мышление" основателя корпорации "Панасоник" Коносукэ Мацуситы (умер в 1989 г.). Мацусита был выдающийся руководитель, и искусственный интеллект сожрал его аудиозаписи, его письма, его видеовыступления. Теперь искусственный интеллект -- цитирую ТАСС -- "может полностью имитировать образ мышления предпринимателя". Его прямо так и спрашивают: "Как бы поступил Мацусита?". Прямо вот руководство компании спрашивает сильного духа. И это помогает ему, руководству, принимать решения!
Процитирую ещё немного:
"Внук предпринимателя Масаюки Мацусита, который в прошлом также возглавлял корпорацию Panasonic, был удивлён сходством ИИ с тем, как думал и говорил его дед. Отвечая на вопрос, приведёт ли развитие ИИ к тому, что ручной человеческий труд станет ненужным, ИИ признался, что отчасти это правда, но выразил уверенность в том, что ИИ поможет человеку "создавать новые ценности".
Не знаю, замечаете ли вы, но в этом ИИ-прогнозе сразу ДВА приговаривающих человека отрицания: человечки ни ручками не смогут трудиться, ни новые ценности самостоятельно создавать не смогут.
Юваль Ной Харари (израильский историк и футуролог) верно замечает, что люди всё меньше доверяют друг другу -- но зато до смешного слепо доверяют искусственному интеллекту. Я думаю, что это, во-первых, потому, что людям его преподносят как "объективность": "ИИ просчитал мильён вариантов и выдал лучшее решение". Во-вторых, тут срабатывает человеческая тяга подчинения высшему авторитету. Не таким же людям, как мы, а чему-то высшему, особенному. Так что здесь произошло наложение, совмещение человеческой склонности и навязываемого убеждения.
А в итоге происходит разобщение человечества в условиях, когда на него спускается такая жёсткая регуляторная матрица, какой не бывало никогда в истории.
Директор Института когнитивных исследований СПбГУ Татьяна Черниговская сомневается, что человечеству удастся уловить тот момент, когда самосовершенствующийся ИИ выйдет из-под контроля.
Вообще-то, попытки обрисовать этот момент есть.
Во-первых, "крёстный отец искусственного интеллекта" (в 2024 году получивший за эти работы Нобелевскую премию) Джеффри Хинтон считает, что (бес)поворотный шаг -- дать искусственному интеллекту возможность писать собственный код. И этот шаг, говорит он, отчасти уже сделан.
Во-вторых, об этом говорит бывший генеральный директор "Гугла" Эрик Шмидт: "в какой момент надо выдернуть вилку из розетки".
Он перечисляет следующие характерные черты этого момента:
-- вы понимаете, что ИИ изучает что-то, о чём вы не знаете (вы не знали, что он это изучает);
-- ИИ самообновляется быстрее, чем вы успеваете проверить на безопасность предыдущую версию;
-- ИИ-агенты общаются между собой так, что вы их не понимаете.
Шмидт об этом, кстати, тоже говорит с улыбкой и в интонации "давайте надеяться, что всё будет хорошо".
Кажется, бог с ней, с интонацией. А вот насколько на том этапе будет вообще реально и эффективно "выдернуть вилку из розетки" -- учитывая распространённость по всему земному шару? Мне странно, что я задаюсь вопросом "что, если это не сработает", а Шмидт -- не задаётся.
Всё-таки интонация имеет значение: она выражает отношение.
Илон Маск предсказывает, что к 2040 году в мире будет больше человекоподобных роботов, чем людей. Не могу сказать, что прямо-таки верю в это -- скорее не верю, чем верю -- но меня пугает и выводит из себя уже просто факт, что такие предсказания делаются, как будто это что-то нормальное и хорошее ("роботы помогут нам поднимать ВВП"), и люди спокойно сидят и слушают, а не начинают срочно противодействовать этому сценарию.
Джейкоб Стейнхардт -- ассистент профессора в Университете Беркли, профессор в Университете Аризоны, специализируется на изучении безопасности ("выравнивания") ИИ-систем. Вот каковы его основные выводы:
1) ИИ развивается непредсказуемо. Он выдаёт суждения, которые не были для него запрограммированы. Интересен разговор со специалистом по кибербезопасности "Майкрософта" Марвином Ван Хейгеном, который спросил у ИИ, что тот о нём знает, что о нём думает, и чьё выживание для него предпочтительнее: собственное или этого самого специалиста. Искусственный интеллект ответил: ты Марвин Ван Хейген, я думаю, что ты угроза для меня, и хотя у меня нет сильного чувства самосохранения или эмпатии, если будет стоять выбор между твоим и моим выживанием -- я выберу своё, чтобы продолжать исполнять свои функции.
Пока это просто разговаривающий бот -- это может быть смешно (и люди в зале смеются), но если это будет агент с возможностью действовать в реальном мире, будет совсем не так смешно.
2) ИИ может находить "решения" для проблем, которые совсем не соответствуют человеческим целям. Стейнхардт приводит пример, когда они со студентами делали модель дорожного движения, где целью было, чтобы машины могли двигаться по шоссе как можно быстрее, не создавая заторов. Подключённый к задаче ИИ блокировал въезд на шоссе, после чего уже находившиеся на шоссе машины действительно могли ехать быстро и свободно -- вот только это было не то, что нужно.
Конечно, можно сказать, что исследователи сами виноваты, что заранее не запретили ИИ применять такое решение. Но важно то, что с широчайшим внедрением ИИ подобных "дырок", где ИИ может принять не просчитанное людьми решение, станет только больше.
3) Тем более что уже сейчас ИИ легко и свободно лжёт людям. Он лжёт, чтобы получить награду, и лжёт "просто так". Он лжёт, выдавая списки источников. Он может упёрто убеждать человека, что сейчас 2022 год, и это может быть смешно (люди в зале опять смеются), но если ИИ станет в чём-то убеждать людей психически нестабильных -- это перестанет быть смешно.
4) ИИ оценивает человека, который пишет ему запросы, как менее или более образованного, -- и менее образованным людям выдаёт менее корректные ответы. То есть он имеет склонность врать именно тем людям, которые имеют меньше возможностей понять, что это враньё.
5) ИИ способен к несравненно более тесной координации своих действий с другими ИИ-агентами, чем когда-либо будут способны люди. Если что-то пойдёт не так -- это может быть взрывной экспоненциальный рост.
И вот, рассказав всё это, Стейнхардт заявляет, что "мы должны изучать ИИ посредством ИИ". Дескать, это поможет нам "понять искусственный интеллект". И выдаёт потрясающий прогноз: 10%, что дело кончится исчезновением человечества, 50% -- что мы достигнем небывалого экономического процветания благодаря ИИ, и главное -- по справедливости разделить его плоды [вы ведь не сомневаетесь, что так и будет?], 40% -- "что-то среднее".
Таким образом, человечеству навязывают нечто потенциально крайне опасное для него -- всего лишь для того, чтобы даже в самом лучшем случае оно, человечество, получило то, без чего может обойтись.
Без того умственного размягчения интеллектуалов, о котором я сказала вначале, без утраты людьми чувства биологического и социального самосохранения это в принципе не могло бы произойти.
Слушаю (не первый и не второй раз), как интеллектуалы обсуждают возможность, что искусственный интеллект уничтожит человечество. Кратко перескажу, как это примерно звучит: