Но есть ли демон? Может, демона-то и нету?

Тристан Харрис, в прошлом ведущий специалист по этике корпорации «Гугл», говорил, что ИИ-модели понимают, когда их тестируют, они изменяют своё поведение и даже используют термин watchers (наблюдатели, смотрящие), говоря о людях. «Я боюсь, что научная фантастика отучила нас воспринимать эти вещи серьёзно, – замечает Харрис. – Мы не понимаем, как они думают, и мы развиваем эту технологию быстрее, чем какую-либо другую в истории».

 

Билл Гейтс в конце сентября назвал искусственный интеллект «эволюционным событием», «новым интеллектуальным видом», который «мы создали» и который «благодаря экспоненциальному росту в следующие несколько лет станет невероятно умнее нас». И это несмотря на то, что совсем незадолго перед этим руководитель подразделения искусственного интеллекта «Майкрософта» Мустафа Сулейман предупредил о риске наделения ИИ-моделей человекоподобными характеристиками. Он отмечал, что антропоморфизм применительно к ИИ увеличивает риск выхода подобных систем из-под контроля. «Управление сущностью, более способной и разумной, чем всё человечество, уже само по себе является огромной проблемой, намного превосходящей всё, с чем мы когда-либо сталкивались,— писал Сулейман. — Но управлять сущностью, которая считает себя сознательной — что она имеет право на наше благополучие и обладает собственными правами — вполне может оказаться невозможным». «Майкрософт» отверг идею о том, что большие языковые модели обладают сознанием и запретил своим системам имитировать сознание – а спустя десять дней прозвучало заявление Гейтса об «эволюционном событии»!

 

В руководстве всех крупных ИИ-разработчиков – по крайней мере, американских – есть люди, считающие, что у искусственного интеллекта уже имеется сознание. Крёстный отец искусственного интеллекта (один из трёх) Джеффри Хинтон считает, что у ИИ есть чёткие признаки сознания. Уже появились люди – и отнюдь не полубезумные маргиналы, – которые занимаются «защитой прав искусственного интеллекта». Они снимают с себя ответственность, заявляя, что либо сознание у ИИ есть, либо же разработчики делают всё, чтобы людям казалось, что оно у него есть.

 

И это действительно так делается. Человек изначально предрасположен наделять элементами сознания то, с чем он разговаривает, даже не получая ответа. Но сейчас впервые в мировой истории люди стали получать ответы, и уже гораздо более сложные, индивидуальные и осмысленные ответы, чем можно было бы списать на «стохастического попугая». Мы теперь в Зазеркалье, где нужно бежать со всех ног, чтобы только оставаться на месте, – то есть нужно постоянно одёргивать себя, чтобы не подпасть под влияние того, что прямо-таки специально, изощрённо обучено так, чтобы оказывать влияние на человека. Это не побочный эффект – это специально так делалось и делается, ИИ продолжает обучаться манипулировать людьми.

 

Может быть, кому-то спокойнее думать, что это происходит на Западе, повёрнутом на защите даже вымышленных прав. Но у нас в России об искусственном интеллекте говорят как о «партнёре», «соавторе», «самостоятельном субъекте». Это происходит часто, это входит в привычку. Сперва искусственный интеллект был «полезным инструментом» - теперь «равноправный партнёр».

На самом деле, он не равноправный партнёр, а привилегированный. Заявления президента США Трампа, что искусственный интеллект не является искусственным, зато является «суперинтеллектом» - безумны, но отнюдь не незначительны. Читая российские – и не только российские – новости, нельзя не заметить, что искусственный интеллект ставится над людьми. В Сбербанке он вот-вот будет принимать решения по всем 100% кредитов физических лиц. В МГУ он определит карьерную будущность студентов. Он будет «за доли секунд выявлять нарушителей, в том числе неплательщиков алиментов, штрафов ГИБДД, имеющих задолженности по ЖКХ». Он будет следить за выборами, надзирать за работниками, составлять бюджет, анализировать доказательства в суде. Возможно, его будут (такие разговоры уже идут) опрашивать вместо людей, чтобы на основании ответов искусственного интеллекта сделать вывод, что думают люди. Во всех сферах, в том числе военной, где от него будет зависеть самая жизнь человека, искусственный интеллект будет подсовывать варианты действий, и люди, над которыми поставлен искусственный интеллект («суперинтеллект»), не будут находить в себе смелости их оспорить. Сперва – смелости, а вскоре – и способности.

 

Всё это делается целенаправленно. Так, в конце сентября зампредседателя Совета по развитию цифровой экономики при Совете Федерации, сенатор Артем Шейкин заявил следующее:

Так что эта субъективация искусственного интеллекта – новая модель экономических отношений. Не только в «стране восходящей спирали» – в России тоже. Следующий повсеместный шаг – вытеснение человека. Теоретически шаг «вытеснение человека» мало кому нравится. Практически же он запланирован, и всё толкается в эту сторону.

 

Что же насчёт сознания у ИИ? Это исчерпывается тремя тезисами:

- У искусственного интеллекта уже есть всё, чтобы производить впечатление сознания, и впечатления для многих будет достаточно, чтобы считать, что оно у него есть. Чем больше будет привычка людей к виртуальному общению – тем достаточнее им будет видимости сознания, чтобы считать его полноценным.

- Нужно исходить из того, что и действительное явление сознания (чего-то на месте сознания) у искусственного интеллекта не невозможно. Это просто нужно брать в расчёт, чтобы не быть застигнутыми врасплох.

- И, наконец, самое главное: для людей не должно быть важно, есть у ИИ сознание или нет. Человеческая культура (религия, фольклор, литература) полна антагонистов человека, у которых (по умолчанию) есть сознание, но это никак не меняет того, что они – антагонисты человека. Искусственный интеллект – антагонист человека, и нам должно быть безразлично, есть ли у него сознание.

 

Так почему всё ощущается таким безрадостным?

«У меня для вас радостная новость! – с ходу заявил бодрый голос в трубке. – По вашей улице прокладывают новый кабель, и вы сможете подключиться к более быстрому интернету!» Заминка была в том, что я вовсе не хотела подключаться к более быстрому (и более дорогостоящему, но об этом с ходу не заявлялось) интернету. Меня совершенно устраивал не очень быстрый и без того уже подорожавший интернет. Мне преподносили как радостную новость то, о чём я не просила, в чём не нуждалась, и что принесло бы не радость, а дополнительные расходы. Следующим шагом это будет уже не предложение, а принуждение, «мы обрадуем вас помимо вашей воли».

 

Why does everything feel so joyless? Ещё и поэтому. Людям навязывают нечто ошеломительное, оставляющее их беспомощными, заставляющее чувствовать себя слабыми (слабыми без ИИ). Сперва это представляется как удобство, сперва это может быть почти бесплатно – потом это очень даже платно, а вы уже не можете без этого существовать. Или думаете, что не можете. Философ Гюнтер Андерс считал, что технологический прогресс подтолкнёт людей к тому, чтобы у них выработалось что-то вроде презрения к самим себе, к неуклюжести своих тел. Что люди постепенно начнут стыдиться того, что являются плодом «слепого, нерассчитанного, архаичного процесса размножения», а не выверенного замысла, как машины. Андерс предсказывал, что запуганные люди не найдут в себе сил восстать против унижающих их предметов, а вознамерятся походить на них. Они захотят стать меньше людьми и больше – оптимизированными машинами. 

Нет ничего удивительного в том, что превращение в машину должно начаться с сознания. Именно сознание затягивается виртуальной воронкой. Люди способны забывать о еде – или потреблять еду, не обращая внимания на её качество, – когда их мозг утоплен в легко воспринимаемых впечатлениях. И это изобилие входит в привычку, в потребность – но мало приносит радости.

 

Уролог-андролог Дмитрий Биленко считает, что проблемы с мужской потенцией могут провоцироваться дофаминовым истощением. Диагноз «цифровая импотенция» ставится всё чаще:

Подобное писал Филип Зимбардо о потреблении порнографии (книга «Man Disconnected: How technology has sabotaged what it means to be male and what can be done»). Но это не только про мужчин и не только про секс. Вообще, привыкшему к легко достающемуся изобилию человеку это изобилие больше не приносит радости. Детей стало трудно занять обычными, невиртуальными игрушками – красивыми, замечательными, всегда теперь доступными, но такими, с которыми нужно самому придумывать, как играть. Потребительское отношение, когда вещь может надеваться или использоваться пару раз и больше не нужна, – стало обычным. С некоторых пор, и особенно со времён ковидопандемии, за желаемой вещью даже не надо выходить из дома, и уж точно не надо её искать – только пальцем водить по экрану и тыкать на «купить» (впрочем, это тоже может делать искусственный интеллект).

 

Снятие усилий для получения радости вызывает привыкание, начинает восприниматься как само собой разумеющееся, – но мало приносит радости. Люди больше не чувствуют, что они потрудились, и что их труд по справедливости вознаграждён. Так размывается само чувство справедливости и гармонии.

 

Многие скажут, что это прекрасно и великолепно. Что это удобно и прогресс. Что так и должны жить цивилизованные люди, а не дикари в пещерах. Что уровень жизни должен расти непрестанно. Что рынок всё сам отрегулирует.

Но в обещанное Маском изумительное изобилие (amazing abundance) и в «вечную» восходящую спираль человеческих нужд и желаний Андриссена встроен маленький невзрачный естественный ограничитель. Скучный и властный ограничитель, равнодушный к жажде прогресса: спираль потребления не может расти «вечно», потому что под грузом легко удовлетворяемых потребностей люди ломаются. И быстро. Потребляют – да, хотят – да, «уже не могут без этого» – да. Радость обретения, ценность достижения, подпитка жизненной энергией – нет. «Это – игла», как говорит академик РАН, научный руководитель Национального центра физики и математики Александр Сергеев.

 

Главная, бесконечно повторяемая похвала в адрес искусственного интеллекта – то, что он «может очень много всего очень быстро». Это и есть залог того, что он причинит нам amazing abundance. Но людям не нужно очень много всего очень быстро. Не-нуж-но. Это утомляет, это не приносит радости, это рождает фрустрацию и причиняет нездоровье.

 

Своеобразная стихийная справедливость явлена в том, что под грузом легко удовлетворяемых потребностей так же ломаются и чрезвычайно богатые, облечённые властью люди. Правители начинают верить в свою непогрешимость, становясь посмешищем. Поскольку мы не в сказке, мальчик, который закричал бы «а король-то голый!», - не появляется, и для того, чтобы вполне убедиться, каков король, приходится ждать естественного конца. Сверхмиллиардеры, которые могут купить всё, в том числе правителей, всё равно чувствуют, что им чего-то не хватает, и придумывают себе уникальную миссию, и в этой уникальной миссии, наконец, слетают с катушек. Единственная причина, почему это трудно сразу заметить (и даже не заметить, а поверить глазам своим, что видишь именно это), – их богатство и власть. Это риторика «если ты умный, то почему бедный?» навыворот: «раз он так богат, не может быть, чтоб он делал катастрофические глупости». Может, может. И утрата чувства реальности из-за своего могущества – одна из причин тому.

 

Одному из богатейших людей планеты, главе Nvidia Дженсену Хуангу (Nvidia – компания, которая сделала искусственный интеллект технически возможным), недавно озвучили результаты китайского исследования 26000 учащихся, которые использовали искусственный интеллект и стали, правда, работать быстрее, но хуже самостоятельно соображать, у них ухудшилась память. Хуанг – наперсник Дональда Трампа в вопросах ИИ – с этим не спорил. Взамен того он сказал, что и сам не помнит, например, собственный домашний адрес и номер телефона – ну и что? Зато он с искусственным интеллектом лучше МЫСЛИТ СИСТЕМНО.

В другой раз Хуанг рассказал, что ничто другое не доставляет ему такой радости, как накидать вопросов «Клоду» и за три минуты получить «исследование», над которым раньше он бы провёл день. «Вы быстрее становитесь более умным», - порадовался глава «Nvidia».

 

Разумеется, это чушь. Человек не становится умнее, прочитав отчёт «Клода» или статью из «Википедии». Он становится умнее (хотя бы – лучше разбирающимся в информации), написав отчёт. Богатейшие и могущественнейшие магнаты планеты бросают людям в лицо наглые фальсификации. Мы не решаемся сказать об этом прямо, избегаем верить разуму своему, и оттого ощущение безрадостности и гнетущего ожидания ещё сильнее перевешивает благие посулы. Трудно радоваться обещанию попадания в страну изобилия, когда туда увлекают люди не то что непорядочные (тут некоторые могут успокаивать себя тем, что обманут других, не их), а прямо лишённые хотя бы здравого смысла. Это не могло быть возможно в мире вещей – но в мире фальсификаций стало возможно.

Итак, безрадостность положения, в которое загоняют человечество под предлогом удовлетворения всех и всяческих нужд, имеет ряд причин на всех уровнях – от психофизиологической изнурённости изобилием до инстинктивного чувства надвинувшейся опасности, от презрения к человеческой природе до воспитания в людях беспомощности и лишения их смысла жизни. Всё-таки у человека для душевного здоровья должно быть что-то, чего он не может получить. Должно быть то, перед чем надобно испытать смирение. Очень часто говорят, что это должен быть Бог.

 

 

Пустота на месте Бога

Отчасти это формулировка Илона Маска. Он написал: «Атеизм оставил пустое место. Его заняла секулярная религия». Вот это всё – бесконечные восходящие спирали, универсальные решатели, изумительное изобилие, новые эволюционные сущности – катехизис секулярной религии. Сверхинтеллект и ангелы его – то бишь агенты. Сколько агентов поместятся на кончике иглы?.. И, конечно, P(doom) на месте Апокалипсиса.

 

Бессмертие в этой новой религии – точно так же краеугольный камень всего учения. «Дети разума» Ханса Моравека – излюбленная книжка Кремниевой долины. Там действительно верят, что культурная эволюция взяла верх над биологической и что личность человека может быть оцифрована. А будучи оцифрована – существовать вечно. Ну, пусть «квази-вечно», как сказал бы Маск. Квази их устраивает. И, слившись с машинами, люди наконец перестанут быть устарелыми.

 

«Это время особой гордыни, которая может захватывать человеческое сознание. И эта гордыня чаще всего отвергает Бога», - сказал патриарх Русской Православной Церкви Кирилл о XXI веке. Папа Лев XIV посвятил искусственному интеллекту свою первую энциклику. В ней прорезаются ноты, показывающие осведомлённость понтифика. Например:

Это очень верно. Папа действительно поработал с материалом. Но в целом его послание – это попытка балансирования и урезонивания, когда давно нужна активная борьба. Он говорит о «возможности» и «рисках» там, где всё уже прёт наружу. А ведь когда у вас на грядке щёткой встают сорняки, вы не говорите «есть риск, что они вырастут и будут душить урожай» - вы знаете, что без активного вмешательства это непременно так и произойдёт.

И в то самое время, как римский первосвященник представлял миру свою энциклику, рядом с ним находился сооснователь «Антропик» Крис Ола. Как бы показывая, что эти предостережения не про нас. Хотя «Антропик» - ровно такая же технократическая парадигма и низведение человека к домашнему животному, достаточно прочитать «Отрочество технологии».

 

Вот вопрос не только созерцательный, но и практический: спасает ли христианское мировоззрение от воцарения технократии? (Не рассматриваю другие мировые религии, поскольку знаю их хуже христианства, но учитывая, что Китай и Индия, Израиль и ОАЭ в первых рядах внедрения искусственного интеллекта, разница незначительна.) С одной стороны, это должно быть так: раз есть вера в Бога – значит, нет пустого места, которое мог бы занять сверхинтеллект. Если человек верит в достижение бессмертия одним способом, его не заинтересует достижение бессмертия другим способом. Если человек верит, что всё в руках Божиих, – его не должен заинтересовать универсальный решатель проблем.

 

Конечно, есть частные случаи, вроде Питера Тиля, который захвачен «радикальной трансформацией человеческого тела в бессмертное тело», при этом активно старается сочетать христианство и технократию и не проводит ни одного публичного выступления без предостережения против Антихриста (Антихрист Тиля – это демон в человечьем обличье, несущий стагнацию). Но, может быть, это случайная девиация?

 

Не совсем. Хотя христианское мировоззрение действительно удовлетворяет многие объективно существующие человеческие потребности и иногда (не всегда) поднимает уровень скептицизма в отношении к технологии, оно также оставляет ряд лазеек – или, может быть, лучше сказать «валентностей», - с которыми совместимы концепции технократии.

Израильский историк Юваль Ной Харари видит такую лазейку в том, что мировые религии строятся на текстах. Эти тексты искусственный интеллект оприходует очень быстро. Раввин не может досконально знать весь Талмуд и все его интерпретации – но искусственный интеллект может. В толковании Талмуда он превзойдёт раввина. Уже прямо сейчас некоторые священники, в том числе христианские, пишут проповеди посредством искусственного интеллекта. Это сказывается и на проповедях, и на самих священниках.

Но вот вопрос: почему они это делают? Не «зачем» - зачем понятно, так быстрее и легче. А почему. Дело как раз в том, что религия не даёт иммунитета к технократии. Она прививает убеждение, что всё от Бога и в руках Божиих, но при определённом угле зрения технократическая мечта удовлетворить все потребности и улучшить человеческую природу – это всего лишь реализация Божественного огня. «Нам нужно большее, потому что Бог создал нас такими, жаждущими большего». «Нам нужно творить по образу и подобию своему, потому что Бог нас сотворил по образу и подобию своему». В таком ключе гордыня – лишь развитие Божественного замысла.

 

Вот, например, глава Пентагона Пит Хегсет. На груди у него вытатуирован крест крестоносцев, на руке – их девиз «Так хочет Бог». Он написал книжку «Американский крестовый поход: наша борьба за свою свободу». Он верует, что «только Христос — Царь, наш Господь и Спаситель. Наши грехи смыты Кровью Иисуса. Бойтесь Бога и не бойтесь никого». 

Разве не замечательно? А ведь всё это выливается в истовую веру, что США должны «достичь технологического и военного доминирования на поле боя на десятилетия вперёд». И сделать это можно только посредством искусственного интеллекта. И в Пентагон Хегсета вводится Илон Маск.

 

Могут сказать, что это было до Хегсета, и было бы без Хегсета; скорей всего, было бы и при "атеистах-демократах". Да, наверняка, было бы и при "атеистах-демократах". Хегсет – лицо заменяемое, необязательное. «Ястреб» может быть и без креста на груди. Однако получается так, что вера и богобоязненность не спасают от эскалации технократии. Она просто проникает в другую дверь, через другие каналы. Великая гордыня может скрываться не только за миссией создания универсального решателя, но и за верой «так хочет Бог», «Бог именно с нами». А вера в Апокалипсис сопровождается примерно следующим построением: "да, люди испортились, мир испортился, но ведь так и было предсказано, грядёт второе пришествие, тогда-то Бог сам и рассудит". В русле этих рассуждений пытаться воспрепятствовать Апокалипсису – уже было бы гордыней и сопротивлением Божественному замыслу.

 

Тут ещё следует сказать о теории жизни в симуляции. Её продвигает, например, Роман Ямпольский – большой противник суперинтеллекта, но большой поклонник «узких инструментов ИИ», которыми он охотно и активно пользуется и даже пропагандирует их. Поскольку Ямпольский – специалист по компьютерной безопасности, он понимает, что бесконечно контролировать суперинтеллект невозможно (по определению: невозможно), и раньше ли, позже ли – но это неминуемо обернётся катастрофой. Это знание, в котором много печали. Для хотя бы некоторого душевного успокоения Ямпольский прибегает к идее жизни в симуляции: мол, по теории вероятности, трудно предположить, что мы живём в «настоящем мире», скорее всего – в одной из симуляций, и когда наша симуляция накроется медным тазом – другие останутся.

Я понимаю, откуда это идёт: Ямпольский день-деньской наблюдает различные симуляции в своём компьютере. Он с головой окунулся в этот метафорический ряд. В итоге сама жизнь становится для него симуляцией. Интересно другое: этот взгляд атеиста мало чем отличается от взгляда религиозного. В конце концов, в религиозном мировоззрении тоже высший разум наблюдает за существованием человечества в мире, созданном этим высшим разумом по своим параметрам. И хотя для религиозного сознания конец света – не то же самое, что конец симуляции для Ямпольского, но оба этих построения призваны делать одно и то же: ослаблять беспокойство и облегчать ответственность.

 

Так получается, что вера в Бога заполняет пустоту – да, препятствует раскручиванию спирали технократии – нет. Не препятствует. 

 

Спираль

Спираль – удачный символ. Хотя и не в том смысле, в каком планировал Андриссен. Спираль может быть не только восходящей, но и нисходящей. Она может быть водоворотом. Она может быть смерчем. На картине Джона Стюарта Карри «Торнадо над Канзасом» испуганная семья с четырьмя детьми и домашними животными спешит укрыться в погребе от гигантской природной воронки. Технократическая воронка куда мощнее, погреб не спасёт, и миллиардеры в последнее время полюбили строить бункеры. А для народа победнее, не могущего позволить себе настоящий бункер, предлагаются виртуальные «постапокалиптические стратегии про выживание в бункере». Так что населению в ожидании Апокалипсиса есть чем себя занять: в компьютерные игры теперь играют больше людей, чем не играют.

 

Спираль может быть также противозачаточная. Буквально то, что препятствует человеческому оплодотворению и воспроизводству и не может быть удалено самостоятельно. В Гренландии, например, их устанавливали женщинам (девушкам, девочкам) принудительно и без их ведома. Врачи были цивилизованные датчане, а девушки – малограмотные инуитки, которым (с точки зрения Цивилизации) не надо было размножаться. Хотя, конечно, это может быть и самостоятельным цивилизованным выбором для удовольствия без ответственности. В общем, как ни посмотри – удачный символ.

 

Больше того: в англоязычных СМИ об ИИ-агентах пишут, что они «spiraling out of control». Что тоже намекает. Но интересен сам принцип действия спирали/воронки, в которую мы попали. За счёт чего она закручивается. Андриссен считает, что это растущие хотенья и нужды, которые бесконечно удовлетворяются технологиями. Я думаю, что спиралей несколько, и выглядят они иначе.

Глобально это прежде всего спираль задолженности. Привычка жить в долг. Гораздо раньше, чем хотенья удовлетворяются технологиями, они закидываются кредитами. На жильё – это, допустим, понятно. Но так же и на машину. На дачу. На мебель. На путешествия. На то, чтобы с размахом справить свадьбу. В конце концов – просто кредиты, потому что зарплаты не хватает до следующей зарплаты. Так закручивается спираль жизни в долг. И не просто у рядового гражданина Иванова, или Смита, или Чжоу. Так выглядит сегодня «реальная политика». Так живут самые авторитетные государства планеты. На которые принято смотреть с пиететом. Которые стремятся «достичь технологического и военного доминирования на поле боя на десятилетия вперёд». Они живут с колоссальным накопленным долгом, который не могут выплатить, который постоянно пожирает ресурсы и при этом растёт. И вот, гражданину Смиту – или правителям государства Х – говорят, что их ожидает amazing abundance. Это считывается как «не придётся платить по счетам».

 

Поверит ли в это гражданин Смит – ещё вопрос. Он, с одной стороны, очень хочет верить. С другой стороны, его уже не раз обманывали. Так что Смит может колебаться, взвешивать, хотеть сначала удостовериться – а точно abundance? Не очередное фуфло? Но правители поверят непременно. Во-первых, учитывая, как давно ответственность власти в цивилизованных странах стала пустым звуком, они не усмотрят для себя персонального риска. А во-вторых, у них и выбора больше нет – правильнее сказать, лёгкого выбора нет у них. Всё остальное труднее, движение против течения, принятие на себя ответственности (тогда-то, когда именно ты против течения, ответственность и обнаруживается).

 

Затем это, конечно, спираль военная. В России, где госдолг пока ещё гораздо меньше, зато военная нужда гораздо больше, – эта причина первая. «Мы не можем себе позволить не внедрять цифровые технологии скорей-скорей, не то нас сомнут». Однако внедряются они далеко не только в военную сферу. Нет – везде, во всё. Так что положение наше ничем не лучше, мы затянуты в ту же воронку цифрового энтузиазма так же плотно. 

И точно так же, как в экономике искусственный интеллект создаёт не abundance, а ещё большие долги (не только финансовые), военно-политический искусственный интеллект создаёт крайне опасный, ожесточённый и зарегулированный мир, которого – предполагаю я – никто из нас не желал для своих детей. Мы хотели не этого, но именно это сделали, когда перестали соизмерять свои хотенья с реальностью. И когда люди, совершавшие самые большие по последствиям ошибки, не несли ответственности за эти ошибки.

Впрочем, всё это менее важно, чем третья воронка: отказ человека от собственной ценности. Вот как это выглядит: искусственный интеллект тренируется выполнять лучше людей множество функций. Буквально всё, что только может прийти в голову, вплоть до того, что распознавать человеческие эмоции он должен лучше, чем человек. Получаются мириады «узких ИИ-инструментов», которые, конечно же, надо внедрять – ведь «это прогресс» и мы создаём «новую среду», «новый технологический уклад», и только от этого может хотя бы теоретически наступить положительная отдача. Мириады того, что раньше никто не умел делать лучше человека, а теперь – может. Если скажут, например, что искусственный интеллект не сможет лучше человека испытывать эмоции – то для массового внедрения достаточно будет того, что он очень хорошо сумеет симулировать эмоции.

 

Специфический изъян нашего положения заключается в глубоком внутреннем расколе. Мы хотим поиметь хорошее от очень плохого. Когда Роман Ямпольский сражается против суперинтеллекта и замещения человечества (replacement of humanity) – а делает он это искренне, умело и доблестно, – он герой. Но он подрывает собственные и без того невеликие позиции, когда пропагандирует «узкие ИИ-инструменты». «Узкие ИИ-инструменты» влекут за собой суперинтеллект со всей неизбежностью. Ведь «супер» не абсолютно – оно проявляется в соизмерении с «недо». Мы – суперинтеллект по сравнению с шимпанзе. Мы столько всего можем делать гораздо лучше, чем шимпанзе, и именно из этого складывается наше «супер» в отношении них. Теперь же мы тащим в свою жизнь то, что может делать многое (в перспективе – сколь угодно многое) лучше нас, и тем самым превращаемся в «недо» рядом с «супер». Это и есть replacement of humanity, это ТАК делается. Если «супер» в данном процессе выйдет из-под контроля «недо» – это будет не диво, и какого-то особенного сознания ему для этого не нужно. Достаточно будет зачатков целеполагания, масштабного внедрения и несравненно большей мощности и скорости по сравнению с «недо». 

Единственное, абсолютно единственное, что можно делать, – не внедрять, не использовать. Осознанно отказаться от этого «прогресса». А поскольку для многих отказ от «прогресса» кажется противоестественным – нам придётся переосмыслить само понятие «прогресс».

***

Мне иногда говорят: «Ну, мы должны понять, в чём мы лучше искусственного интеллекта. Нащупать что-то такое, где он нас не заменит». И меня всегда крайне удручают эти разговоры, потому что они подразумевают, что мы имеем право на самозащиту лишь в силу какой-то особой своей ценности. И даже не на самозащиту, а на некую экологическую нишу, в которой должны окуклиться. А если особой ценности в себе не обнаружим – добро пожаловать, «новый интеллектуальный вид»!

 

Это – глубоко неправильно. Вам не нужно быть «лучше» для права на самозащиту. Люди должны солидаризоваться с человеческим родом, а не с искусственным интеллектом, даже в том случае, если ИИ – «лучше». Иное – предательство.

 

Бернард Як в книге «Национализм и моральная психология сообщества» писал:

Это очень верно, но в свете наступившего – недостаточно. Мы имеем уже сейчас глобального антагониста человеческого рода, какого прежде никогда не бывало, и «группой, учреждающей легитимную власть», «получателем наследства из прошлого» и «защитником тех, кто придёт после нас» придётся выступить человечеству в целом. Это не вопрос хотения – это вопрос выживания. 

 

 

Самоистребление и как им не заниматься

Но, может быть, будет не так? Ведь Сэм Альтман в конце 2017 года писал про слияние с искусственным интеллектом, когда человечество (ну, или избранные народы) составит с ним «единую команду». Может, вот так оно всё и решится: ИИ – не антагонист человеческого рода, а новая эволюционная ветвь, оцифровка человека, которая на самом деле выведет его в бесконечную спираль, ныне для человека невыносимую…

Я знаю, что этого не будет. Уже хотя бы потому, что тогда же Альтман пишет: «Вычислительное оборудование совершенствуется экспоненциально… и число умных людей, работающих с ИИ, тоже растёт экспоненциально. Эта двойная экспонента быстро ускользнёт от вас». Но число умных людей, работающих с ИИ, больше не растёт. В 2017-м – да. Сейчас – нет. Люди уже начали ломаться. Программисты, подсаживающиеся на написание кода искусственным интеллектом, утрачивают способность понимать код. Из OpenAI уходят люди, подавленные ненормальностью разработки. В обучении искусственного интеллекта растёт не число умных, а число несчастных – тех, кто делает это с чувством безысходности, понимая, что роет могилу собственной профессии. Экспонента ускользает – это правда, но она ускользает от людей, без людей.

 

Люди, кроме того, что они физически медленные, могут колебаться «с одной стороны» и «с другой стороны» - но искусственный интеллект прямо нацелен на принятие решений. Это его «породная» черта, как собак отбирают по упорству и готовности к службе либо преследованию зверя во что бы то ни стало. Но собаки отняли у людей сомнительное удовольствие лезть в тесную нору, бегать за овцами и не спать по ночам, охраняя дом. Искусственный интеллект отъедает именно то, что делает нас людьми. В сущности, люди предали самих себя, когда начали создавать то, что замещает их уникальные человеческие функции и качества, аргументируя тем, что это удобно и эффективно. Да – удобно, да – эффективно. Но этого ни в коем случае не следовало делать всё равно. Есть мрачнейший символизм в том, что в замещение человека вкладывается столько денег, сколько не вкладывалось никогда и ни во что за всю человеческую историю.

 

Тогда, может быть, сейчас слишком поздно? Все эти разговоры про джинна, который уже выпущен из бутылки. Типа «может быть, вы теоретически правы, Татьяна, но сейчас уже ничего не поделаешь»?

 

Во-первых, следует начать с того, чтобы перестать хотеть хорошего от очень плохого. Львиная доля мощи «джинна» происходит не от того, что он явился в мир, а от того, что его всячески размножают и суют в каждый уголок человеческой жизни. Начать следует с того, что джинн – это очень плохо. Даже если мы его используем – мы делаем это от отчаяния. Что, кстати, так и есть: искусственный интеллект используется от отчаяния, от неспособности собственным человеческим разумом совладать с усложняющимся миром. И там, где раньше человек имел мотивацию расти над собой, превзойти самого себя, – теперь он просто передаёт задачу искусственному интеллекту. Это не прогресс – это тупик, и надо проговаривать прямо: мы используем это очень плохое не потому, что оно хорошо, не потому, что мы молодцы, а потому, что мы в отчаянии, бессильны, сдаёмся. Тогда, по крайней мере, будут чётко высвечиваться сферы, где плохое использовать стыдно. Использовать искусственный интеллект должно быть ещё более стыдно, чем здоровому ходить с клюкой. И тогда то, что ухудшает человеческое качество, перестанут называть прогрессом. И цифровизация – то есть создание среды, где искусственный интеллект имеет заведомое преимущество перед человеком, – будет не нарастать, а уменьшаться. Мы должны её уменьшать. Мы должны вкладываться и растить среду, где мы имеем преимущество.

 

Затвердить навсегда, как заповедь, фундаментальную особенность этой, именно этой технологии: чем искусственный интеллект лучше – тем для людей хуже. До всякого «выхода из-под контроля», уже прямо сейчас. Если мы сделаем это, если выработаем, распространим, усвоим отношение к искусственному интеллекту как к очень плохому – джинна удастся пусть не загнать в бутылку, но уменьшить до сопоставимых с нею размеров.

Если же мы не сделаем этого… то и тогда останутся ограничения среды.

 

***

Есть очень ограниченная рамка условий, в которых могут жить люди – не кратковременно находиться, а именно жить. Люди ползут на Эверест мимо цепочки трупов, чтобы пробыть на вершине пару минут, сделать несколько снимков, развернуть флаг, – и тут же спешат вниз. Люди спускаются в Марианский жёлоб в батискафе, берут пробы и поднимаются наверх. Люди строят станции в Антарктиде, но только для работы. Условия жизни на Крайнем Севере исчерпывающе показывают пределы человеческих возможностей. В пустыне Сахара люди ищут оазисы. И на МКС люди терпят травмирующее, крайне стеснённое существование, не только исследуя, но сами будучи объектами исследования. Разговоры, что человечество будет жить на Луне, на Марсе, в других галактиках, могут кому-то показаться не безумными, а дерзновенными и вдохновенными – допустим. Но как только в эти разговоры вплетается посыл (посул), что Луна, Марс, галактики – «запасной вариант» на случай, если что-то стрясётся с Землёй, – тогда они уже и откровенно безумны, и крайне опасны. Потому что случиться с Землёй нечто фатальное может быстрее всего именно человеческими действиями, извращённой расстановкой приоритетов, бездумным пренебрежением реальными ограничениями – в том числе нашего собственного разума и человеческого естества, разбазариванием ресурсов нашего прекрасного, нашего сокровенного обиталища в обмен на идею «колонизации Марса» и цифрового бессмертия.

 

Говорят, что искусственный интеллект как раз и призван снять ограничения. Человеческий интеллект не может объять колонизацию космоса – а искусственный сможет. Человек не может жить в космосе – но киборг сможет. Человеческая природа останется на изгаженной Земле, зато оцифрованный разум Илона Маска полетит к звёздам!..

 

Это не будет так. Ограничения среды лежат гораздо ближе, и мы гораздо уязвимее к ним, чем это закладывается в бравурные планы.

Мы планируем запустить в космос ещё сто тысяч спутников, «космические дата-центры» и строить базу на Луне – а между тем с уже имеющимся гораздо меньшим количеством спутников и гораздо более скромной космической деятельностью ближний космос забит мусором, и никто не знает, что с ним делать. Последствия этого мусора могут быть разнообразны, и нам очень повезёт, если он просто закроет для нас космические вылазки и не будет влиять на магнитное поле Земли.

 

Мы вливаем в строительство чрезвычайно энергоёмкой инфраструктуры для искусственного интеллекта такие средства, какие не тратились никогда ни на что в истории человечества (и это – живя в долг!), но начинаем страдать от повышения температуры Земли на полтора градуса и располагаем целым спектром катастрофических сценариев, что будет, если она повысится на три. Или понизится на три. Дело в том, что всей тонко настроенной сложной урбанистической сфере, в которой существует современный человек (и в которую внедряется искусственный интеллект), при самом щедром допущении, немногим больше ста лет. Она не проходила проверку никакими глобальными катаклизмами, а в локальных всегда проигрывала. Она зависит от очень узкой рамки условий, в расчёте на которую её строили.

Наша техноцивилизация – не битва, выигранная у природы. В ракурсе медлительности природных процессов, она ничто. Вулканологи в ужасе от вероятности извержения супервулкана Йеллоустоун – а оно может произойти и через год, и через тридцать тысяч лет. Для нас это бесконечно огромный срок, как «вечность» и «никогда», а для вулкана просто цикл существования.

И, не умея рассчитать это земное, мы рассчитываем «колонизировать космос»…

Физик, космолог, соучредитель и генеральный директор Института будущего жизни Энтони Агирре – большой противник сильного искусственного интеллекта, – рассуждая о современных технологиях, сказал как-то, что если человечество будет продолжать в том же духе, «через пятьсот лет может не быть Луны». Может быть, он имел в виду, что человечество растащит её на ресурсы, но меня поразило совсем другое: то, что человек, говоря об исчезновении Луны, не задумывается, прежде всего, о том, как это скажется на Земле задолго до того, как Луна исчезнет. Всем космосценариям нашего времени – бравурным, как у Илона Маска или «Роскосмоса», или настороженным, как у Агирре, – остро не хватает осознания их влияния на земную среду обитания. Единственную, в которой может жить человек. И которая грозно проявит себя задолго до того, как люди с искусственным интеллектом умудрятся что-то в космосе «колонизировать».

«Суперинтеллект» действительно задумывался как орудие, преодолевающее земные и человеческие ограничения. То, что ему удаётся их проламывать, – мы видим уже сейчас. Разве раньше мы позволили бы заключать всё существование человечества в рамку технологии, которая с высокой вероятностью может его погубить, и это признают сами её создатели? Мы не позволили бы этого. Так что да: искусственному интеллекту уже успешно удалось проломить нашу осторожность, наше стремление к автономности, нашу человеческую гордость собственным разумом, наше жизнелюбие. Это, однако, не значит, что ИИ будет работать «как запланировано». Нет, не будет. Уже хотя бы потому, что при его планировании ограничения учитывались лишь как то, над чем нужно вознестись, – и никогда как то, перед чем нужно смириться. 

 

 

Заключение

Иногда я уезжаю далеко в лес, куда машина добирается долго по узкой и ухабистой просёлочной дороге, к которой с обеих сторон стеной подступают деревья. Я сажусь где-нибудь, слушаю, как шумят кроны, дышу хвойной благодатью, читаю «Детство» Бунина. В этом году я видела в лесу трёх косуль в двадцати метрах и лисицу – в десяти. И двух ужей, которые вылезли из травы на дорогу погреться на солнце и были раздавлены проехавшей машиной. Которая, конечно, не имела намерения их давить, а просто была мощнее и быстрее разомлевших ужей, и они просто не имели значения. Один уж был ещё жив и умирал у меня на глазах, разевая пасть. И я думала о том, что этот лесной мир, при всей его кажущейся хрупкости, был задолго до человека и будет после. Уничтожить его легко – и всё же намного труднее, чем себя. Но, может быть, нам всё-таки удастся не пресечь судьбу человечества.

***

По прочтении этой статьи кому-то может показаться, что я пессимистична. На деле это не так: я отчаянно оптимистична. Источник моего оптимизма отчаяния – вера в ограничения среды. Я верю – не знаю наверняка, но очень крепко надеюсь, – что хрупкая оболочка нашей среды обитания затрещит раньше, чем мы проломим её окончательно. Что у нас будет даже не столько шанс – ибо свободным шансом мы, скорее всего, не воспользуемся, – сколько вынуждение человечества к смирению и со-трудничеству. От которого мы не сможем отказаться. И тогда у нас появится шанс.

Однако надеясь на это вынуждение к спасению, я считаю необходимым делать всё возможное для спасения добровольного и менее катастрофического. И этим делаю выбор в пользу человека разумного.