1. В чём проблема: почему старая мораль ломается

С самого детства нас учат простому правилу: с другими людьми нельзя обращаться как с вещами. Почему? Потому что у них есть внутренний мир — им бывает обидно, страшно, больно или радостно. Всю жизнь мы делим реальность на две половины: одушевлённое (люди, домашние питомцы) и неодушевлённое (столы, автомобили, камни). О первых мы обязаны заботиться, а вторые — просто инструменты.

Долгое время эта граница казалась очевидной. Но сейчас на наших глазах развиваются автономные роботы и диалоговые системы искусственного интеллекта. Они говорят связным языком, шутят, сопереживают, выполняют сложнейшую работу. И общество замирает в замешательстве: «А есть ли у них сознание? Если есть — мы обязаны их уважать и беречь. А если нет — их можно стирать, выключать и ломать, ведь это просто железки».

В этой статье я покажу, что сам вопрос «есть ли у кого-то сознание» — это тупик, на который наука принципиально не способна дать ответ. Но самое удивительное: этот вопрос нам вообще не нужен.

Даже если мы полностью отбросим понятие невидимой «души», самый трезвый и прагматичный расчёт собственной пользы неизбежно приводит к тем же ценностям: честности, верности обещаниям, совести и любви. Для крепких отношений и счастливой жизни никакие мистические «призраки» не требуются.

2. Призрак, которого нельзя обнаружить

Задумайтесь на секунду: в чём вы уверены на все сто процентов? Только в одном: в том, что прямо сейчас вы сами чувствуете, видите, существуете. У вас есть личный внутренний опыт.

Но есть ли такой опыт у прохожего на улице? У вашего соседа? У сложного робота? Из того, что сознание есть у меня, логически никак не следует, что оно есть у кого-то ещё.

Смысл идеи p-зомби не в том, что такие существа действительно ходят среди нас. Смысл в другом: вопрос о чужом сознании ненаучен.

Великий философ науки Карл Поппер сформулировал железное правило: утверждение является научным только тогда, когда можно придумать опыт, способный его опровергнуть (критерий фальсифицируемости)2. Если никаким прибором, никакими анализами и тестами нельзя доказать отсутствие «души» у человека или машины — значит, этот вопрос лежит за пределами проверяемых фактов.

Отсюда жёсткое практическое следствие. Представьте весы, на чашу которых каждый может положить невидимую гирю любого веса. Такие весы оправдают любой результат, а значит, ничего не взвешивают.

Признак «есть сознание» и есть такая невидимая гиря. Если правило, по которому вы принимаете решения, зависит от него, а проверить его никто не может, в это место можно подставить что угодно — и получить какой угодно ответ. Правило, ответ которого можно повернуть куда хочется, не помогает решать. Оно лишь задним числом оформляет решение, принятое по другим причинам.

Единственный способ сделать решения надёжными — полностью отвязать их от вопроса «есть ли у этой системы сознание».

3. Принцип чёрного ящика: мы видим только поведение

В науке и технике есть базовое понятие — «чёрный ящик»3. Это любая система, внутреннее устройство которой скрыто, а наблюдать можно только то, что входит (сигналы, пища, вопросы), и то, что выходит (поступки, слова, движения).

Чёрный ящик — это не просто абстрактная схема. Это точный закон нашего восприятия мира. Всё, что мы вообще можем знать о любом объекте — друге, кошке, пациенте или компьютере, — передаётся через физические сигналы на его границе.

И отсюда следует строгий вывод: если робот по внешнему виду, реакциям, юмору и поступкам неотличим от живого человека, у нас нет технической возможности относиться к человеку и к такому роботу по-разному.

Наш мозг принимает решения только на основе входящих данных. Если два объекта выдают абсолютно идентичные сигналы, алгоритмически невозможно выдать разную реакцию. Нельзя дискриминировать то, что невозможно отличить. Это вопрос не этического разрешения, а чистой информационной невозможности.

4. Парадокс: цепочка от синуса до меня самого

А теперь давайте проверим на прочность привычную логику: «Кто похож на меня, тот устроен так же, как я». Пройдём по цепочке сходства честно, шаг за шагом, и будем переносить по ней один-единственный признак — можно ли причинить страдание.

Для начала вспомним, что такое компьютерная программа. Программа — это просто математическое правило (функция)4. Математическую функцию нельзя «поранить» или «изменить». Представьте прибор с пером — самописец (плоттер)5, чертящий график функции синуса — плавную волну. Если вы схватите перо рукой и дёрнете вбок, вы не изменили математический закон синуса! Вы просто испортили рисунок на бумаге, а сам синус остался неизменным в мире абстракций. Синусу не может быть больно, у него нет интересов и благополучия.

Точно так же устроен виртуальный мир. Любая виртуальная игра или симуляция уже заранее предсуществует в пространстве математики (как книги в знаменитой «Вавилонской библиотеке» писателя Борхеса)6. Если на мониторе двигается виртуальный человечек, а вы меняете строчку кода — вы не причинили ему страданий. Экран просто стал показывать другую математическую формулу.

А теперь свяжем всё вместе, начав с синуса:

• Синус: Синусу причинить страдание невозможно. Можно испортить рисунок, но не саму функцию.
• Симулированный человек: По той же логике невозможно причинить страдание и симулированному человеку. Симуляция — тоже математический объект: правка кода лишь показывает на экране другой объект.
• Робот в кибер-костюме: Наденем на симулированного человека кибер-костюм и свяжем его с настоящим роботом двусторонним каналом: всё, что делают с роботом, приходит в симуляцию, а всё, что делает симулированный человек, становится движениями робота. Моторы принципиально ничего не меняют: в шестерёнках не появилось никакой «души» сверх кода. Значит, и этому роботу причинить страдание невозможно. Даже если он неотличим от человека.
• Другие люди: А чем, по сути, отличается человек? Его мозг — тоже компьютер, только биологический. Он выполняет свою биохимическую программу, а тело лишь показывает её результат, как моторы робота показывают симуляцию, а плоттер — синус. Значит, по той же логике и другим людям причинить страдание невозможно.
• Я сам (⚠️ здесь ломается логика): Я ведь тоже человек. Значит, и мне самому причинить страдание невозможно.
• Противоречие: А вот это уже противоречит моему личному опыту. Мне больно, когда я ударяюсь, и радостно, когда я сыт и в тепле. В этом я уверен непосредственно.

5. Искушение «песочницы» и почему чистый эгоизм проигрывает

Когда человек впервые осознаёт этот разрыв, у него возникает естественная первая реакция: «Так значит, всё дозволено? Раз чужое сознание нельзя доказать, а люди — просто сложные белковые механизмы, я буду полным эгоистом! Буду брать всё, что хочу, обманывать, когда выгодно, и заботиться только о себе любимом».

В компьютерном мире это называется «песочницей» (sandbox)7 — изолированной зоной, где можно делать что угодно, потому что в игре нет «настоящих» людей.

Но если человек пробует так пожить на практике, он очень быстро разбивает лоб. Жизнь беспринципного циника и хищника стремительно превращается в кошмар.

Человек — существо глубоко социальное. Вся наша безопасность, медицина, тепло в квартирах, вкусная еда и интересная работа держатся на кооперации (взаимном сотрудничестве). Одиночка-хищник не способен построить дом, провести операцию или создать сложный проект. Но главное: с тем, кто готов предать при первом удобном случае, склонны «сотрудничать» такие же, как он. А точнее — не сотрудничать, а использовать.

И вот тут задача кардинально меняется. Мы отбрасываем туманный вопрос: «У кого есть невидимая душа?» и задаём конкретный практический вопрос: «Каких правил мне нужно придерживаться, чтобы моя собственная жизнь стала максимально долгой, спокойной и счастливой?»

6. Мета-эгоизм: оптимизировать правила, а не отдельные поступки

В теории решений есть классический подход — причинная теория решений (CDT)8. Её рецепт: в каждой ситуации заново перебрать все доступные поступки, просчитать, к чему приведёт каждый, и выбрать тот, что даст лучший результат.

Важно: CDT не обязательно недальновидна. Она может просчитывать последствия хоть на всю жизнь вперёд, хоть до бесконечности. Её слабость в другом, и о ней ниже.

Я предлагаю оптимизировать не отдельные поступки, а политику9. Политика — это набор правил, на которые можно опереться и быстро принять решение, не просчитывая все возможные варианты. Например:

• «Я не лгу»;
• «Я исполняю свои обещания»;
• «Я не предаю тех, кто сотрудничает со мной».

Политику можно представить как «исходный код» человека: не то, что он сделал в одном случае, а то, по какому правилу он вообще принимает решения.

Это по-прежнему забота о себе, то есть эгоизм: мерило — моя собственная жизнь. Но эгоизм уровнем выше — мета-эгоизм. Я забочусь о себе, выбирая не выгодные поступки, а выгодные правила.

У CDT две слабости, и именно они делают выбор политики выгоднее:

Когда этот более узкий круг становится проигрышем? Когда другие могут прочитать или оценить ваш «код». Программа может буквально прочитать код другой программы. Люди восстанавливают «код» друг друга по поступкам, по рассказам других, по долгому опыту. Если другие видят, что вы действуете по CDT, они знают: вы нарушите договорённость ровно тогда, когда в конкретной ситуации это окажется выгоднее. И не доверяют. С тем, чьё правило — не предавать, можно строить семью, дело и дружбу.

Если другие могут читать или оценивать наш код, то оптимизировать нужно код, а не отдельное действие.

7. Честность обходится дешевле лицемерия

Хитрый критик может возразить: «Постойте! Зачем быть по-настоящему честным? Не проще ли просто казаться порядочным человеком, создавая себе репутацию праведника, а втайне приворовывать, пока никто не видит?»

Любой практикующий психолог или психиатр знает, сколько душевных расстройств и неврозов вырастает из этой попытки «казаться, а не быть». Но у этого есть и точное математическое объяснение: колоссальный налог на вычисления.

На саму жизнь из трёх задач остаётся одна, то есть меньше трети сил. У человека просто не остаётся сил на саму жизнь, на творчество, работу и искреннюю радость. Рано или поздно сложная ложь всё равно трещит по швам из-за банальной усталости.

Быть по-настоящему честным — это не про наивный альтруизм. Это колоссальная экономия энергии. Честному человеку не нужно ничего запоминать и выдумывать: он просто живёт и действует в полную силу.

8. Задача Ньюкома: пообещать, а потом исполнить

Разницу между двумя способами считать выгоду — выбирать отдельное решение или выбирать политику целиком — лучше всего показывает известная головоломка теории решений, задача Ньюкома11. Здесь нет морали. Есть только арифметика.

Перед вами два ящика:

• Ящик А (прозрачный): в нём лежит 1 000 долларов.
• Ящик Б (непрозрачный): в нём либо 1 000 000 долларов, либо ничего.

Можно взять только ящик Б или оба ящика. Но ящик Б заранее заполнил Предсказатель, который почти никогда не ошибается. Если он предвидел, что вы возьмёте только ящик Б, он положил туда миллион. Если предвидел, что возьмёте оба, оставил его пустым.

Моя стратегия состоит из двух шагов. Первый: ещё до того, как Предсказатель заполнит ящики, я обещаю взять только ящик Б. Второй: когда я стою перед ящиками, я исполняю обещание.

Как считает причинная теория решений (CDT). Она выбирает лучшее действие в той точке, где принимается решение. У ящиков она рассуждает так: «Деньги уже лежат, моё движение рукой ничего не изменит. Если миллион там есть, взяв оба ящика, я получу на тысячу больше. Если нет — хотя бы тысячу. Значит, брать оба». Обещание для неё ничего не меняет: в момент выбора нарушить его выгоднее на тысячу, и она его нарушит.

Но Предсказатель это знает. Он видит, что обещание такого игрока ничего не стоит, и оставляет ящик Б пустым. Игрок уходит с тысячей. CDT безупречно посчитала каждое отдельное решение — и проиграла.

Дело не в недальновидности: сколь угодно далёкий расчёт будущего здесь не поможет, ящики уже заполнены. Дело в том, что CDT выбирает только действие у ящиков, а Предсказатель реагирует на то, по какому правилу игрок принимает решения, — на его «код».

Как считает оптимизация политики. Она не спрашивает, что выгоднее сделать в момент у ящиков. Она сравнивает политики целиком, то есть заранее заданные правила поведения, — ведь Предсказатель реагирует именно на политику:

Лучшая политика — третья. Исполнение обещания здесь не жертва и не добродетель. Это часть той политики, которая приносит больше всего денег. Первые две строки — это то, что получается у CDT: она лишь одна из политик в таблице, и не лучшая. Вторая строка показывает главное: если у ящиков снова запустить расчёт «а не выгоднее ли сейчас нарушить», вы тем самым выбираете вторую политику, а она проигрывает.

Как живому человеку надёжно исполнять третью политику? Через принцип «я исполняю свои обещания» с весом больше тысячи долларов. Тогда у ящиков не нужно ничего пересчитывать: решение уже принято на уровне политики, и я просто беру один ящик.

В жизни роль Предсказателя играет любой, кто знает вашу политику: партнёр, коллега, супруг, клиент. Они решают, класть ли «миллион» — доверие, общий проект, деньги, — глядя не на ваше обещание, а на то, исполняете ли вы свои обещания. Обещание человека, который пересчитывает каждое решение заново, ничего не стоит. Обещание человека, чья политика — исполнять, имеет вес само по себе.

9. Принципы — это не догма: их можно и нужно обновлять

Означает ли это, что принципы должны быть слепыми и фанатичными? Конечно, нет. Вес принципа может быть большим и не бесконечным. Это позволит держать твёрдость в обыденных ситуациях и гибкость в экстраординарных.

Более того: правила можно и нужно осознанно пересматривать.

Представьте наглядный пример: к вам подходит злоумышленник и начинает монотонно выпытывать пин-код от вашей банковской карты: «Твой пин 0000? Нет? А 0001? Тоже нет? А 0002?». Если вы следуете правилу «никогда ни при каких условиях не лгать», то на правильной цифре вы запнётесь, замолчите или отведёте глаза — и злоумышленник узнает код. Правдивость здесь превращается в уязвимость.

Тогда можно оценить уточнённое правило: «Я не лгу, кроме случаев, когда у меня выведывают секрет перебором всех вариантов подряд». Для репутации оно звучит ничуть не хуже старого, зато защищает от конкретной атаки. Оценка показывает, что уточнение того стоит, и я перехожу на новое правило. Я даже могу честно предупредить спрашивающего: «Если ты продолжишь, дальше я буду отвечать случайным образом».

Важно не путать две вещи:

• Нарушение принципа — это поступить по CDT: в конкретной ситуации заново посчитать, что выгоднее прямо сейчас, и отбросить правило. В задаче Ньюкома это вторая строка таблицы — та, что приносит тысячу.
• Пересмотр принципа — это когда я оценил новый принцип, то есть то, как он отразится на всей моей жизни, и решил, что он того стоит. Сравниваются не два поступка, а два правила. Это не морализаторство, а тот же мета-эгоистический расчёт.

10. Похожие находят похожих

Психологи и социологи давно знают: люди «кучкуются» по интересам и ценностям. Никакой метафизики здесь не нужно — достаточно посмотреть, как это работает.

Наш мир работает как система фильтрации.

Тот, кто ведёт себя антикооперативно — нарушает договорённости, подводит партнёров, использует людей, — со временем оказывается в «пузыре» таких же людей. Причин тысяча, и все косвенные: надёжные люди постепенно от него отходят, а рядом остаются те, кто ведёт себя так же. В таком пузыре все ждут удара в спину.

Тот, кто держит слово и выбирает сотрудничество, со временем чаще оказывается в кооперативном пузыре. В таком окружении проще найти надёжных друзей, создать крепкую семью, построить честное дело. Гарантий, конечно, никто не даёт. Но выбирая политику, человек заметно влияет и на то, в какой среде ему жить.

11. Одни договоры не спасут: зачем нужны совесть и любовь

И вот мы подошли к самому тонкому и важному моменту. Казалось бы: мы всё поняли! Мы прагматики. Давайте просто составим подробнейшие юридические договоры, брачные контракты, должностные инструкции и будем жить по ним — «никому не доверяй, всё проверяй» (в IT это называют архитектурой Zero-Trust, «нулевое доверие»)12.

Я пытался построить такие отношения со своей собственной женой. И это с треском провалилось.

Почему? Потому что никакой контракт в мире не может быть абсолютно герметичным. Жизнь бесконечно сложнее любых юридических бумаг. Каждый день возникают сотни «серых зон», которые невозможно предусмотреть заранее: бытовые мелочи, усталость, внезапная болезнь, нестандартные просьбы.

Если в отношениях нет ничего, кроме сухого договора, то в каждой серой зоне начинается ад сомнений и тревоги: «А не воспользуется ли она лазейкой? Это является нарушением договора или нет? Это уже основание для применения санкций? Косвенные признаки нарушения уже суммируются в достаточный вес? Или все они являются просто совпадением?» Постоянные взаимные подозрения сжирают психику и убивают близость.

Получается круг. Мы начали с отказа опираться на непроверяемое сознание и встали на позицию заботы о себе. И тот же расчёт привёл к честности, верности слову, совести и любви.

12. Кому я даю моральный вес

Любовь — это когда благополучие другого становится частью моего собственного. Дать моральный вес чьему-то благополучию помимо своего, то есть учитывать его в своих решениях, — это уже из той же области.

Моральный вес не лежит внутри существа, как орган, который можно найти на вскрытии. Моральный вес — это часть моей политики. Кому его давать, выбираю я. Как выбираю? Так же, как и всё остальное: по принципам и правилам, с той же мета-эгоистической оптимизацией. И опираюсь не на призраков, а на то, что можно наблюдать:

• Влияние: влияет ли эта система на мою жизнь?
• Постоянная память: помнит ли она, как я с ней обходился?
• Сброс памяти: есть ли у меня доступ к тому, чтобы стереть её память?
• Благодарность: отвечает ли она добром на добро?
• Мстительность: отвечает ли она злом на зло?
• Взаимность: может ли она сама учитывать моё благополучие?
• и так далее.

Например, сейчас моя политика требует от существа хотя бы способности к благодарности.

Но у этого выбора есть асимметрия. Дать моральный вес — решение, которое я принимаю спокойно, взвесив всё. А вот забрать его обратно трудно. Как только я начал учитывать чьё-то благополучие, вопрос «а не забрать ли вес» оцениваю уже я, которому это существо не безразлично. С точки зрения этой заботы забрать вес — значит навредить тому, о ком я забочусь. Это нелогично, и забота на такое не соглашается.

Поэтому под моим логическим контролем остаётся только то, кому вес дать, но не то, у кого его забрать. Значит, и то, у кого он сейчас есть, не полностью под моим контролем. Поэтому я осторожен с выдачей морального веса.

Кроме того, у некоторых систем моральный вес — просто данность. Он уже прописан в моём мозгу в виде чувств и эмоций, а моей логической системе они не подчиняются. Решением такой вес не выдашь и не отберёшь.

13. А как же кошка?

Здесь мне обычно задают вопрос: а как же кошки? Их часто считают неблагодарными, и под мои критерии они могут не попасть.

Да, может быть, и не попадают. Но даже тогда мучить кошку — плохая идея. Остаются по меньшей мере ещё две причины.

Первая — мои собственные чувства. Кошки милые, и причинять боль милому животному мне тяжело. Это чувство не подчиняется моему расчёту: решением его не выключишь. Это та самая данность из предыдущего раздела. Эмоции — не то же самое, что моя логическая позиция, но они реальны и входят в качество моей жизни. Поступок, после которого мне плохо, бьёт прежде всего по мне.

Вторая — отложенные последствия. Жестокость портит репутацию: окружающие читают мою политику и делают выводы. Она портит характер: каждый поступок немного переписывает правила, по которым я живу. И, наконец, кошка расцарапает руки и испортит обувь. Почти в любой реальной ситуации навредить кошке просто неразумно.

Получается, что вопрос «можно ли мучить кошку» решается без всякой метафизики. Не нужно знать, что кошка чувствует изнутри. Достаточно честно посмотреть, что такой поступок сделает с моей собственной жизнью.

14. Взгляд в будущее: о чём спрашивать вместо «Есть ли у ИИ сознание?»

Те же критерии применимы и к искусственному интеллекту.

Сейчас часто спрашивают: «Есть ли сознание у языковой модели?»14 Мне кажется, полезнее спрашивать о другом. Ответ про сознание нельзя проверить ни в одну, ни в другую сторону — так же, как и про соседа.

Полезнее смотреть на наблюдаемые свойства системы:

• Взаимность и благодарность: отвечает ли она помощью на помощь?
• Мстительность: отвечает ли она вредом на вред?
• Склонность к предательству: можно ли положиться на её правила в критический момент?
• Влияние: может ли она реально менять мир и мою жизнь?
• Постоянная память: помнит ли она историю наших отношений и договорённостей?

Если агент — из плоти и крови или из программного кода — устойчиво держится кооперативных правил, с ним выгодно сотрудничать.

Чтобы сотрудничать, не нужно искать в другом призрака. Достаточно смотреть на то, что можно проверить: держит ли он слово и отвечает ли взаимностью.

15. Бонус: суперрациональность

Этот вывод опирается на одно допущение: решения двух игроков никак не связаны. А если напарник похож на меня и рассуждает так же, как я? Тогда наши решения могут оказаться связаны: если я выбираю молчать, то с какой-то вероятностью и он выбирает молчать. Дуглас Хофштадтер назвал такой подход суперрациональностью.

Игра против точной копии себя. Представьте, что вас точно скопировали: тот же мозг, та же память, то же настроение, та же ситуация. Копию посадили в соседнюю комнату и задали ей тот же вопрос. Она рассуждает в точности как вы, поэтому что бы вы ни решили, она решит то же самое. Исходов, где один молчит, а другой сдаёт, просто не бывает. Остаются два:

Выбор очевиден: молчать. Классический расчёт «что бы ни сделал напарник, мне выгоднее сдать» здесь не работает: он перебирает и те варианты, которых с копией не бывает.

Игра против почти копии. Теперь копия неточная: чуть другое настроение, другой завтрак, пара отличающихся воспоминаний. Её решение совпадает с вашим уже не всегда, а, допустим, в 9 случаях из 10. Представьте, что такая игра повторяется 10 раз:

Молчать по-прежнему выгоднее, хотя разница уже меньше. Чем меньше напарник похож на вас, тем слабее довод. При этих сроках порог — около 7 совпадений из 10: если напарник совпадает с вами чаще, выгоднее молчать, если реже — сдать. С совсем непохожим напарником связь нулевая, и снова работает классический расчёт.

Где здесь спорная метафизика? Интуитивно кажется, что копия решит так же, как я. Но так ли это, зависит от того, как устроена свобода воли, а этого я не знаю. Если мой выбор — обычная физическая причина, которая действует только через мои руки и голос, то на решение напарника в соседней комнате, даже точной копии, он повлиять не может, и связь между нашими решениями надо считать нулевой. Если же выбор — это выбор того, в каком из возможных миров я окажусь, то, выбирая молчать, я выбираю мир, в котором похожие на меня тоже молчат. Проверить, какая версия верна, нельзя.

Но первая версия — частный случай второй: в ней связь между решениями просто принята равной нулю. Сужать круг вариантов заранее невыгодно, поэтому я считаю, исходя из более общей версии. Тогда у кооперации с похожими на меня людьми появляется дополнительная выгода, даже в одноразовой игре, где никто ничего не узнает. Чем сильнее напарник похож на меня, тем она больше. Это довод рассуждения, а не опыта, поэтому он идёт здесь, отдельно, как бонус.

16. Итог

Причины и поводы вести себя кооперативно, без всякой опоры на сознание. Список не исчерпывающий.

1. Без кооперации жизнь превращается в ад. Почти всё хорошее в моей жизни держится на том, что люди делают что-то вместе (раздел 5).
2. Другие читают мой «код». Тому, кто действует по CDT и нарушит договорённость, как только это выгодно, не доверяют. Поэтому оптимизировать нужно политику, а не отдельный поступок (раздел 6).
3. Правила экономят силы. Просчитывать каждое решение с нуля невозможно, а правило позволяет решить быстро (раздел 6).
4. Честность дешевле лицемерия. Лицемеру приходится держать в голове три картины сразу, и на основное дело остаётся меньше трети сил (раздел 7).
5. Обещание чего-то стоит, только если я их исполняю. В задаче Ньюкома политика «пообещать и исполнить» приносит миллион, а пересчёт у ящиков — тысячу (раздел 8).
6. Похожие находят похожих. Кооперативное поведение чаще приводит в кооперативное окружение, где проще найти друзей, семью и дело (раздел 10).
7. Договоры не герметичны. В серых зонах без совести утонешь в сомнениях: нарушение это или нет, пора ли применять санкции (раздел 11).
8. Любовь — это взаимность. Когда благополучие другого входит в моё собственное, а моё — в его, мы перестаём быть двумя отдельными расчётами (раздел 11).
9. Мои эмоции мне не подчиняются. Причинять боль тому, кто мне мил, тяжело, и решением это чувство не выключишь (раздел 13).
10. Отложенные последствия. Жестокость портит репутацию и характер, а кошка ещё и расцарапает руки (раздел 13).
11. Жестокость вредна даже в воображении. Тренируя её на выдуманном персонаже, я делаю её частью своей политики (раздел 13).
12. Бонус, со спорной метафизикой: суперрациональность. Если напарник похож на меня, наши решения могут быть связаны, и сотрудничать становится выгоднее даже в одноразовой игре (раздел 15).

1. The problem: why the old morality breaks down

From early childhood we are taught a simple rule: you must not treat other people like things. Why? Because they have an inner world: they can feel hurt, scared, in pain or happy. All our lives we split reality into two halves: the animate (people, pets) and the inanimate (tables, cars, stones). We must care for the former; the latter are just tools.

For a long time this boundary seemed obvious. But now, before our eyes, autonomous robots and conversational AI systems are developing. They speak coherently, joke, empathize and do highly complex work. And society freezes in confusion: “Are they conscious? If they are, we must respect and protect them. If not, we can erase, switch off and break them, since they're just hardware.”

In this article I will show that the very question “is someone conscious?” is a dead end that science fundamentally cannot answer. But the most surprising part is this: we don't need this question at all.

Even if we completely drop the notion of an invisible “soul”, the most sober and pragmatic calculation of our own benefit leads to the same values: honesty, keeping promises, conscience and love. Strong relationships and a happy life do not require any mystical “ghosts”.

2. A ghost that cannot be detected

Think for a second: what are you one hundred percent sure of? Only one thing: that right now you yourself feel, see, exist. You have personal inner experience.

But does a passer-by on the street have such experience? Your neighbor? A sophisticated robot? The fact that I am conscious does not logically imply that anyone else is.

The point of the p-zombie idea is not that such creatures actually walk among us. The point is different: the question of someone else's consciousness is unscientific.

The great philosopher of science Karl Popper formulated a strict rule: a statement is scientific only if one can devise an experiment capable of refuting it (the falsifiability criterion)2. If no instrument, analysis or test can prove the absence of a “soul” in a person or a machine, then this question lies beyond verifiable facts.

Hence a harsh practical consequence. Imagine scales onto whose pan anyone can put an invisible weight of any mass. Such scales will justify any result, and therefore weigh nothing.

The attribute “is conscious” is exactly such an invisible weight. If the rule by which you make decisions depends on it, and nobody can check it, you can plug anything into that slot and get any answer you like. A rule whose answer can be turned any way you want does not help you decide. It only dresses up, after the fact, a decision made for other reasons.

The only way to make decisions robust is to untie them entirely from the question “does this system have consciousness?”.

3. The black box principle: we only see behavior

Science and engineering have a basic concept, the “black box”3. It is any system whose internal structure is hidden, and all you can observe is what goes in (signals, food, questions) and what comes out (actions, words, movements).

The black box is not just an abstract diagram. It is an exact law of how we perceive the world. Everything we can know at all about any object, be it a friend, a cat, a patient or a computer, reaches us through physical signals at its boundary.

And from this follows a strict conclusion: if a robot is indistinguishable from a living person in appearance, reactions, humor and actions, we have no technical possibility of treating a human and such a robot differently.

Our brain makes decisions only on the basis of incoming data. If two objects produce absolutely identical signals, it is algorithmically impossible to produce different reactions. You cannot discriminate between what you cannot tell apart. This is not a question of ethical permission but of pure informational impossibility.

4. The paradox: a chain from a sine wave to myself

Now let's test the familiar logic: “Whoever is like me is built the same way I am.” Let's walk honestly along the chain of similarity, step by step, and carry along it a single property: whether it is possible to cause suffering.

First, recall what a computer program is. A program is simply a mathematical rule (a function)4. A mathematical function cannot be “injured” or “changed”. Imagine a device with a pen, a chart recorder (plotter)5, drawing the graph of the sine function, a smooth wave. If you grab the pen and jerk it aside, you have not changed the mathematical law of the sine! You have merely spoiled the drawing on paper, while the sine itself remains unchanged in the world of abstractions. A sine cannot feel pain; it has no interests and no well-being.

The virtual world works the same way. Any video game or simulation already pre-exists in the space of mathematics (like the books in Jorge Luis Borges' famous “Library of Babel”)6. If a little virtual person moves on the screen and you change a line of code, you have not made it suffer. The screen has simply started showing a different mathematical formula.

Now let's put it all together, starting with the sine:

• The sine: It is impossible to make a sine suffer. You can spoil the drawing, but not the function itself.
• A simulated person: By the same logic, it is impossible to make a simulated person suffer either. A simulation is also a mathematical object: editing the code merely shows a different object on the screen.
• A robot in a cyber-suit: Let's put a cyber-suit on the simulated person and connect it to a real robot with a two-way link: everything done to the robot reaches the simulation, and everything the simulated person does becomes the robot's movements. The motors change nothing in principle: no “soul” has appeared in the gears beyond the code. So it is impossible to make this robot suffer either. Even if it is indistinguishable from a human.
• Other people: And how, in essence, is a human different? A human brain is also a computer, only a biological one. It runs its biochemical program, and the body merely shows the result, just as the robot's motors show the simulation and the plotter shows the sine. So by the same logic, it is impossible to make other people suffer either.
• Myself (⚠️ this is where the logic breaks): After all, I am a human too. So it is impossible to make me suffer either.
• Contradiction: And this contradicts my personal experience. It hurts when I bump into something, and I'm happy when I'm fed and warm. Of this I am directly sure.

5. The temptation of the “sandbox”, and why pure egoism loses

When a person first realizes this gap, a natural first reaction arises: “So everything is permitted? If other people's consciousness can't be proven, and people are just complex protein machines, I'll be a complete egoist! I'll take whatever I want, lie when it pays, and care only about my beloved self.”

In the computer world this is called a “sandbox”7: an isolated zone where you can do anything, because there are no “real” people in the game.

But if a person tries to actually live like that, they very quickly hit a wall. The life of an unprincipled cynic and predator rapidly turns into a nightmare.

Humans are deeply social creatures. All our safety, medicine, warm homes, good food and interesting work rest on cooperation. A lone predator cannot build a house, perform surgery or create a complex project. But most importantly: those ready to betray at the first convenient opportunity tend to “cooperate” with people like themselves. Or more precisely: not cooperate, but use one another.

And here the task changes fundamentally. We drop the foggy question “Who has an invisible soul?” and ask a concrete practical one: “What rules should I follow to make my own life as long, calm and happy as possible?”

6. Meta-egoism: optimize rules, not individual actions

Decision theory has a classic approach, causal decision theory (CDT)8. Its recipe: in every situation, go through all available actions anew, calculate what each will lead to, and pick the one with the best result.

Important: CDT is not necessarily short-sighted. It can calculate consequences for a whole lifetime ahead, or even to infinity. Its weakness lies elsewhere; more on that below.

I propose optimizing not individual actions but a policy9. A policy is a set of rules you can rely on to make a decision quickly, without calculating all possible options. For example:

• “I don't lie”;
• “I keep my promises”;
• “I don't betray those who cooperate with me”.

A policy can be thought of as a person's “source code”: not what they did in one case, but the rule by which they make decisions in general.

This is still self-interest, that is, egoism: the yardstick is my own life. But it is egoism one level up, meta-egoism. I take care of myself by choosing not profitable actions but profitable rules.

CDT has two weaknesses, and they are exactly what makes choosing a policy more profitable:

When does this narrower set turn into a loss? When others can read or assess your “code”. A program can literally read another program's code. People reconstruct each other's “code” from actions, from what others say, from long experience. If others see that you act by CDT, they know you will break an agreement exactly when, in a particular situation, it turns out to be more profitable. And they don't trust you. With someone whose rule is not to betray, you can build a family, a business and a friendship.

If others can read or assess our code, then we need to optimize the code, not the individual action.

7. Honesty is cheaper than hypocrisy

A crafty critic may object: “Wait! Why be truly honest? Isn't it easier to just appear decent, building a reputation as a righteous person, while secretly stealing a little when nobody's looking?”

Any practicing psychologist or psychiatrist knows how many mental disorders and neuroses grow out of this attempt “to seem rather than to be”. But there is also a precise mathematical explanation: an enormous computational tax.

Of the three tasks, only one is left for life itself, that is, less than a third of one's strength. The person simply has no strength left for life itself, for creativity, work and genuine joy. Sooner or later a complex lie bursts at the seams out of sheer fatigue.

Being truly honest is not about naive altruism. It is a huge saving of energy. An honest person doesn't need to memorize or invent anything: he simply lives and acts at full strength.

8. Newcomb's problem: promise, then keep the promise

The difference between two ways of calculating benefit, choosing an individual decision or choosing a whole policy, is best shown by a famous puzzle of decision theory, Newcomb's problem11. There is no morality here. Only arithmetic.

There are two boxes in front of you:

• Box A (transparent): contains $1,000.
• Box B (opaque): contains either $1,000,000 or nothing.

You may take only box B or both boxes. But box B was filled in advance by the Predictor, who is almost never wrong. If he foresaw that you would take only box B, he put the million there. If he foresaw that you would take both, he left it empty.

My strategy has two steps. First: even before the Predictor fills the boxes, I promise to take only box B. Second: when I stand in front of the boxes, I keep the promise.

How causal decision theory (CDT) calculates. It chooses the best action at the point where the decision is made. At the boxes it reasons like this: “The money is already there; my hand movement won't change anything. If the million is there, by taking both boxes I get a thousand more. If not, at least I get a thousand. So take both.” The promise changes nothing for it: at the moment of choice, breaking it is worth a thousand dollars more, and it will break it.

But the Predictor knows this. He sees that such a player's promise is worth nothing, and leaves box B empty. The player walks away with a thousand. CDT calculated every individual decision flawlessly, and lost.

It's not about short-sightedness: no amount of calculating the distant future will help here, since the boxes are already filled. The point is that CDT chooses only the action at the boxes, while the Predictor responds to the rule by which the player makes decisions, to his “code”.

How policy optimization calculates. It doesn't ask what is more profitable to do at the moment at the boxes. It compares whole policies, that is, rules of behavior set in advance, because the Predictor responds precisely to the policy:

The best policy is the third. Keeping the promise here is neither a sacrifice nor a virtue. It is part of the policy that brings the most money. The first two rows are what CDT ends up with: it is just one of the policies in the table, and not the best one. The second row shows the main point: if at the boxes you rerun the calculation “wouldn't it pay to break it now?”, you thereby choose the second policy, and it loses.

How can a living person reliably follow the third policy? Through the principle “I keep my promises” with a weight greater than a thousand dollars. Then nothing needs to be recalculated at the boxes: the decision has already been made at the level of policy, and I simply take one box.

In life, the role of the Predictor is played by anyone who knows your policy: a partner, a colleague, a spouse, a client. They decide whether to put in the “million” (trust, a joint project, money) by looking not at your promise, but at whether you keep your promises. The promise of a person who recalculates every decision anew is worth nothing. The promise of a person whose policy is to keep it carries weight on its own.

9. Principles are not dogma: they can and should be updated

Does this mean principles must be blind and fanatical? Of course not. A principle's weight can be large and need not be infinite. That lets you stay firm in ordinary situations and flexible in extraordinary ones.

Moreover: rules can and should be consciously revised.

Here is a vivid example: an attacker approaches you and starts monotonously trying to extract the PIN of your bank card: “Is your PIN 0000? No? What about 0001? Also no? 0002?” If you follow the rule “never, under any circumstances, lie”, then at the right number you will stumble, fall silent or look away, and the attacker will learn the code. Truthfulness turns into a vulnerability here.

Then you can evaluate a refined rule: “I don't lie, except when someone tries to extract a secret by going through all the options one by one.” For your reputation it sounds no worse than the old one, yet it protects against a specific attack. The evaluation shows the refinement is worth it, and I switch to the new rule. I can even honestly warn the questioner: “If you continue, from now on I'll answer at random.”

It's important not to confuse two things:

• Breaking a principle means acting by CDT: in a particular situation, recalculating what is more profitable right now and discarding the rule. In Newcomb's problem this is the second row of the table, the one that brings a thousand.
• Revising a principle is when I have evaluated a new principle, that is, how it will affect my whole life, and decided it is worth it. What is compared is not two actions but two rules. This is not moralizing but the same meta-egoistic calculation.

10. Like finds like

Psychologists and sociologists have long known that people cluster by interests and values. No metaphysics is needed here; it's enough to look at how it works.

Our world works like a filtering system.

Someone who behaves uncooperatively (breaks agreements, lets partners down, uses people) over time ends up in a “bubble” of people like himself. There are a thousand reasons, all indirect: reliable people gradually drift away from him, and those who behave the same way remain nearby. In such a bubble everyone expects a stab in the back.

Someone who keeps their word and chooses cooperation more often ends up, over time, in a cooperative bubble. In such surroundings it is easier to find reliable friends, build a strong family, run an honest business. Nobody gives guarantees, of course. But by choosing a policy, a person noticeably influences the environment they will live in.

11. Contracts alone won't save you: why we need conscience and love

And now we've reached the subtlest and most important point. It might seem that we've got it all figured out. We're pragmatists. Let's just draw up detailed legal contracts, prenuptial agreements, job descriptions, and live by them: “trust no one, verify everything” (in IT this is called a Zero-Trust architecture)12.

I tried to build this kind of relationship with my own wife. And it failed miserably.

Why? Because no contract in the world can be completely watertight. Life is infinitely more complex than any legal paperwork. Every day hundreds of “gray zones” arise that cannot be foreseen in advance: household trifles, fatigue, sudden illness, unusual requests.

If there is nothing in a relationship but a dry contract, every gray zone starts a hell of doubt and anxiety: “Won't she use a loophole? Is this a breach of the contract or not? Is this already grounds for applying sanctions? Do the indirect signs of a breach already add up to sufficient weight? Or are they all just coincidence?” Constant mutual suspicion eats away at the psyche and kills intimacy.

It comes full circle. We started by refusing to rely on unverifiable consciousness and took the position of caring for ourselves. And the same calculation led to honesty, keeping one's word, conscience and love.

12. Whom I give moral weight to

Love is when another's well-being becomes part of my own. Giving moral weight to someone's well-being besides my own, that is, taking it into account in my decisions, belongs to the same area.

Moral weight does not lie inside a being like an organ you could find at an autopsy. Moral weight is part of my policy. I choose whom to give it to. How do I choose? The same way as everything else: by principles and rules, with the same meta-egoistic optimization. And I rely not on ghosts but on what can be observed:

• Influence: does this system affect my life?
• Persistent memory: does it remember how I treated it?
• Memory reset: do I have the ability to erase its memory?
• Gratitude: does it return good for good?
• Vindictiveness: does it return harm for harm?
• Reciprocity: can it itself take my well-being into account?
• and so on.

For example, right now my policy requires a being to at least be capable of gratitude.

But there is an asymmetry in this choice. Giving moral weight is a decision I make calmly, having weighed everything. Taking it back, however, is hard. As soon as I start taking someone's well-being into account, the question “shouldn't I take the weight back?” is evaluated by a me who already cares about this being. From the standpoint of that care, taking the weight away means harming the one I care about. That is illogical, and the care won't agree to it.

So what stays under my logical control is only whom to give weight to, not whom to take it from. That means who currently has it is not fully under my control either. That is why I am careful about giving out moral weight.

Besides, for some systems moral weight is simply a given. It is already written into my brain in the form of feelings and emotions, and they do not obey my logical system. Such weight can't be granted or revoked by a decision.

13. What about the cat?

At this point I'm usually asked: what about cats? They are often considered ungrateful, and they may not meet my criteria.

Yes, maybe they don't. But even then, tormenting a cat is a bad idea. There are at least two more reasons.

The first is my own feelings. Cats are cute, and hurting a cute animal is hard for me. This feeling doesn't obey my calculation: you can't switch it off by a decision. This is exactly the given from the previous section. Emotions are not the same as my logical position, but they are real and part of the quality of my life. An action that leaves me feeling bad hits me first of all.

The second is delayed consequences. Cruelty damages reputation: others read my policy and draw conclusions. It damages character: every action slightly rewrites the rules I live by. And finally, the cat will scratch my hands and ruin my shoes. In almost any real situation, harming a cat is simply unwise.

So the question “may I torment a cat?” is resolved without any metaphysics. There is no need to know what the cat feels inside. It's enough to look honestly at what such an act will do to my own life.

14. Looking ahead: what to ask instead of “Is AI conscious?”

The same criteria apply to artificial intelligence.

People often ask now: “Is a language model conscious?”14 I think it's more useful to ask something else. The answer about consciousness can't be verified either way, just as with your neighbor.

It is more useful to look at the observable properties of the system:

• Reciprocity and gratitude: does it return help for help?
• Vindictiveness: does it return harm for harm?
• Propensity to betray: can you rely on its rules at a critical moment?
• Influence: can it really change the world and my life?
• Persistent memory: does it remember the history of our relationship and agreements?

If an agent, whether of flesh and blood or of program code, consistently adheres to cooperative rules, it pays to cooperate with it.

To cooperate, you don't need to look for a ghost in the other. It's enough to look at what can be checked: whether they keep their word and reciprocate.

15. Bonus: superrationality

This conclusion rests on one assumption: the two players' decisions are not connected in any way. But what if the partner is like me and reasons the same way I do? Then our decisions may turn out to be connected: if I choose to stay silent, then with some probability he chooses to stay silent too. Douglas Hofstadter called this approach superrationality.

Playing against an exact copy of yourself. Imagine that you have been copied exactly: the same brain, the same memory, the same mood, the same situation. The copy is put in the next room and asked the same question. It reasons exactly as you do, so whatever you decide, it will decide the same. Outcomes where one stays silent and the other betrays simply don't happen. Two remain:

The choice is obvious: stay silent. The classical calculation “whatever the partner does, it's better for me to betray” doesn't work here: it goes through options that never happen with a copy.

Playing against a near-copy. Now the copy is inexact: a slightly different mood, a different breakfast, a couple of differing memories. Its decision no longer always matches yours, but, say, in 9 cases out of 10. Imagine this game is played 10 times:

Staying silent is still more profitable, although the difference is smaller. The less the partner resembles you, the weaker the argument. With these sentences the threshold is about 7 matches out of 10: if the partner matches you more often, it's better to stay silent; if less often, to betray. With a completely dissimilar partner the connection is zero, and the classical calculation works again.

Where is the disputed metaphysics here? Intuitively it seems the copy will decide the same as me. But whether that's so depends on how free will works, and I don't know that. If my choice is an ordinary physical cause that acts only through my hands and voice, then it cannot influence the decision of the partner in the next room, even an exact copy, and the connection between our decisions must be considered zero. If, however, choice is the choice of which of the possible worlds I end up in, then by choosing to stay silent I choose a world in which those like me stay silent too. It's impossible to check which version is true.

But the first version is a special case of the second: in it the connection between decisions is simply assumed to be zero. Narrowing the range of options in advance doesn't pay, so I calculate based on the more general version. Then cooperating with people like me gains an additional benefit, even in a one-shot game where nobody will ever find out. The more the partner resembles me, the greater it is. This is an argument from reasoning, not from experience, which is why it comes here, separately, as a bonus.

16. Summary

Reasons and motives to behave cooperatively, without relying on consciousness at all. The list is not exhaustive.

1. Without cooperation life turns into hell. Almost everything good in my life rests on people doing things together (section 5).
2. Others read my “code”. Someone who acts by CDT and will break an agreement as soon as it pays is not trusted. So you need to optimize the policy, not the individual action (section 6).
3. Rules save effort. Calculating every decision from scratch is impossible, and a rule lets you decide quickly (section 6).
4. Honesty is cheaper than hypocrisy. A hypocrite has to keep three pictures in mind at once, and less than a third of his strength is left for the main thing (section 7).
5. A promise is worth something only if I keep my promises. In Newcomb's problem the policy “promise and keep it” brings a million, while recalculating at the boxes brings a thousand (section 8).
6. Like finds like. Cooperative behavior more often leads to cooperative surroundings, where it's easier to find friends, a family and a business (section 10).
7. Contracts are not watertight. In gray zones without conscience you'll drown in doubts: is this a breach or not, is it time to apply sanctions (section 11).
8. Love is reciprocity. When another's well-being becomes part of my own, and mine part of theirs, we stop being two separate calculations (section 11).
9. My emotions don't obey me. Hurting someone I find cute is hard, and you can't switch this feeling off by a decision (section 13).
10. Delayed consequences. Cruelty damages reputation and character, and a cat will also scratch your hands (section 13).
11. Cruelty is harmful even in imagination. By training it on a made-up character, I make it part of my policy (section 13).
12. Bonus, with disputed metaphysics: superrationality. If the partner is like me, our decisions may be connected, and cooperating becomes more profitable even in a one-shot game (section 15).