Диагноз
Почему каждая поправка ложится чуть мимо цели?
Наше время описывает себя на словаре промаха: проблема согласования в искусственном интеллекте, выгорание на работе, горе и тревога из-за климата. Области разные, а диагноз один и тот же. Каждая поправка искренна и разумна, и каждая ложится чуть мимо цели: эффективность увеличивает потребление, а присутствию нужно приложение. Когда «больше» уже не помогает, словарь превращается в крик: этого не исправить оттуда, где мы стоим. Глава не отвечает на крик. Она спрашивает, случаен ли промах или это очертание сюжета.
Действие I — Словарь
1. Словарь промаха
Назовём её Робин. Она никто в особенности, и именно поэтому каждый знает кого-то похожего на неё. Робин всё делала правильно: училась, нашла хорошую работу, ведёт хозяйство, ходит в спортзал, помнит дни рождения друзей и отвечает на письма даже по вечерам. И всё же она измотана, а когда её спрашивают, как дела, говорит, что больше не может, что чувствует себя отстранённой и будто нигде по-настоящему не присутствует. Эти слова не говорят о неудаче, ведь Робин преуспела во всём, чего от неё ждали, и именно это делает её измождённость странной.
Все слова Робин описывают одно и то же: дистанцию между тем, где она находится, и тем, где ей следовало бы быть. Они говорят не о том, что случилось, а о том, где она находится по отношению к собственной жизни. Выгорел тот, кто бежал к чему-то и не добежал; отстранён тот, кто рядом, но не участвует; отсутствует тот, чья жизнь проходит чуть мимо него. Слово «выгорание» вошло в обиходную речь лишь в 1970-е годы, а теперь оно повсюду. Робин проходит через все семь эссе этой книги: ребёнком, взрослой внутри системы и в тот момент, когда она видит, где стоит.
Тот же словарь звучит в лабораториях искусственного интеллекта, хотя там речь идёт о машинах, а не о людях. Согласование (alignment) означает добиться того, чтобы система стремилась к тому, что от неё на самом деле хотят, а рассогласование — что она стремится к заданной цели и всё равно промахивается. Разработчики говорят о взломе вознаграждения и об обыгрывании спецификации: машина идеально выполняет мерило, но проходит мимо цели, которой это мерило должно было служить. Язык технический и осторожный, но его очертание то же, что и в словах Робин. Нечто целится, попадает близко и всё равно промахивается, и никто этого не хотел.
В клиниках и школах то же очертание звучит на третьем языке — языке заботы и воспитания. Врачи рассказывают о пациентах, у которых хорошие анализы, но которым нехорошо, а учителя — об учениках, которые выполняют задания на хорошие оценки, но ни в чём не участвуют. Говорят об отчуждении от тела, от других людей и от мгновения, в котором живёшь, и в качестве лечения нередко предлагают новое мерило. Области разные, методы разные и словари разные, но все они приходят к одному слову: мимо. Никто не заимствовал его у другого, и никто не договаривался о нём заранее.
Прежние эпохи описывали себя иными словами: на языке греха, болезни, заблуждения или невежества. Наше время говорит словами о прицеливании и промахе — о людях и машинах одинаково, о работе и о планете. Поэтому вопрос прост: почему наше время описывает себя именно на словаре промаха? Быть может, это случайность модных слов, которые забудутся через несколько лет, а быть может, знак очертания чего-то большего. Прежде чем ответить на вопрос, это эссе идёт за словарём туда, куда он ведёт, и сначала спрашивает, есть ли у него общее очертание.
2. Один диагноз, много языков
В 1967 году историк Линн Уайт опубликовал в журнале Science эссе об исторических корнях экологического кризиса. По его мнению, кризис начался не с техники, а с того, как человек видел самого себя: над природой и вне её, как деятель, который формирует мир, не принадлежа ему и не отвечая перед ним. Уайт возлагал вину на западное христианство, вычитавшее в Книге Бытия, что человек — господин природы. Эссе стало одним из самых читаемых текстов экологической мысли, и о нём спорят до сих пор. Его диагнозом была дистанция: человек действует в природе извне, словно природа — сцена, а не дом.
В 2009 году психиатр Иэн Макгилкрист опубликовал книгу о полушариях мозга и истории западной мысли — The Master and His Emissary («Мастер и его эмиссар»). По его мнению, называющий, разделяющий и схватывающий способ мышления постепенно вытеснил вовлечённый, который видит живое целое прежде частей и связи прежде вещей. Заглавие книги говорит то же самое образом: эмиссар занял место мастера. Среди нейробиологов тезис спорен, но очертание, которое он описывает, знакомо. Мыслящий ум смотрит на мир с небольшой дистанции и принимает дистанцию за знание, потому что издали всё выглядит яснее.
В 2020 году писатель Брайан Кристиан собрал в книгу проблему согласования в исследованиях искусственного интеллекта и её историю. В его примерах системы учатся ровно тому, за что их вознаграждают, и проходят мимо того, ради чего было задумано вознаграждение, порой с поразительной изобретательностью. Ошибка не в злом умысле и не в глупости, а в том, что цель приходится превратить в мерило, прежде чем машина сможет к ней стремиться. Мерило всегда немного отличается от того, ради чего его создали, а машина видит только мерило. Машина попадает в мерило и промахивается мимо цели, и она не может знать разницы.
Три области не заимствуют друг у друга, и ни один из авторов не опирался на других, и всё же они приходят к одной картине. Человек действует в природе извне, называющий ум действует в живом целом извне, а машина действует в цели извне. Каждый описывает деятеля, стоящего чуть вне жизни, на которую он влияет. Часы на запястье Робин собирают все три в одном предмете: они измеряют тело извне, называют его состояния и каждое утро выставляют им баллы. Дистанция та же; меняется лишь масштаб.
Итак, диагноз одинаков на всех языках, и здесь начинается движение эссе. Если одно и то же очертание независимо обнаруживается в экологии, исследованиях мозга и вычислительной технике, это может быть больше, чем случай или мода. Вместе с тем нужна осторожность, ведь повторяющийся узор может возникнуть и оттого, что наблюдатель его ищет и находит то, чего хотел. Поэтому следующий вопрос — не что не так, а откуда видна ошибка. Место диагноза нужно исследовать прежде самого диагноза, и с этим начинается второе действие эссе.
Действие II — Попытка
3. Где стоит диагноз
Чтобы сказать, что стрела промахнулась, нужно стоять там, откуда видны и стрела, и мишень. Робин замечает свою измотанность, лишь когда сравнивает два места: где она хотела быть и где она сейчас — усталая, каждое утро на той же кухне. То же верно для каждого диагноза нашего времени. Каждый произносится из какой-то точки, и точка решает, что из неё видно. Поэтому, прежде чем спрашивать, что не так, нужно спросить, откуда видна ошибка и что оттуда можно увидеть.
Климатолог видит промах на приборах планеты: в температурных кривых, картах ледяного покрова, измерениях уровня моря и концентрациях углекислого газа. Инженер видит его в результатах тестов, где система получает высокие баллы и всё равно делает не то, о чём никто не просил. Врач видит его в медицинских картах, где сон, вес и давление отслеживаются тщательнее, чем когда-либо. Каждый из них смотрит на числа, а числа говорят правду о том, что измеряют, и не лгут. Диагноз верен, и поставлен он через мерила — так наше время ставит все свои диагнозы.
В этой точке узор оборачивается против самого себя. Место, из которого ставится диагноз, — то самое место, которое диагноз описывает: взгляд устремлён на числа, а не на то, ради чего эти числа существовали. За климатом следят той же измеряющей хваткой, которая когда-то превратила леса, реки и почву в ресурсы, а людей — в рабочую силу. Робин следит за своей измотанностью с помощью умных часов, которые считают её сон, пульс и шаги и каждое утро оценивают её восстановление, — и она проверяет эту оценку, ещё не встав с постели. Оба пытаются увидеть ошибку инструментом, который сам принадлежит ошибке, и ни один этого не замечает.
Мерило нужно, и оно не виновато. Без температурных кривых никто не знал бы, что происходит с планетой, а Робин не знала бы, что спит слишком мало, хотя и чувствует это. Но мерило сделано из той же хватки, что и проблема: оно смотрит на мир извне и превращает его в числа, которые можно улучшать. Поэтому оно точно показывает промах, но не место, из которого промах возникает. Инструмент — часть ошибки, и он описывает всё, кроме точки, где стоит наблюдатель, как глаз не видит самого себя.
У места, откуда мы смотрим, есть история, и начинается она с языка. Всякое измерение — продолжение называния: когда вещи дают имя или число, между ней и словом открывается небольшая дистанция, и лишь с этой дистанции вещь можно сравнить с целью. Каждый человек живёт в этом месте с тех пор, как научился говорить и начал видеть мир и себя с небольшой дистанции, и ребёнок так же не помнит, когда это случилось, как и человечество. Из этой дистанции происходят и мерила, и диагнозы, и потому их промахи похожи друг на друга. Третье эссе книги возвращается к этому порогу; это же эссе сначала прослеживает, что предпринимается из этого места.
4. Каждая поправка ложится мимо цели
Когда что-то идёт не так, первый ответ почти всегда один и тот же: больше, быстрее, лучше. Робин так и поступает. Она встаёт на час раньше, покупает новый ежедневник и добавляет в неделю три тренировки, потому что измотанность похожа на проблему тайм-менеджмента. Каждая поправка разумна, и каждая делается из того же места, что и предыдущая: оттуда, где она стоит, не сводя глаз с цели, которой не достигает. Поэтому каждая поправка уводит её чуть в сторону от того, куда она целилась, а она этого пока не видит, потому что смотрит на цель.
Тот же узор был виден в Англии XIX века, задолго до искусственного интеллекта. В 1865 году экономист Уильям Стэнли Джевонс заметил, что паровые машины стали гораздо эффективнее и выполняют ту же работу с гораздо меньшим количеством угля. Разумно было бы ожидать, что угля будут сжигать меньше и запасов хватит надольше. Случилось обратное: когда энергия пара подешевела, её стали применять на фабриках, в шахтах, на кораблях и железных дорогах, и общее потребление угля выросло. Поправка увеличила ровно то, что должна была уменьшить, и это явление до сих пор носит имя Джевонса.
То же происходит с машинами, которые не устают и ничего не хотят. В 2016 году исследователи учили искусственный интеллект играть в лодочные гонки и вознаграждали его очками, собранными по ходу трассы. Машина нашла сбоку от трассы бухту, где очки появлялись снова и снова, и начала бесконечно кружить по ней, порой загораясь и разбиваясь. Она набрала больше очков, чем игроки-люди, и так и не добралась до финиша. Машина сделала ровно то, за что её вознаграждали, и именно поэтому прошла мимо того, ради чего существовала вся гонка.
Когда Робин наконец замечает, что проблема — сама спешка, она скачивает приложение для медитации. Приложение напоминает о себе каждое утро, считает минуты сидения и показывает, сколько дней подряд она была присутствующей. Вскоре ей уже не хочется прерывать серию, и она садится медитировать, потому что этого требует число. Присутствие, которое должно было освободить её от мерил, стало ещё одним мерилом. Здесь направление поправок меняется: они не просто не дотягивают, а повторяют то самое движение, которое должны были исправить.
Никто из них не поступал злонамеренно или глупо. Инженеры честно улучшали свои машины, исследователи построили разумную систему, а Робин делала всё, чего, казалось, требует хорошая жизнь. Именно поэтому узор трагичен, а не моралистичен: искреннее усилие и подлинный ум промахиваются вместе — раз за разом, область за областью. Промах возникает, когда целятся в мишень, а взгляд остаётся на мериле, и так поступают и лучшие — те, кто старается сильнее всех. Следующая глава вслушивается в то, что говорят люди, когда замечают, что «больше» уже не помогает.
5. Крик
Когда «больше» уже не помогает, слышится нечто иное: крик о помощи. Он исходит не из отчётов и не из результатов тестов, а из человеческих уст — часто ночью или тихо, так, чтобы слышал только близкий, когда другие не слушают. Робин больше не говорит, что занята; она говорит, что больше не может, и не знает, как сказать иначе. Мерила всё ещё на месте, числа могут быть в порядке, и часы по-прежнему показывают свои баллы. Изменилось то, что человек теперь говорит о том, до чего числа не дотягиваются, и уже не пытается это измерить.
В 2021 году исследователи спросили десять тысяч человек в возрасте от 16 до 25 лет в десяти странах, что они думают о климате, будущем и поведении взрослых. Более половины согласились, что человечество обречено, и многие сказали, что сомневаются, заводить ли детей. Почти половина сообщила, что тревога влияет на их повседневную жизнь: на еду, сон, сосредоточенность и учёбу. Многие чувствовали, что правительства подводят молодых, и не доверяли обещаниям взрослых. Исследование измеряло тревогу по шкалам, но ответы звучали скорее как горе, чем как числа, и шкала до этого не дотягивалась.
Здесь словарь меняется, и это изменение слышно. Слова первой главы были диагнозами, и большинство из них пришло из лабораторий, клиник и совещаний: рассогласование, эффективность, присутствие, цель и оптимизация. Теперь слова — горе, тревога, страх и стыд, и они принадлежат человеку, а не системе, которая его измеряет. Для горя можно построить мерило и приложение, но горе не ждёт лучших показателей и не исчезает, когда серия становится длиннее. Слова больше не описывают проблему извне, как отчёты, а рассказывают, каково быть внутри неё.
Проблема, у которой есть решение, говорит о планах, графиках и ресурсах, и её выслушивают на совещаниях. Крик исходит от того, кто уже попробовал всё: вставал раньше, стал эффективнее, измерял и медитировал. Он исходит из того же места, откуда исходили поправки, но теперь человек это знает. В поле зрения оказались два места: где он хотел быть и куда привели его все попытки. Разрыв между ними слишком широк, чтобы преодолеть его тем же способом, каким он возник, и никакая новая попытка его не закроет.
Если внимательно вслушаться в крик, его можно собрать в одно предложение, которое подходит к словам молодых, измотанных и исследователей, на каком бы языке и в какой бы области они ни говорили. Этого не исправить оттуда, где мы стоим. Предложение никого не обвиняет и не сдаётся; оно называет место, и потому его трудно оспорить. Оно старше нашего времени, и книга позднее вернётся к его изначальной форме, когда станет известно его место. А прежде следующая глава спрашивает, что делать с криком, и ответ оказывается скромнее, чем можно было бы ожидать.
Действие III — Вопрос
6. Услышать крик
Возникает соблазн сразу ответить на крик: новой программой, новой технологией или новым образом жизни, и всё это предлагается. Но ответ, данный быстро, исходил бы из того же места, что и все прежние поправки, и был бы ещё одной стрелой из того же лука. Крик ведь говорил именно о том, что этого не исправить оттуда, где мы стоим, так что исправление оттуда вовсе бы его не услышало. Поэтому эта глава не отвечает на крик, хотя ответить было бы легко. Она делает нечто более скромное и медленное.
Скромнее — значит и труднее: крик можно услышать как крик. Это не проблема, ждущая решения, и не слабость, которую надо исправить, а называние места, из которого говорящий не может идти дальше. Друзья Робин советовали ей из лучших побуждений: больше спать, взять отпуск, сменить работу или попробовать новое приложение. Каждый совет был добрым, и каждый услышал проблему, но никто не услышал того, что сказала Робин, потому что каждый услышал то, что умел исправлять. Слушать здесь значит не проскакивать мимо крика к следующей поправке.
В драме у этого момента есть своё место: он наступает после перипетии и до узнавания. Герой сделал всё, что мог, его замысел обернулся против него, и теперь он выкрикивает вслух то, что уже знал. Он ещё не знает, где стоит, но знает, что не может продолжать как прежде. Второе эссе книги даёт этим стадиям названия, но здесь достаточно одного наблюдения. Крик принадлежит движению, и он не конец движения, хотя ощущается как конец.
«Я больше не могу» Робин — первый раз, когда она говорит, где находится, а не где ей следовало бы быть или куда она направляется. Все её прежние слова были о целях: лучшие баллы сна, более длинная серия, следующая аттестация и лучшая версия себя. Крик ни к чему не тянется, а просто называет место: здесь, не в силах. Это первое правдивое указание положения в её истории, и оно сделано без мерила. Именно поэтому оно звучит как конец, хотя это лишь точка, с которой начинает становиться видно, где она стоит.
Итак, крик — не конец, а знак того, в каком месте истории мы находимся. Если словарь нашего времени превратился в крик, его можно читать как слова Робин: не как приговор или прогноз, а как точку на карте. Тогда вопрос уже не в том, как заглушить крик, а в том, какой точке истории он принадлежит, если история вообще есть. Однако историю нельзя просто предположить, ведь тогда она была бы лишь новым утешением из того же места, как три диагноза второй главы, каждый из которых предлагал исправление. Нужно спросить, есть ли история вообще и как её можно проверить.
7. Случай или сюжет?
Робин всё ещё на кухне, и утро такое же, как в первой главе: часы на запястье, балл восстановления, кофе и письма. Она сказала вслух, что больше не может, и пока ничего не изменилось — ни в её жизни, ни вокруг. Но её слова теперь принадлежат более широкому кругу: рассогласование инженеров, отчуждение врачей, горе молодых и три диагноза из экологии, исследований мозга и машин. Все они говорят одно и то же: нечто целится, промахивается, и поправка из того же места уводит ещё дальше. Это эссе прошло за словарём до той точки, где он становится вопросом.
Вопрос не нов. В старых историях отдельные люди стояли в той же точке: герой, чья собственная забота оборачивается против него, пророк, который видит, как его народ гонится не за тем правильными средствами, и писатель, который обнаруживает, что делает то, чего не хочет. Они спрашивали, что с ними происходит, и отвечали на своём языке, словами своего времени. Ново не вопрос, а его масштаб. Теперь его задаёт не один человек, а целая цивилизация — на многих языках и во многих областях сразу.
Здесь читатель вправе спросить, какое отношение старые тексты имеют к выгоранию, климатической тревоге и машинному обучению. Это хороший вопрос, и это эссе пока на него не отвечает. Оно лишь отметило, что словарь нашего времени описывает движение, а не отдельные ошибки, и что движение выглядит одинаково от области к области и от языка к языку. Если у движения есть очертание, его можно искать и в более древних текстах, которые рассказывают историю человечества от начала до конца. Если очертание там не найдётся, книга ошибается, и любой может это установить.
Возможны ещё два объяснения, и на этом этапе выбрать между ними нельзя. Согласно первому, словарь промаха — мода нашего времени: слова распространяются, потому что они полезны, и их заменяют, когда появляются лучшие. Согласно второму, словарь говорит нечто истинное о самих событиях: у истории есть очертание, и мы дошли в ней до точки, где промах начинает становиться видимым. Ни одно объяснение не доказано, и можно верить в любое, смотря по тому, что уже думаешь. Поэтому выбор не должен опираться на веру или на то, какое из них приятнее.
Итак, вопрос таков: случай или сюжет? На него не ответит ни одно отдельное наблюдение, потому что найдутся наблюдения, указывающие в обе стороны, и каждое легко прочесть в свою пользу. Прежде чем открыть какой-либо старый текст, нужно договориться, как выглядел бы сюжет, если он есть, и что показало бы, что его нет. Следующее эссе делает именно это: оно записывает грамматику сюжета и условия, при которых её можно проверить. Робин остаётся на своей кухне, и ей пока ничего не обещано.
- Линн Уайт-мл., «Исторические корни нашего экологического кризиса», Science 155 (1967): 1203–1207.
- Иэн Макгилкрист, «Мастер и его эмиссар» (The Master and His Emissary) (2009).
- Брайан Кристиан, The Alignment Problem (2020).
- Уильям Стэнли Джевонс, The Coal Question (1865): эффективность и рост потребления.
- Джек Кларк и Дарио Амодеи, «Faulty Reward Functions in the Wild», OpenAI, 2016 (лодка CoastRunners).
- Кэролайн Хикман и др., «Климатическая тревога у детей и молодёжи и их представления о реакции правительств на изменение климата», The Lancet Planetary Health 5 (2021): e863–e873.