Будет ли человечество в конечном итоге уничтожено одним из своих собственных творений?
Если вас беспокоит идея жизни в компьютерной симуляции, управляемой неизвестными существами, подождите, пока не услышите последнюю теорию Бострома.
В прошлую среду Бостром выступил на конференции TED в Ванкувере, Канада, чтобы поделиться некоторыми соображениями, вытекающими из его последней работы “Гипотеза уязвимого мира”.
В беседе с руководителем конференции Крисом Андерсоном Бостром утверждал, что массовая слежка может быть одним из единственных способов спасти человечество – от технологии нашего собственного создания.
Его теория начинается с метафоры людей, стоящих перед гигантской вазой, наполненной шариками, представляющими идеи. Есть белые шары (полезные идеи), серые шары (умеренно вредные идеи) и черные шары (идеи, разрушающие цивилизацию). Создание атомной бомбы, например, было сродни серому шару — опасная идея, которая не привела к нашей гибели.
Бостром утверждает, что в урне может быть только один черный шар, но после того, как он выбран, его нельзя положить обратно. (В конце концов, человечество было бы уничтожено.)
По словам Бострома, единственная причина, по которой мы еще не выбрали черный шар, заключается в том, что нам “повезло”.
В своей статье Бостром пишет,
Если научные и технологические исследования продолжатся, мы в конечном итоге доберемся до него и вытащим его. Наша цивилизация обладает значительной способностью подбирать шарики, но не способна класть их обратно в урну. Мы можем изобретать, но не можем отказаться от изобретения. Наша стратегия — надеяться, что черного шара не будет.
***
Если технологическое развитие продолжится, то в какой-то момент будет достигнут набор возможностей, которые сделают разрушение цивилизации чрезвычайно вероятным, если цивилизация в достаточной степени не выйдет из полуанархического состояния по умолчанию. Подробнее о том спасется ли человечество? читайте на страницах специализированного сайта.
Бостром считает, что единственное, что может спасти человечество, — это правительство.
Бостом предложил способы предотвратить это, и его идеи ужасающе антиутопичны:
Первое потребует более сильного глобального управления, которое выходит за рамки нынешней международной системы. Это позволило бы государствам договориться о запрете использования технологии достаточно быстро, чтобы предотвратить тотальную катастрофу, потому что международное сообщество могло бы действовать быстрее, чем оно было способно в прошлом. Бостром предполагает в своей статье, что такое правительство могло бы также сохранить ядерное оружие для защиты от вспышки или серьезного нарушения.
Вторая система более антиутопична и потребует значительно большего наблюдения, чем привыкли люди. Бостром описывает своего рода “метку свободы”, прикрепленную к каждому, которая передает зашифрованные аудио- и видеозаписи, выявляющие признаки нежелательного поведения. Он утверждает, что это было бы необходимо будущим системам управления для упреждающего вмешательства до того, как будет совершено преступление, потенциально изменяющее историю. В документе отмечается, что если бы каждая метка стоила 140 долларов, то на то, чтобы снабдить всех этой меткой, было бы потрачено менее одного процента мирового валового внутреннего продукта и, возможно, удалось бы избежать исчезновения вида. (источник)
Эти метки будут передавать информацию на “станции мониторинга patriot“ или ”центры свободы», где искусственный интеллект будет отслеживать данные, вводя в курс дела человеческих “офицеров по свободе”, если будут обнаружены признаки черного шара.
Как по Оруэллу.
Быть под наблюдением искусственного интеллекта — ужасающая идея.
Идея искусственного интеллекта, отслеживающего деятельность человека, вызывает особую тревогу, учитывая, что мы уже знаем, что ИИ может развивать предрассудки и ненависть без нашего участия и что у роботов нет чувства юмора и они могут убить нас из-за шутки. Многие эксперты считают, что искусственный интеллект в конечном итоге перехитрит людей, и конечным результатом станет конец человечества.
Наличие роботов-повелителей — хорошая идея, даже если они могут помешать кому-то выбрать черный шар? У нас уже есть массовая слежка, и глобальное управление, похоже, тоже на подходе.
Бостром признал, что сценарий может пойти ужасно неправильно, но он считает, что цель может оправдать средства:
Очевидно, что у массовой слежки и глобального управления есть огромные недостатки и даже огромные риски.
На индивидуальном уровне мы, похоже, в любом случае отчасти обречены.
Я просто указываю, что, если нам повезет, мир может стать таким, что это будет единственным способом выжить в черном шаре. (источник)
Тем, кто по-прежнему настроен скептически, Бостром советует взвесить все за и против:
Порог, не превышающий человеческого вымирания или экзистенциальной катастрофы, представляется достаточным. Например, даже те, кто с большим подозрением относится к правительственному надзору, вероятно, одобрили бы значительное усиление такого надзора, если бы это действительно было необходимо для предотвращения случайных разрушений в масштабах всего региона. Точно так же люди, которые ценят жизнь в суверенном государстве, могут разумно предпочесть жизнь под управлением мирового правительства, исходя из предположения, что альтернатива повлечет за собой нечто столь ужасное, как ядерный холокост. (источник)
Что вы думаете?
Если бы вам пришлось выбирать между видом слежки и глобальным правительством, который предлагает Бостром, или возможным уничтожением ИИ, что бы вы выбрали? Считаете ли вы, что возможность выбора черного шара является реальной угрозой? Если да, то как скоро, по-вашему, это произойдет? Пожалуйста, поделитесь своими мыслями в комментариях.