Глава восьмая Ваш внутренний робот

We use cookies. Read the Privacy and Cookie Policy

Глава восьмая

Ваш внутренний робот

Представьте себе холодный декабрьский вечер. Пятница. Человек едет домой с корпоративного праздника. Точнее, сказать, его везут домой. Он недавно купил свою первую самоуправляющуюся машину, запрограммированный Google, сделанный на заводе Mercedes электромобиль eSmart. И за рулем не он, а программа. В свете автоматически настраиваемых светодиодных фар он видит затянутые льдом лужицы, но на них можно не обращать внимания, так как снабженный чувствительными датчиками робот регулирует скорость и газ в полном соответствии с дорожными условиями. Все идет гладко. Человек расслабился и погрузился в приятные воспоминания о праздничном вечере. Он углубляется в густой лес, нависающий с обеих сторон, и вдруг из-за деревьев на дорогу выбегает какое-то животное и застывает в свете приближающихся фар. Это соседский охотничий пес, никогда не отличавшийся дисциплинированностью.

Что делает робот-водитель? Нажмет ли он на тормоза, спасая собаку, но рискуя тем, что машина пойдет юзом? Или уберет виртуальную ногу с педали тормоза, пожертвовав собакой ради безопасности пассажира и автомобиля? Как будет компьютер разбираться в потоке переменных и вероятностей, чтобы за долю секунды принять решение? Если посчитано, что торможение будет означать для пса вероятность уцелеть, равную 53?%, и существует вероятность 18?%, что будет повреждена машина, а с вероятностью 4?% человек, сидящий в машине, получит травму, то сочтет ли компьютер спасение собаки правильным действием? Каким образом программа, работая самостоятельно, переведет набор чисел в решение, чреватое неприятными практическими и моральными последствиями?

Что, если это собака хозяина машины? Вместо собаки на дорогу мог выбежать ребенок… Вообразите, что утром тот же человек едет на работу, просматривая поступившую за ночь электронную почту, автомобиль идет по мосту со скоростью 40 миль в час. По тротуару мост переходит группа школьников. Дети послушно идут за взрослыми, ничто не предвещает неприятностей, однако машина сбрасывает скорость, предпочтя ошибку безопасности. Внезапно среди детей возникает короткая потасовка, и одного мальчишку выталкивают на дорогу. Человек в машине, деловито набирая очередное сообщение на клавиатуре смартфона, не замечает происходящего. Робот должен принять решение: либо увернуться от наезда, выйдя из ряда и выскочив на встречную полосу, чем он может убить хозяина, либо наехать на ребенка. Какую команду подаст компьютер на рулевую колонку? Учтет ли робот, что в машине едет еще и ребенок на детском сиденье, снабженном особыми датчиками? Что, если по встречной полосе идут машины и одна из них – школьный автобус? Когда-то Айзек Азимов составил кодекс поведения робота: «Робот не может причинять вред человеку или своим бездействием допускать ситуации, которые могут повредить человеку» [1]. Это вполне разумное требование, но оно было написано в те времена, когда мир был устроен проще.

«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.

До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.

Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?

Совершенных нравственных алгоритмов не существует, в настоящее время нет возможности свести этику к набору правил. Философы пытались сделать это в течение многих столетий, но потерпели фиаско. Любые самые холодные расчеты зависят от ценностей и интересов человека, принимающего решение. Рациональный выбор страховой компании может в случае наезда на собаку не совпасть с решением человека – не важно, сделал он его с расчетом или просто рефлекторно. «В эпоху роботов, – замечает политолог Чарльз Рубин, – люди все чаще будут сталкиваться с требованиями морали» [3].

Тем не менее такие алгоритмы придется – волей-неволей – писать. Мысль о том, что человек сумеет вычислить наиболее достойные выходы из моральных тупиков, может показаться упрощенной или даже отталкивающей, но роботам и программам придется просчитывать способы решения моральных проблем. До тех пор пока искусственный интеллект не обретет некоего подобия сознания и не будет способен чувствовать или хотя бы имитировать такие эмоции, как привязанность или жалость, никаких перспектив у наших электронных родственников не будет. Люди могут сколько угодно горевать о том, что предоставили автоматам возможность принимать морально значимые решения до того, как научили их нравственности, но власть выработанных тысячелетиями этических норм остается доминантой. Если выпустить машины в самостоятельное плавание, то придется перевести моральные коды в коды компьютерных программ.

Вот другой сценарий. Представим себе батальон, составленный из людей и солдат-роботов. В составе батальона есть взвод «компьютерных снайперов», занявших позиции на перекрестках и крышах домов города, который батальон защищает от нападения партизан. Один из роботов берет на лазерный прицел человека в гражданской одежде, держащего в руке мобильный телефон. Человек ведет себя – с точки зрения военного опыта – достаточно подозрительно. Робот, оценив текущую ситуацию и просмотрев базу данных о поведении террористов в таких случаях, мгновенно подсчитывает, что 68?% вероятность того, что это террорист, готовый привести в действие взрыватель бомбы, и 32?% – что это мирный житель, не замышляющий ничего дурного. В этот момент на улицу въезжает бронетранспортер с взводом солдат. Если человек готов взорвать бомбу, то рвануть может в любой момент. Война не имеет кнопки «пауза». Здесь нет места человеческим рассуждениям. Робот должен действовать. Что прикажет программа его винтовке: стрелять или не стрелять?

Если гражданские люди еще могут рассуждать об этических следствиях внедрения самоуправляющихся автомобилей и других самостоятельных роботов, то у военных нет времени на такие размышления. В течение многих лет Министерство обороны и военные академии изучают методы и последствия наделения боевых машин правом принимать решения о жизни и смерти. Ракеты и бомбы, сбрасываемые с беспилотных самолетов, давно уже никого не удивляют, хотя и стали предметом ожесточенных дебатов. У обеих сторон есть веские аргументы. Сторонники наделения машин таким правом утверждают, что беспилотники позволяют уменьшить потери в живой силе, а точность ударов сокращает масштабы разрушений и жертв по сравнению с традиционными способами ведения боевых действий. Противники считают такое бомбометание санкционированным государством массовым убийством. Они утверждают, что ракеты и бомбы часто убивают и ранят мирных жителей. Правда, надо сказать, что такие ракетные удары не являются автоматизированными, они просто подчиняются дистанционному управлению. Самолеты летят самостоятельно и сканируют местность, над которой пролетают, но решение о нанесении удара принимают военнослужащие, сидящие перед мониторами и выполняющие приказы командиров. В их понимании современные беспилотные самолеты-ракетоносцы ничем не отличаются от крылатых ракет и другого вооружения. На гашетку и спусковой крючок нажимают все же люди, а не машины.

Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.

В 2013 году Кристоф Хейнс, южноафриканский правовед, работающий над темой внесудебных решений, издал доклад о статусе и перспективах развития военных роботов [4]. От чтения этого сухого бесстрастного доклада по спине бегут мурашки: «Правительства, способные выпускать смертоносные автономные роботы, – писал Хейнс, – утверждают, что в настоящее время не рассматривается вопрос об их применении в вооруженных конфликтах или в каких-либо иных ситуациях. Однако история вооружений, – продолжает он, – позволяет предположить, что людям не следует слишком серьезно относиться к таким прогнозам. Надо помнить, что аэропланы и беспилотные самолеты поначалу использовались в вооруженных конфликтах только для разведки, а их боевое применение исключалось ввиду возможных негативных последствий. Опыт, однако, подтверждает, что, когда технология позволяет получить преимущество перед противником, подобные рассуждения просто отбрасываются в сторону. Как только появляется новый тип оружия, немедленно начинается гонка вооружений. В этой ситуации сила соблюдения собственных интересов может свести на нет всякие усилия по контролю над вооружением и его боевым применением».

Война гораздо в большей степени подчиняется шаблонам, чем гражданская жизнь. Есть определенные правила ведения боевых действий, иерархия командования и четко определенные стороны конфликта. Убийство не только не порицается, но и поощряется. Но даже на войне программирование морально значимых задач поднимает проблемы, которые не могут быть решены без предварительного урегулирования некоторых моральных аспектов. В 2008 году командование ВМС США поручило группе по этике и новым наукам Университета штата Калифорния подготовить доклад по этическим проблемам, возникающим в связи с возможным применением смертоносных автоматизированных машин, и выработать предложения по созданию «этически запрограммированных роботов» для военных целей. Специалисты по этике доложили, что существует, в принципе, два способа программирования морально обоснованных компьютерных решений: сверху вниз и снизу вверх. В первом случае все правила, программирующие решения робота, создаются заранее, и машина просто им следует «без изменений или гибкости». Невозможно предвидеть все ситуации, в которых может оказаться робот. «Ригидность программирования сверху вниз может привести к неприятным последствиям, – написали ученые, – когда события или ситуации, не предусмотренные или недостаточно проработанные программистами, заставляют робота поступать неверно или просто совершать ужасные вещи именно потому, что он жестко следует заданным правилам» [5].

При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с бо?льшим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.

Специалисты по этике особо подчеркнули, что люди при принятии морально значимых решений используют «гибрид» двух подходов – сверху вниз и снизу вверх. Человек живет в обществе, управляемом законами и другими ограничениями, которые направляют и контролируют его поведение. Многие люди принимают решения в согласии со своими религиозными и культурными убеждениями. Совесть тоже диктует свои правила, будь она врожденной или благоприобретенной в процессе воспитания. Большую роль играет жизненный опыт. Люди учатся быть нравственными существами по мере роста и взросления, сталкиваясь с необходимостью принимать этически оправданные решения в разнообразных ситуациях. Человек далеко не совершен, его нравственные устои проходят испытание при столкновении с проблемами, с которыми он раньше никогда не встречался. Единственный способ для роботов стать нравственными – это последовать нашему примеру и принять гибридный подход, то есть одновременно подчиняться правилам и учиться на собственном опыте. Но создание такой машины на данном уровне развития технологии невозможно. «В конечном итоге, – заключают специалисты по этике, – люди, возможно, смогут построить нравственных роботов, способных снизу вверх вырабатывать гибкую мораль, воспринимать и обрабатывать самые разнообразные вещи и сравнивать принятые решения с правилами, предписанными подходом сверху вниз». Но для этого надо понять, как программировать компьютеры, чтобы они могли обладать эмоциями, социальными навыками, сознанием и «чувством сопричастности миру» [6]. Другими словами, людям придется стать богами.

Едва ли армия будет так долго ждать. В статье, опубликованной в журнале военного колледжа армии США Parameters, Томас Адамс, военный стратег и подполковник в отставке, утверждает: «Логика, ведущая к созданию полностью автономных систем, неумолима. Благодаря скорости, размерам и чувствительности военных роботов война начинает предъявлять требования, превосходящие способность человека адекватно реагировать на них». Скоро наступит время, когда обычному человеку станет слишком сложно разобраться с новой техникой. «Люди становятся самым слабым звеном военной системы, – говорит Адамс, повторяя утверждения ориентированных на технологию гражданских создателей программного обеспечения, – и сохранение способности к контролю над ситуацией на поле боя становится в современных условиях почти невозможным. …Проблема заключается в том, что обязательно найдутся противники, которые решат, что нанести поражение ориентированным на человека системам можно только с помощью систем, ориентированных на технологию». В конце своей статьи Адамс выражает уверенность: «Наступит такой момент, когда военные действия на тактическом уровне станут уделом машин, а не людей» [7].

Предотвратить применение автономных роботов-убийц едва ли удастся не только по причине их высокой тактической эффективности. Их использование имеет много этических преимуществ. В отличие от живых солдат, роботы не будут подвержены действию инстинктов в горячке и суматохе боя, они не способны испытывать страх, и у них нет крови, в которой может бушевать адреналин. «Главное, – писал Хейнс, – они не будут действовать из мести, не поддадутся панике, гневу, злобе, предрассудкам или страху. Более того, если их специально на это не запрограммировать, машины не станут преднамеренно причинять страдания гражданскому населению, применять насилие и пытки» [8].

Роботы, кроме того, не лгут и не пытаются скрыть следы своих действий. Их можно запрограммировать так, чтобы они оставляли электронные метки на пути своего движения, что сделает их самыми надежными солдатами армии. Их применение (и это, пожалуй, самое важное) позволит избежать гибели и ранений живых солдат. Убивающий робот не только забирает жизни, но и сохраняет их. Как только людям станет ясно, что автоматические солдаты и оружие уменьшат вероятность того, что их сыновья и дочери будут убиты или искалечены на войне, давление на правительство станет непреодолимым, – народы потребуют автоматического ведения войн. «В конечном счете, – считает Хейнс, – не будет иметь никакого значения, что роботы лишены способности к человеческому суждению, здравого смысла, чувства перспективы, понимания скрытых намерений и человеческих ценностей». Отсутствие человеческих чувств у роботов в данном случае имеет даже свои преимущества, так как иначе их не смогли бы с легкостью отправлять на уничтожение.

Однако в действительности эта ситуация оказывается еще более щекотливой. «Военные и политические преимущества роботов имеют и собственные моральные ограничения. Их применение САР не просто изменит способ ведения сражений и стычек, – утверждает Хейнс. – Оно изменит отношение политиков и военных к вопросу о том, следует ли вообще начинать войну. Ненависть общества к потерям всегда удерживала политиков от объявления войн и подстегивала стремление к переговорам. Так как роботы уменьшат человеческую цену вооруженного конфликта, общество будет с большей легкостью отчуждено от военных дебатов и оставит решение вопроса о применении силы на усмотрение государства, что приведет к обыденности вооруженного конфликта. Киберсолдаты могут снизить для государства порог перехода к войне или другим конфликтам. Война перестанет быть последним средством решения политических споров» [9].

Внедрение нового класса вооружений всегда меняет природу ведения войны, а оружие, которое можно метать или взрывать издалека (катапульты, мины, мортиры, ракеты), оказывало и продолжает оказывать в этом отношении наибольший эффект, как предусмотренный, так и непреднамеренный. Последствия применения киберсолдат превзойдут все, что появлялось на полях сражений до сих пор. Первый же выстрел, самостоятельно сделанный роботом, прогремит на весь мир, навсегда изменив лицо войны, а может быть, и всего общества.

Социальные и этические вызовы, порожденные призраками роботов, запрограммированных на убийство, и самоуправляющихся машин, открывают очень важную и неприятную перспективу направления автоматизации в целом. Идею замещения традиционного способа действия автоматизированным трактовали как возможность замены любой работы путем деления ее на отдельные задачи, которые легче автоматизировать. Это представление надо, вероятно, расширить. По мере того как растет область приложений автоматизации, человечество начинает понимать, что общество не может быть разделено на не связанные между собой сферы деятельности – например, сферы труда, отдыха, государственной власти. Их нельзя автоматизировать по отдельности, чтобы не затронуть состояние других сфер, не изменить жизнь общества в целом. Все на свете взаимосвязано. Изменится оружие, и, как следствие, возникнет другой способ ведения войны. Эти связи становятся более тесными по мере распространения информации в компьютерных сетях. В какой-то момент автоматизация достигает критической массы и начинает формировать общественные нормы и этику. Люди постепенно видят себя и отношения с другими в совершенно ином свете. Личную деятельность они невольно начинают подгонять под технологию, играющую в наши дни все более значимую роль. Меняется и поведение людей. Они ждут от компьютера помощи и разочаровываются в тех редких случаях, когда ее не получают. «Программы стали настоятельной необходимостью, – как выражается Джозеф Вайценберг, специалист по вычислительной технике из Массачусетского технологического института. – Они становятся той материей, из которой люди строят свой мир» [10].

В девяностые годы, когда только начал надуваться пузырь доткомов, уже шли взволнованные разговоры о «вездесущей компьютеризации». Вскоре эксперты стали уверять нас, что наступает эра микрочипов. Они будут везде: в фабричных и заводских машинах, на полках складов, встроены в стены кабинетов, магазинов и жилых домов, зарыты в землю и полетят по воздуху. Будут вшиваться в одежду и даже плавать в нашей крови. Снабженные сенсорами и передатчиками, эти миниатюрные компьютеры станут измерять все мыслимые переменные величины – от усталости металла и температуры почвы до уровня сахара в крови и через интернет посылать данные в крупные центры их обработки. Там мощные компьютеры проанализируют переданную ими информацию и выдадут инструкции, как поддержать те или иные параметры на нужном уровне. Компьютеризация проникнет во все на свете. Автоматизация станет вездесущей. Мы окажемся в раю компьютерных фанатов, в мире программируемых машин.

Одним из главных вдохновителей этого помешательства стала Xerox PARC, легендарная исследовательская лаборатория в Кремниевой долине, где Стив Джобс почерпнул вдохновение для создания системы Macintosh. Инженеры и математики Xerox PARC опубликовали серию статей о будущем, в котором компьютеры тесно вплетутся в ткань повседневной жизни и станут ее частью [11]. Люди уже не будут замечать находящихся вокруг них компьютеры и чувствовать тревожность по поводу всеобщей компьютеризации, на них снизойдет полная «безмятежность» [12]. Звучит поистине идиллически. Но специалисты Xerox PARC не были законченными оптимистами. Им самим не очень нравился мир, который они нарисовали. Они беспокоились о том, что нашпигованный компьютерами мир станет идеальным местом для скрытно надзирающего за всеми Большого Брата. «Если компьютерные системы станут настолько же невидимы, насколько и вездесущи, – писал в 1999 году главный технолог лаборатории Марк Вайзер, – то станет трудно понять, кто за кем следит, кто кого контролирует, что с чем связано, откуда течет информация и как она используется» [13]. Нам придется полностью довериться людям и компаниям, обслуживающим систему.

Воодушевление, как, впрочем, и тревога по поводу всеобщей компьютеризации, оказалось преждевременной. Технологии девяностых годов не позволяли сделать мир прозрачным для компьютеров и роботов, а после краха доткома (большинство компаний dotcom лопнули вместе с американской биржей акций) инвесторы потеряли всякую охоту вкладывать деньги в повсеместную установку микрочипов и сенсоров. Но за последние 15 лет очень многое изменилось, и прежде всего – экономические условия. Цены на компьютерное оборудование резко упали, так же как и стоимость высокоскоростной передачи данных. Такие компании, как Amazon, Google и Microsoft, превратили обработку данных в вид коммунальных услуг. Они построили рыхлую компьютерную решетку, позволяющую накапливать огромные массивы данных, обрабатывать их на мощных центральных компьютерах, а затем рассылать на смартфоны, планшеты и пульты управления машинами и механизмами [14]. Производственные компании тратят миллиарды долларов на оборудование своих предприятий связанными с сетью сенсорами, а такие технологические гиганты, как General Electric, IBM и Cisco, надеясь возглавить создание «вселенной сети интернета», наперегонки бросились разрабатывать стандарты обмена данными. Компьютеры сейчас действительно стали поистине вездесущими. Малейшие движения человеческого мира уже регистрируются в виде потока единиц двоичного кода. Данными о людях киберсети уже пропитались насквозь. Теперь ученые Xerox PARC снова начинают казаться пророками.

Существует большая разница между набором инструментов и инфраструктурой. Промышленная революция набрала полную силу только после того, как ее технические предпосылки были внедрены в промышленные системы и сети. Строительство железных дорог в середине XIX века расширило рынки, доступные промышленным компаниям, и дало толчок к механизации массового производства и к ускорению роста экономики. Создание линий электропередач спустя несколько десятилетий открыло путь к разработке сборочных конвейеров, а с доступностью электрических приборов индустриализация проникла в частные дома. Эти новые транспортные и энергетические сети вкупе с телеграфом, телефоном и радио придали обществу совершенно иной характер, изменили мысли людей о работе, развлечениях, путешествиях, образовании и даже об организации общественной и семейной жизни. Железные дороги и электричество сделали жизнь такой, какой она даже не снилась людям в эпоху промышленных паровых машин.

Томас Хьюз в обзоре последствий строительства линий электропередач и создания электрических сетей писал в книге «Networs of Power» («Энергетическая сеть») о том, как техническая культура (деловая, а затем общая) адаптировалась к новой энергетической системе. «Люди и учреждения приспосабливались к новой технологии, – писал Хьюз. – Системное взаимодействие людей, идей и учреждений, как технических, так и гуманитарных, привело к созданию социотехнической подсистемы, придавшей мощное ускорение движению общества и техники в определенном направлении. Именно тогда технология повела за собой производство энергии, способы производства товаров и изменила образ жизни. Универсальная система растет стабильно и равномерно, а ее изменения преобразуются в диверсификацию функций ее составляющих» [15]. Прогресс нашел свою колею.

Сейчас мы достигли той же точки в истории автоматизации. Общество адаптируется к универсальной компьютерной инфраструктуре, причем быстрее, чем оно приспосабливалось к электрическим сетям, и новый статус-кво постепенно приобретает законченную форму. Уже изменились принципы, лежащие в основе производственных операций и торговых отношений. «Деловые отношения, которые когда-то связывали людей, теперь осуществляются посредством электроники, – пишет Брайан Артур, экономист и специалист по технологиям из Института Санта-Фе (The Santa Fe Institute, SFI). – Деловые отношения осуществляются в невидимом, абсолютно цифровом царстве» [16]. В качестве примера Артур приводит перевозки товаров по Европе. Всего несколько лет назад это требовало участия массы людей, вооруженных ручками и картонными папками. Они записывали время прибытия и убытия, проверяли грузовые декларации, проводили инспекцию грузов, подписывали разрешения и ставили под ними печати, заполняли документы и раскладывали их по соответствующим папкам, писали письма и звонили другим чиновникам для согласования дальнейшего движения груза. Изменение маршрута движения требовало интенсивных переговоров между представителями множества заинтересованных сторон – отправителя, получателя, перевозчика и государственных ведомств, – а значит, и горы бумажных документов. Теперь же в груз вмонтированы радиочастотные идентификационные метки. Когда он проходит через порт или другой перевалочный пункт, сканеры считывают метку и передают информацию в одни компьютеры, другие, третьи… Так осуществляется надлежащая проверка, выдача разрешений на провоз или выгрузку. При необходимости контролируется соблюдение схемы доставки и наличие дат, соответствующих статусу груза. Если требуется новый маршрут, то он порождается автоматически, а метки и соответствующие данные меняются и отправляются в архив.

Такой автоматизированный и отдаленный обмен информацией стал нормой в современной экономике. «Торговля, – как пишет Артур, – все в большей степени управляется обширными коммуникациями исключительно между машинами» [17]. Современные бизнесмены обязательно должны обладать сетевыми компьютерами, способными принимать участие в этих коммуникациях. «Знаете, вы построили превосходную цифровую нервную систему, – говорит Билл Гейтс руководителям своей компании, – по которой информация растекается по всей организации, как нервные импульсы по человеческому телу» [18]. Любая уважающая себя компания, чтобы выжить, должна постоянно автоматизироваться и пересматривать производственный и управленческий циклы с целью усиления их компьютерного контроля. А это означает, что компании придется ограничить участие людей в процессе производства и управления, так как они не смогут поддерживать скорость компьютерной обработки данных и будут лишь помехой во многих ключевых функциях.

Писатель фантаст Артур Кларк как-то задал риторический вопрос: «Может ли быть устойчивым синтез человека и машины или органический компонент этого симбиоза станет таким препятствием для полноценной работы, что от него придется в конце концов избавиться?» [19] По крайней мере, в мире бизнеса никакой стабильности в разделении труда между человеком и компьютером пока не видно. Доминирующие методы автоматизации передачи сообщений и согласования действия дают понять, что роль человека будет угасать. Люди сами создают системы, которые их вытесняют. Если технологическая безработица в ближайшие годы увеличится, то произойдет это в результате новой, невидимой стороннему глазу автоматизации инфраструктуры, а не из-за засилья роботов на предприятиях и в офисах. Роботы и программные приложения – это лишь цветочки, выросшие на огромной и мощной корневой системе.

Эта система дает толчок проникновению автоматизации в культуру общества. От оказания государственных услуг до сохранения дружбы и семейных уз – во всех своих делах и заботах общество приспосабливается к анатомии компьютерной инфраструктуры. Она позволяет мгновенно и согласованно обмениваться данными, что делает возможным появление реальных потоков самоуправляющихся автомобилей и прочих чудес современной автоматизации. При помощи этой инфраструктуры собирается информация для анализирующих программ, которые предлагают пользователям готовые решения. Она обеспечивает возможность автоматизации школьных классов, библиотек, больниц, магазинов, церквей и жилых домов, то есть мест, где по традиции господствовали чисто человеческие отношения. Эта же инфраструктура позволяет Агентству национальной безопасности (NSA) и другим разведывательным организациям, а также преступным синдикатам и сомнительным корпорациям вести разведку и шпионаж в беспрецедентных масштабах. Именно она ограничила серьезные публичные обсуждения и личные беседы размерами крошечных экранов. Она дает нашим карманным компьютерным устройствам сопровождать человека, предостерегая, инструктируя и советуя.

Повторю еще раз: люди и учреждения приспосабливаются к технологии. Но индустриализация не превратила людей в механизмы, и автоматизация не превратит их в автоматы. Не так уж человек прост. Но распространение автоматизации делает жизнь программируемой. Стало меньше возможностей проявить находчивость и изобретательность, испытать уверенность в своих силах. Сейчас настало время задуматься о том, как именно будет развиваться человечество.

Очень любопытная речь была произнесена на традиционной конференции по технологиям развлечений и дизайна в Лонг-Биче в конце февраля 2013 года. На сцене стоял, переминаясь с ноги на ногу, небрежно одетый парень и, слегка заикаясь, говорил. Это был Сергей Брин, по слухам, более коммуникабельный из двух соучредителей Google. Брин приехал на конференцию, чтобы рекламировать Google Glass (у нас – умные очки) – нательный компьютер. Показав для начала короткий рекламный ролик, Брин пустился в уничтожающую критику Smartphone (смартфон), внедрению которого с его системой Android Google в свое время способствовал больше других компаний. Достав из кармана собственный телефон, Брин посмотрел на него с нескрываемым отвращением. «Пользование смартфоном – это своего рода кастрация, – сказал он. – Понимаете, вы стоите и, как полоумный, трете эту безликую стекляшку». Помимо «социальной изоляции», смартфон заставляет смотреть на экран, а это отвлекает человека от раздражителей реального физического мира. «Неужели вы хотите и дальше причинять такое зло собственному организму?» – заключил Брин [20].

Засунув смартфон в карман, Брин стал дальше расхваливать преимущества Glass. Новое устройство будет иметь более удачную форму персонального компьютера. Освободив руки владельца и позволив ему поднять голову, он вернет человека в реальный мир. Есть у «нательных компьютеров» и другие преимущества. Поскольку экран компьютера всегда находится в поле зрения пользователя, постольку «умные очки» позволят Google с помощью сервиса Google Now и других устройств слежения и идентификации выдавать людям любую необходимую информацию в момент, когда им потребуется совет или помощь. Компания наконец удовлетворит свою давнюю амбициозную мечту: автоматизировать поток информации, поступающей в мозг. Забудьте о функции autocomplete сервиса Google Suggest. «Надев “очки”, – сказал Брин, повторяя слова своего коллеги Рэя Курцвейля, – вы вообще избавитесь от необходимости искать сеть. Вам не надо будет формулировать условия поиска и просматривать результаты или ссылки. Информация будет поступать к вам по мере надобности» [21]. Мало того что компьютер стал вездесущим, теперь он – еще и всезнающий.

Косноязычное выступление Брина стало мишенью для остроумных блогеров, но в принципе он прав. Смартфоны чаруют, но и сильно раздражают. Человеческий мозг не может сосредоточиваться на двух вещах одновременно. Каждый взгляд на экран, прикосновение к нему отвлекают нас от окружающего мира. Со смартфоном в руках мы становимся призраками, витающими между двумя мирами. Конечно, люди всегда отличались рассеянностью и способностью отвлекаться на пустяки. Мы блуждаем в грезах, теряем внимание, но никогда прежде мы не носили с собой инструмент, который бы с такой силой завладевал нашими чувствами и нарушал внимание. Соединяя человека со всем виртуальным светом, смартфон, как верно заметил Брин, лишает его возможности находиться здесь и сейчас. Мы перестаем присутствовать в своем непосредственном окружении.

Правда, уверения Брина в том, что «умные очки» позволят решить эту проблему, звучали не очень убедительно. Несомненно, бывают ситуации, когда свобода рук при пользовании компьютером или во время съемки является решающим преимуществом. Однако смотреть в экран, плавающий перед глазами, требует не меньше внимания, чем когда он располагается на коленях или на ладони. Мало того, экран в «очках» может потребовать еще больше внимания. Исследования, проведенные на летчиках и водителях, использующих головные дисплеи, показали, что, когда люди смотрят на текст или рисунок, спроецированный на окружающую обстановку, у них развивается феномен «туннельного внимания». Фокус сужается, взгляд фиксируется на дисплее, и человек перестает замечать, что происходит в остальных участках поля зрения [22]. В одном из опытов, проведенных на имитаторе полета, пилотам, использовавшим во время посадки головной дисплей, потребовалось больше времени, чтобы заметить перегородивший посадочную полосу большой самолет, чем летчикам, которые смотрели на приборную панель. Двое пилотов с головными дисплеями вообще не заметили крупный объект, расположенный у них прямо перед глазами [23]. «Для полноценного восприятия нужны глаза и разум, – писали профессора психологии Дэниел Саймонс и Кристофер Шамбри в статье о потенциальных опасностях “умных очков”, напечатанной в 2013 году, – и если ваш разум занят, то вы можете не увидеть того, что в противном случае заметили бы сразу» [24].

Конструкция дисплея «умных очков» такова, что от него очень трудно отвлечься. Постоянно нависая над глазом, он находится в постоянной готовности, и вам стоит лишь слегка скосить взгляд вверх, как он тут же попадет в поле зрения. Обычный телефон можно хотя бы сунуть в карман или сумку, бросить в подставку для стакана в машине и избавиться от него. Тот факт, что вы взаимодействуете с «умными очками», произнося слова, двигая головой, делая жесты руками и похлопывая пальцами по дужке, позволяет устройству еще больше претендовать на ваше мышление и восприятие. Что же касается звуковых сигналов, возвещающих о сообщениях и предостережениях – подающихся, как хвалился Брин на конференции, в мозг за счет костной проводимости черепа, – то едва ли они будут менее навязчивыми, чем звонки и зуммеры обычного телефона. Возможно, метафора, сравнивающая пользование смартфоном с кастрацией, и удачна, но компьютер, прикрепленный к вашему лбу, может оказаться еще хуже.

Нательные компьютеры – это головные устройства, такие как «умные очки» Google; шлем виртуальной реальности Facebook; приборы, крепящиеся на запястье, «умные часы» компании Pebble. Они не всегда отличаются привлекательной новизной. На пути к популярности им придется преодолеть множество препятствий. Красоты в них мало, выглядят они причудливо и аляповато – лондонская The Guardian называет «умные очки» «жуткими окулярами» [25]. Встроенные в них видеокамеры заставляют многих людей нервничать. Но, как многие персональные компьютеры прошлых поколений, эти устройства быстро совершенствуются и, несомненно, примут более удобные и менее гротескные формы. Идея ношения компьютера на теле сейчас кажется странной, но через десять лет оно может стать нормой. Возможно, люди начнут с удовольствием глотать микроскопические компьютеры для слежения за биохимическими параметрами организма и функциями внутренних органов.

Брин, однако, ошибается, полагая, что «умные очки» и другие подобные устройства означают разрыв с компьютерным прошлым. Мало того, эти изобретения придают технологической тенденции еще бо?льшую силу. Помимо того что смартфон и планшет сделали персональные, соединенные с сетью компьютеры портативными и личностными, они проторили путь к программированию многих новых аспектов нашей жизни. Вместе с дешевыми, простыми в обращении приложениями эти программы позволяют использовать всемирную компьютерную инфраструктуру для автоматизации самых обыденных наших обязанностей. Компьютеризированные очки и браслеты расширяют поле охвата автоматизации. Эти устройства облегчают получение инструкций о пути следования при ходьбе пешком или при езде на велосипеде. Более того, с помощью новых компьютеров можно получить совет относительно того, что съесть на ужин и какую пижаму надеть на ночь. Устройства можно снабдить сенсорами, которые будут передавать в сеть информацию о вашем местоположении, состоянии здоровья и образе мыслей. Все это даст программистам и предпринимателям еще больше возможностей для автоматизации нашей повседневной жизни.

Итак, на наших глазах прошла демонстрация разнообразных видов компьютеров и программ. В зависимости от точки зрения их можно считать либо порочными, либо добродетельными и необходимыми. Чем больше человек полагается на программные приложения и алгоритмы, тем больше утрачивает способность действовать без их помощи, страдая от сужения навыков и внимания. Это делает компьютерные программы еще более значимыми. Автоматизация вызывает дальнейшую автоматизацию. Когда все вокруг надеются решить свои жизненные проблемы с помощью экранов, общество, естественно, приспосабливает образ жизни к компьютерным процедурам.

Уже в девяностые годы специалисты Xerox PARC утверждали, что компьютеризация будет всеобщей и вездесущей, когда человек перестанет ее замечать. Компьютеры настолько тесно вплетутся в жизнь, что станут невидимыми. Люди смогут пользоваться ими подсознательно [26]. Это казалось несбыточными фантазиями, когда массивные ЭВМ регулярно привлекали к себе внимание своим зависанием, громом и треском в самые неподходящие моменты. Теперь слова специалистов уже не кажутся абстрактными мечтами. Многие компьютерные компании и фирмы, поставляющие программное обеспечение, говорят, что работают над тем, чтобы сделать свою продукцию невидимой. «Я страшно воодушевлен технологиями, становящимися невидимками, – заявляет Джек Дорси, выдающийся предприниматель из Кремниевой долины. – Мы сделали это с Twitter, а сейчас работаем с процессором кредитных карт Square» [27]. Когда Марк Цукерберг называет Facebook коммунальной услугой, он подает нам недвусмысленный сигнал о том, что социальные сети скоро вольются в нашу жизнь, как влились в нее телефон и электричество [28]. Apple уже проводит кампанию, утверждая, что iPad скоро выйдет из употребления. Подхватывая тему Google, он рекламирует «очки» как средство избавления от вездесущей, лезущей в глаза техники. Выступая с речью в Сан-Франциско, главный инженер компании Google Вик Гундотра бросил в массы цветистый и сильный лозунг: «Технология должна убраться с глаз долой, чтобы мы имели возможность жить, учиться и любить» [29].

Поборников новой технологии можно упрекнуть в надменности, но не в цинизме. Они искренне верят в то, что чем более компьютеризированным станет наше бытие, тем счастливее мы будем жить. Так, во всяком случае, подсказывает им их жизненный опыт. Но эти надежды пока ни на чем больше не основаны. Чтобы популярная технология стала невидимой, ей сначала следует стать настолько необходимой, чтобы люди не мыслили своей жизни без нее. Она должна окружать людей со всех сторон. Джастин Раттлер, шеф технологического отдела Intel Corporation, рассказал о своих надеждах на то, что продукция компании станет такой неотъемлемой частью человеческого «контекста», что Intel будет необходим, как средство «принудительной помощи» [30]. Создание такой зависимости от компании принесет много денег Intel Corporation и другим компьютерным компаниям. Таким образом компьютерные компании собираются превратить покупателей в просителей.

Управлять компьютерными системами становится все легче и легче, и это обстоятельство делает их более привлекательными в глазах пользователей, по мнению продавцов. «Мы освободимся от технологии, когда она не будет попадаться на глаза», – писал колумнист The New York Times Ник Билтон [31]. Но невозможно просто повернуть выключатель и сделать технологию невидимой в мгновение ока. Она «исчезает» только в результате долгого процесса культурной и личной акклиматизации. Люди могут не замечать ее оков, но это не будет означать, что их нет. Инструмент, которым первоначально пользовались для выполнения собственных намерений, начинает навязывать человеку условия его изготовителя. «Если мы не сможем понять, – пишет Латур, – насколько использование техники, пусть даже простой, модифицирует или искажает первоначальное намерение, то это произойдет потому, что мы поменяем цель, изменив средство» [32].

Данный текст является ознакомительным фрагментом.