Автор - Валерий Анисимов (http://aicommunity.narod.ru). Впервые опубликовано на сайте Андрея Плахова (http://aicommunity.narod.ru)
Автор выражает глубокую благодарность участникам форума на Мембране под никами Gen и SDI,
а так же Владимиру Коломейко за ценные замечания и советы, высказанные ими после прочтения данной статьи.
Грядущие годы таятся во мгле;
Но вижу твой жребий на светлом челе.
А.С. Пушкин
Эволюция открытых систем, весьма впечатляющим примером, которой является история развития жизни на планете Земля, представляется одной из наиболее интригующих проблем современного естествознания. Какими внутренними механизмами управляется такая эволюция? Каково соотношение случайного и закономерного в ходе развития эволюционных процессов? Можно ли, и если да, то в какой мере, предсказать тенденции их развития? И, наконец, можно ли перейти от качественного описания, например, процесса развития жизни на Земле, к его количественному описанию? Последний вопрос представляется очень важным, так как, серьёзное научное исследование, как правило, требует введения каких-либо количественных характеристик рассматриваемых процессов, что позволяет осуществлять экспериментальную проверку точности описания реального мира, обеспечиваемой в рамках предлагаемой модели, и заниматься прогнозированием поведения системы на будущее.
Итак, первый вопрос, который мы себе поставим, заключается в поиске некого достаточно универсального параметра, при помощи которого мы могли бы описывать эволюционирующие системы вне зависимости от их конкретной физической реализации. В качестве такого параметра автор предлагает использовать объём их памяти. Действительно, любая адаптация системы к локальным и глобальным изменениям окружающей среды невозможна, если система не умеет распознавать различные состояния внешней среды (точнее говоря, сигналы, приходящие в неё из внешней среды), так как для выработки адекватной реакции на новую ситуацию ей необходимо, по крайней мере, отнести эту ситуацию к одному из стандартных типов, “правильную” реакцию на который она уже знает из своего предыдущего опыта. Но для различения и узнавания нужно сравнить образ текущей ситуации с ранее запомненными образами стандартных ситуаций, хранящимися в памяти. Таким образом, без реализации в том или ином виде механизма памяти никакая адаптация невозможна. Попутно отметим, что наличие памяти требует постоянного притока энергии в систему, так как для любого перевода системной памяти из одного состояния в другое, необходимо преодолеть потенциальный барьер, защищающий память от внешних шумовых воздействий. Стирание памяти любой сложной эволюционирующей системы неизбежно приводит к её деградации и хаосу, так как система больше не может нормально функционировать. Это касается всех систем от простейших вирусов до механизма человеческого сознания. Итак, память, по-видимому, является обязательным атрибутом любой сложной системы, способной функционировать в динамической внешней среде. Отсюда, и возникает вполне естественный вопрос – нельзя ли в качестве универсальной характеристики системы использовать объём её системной памяти? Действительно, на интуитивном уровне представляется очевидным, что чем сложнее система, тем большими объёмами информации она оперирует. Соответственно, должен возрастать и объём памяти для хранения этой информации и манипулирования ею.
С этой точки зрения, любопытно проследить за эволюцией жизни на Земле. Как известно, по современным представлениям, первые следы жизнедеятельности на нашей планете в виде останков бактерий, наблюдаются в геологических породах, имеющих возраст около 3.5 млрд. лет. Что выполняет функцию памяти у бактерий? Очевидно, что это генетический код ДНК. Биологи традиционно измеряют размер геномов в количестве нуклеотидных пар (длине кода). Однако, для наших целей, будет удобнее измерять длину кода ДНК в битах. Так как всего для кодирования используется 4 нуклеотидных остатка, то для получения объёма кода в битах, нужно просто умножать “традиционную” длину кода на два.
Длина наименьшего генетического кода, из всех ныне живущих на Земле бактерий, составляет около 10^6 бит (Если говорить только о бактериях, способных автономно жить в неорганическом окружении, то длина их ДНК несколько больше, но мы будем предполагать, что среда, в которой жили первые бактерии, представляла из себя “органический бульон”. В любом случае, учёт длины кода бактерий, способных жить автономно, увеличивает указанную величину примерно в 2 раза, а не на порядки). Так как не все организмы эволюционируют в сторону увеличения длины ДНК, то можно предположить, что длина генетического кода первых бактерий была сравнима с указанной выше величиной. Важным этапом, резко увеличившим эффективность механизма генетического отбора, явилось “изобретение” полового размножения, при котором особи получили возможность попарного обмена накопленной генетической информацией. Запомним это факт, так как он ещё пригодится нам в будущем. Этап возникновения обмена информацией между прежде практически независимо (за некоторыми исключениями) функционирующими организмами, учёные относят к периоду примерно 1.5 млрд. лет тому назад. Сделали это “изобретение”, судя по всему, простейшие, предки современных инфузорий. Длина генетического кода простейших (например, амёб) составляет по порядку величины 10^7 бит. Следовательно, за 2 млрд. лет эволюции объём памяти наиболее совершенных на тот период времени эволюционирующих систем увеличился примерно на порядок. Таким образом, получаем, что средняя скорость удвоения объёма памяти наиболее сложных биологических систем в течение 2 млрд. лет от момента появления первых признаков жизни на нашей планете составляла примерно 600 млн. лет. Не напоминает ли это уважаемому читателю некий, до боли знакомый, закон развития современной вычислительной техники? Ну да, конечно же, это очень похоже на закон Мура, только вот период удвоения не 18 месяцев, а 600 млн. лет. Ничего не поделаешь, вначале поступь её величества эволюции было очень неспешна...
Кстати говоря, приведённые выше оценки косвенно подтверждают теорию зарождения жизни вне Земли, причём, вполне возможно, что жизнь в виде самореплицирующихся полимерных молекул появилась ещё до формирования солнечной системы. Действительно, если длина кода простейших бактерий, первые признаки жизнедеятельности которых относятся к периоду, отстоящему от нас примерно на 3.5 млрд. лет, составляет 10^6 бит, а скорость удвоения длины кода примерно 600 млн. лет, то, экстраполируя эту зависимость в прошлое, мы получим, что генетический код со сложностью порядка нескольких бит, мог существовать уже примерно 13.5 млрд. лет тому назад, то есть, в те времена, когда ни Земли, ни Солнца ещё не было. Более того, не исключено, что простейший механизм саморепликации, и соответствующая конкуренция различных устойчивых молекулярных структур, возникли почти сразу же после Большого Взрыва. Напомним, что возраст Вселенной в настоящее время оценивается астрофизиками в 13.7 млрд. лет. Но мы несколько отвлеклись от истории эволюции. Перед тем, как продолжить дальнейший экскурс в историю биологической эволюции, хотелось бы сразу подчеркнуть, что эволюционный процесс может быть представлен в виде достаточно гладкой кривой лишь при рассмотрении на интервалах времени, существенно больших, чем период удвоения информационной сложности системы. Он задаёт как бы закон генеральной линии развития. При рассмотрении же на меньших интервалах времени, мы можем заметить локальные отклонения от глобальной кривой, вызванные скачкообразным характером развития многих конкретных видов.
Итак, около 1.5 млрд. лет назад возник механизм обмена накопленной генетической информацией между особями, что резко ускорило скорость эволюции. Что было дальше? 1.5 млрд. лет тому назад – простейшие, 600 млн. лет тому назад – появление первых многоклеточных типа медуз и плоских червей, с длиной генетического кода порядка 10^7 бит. Примерно 400 млн. лет тому назад появляются первые предки насекомых, длина генетического кода вырастает до 10^8 бит. Около 100 млн. лет тому назад появляются первые птицы и млекопитающие с длиной генетического кода порядка 10^9 бит. У некоторых, из обитающих в настоящее время на Земле видов (например, риса и табака), длина кода составляет величину порядка 10^10 бит (для сравнения, длина генетического кода человека около 6.6*10^9 бит). Если отложить соответствующие точки на графике в логарифмическом масштабе, то можно увидеть, что сложность (длина) кода растёт по экспоненте, увеличиваясь примерно на порядок за 200 млн. лет, что даёт среднее время удвоения объёма генетической информации на этот период в 65 млн. лет. Итого, темп эволюции увеличился практически в 10 раз! Следует так же отметить, что данные, записанные в генетическом коде, обладают довольно большой избыточностью. Например, информацию, содержащуюся в генетическом коде человека, можно сжать любым стандартным архиватором примерно в 10 раз. Таким образом, количество информации, содержащейся в генетическом коде, примерно на порядок меньше длины самого кода. С учётом этого обстоятельства, можно в очень грубом приближении принять, что, количество информации, содержащееся в генетическом коде, может быть оценено по формуле Ig= Kg*Lg, где Lg – длина кода в битах, Kg – коэффициент порядка 0.1.
Но если предположить, что и в настоящее время длина генетического кода является определяющей при оценке степени эволюционного совершенства вида, то можно легко зайти в тупик. Действительно, длина кода растения табака больше, чем длина генетического кода человека, примерно в полтора раза. Значит ли это, что табак на столько же “умнее” человека? Очевидно, что это абсурд. Дело в том, что уже со времён зарождения первых многоклеточных, появился и стал постепенно развиваться принципиально другой тип памяти биологических систем, основанный на использовании нервных клеток. Он позволял переложить часть функций по адаптации с уровня генетической памяти вида на уровень нейронной памяти отдельного организма. Кстати говоря, то, что основная тенденция в развитии животного мира в процессе эво люции состоит в прогрессивной эволюции мозга у позвоночных животных (точнее говоря, можно говорить о постоянном увеличении отноше ния массы головного мозга к массе тела), было подмечено американским ученым Д. Дана и сформулировано им в виде закона “цефализации” еще в середине 19-го века.
Как соотносятся в количественном выражении генетическая и нейронная типы памяти конкретного организма? Попробуем сделать очень грубую оценку. Известно, что долговременная память в сетях нейронов кодируется, по всей видимости, в виде факта наличия связей между конкретными нейронами, а так же величиной и знаком силы этих связей. На самом деле, количество связей конкретного нейрона с другими нейронами очень сильно (от единиц до нескольких десятков тысяч связей) варьируется для разных участков мозга, но в среднем, для человеческого мозга принято считать, что один нейрон связан примерно с тысячей других нейронов. Условимся для удобства расчётов, что примерно такое же соотношение характерно и для других биологических организмов, имеющих нервную систему. В этом случае, объём информации, который потенциально может храниться в головном мозге, можно оценивать по формуле In= K*Nn, где – Nn – общее число нейронов организма, K – некий коэффициент. Если исходить из того, что каждый нейрон в среднем связан примерно с тысячей других, для кодирования номера нейрона достаточно 37-ми бит, а сила связи может быть закодирована 7-ю битами, то коэффициент K можно принять равным по порядку величины 10^5 бит. Тогда, зная количество нейронов в головном мозгу у того или иного животного, можно оценивать сверху общий объём информации, который может потенциально храниться в его нейронной памяти. Например, для мозга человека получается цифра порядка 10^16 бит. Величины такого порядка иногда упоминаются и в научно-популярной литературе, когда авторы пытаются оценить объём памяти компьютера, необходимый для полноценного моделирования человеческого интеллекта. В реальности, однако, отнюдь не все нейроны головного мозга используются для хранения получаемой из внешнего мира информации. Очень большое количество информации в мозге хранится в виде врождённых генетических программ (безусловные рефлексы, инстинкты, механизмы саморегуляции организма и т.д.). Кроме того, очевидно, что, как и в случае с генетическим кодом, данные в мозгу хранятся с определённой избыточностью, причём, не исключено, что эта избыточность может достигать весьма существенных величин. Скажем, широко известно, что ежедневная гибель тысяч нейронов, входящих в состав головного мозга, практически никак не сказывается на умственных способностях человека. Что бы оценить эту избыточность, можно провести прямой эксперимент по вводу различной информации в человеческий мозг и последующему извлечению её оттуда. Такие опыты неоднократно проводились, и практически все они приводили к одному и тому же выводу – скорость запоминания человеком новой информации ограничена величиной в несколько бит в секунду. С учётом этого обстоятельства, за всю свою жизнь, человек физически не может запомнить более 10^8-10^9 бит информации. Это на 7-8 порядков меньше теоретического предела, приведённого выше. Если предположить, что нейронная память других организмов обладает избыточностью примерно такого же порядка, то окончательно получим следующую таблицу информационной ёмкости различных биологических объектов:
Биологический объект | Ёмкость генетической памяти (биты, порядок величины) | Ёмкость нейронной памяти (биты, порядок величины) |
Вирус | 10^3 – 10^4 | 0 |
Бактерия | 10^5 – 10^6 | 0 |
Амёба | 10^6 | 0 |
Червь | 10^6 | 10^0 – 10^1 |
Насекомое | 10^7 | 10^3 – 10^4 |
Мышь | 10^8 | 10^6 – 10^7 |
Шимпанзе | 10^8 | 10^7 – 10^8 |
Человек | 10^8 | 10^8 – 10^9 |
Какие выводы можно сделать из приведённой выше таблицы? Например, способность к обучению обычного дождевого червя, определяемая размером его “не прошитой при рождении” генетической памяти составляет величину всего в несколько бит. Ну что же, это, пожалуй, вполне согласуется с нашим интуитивным представлением о сложности его поведения (без учёта врождённых безусловных рефлексов). Для описания поведения таракана, основанного на его индивидуальном опыте, нам потребуется уже около нескольких килобайт данных. Если бы мы задались целью построить максимально похожую на оригинал модель поведения таракана, то на информацию, описывающую конкретный экземпляр, потребовалось бы менее одного процента от общего для всех тараканов данного вида объёма генетической информации. Это вполне согласуется с тем фактом, что большая часть поведения насекомых определяется передаваемыми генетически безусловными рефлексами. В то же время, “генетическая составляющая” в поведении человека меньше, чем накопленная за время жизни информация, основанная на индивидуальном опыте, с чем, видимо, так же согласится большинство читателей.
Взяв из приведённой таблицы соответствующие точки (начиная с червей), и отметив их на том же логарифмическом графике зависимости информационной сложности организма от времени его появления, мы можем вычислить период удвоения объёма информации в головном мозге, который оказывается равным примерно 20 млн. лет. Таким образом, темп роста сложности системы опять возрос более чем в три раза! Отметим так же, что следующий (нейронный) уровень памяти не уничтожает предыдущего (генетического), а строится как бы над ним. Теперь, давайте сравним объём информации в мозгу человека с объёмом информации в мозгу, например, слона. Выясняется, что потенциальная информационная вместимость мозга слона превосходит мозг человека. Значит ли это, что слон “умнее” человека? На интуитивном уровне ответ и на этот раз, очевидно, отрицательный. Но почему? За счёт чего человек умнее имеющего мозг большего объёма слона? Что бы это понять, давайте вспомним о многочисленных, документально зафиксированных случаях воспитания ребёнка животными, например, волками. Такие “Маугли”, будучи впоследствии возвращёнными в нормальное человеческое общество, так и остаются на всю оставшуюся жизнь с уровнем умственного развития волка. Таким образом, истоки силы человеческого интеллекта следует искать не только в особенностях биологического строения его мозга (хотя они, несомненно, так же очень важны), но и в возможности общения, то есть, активного обмена информацией с соплеменниками. Лишённый в раннем детстве возможностей такого общения, человек уже никогда не может догнать сверстников в умственном отношении. Итак, человек отличается от других высших животных примерно тем же, чем инфузория туфелька отличается от бактерии – возможностью взаимного обмена большими объёмами информации. Только теперь речь идёт уже не о генетической, а об индивидуальной памяти организма. Это позволяет совершить очередной рывок в эволюционном развитии.
Давайте теперь попробуем вкратце проследить за этапами формирования вида homo sapiens.
По современным представлениям, общий для людей, горилл и шимпанзе предок (дриопитек) отделился от остальных высших обезьян примерно 10-15 млн. лет назад, или даже ещё раньше. Потом от общего видового дерева отделились гориллы, и, наконец, последними около 5 млн. лет назад разделились виды человека и шимпанзе. Как известно, из обитающих в настоящее время на Земле видов, шимпанзе являются нашими самыми близкими “родственниками”. Различие в структуре наших геномов составляет примерно лишь 1% (при том, что аналогичный показатель у двоих людей, не находящихся в родстве – около 0.1%). В то время, когда пути человека и шимпанзе разошлись, наши далёкие предки были представлены австралопитеком с объёмом головного мозга около 400-600 см^3. Австралопитеки жили небольшими группами по 20-30 человек, и уже умели использовать простейшие орудия природного происхождения типа палок и камней. Примерно 2 млн. лет назад на смену австралопитеку приходит так называемый “человек умелый” (Homo Habilis). Объём его мозга уже достигал 700-800 см^3. Человек умелый постепенно научился пользоваться огнём и изготавливать галечные орудия. У него в мозгу начинают формироваться структуры для появления зачатков речи. Примерно 1 млн. лет назад начинается дробление предков человека на несколько ветвей. Среди них можно упомянуть, например, архантропов, питекантропов, синантропов. Объём их мозга возрастает до 800-1200 см^3. Возникает и постепенно совершенствуется первое искусственно сделанное человеком типовое орудие труда – каменное ручное рубило. Многие исследователи считают, что целенаправленная, осмысленная обработка камня свидетельствует о появлении на данном этапе у наших предков понятийного мышления, например, о возникновении понятия достаточно абстрактной цели. Около 300 тыс. лет тому назад на территории нынешней Европы и Западной Азии из всех ветвей эволюции пралюдей резко выдвинулись в своём развитии неандертальцы (Homo Neandertalis). Объём их мозга составлял от 900 до 1800(!) см^3, то есть иногда даже превосходил среднестатистический мозг современного человека (около 1500 см^3). Судя по всему, именно неандертальцы сделали много важных открытий, которыми впоследствии воспользовались представители “нашей” ветви пралюдей homo sapiens. Например, они, вероятно, уже умели строить простейшие шалаши из жердей и звериных шкур, делать составные орудия (скажем, деревянные копья с кремниевыми наконечниками), целенаправленно загонять зверей в естественные ловушки и т.д. Кроме того, по всей видимости, у неандертальцев уже появилось что-то типа смутной веры в загробную жизнь. Во всяком случае, они клали в могилу к своим умершим родственникам каменные орудия, животных и даже цветы. Около 30 тыс. лет назад по до сих пор неясным причинам неандертальцы повсеместно исчезли. Одну из возможных гипотез о причинах их вымирания мы рассмотрим ниже. Так как возникновение вначале речи, а потом и языка у наших предков явились, судя по всему, принципиально важными событиями, то следующий этап эволюции целесообразно ограничить рамками от первых австралопитеков до первых гуманоидов, способных к весьма развитому общению между собой, то есть появления собственно языка. Язык у наших предков появился примерно 100-150 тыс. лет тому назад. Таким образом, за примерно 5 млн. лет объём мозга наших предков утроился, что даёт период удвоения порядка 2 млн. лет. Значит, темп эволюции “на данном участке фронта” в очередной раз ускорился примерно в 10 раз!
Но, вернёмся к вопросу об исчезновении неандертальцев. Физически, судя по всему, они были сильнее и выносливее наших прямых предков. Объём их мозга им не уступал, а, возможно, что даже и превосходил. Конечно, эволюция полна случайностей, и неандертальцем, может быть, просто “не повезло”. Но можно предложить и другое объяснение. Некоторые исследователи на основании сохранившихся черепов неандертальцев делают предположение о том, что они не были способны к полноценной членораздельной речи. Может быть, именно в этом и заключается разгадка их почти мгновенного, по эволюционным меркам, исчезновения? Возможно, что в индивидуальном плане, в том числе и интеллектуально, неандертальцы превосходили наших предков, но благодаря более высокому уровню развития речи и языка “человек разумный” превзошёл их на уровне коллективного разума. Что я понимаю под коллективным разумом? Это обобщённый разум системы, состоящей из всех совместно проживающих и активно контактирующих людей. При этом, каждый из людей, входящих в систему, может хранить в памяти лишь часть необходимых ему знаний, так как остальные знания хранят в своей памяти другие члены сообщества. Таким образом, можно рассматривать человечество как единый развивающийся организм с собственной памятью, включающей определённую часть памяти каждого из членов сообщества. Для того, что бы оценить информационную ёмкость памяти человеческого сообщества, как единого организма, нам, безусловно, необходимо учесть её огромную избыточность. Действительно, профессиональные знания людей одинаковых профессий в значительной степени дублируют друг друга. С этой точки зрения, для расчёта объёма памяти системы нужно учитывать лишь память, занятую специфическими знаниями о конкретной профессии всех членов общества, имеющих различные профессии. Другими словами, нам нужно знать, сколько различных профессий существовало на разных этапах развития нашей цивилизации.
От чего зависит количество профессий в человеческом обществе? По каким законам оно растёт? Представляется логичным предположение, что каждая вновь появляющаяся профессия связана с неким новым знанием, или новой технологией, которые появляются по мере развития общества. Для работы с этими новыми технологиями в обществе и появляется нужда в новых профессиях. Например, ещё каких-нибудь 50-60 лет назад по вполне понятным причинам не существовало ещё ни профессии программиста, ни профессии космонавта, ни профессии мастера по ремонту видеомагнитофонов, ни многих других профессий. Таким образом, можно предположить, что количество новых профессий растёт пропорционально росту научно-технических инноваций, росту общего научно-технического уровня общества. А чем, в свою очередь, определяется рост числа новых открытий в области науки и техники? В 1999-ом году вышла книга известного российского учёного С.П. Капицы “Сколько людей жило, живет и будет жить на земле. Очерк теории роста человечества”. В ней он, в частности, убедительно показывает, что скорость развития человеческой цивилизации прямо пропорциональна количеству её жителей. Именно ростом населения Земли объясняется постоянное ускорение технического прогресса, наблюдаемое на протяжении последних столетий. Те страны и локальные цивилизации, которые волею судеб оказались изолированными, резко отставали в своём развитии. В этом смысле, показателен пример американских индейцев, которые, начав после заселения американского континента примерно с такого же уровня развития, что и евразийская цивилизация, к моменту открытия Америки Колумбом уже отставали от неё в техническом плане на тысячи лет, находясь примерно на уровне развития цивилизаций шумеров или Египта времён Древнего Царства. На ещё более низком уровне развития находились (видимо, именно в силу своей малочисленности) австралийские аборигены.
Таким образом, у нас есть некие основания полагать, что число профессий росло пропорционально росту населения Земли. А по какому закону, в свою очередь, росло население Земли? С.П. Капица приводит как результаты оценок палеонтологов, так и цифры, следующие из его собственной модели роста человечества. Они, в среднем, дают близкие результаты. Для начала каменного века, около 1.5 млн. лет назад, когда отдалённые предки человека, по всей видимости, стали более-менее регулярно использовать простейшие слегка оббитые галечные камни, число гоминидов (общее название наших предков, отделившихся ранее в самостоятельную ветвь от других человекообразных обезьян), достигало 100 тыс. Примем, что тогда ещё не произошло разделение на профессии, другими словами, число профессий равно 1. Тогда, можно построить следующую таблицу зависимости предполагаемого населения Земли и, соответственно, числа профессий, от времени.
Время (лет тому назад) | Население Земли | Число профессий |
1.5 млн | 100 тыс | 1 |
100 тыс | 1 млн | 10 |
10 тыс | 10 млн | 100 |
5 тыс (3000 год до н.э.) | 20 млн | 200 |
2 тыс. (начало н.э.) | 100 млн | 1000 |
1 тыс. (1000 г н.э.) | 200 млн | 2000 |
500 (1500 год н.э.) | 400 млн | 4000 |
250 (1750 год н.э.) | 700 млн | 7000 |
150 (1850 год н.э.) | 1200 млн | 12.000 |
100 (1900 год н.э.) | 1600 млн | 16.000 |
50 (1950 год н.э.) | 2800 млн | 28.000 |
20 (1980 год н.э.) | 4400 млн | 44.000 |
0 (2003 год н.э.) | 6000 млн | 60.000 |
Если исходить из этой таблицы, то получим, что около 10 тыс. лет назад, ко временам неолитической революции (переход от собирательства к регулярному земледелию, появление первых городов и т.д.) жизнь людей уже настолько усложнилась, что количество ремёсел приблизилось к сотне. Около 2-3 тыс. лет до нашей эры появились первые государства. Государство, это настолько сложный общественный организм, что его существование немыслимо без участия людей сотен различных профессий. Эту оценку и даёт таблица. К моменту расцвета Римской Империи количество профессий, в соответствии с нашими оценками должно было приблизиться к тысяче. А что происходило в это время с темпами эволюции? В каменном веке они, в очередной раз, ускорились примерно в 4 раза, составив период удвоения в 500 тыс. лет. Далее скорость роста продолжает стремительно увеличиваться. В период, предшествующий неолитической революции, количество информации, накопленной цивилизацией, удваивалось каждые 20 тыс. лет, во времена Римской Империи – каждую тысячу лет, к моменту изобретения Уаттом первой паровой машины (1765 г.) уже всего порядка сотни лет! При приближении к современной эпохе темп удвоения становится прямо-таки бешенным. 1900 год – 50 лет, 1980 г - 45 лет!
Попробуем теперь оценить рост абсолютной величины памяти системы с именем Цивилизация. Как уже отмечалось выше, оценка величины информационной сложности (объёма памяти) системы, состоящей из множества различных элементов, непростая задача. С одной стороны, нужная всем элементам системы информация, как правило, многократно дублируется. Например, информация о том, как менять прокладки в водопроводном кране, которая содержится в голове сантехника Петрова, содержится в головах ещё тысяч других сантехников (да и многих российских граждан других профессий тоже). С другой стороны, как правило, каждый элемент кроме общесистемной, содержит и свою “личную”, так сказать, информацию, предназначенную лишь для индивидуального потребления. Например, у всех из нас в мозгу хранится довольно большой объём данных, который кроме нас самих, и, возможно, ограниченного круга наших знакомых, никому не интересен. Другими словами, эти данные не представляют информационной ценности для всей системы цивилизация, в целом. Но как оценить ту долю информации, которая является, так сказать “общественным достоянием”? Можно предложить такой (естественно, далеко не бесспорный) метод оценки. Предположим, что скорость усвоения человеком информации различного рода примерно постоянна. Тогда, долю информации, которая может быть использована “на общественные нужды”, можно оценить как отношение времени, целенаправленного потраченного на обучение индивидуума в интересах всего общества, к полному времени обучения. В настоящее время, государственная система образования берёт в свои руки обучение детей примерно с 6-7 летнего возраста, и заканчивает его, в общих чертах, примерно к 20-ти – 25-ти годам. Во время обучения, до половины времени бодрствования организма посвящается учёбе. Принимая во внимание, что средняя продолжительность периода, в течение которого человек активно впитывает новую информацию, ограничена, в среднем, примерно 30-ю годами, получим оценку доли “системной информации” в 25%. Другими словами, например, информационная сложность системы “семья”, состоящей из 4-ёх человек, примерно вдвое больше, чем сложность каждого из её членов в отдельности. Что касается многократного дублирования общесистемной информации, то его, как уже отмечалось выше, можно учесть в предположении, что не дублируется лишь системная информация людей, принадлежащих разным профессиям. Таким образом, например, для середины XX-го века мы получим оценку порядка информационной сложности нашей гуманоидной цивилизации в 10^12-10^13 бит.
Подведём краткий промежуточный итог. Как только язык развился до той степени, при которой позволил людям свободно обмениваться практически любой информацией, произошло смещение акцентов развития эволюции с увеличения объёма мозга, на увеличение численности его носителей, так как с этих пор любое изобретение, сделанное одним человеком, можно было очень быстро распространить среди всех остальных членов общества. Чем больше людей вовлечено в систему, тем больше скорость генерации и распространения изобретений, от использования которых выигрывают все члены общества. И отнюдь не случайно население Земли все последние столетия растёт, подчиняясь закону гиперболического роста. Другими словами, растёт не только само население, растёт и сама скорость роста. При этом интервал, необходимый для удвоения значения функции народонаселения, постоянно уменьшается. Скорость роста при гиперболическом законе возрастания зависит не от самого значения функции (как при экспоненциальном росте), а от его квадрата. Если в качестве значения функции принять количество людей на Земле, то квадрату этой величины соответствует количество возможных связей между ними. Таким образом, складывается ощущение, что закон роста народонаселения носит информационный характер, и определяется глобальными тенденциями развития эволюционного процесса в общепланетном масштабе. Этот факт неоднократно подчёркивает в своей книге С.П. Капица. Отметим ещё раз, что возможность реализации активного информационного взаимодействия (связей) между людьми появляется лишь после появления достаточно развитого языка, способного осуществлять обмен существенными объёмами информации между отдельными людьми.
Теперь, давайте рассмотрим другой носитель памяти, появившийся у человечества сравнительно недавно. Я имею в видуписьменность. Следует отметить, что письменность, это нечто принципиально новое, по отношению к речи и языку. Конечно, язык явился одним из основных факторов, способствующих появлению человечества. Но, всё же, не будем забывать, что свой, весьма специализированный язык, есть и у многих видов животных, включая насекомых с довольно примитивной нервной системой. Есть свой язык общения и у всех стадно живущих млекопитающих. Часто этот язык позволяет передавать довольно нетривиальную информацию. Здесь можно упомянуть, например, опыты над муравьями и дельфинами, а так же расшифровку языка пчёл. Конечно, язык человека гораздо более развитый, чем у животных. Но, всё же, в чём принципиальное отличие от языка животных (кроме, естественно, большей гибкости и “словарного запаса”) языка человека? На мой взгляд, ответ заключается в том, что человек научился записывать свой язык, превратив его, таким образом, из средства обмена информацией ещё и в средствохранения информации, то есть, своего рода, долговременную коллективную память. Случилось это, судя по всему, около 5 тыс. лет назад или около того. Вполне естественно, что после изобретения письменности человечество стало записывать все свои знания, то есть копировать их с не очень надёжного нейронного носителя на глиняные таблички, папирус, бумагу и т.д. Начиная с этого времени, у каждого грамотного индивида появилась возможность доступа к этому новому типу памяти, сохраняющему тысячелетний опыт предков и передающий его потомкам. Именно с этого момента стала возможной передача неискажённой информации от одного человека тысячам других людей, которые могли при этом отстоять от человека - источника информации на многие десятки и сотни километров в пространстве, и годы во времени. А с изобретением книгопечатания с разборным шрифтом (вXI-ом веке в Китае, и затем, в XV-ом веке в Европе) появилась так же возможность очень быстро распространять вновь полученные знания для всех заинтересованных специалистов. Так как скорость развития технологий очень сильно зависит от скорости обмена информацией между составляющими общество людьми, то изобретение книгопечатания без преувеличения можно назвать одним из наиболее выдающихся изобретений цивилизации. Недаром, вскоре после этого в Европе началась так называемая Промышленная Революция, резко ускорившая развитие всей западноевропейской цивилизации. Одним из следствий этого ускорения явился быстрый рост процента грамотных людей вообще, и учёных и инженеров в частности, начиная примерно с XVII-го века. В некотором смысле, этот процесс аналогичен росту доли массы головного мозга относительно общей массы тела животных. За счёт этого, объём записанной информации в системе цивилизация, стал расти даже быстрее, чем росло количество составляющего её народонаселения. Так, например, количество реферируемых научных журналов в середине 60-ых годов ХХ-го века удваивалось примерно каждые 10 лет, в то время как население в то время удваивалось лишь примерно каждые 45 лет. Таким образом, после изобретения книгопечатания, книги и журналы стали наиболее динамично растущим носителем информации. Как обычно, переход памяти на новый носитель ускоряет развитие системы примерно на порядок, что собственно, и произошло. Однако, по крайней мере, вплоть до середины XIX-го века, человеческий мозг оставался единственным устройством обработкиинформации (или, говоря современным языком, процессором), которую он «загружал» с внешнего печатного носителя, и, после окончания обработки, сохранял её там же в виде напечатанного на бумаге текста, формул, чертежей и т.д. Так как те знания, которые по тем или иным причинам могли представлять интерес для многих членов сообщества, были записаны и впоследствии напечатаны, то можно попытаться сделать альтернативную оценку объёма информации, накопленной человечеством, через объём написанных им книг. Это тем более важно, так как мы в процессе наших расчётов ввели довольно много неочевидных предположений и оценок, взятых часто “на глазок”, и было бы полезно попытаться каким-либо независимым способом проверить приведённую выше оценку количества информации, накопленной человечеством в докомпьютерную эпоху, в 10^12-10^13 бит. Крупнейшей библиотекой в мире считается библиотека Конгресса США. Объём только текстовой информации, которую она содержит, оценивается в 7 Тбайт, или, иначе говоря, порядка 10^13 бит. Когда две оценки, полученные совершенно разными методами, дают близкие результаты, это косвенно подтверждает их объективный характер.
Давайте ещё раз вернёмся к книге С.П.Капицы. Одним из выводов его теоретической модели роста человечества является приостановка действия закона гиперболического роста, неуклонно выполнявшегося до этого десятки, а возможно, и сотни тысяч лет, в 60-ые годы 20-го века. Причина этого вполне понятна и объяснима. Дело в том, что существуют определённые пределы скорости роста, обусловленные особенностями человека, как биологического и социального существа. Это приводит к тому, что при приближении параметра скорости удвоения экспоненциального роста к пределу, определяемому средним детородным возрастом, ускорение системного времени начинает всё больше отставать от закона гиперболического роста. Другими словами, мы выходим на предел ускорения внутрисистемного времени. К чему это может привести? Предсказание С.П.Капицы довольно пессимистично – мы подошли к пределу ускорения роста, после чего рост скорости научно-технического прогресса должен стабилизироваться, так как все резервы для его ускорения, действовавшие ранее, оказываются исчерпанными. Правда, в своих последних интервью С.П.Капица довольно туманно намекает на возможность некого качественного изменения человечества, но для этого, в любом случае, потребуется не один десяток лет. А законы системного развития “предписывают” на ближайшие годы не замедление, а как раз наоборот, ускорение темпов эволюционного развития. Итак, возможна ли в принципе приостановка прогресса в развитии нашей цивилизации? Как говорится, кто мы такие, откуда, и куда идём?
Для того, что бы попытаться ответить на этот вопрос, можно обратиться к результатам исследований в науке о поведении нелинейных открытых эволюционирующих систем – синергетике. Эти исследования говорят о том, что в саморазвивающихся системах с положительной обратной связью достаточно типичны процессы, когда некоторый параметр за конечное время стремится принять бесконечное значение. Это так называемые режимы с обострением. Как математический анализ подобных моделей, так и эксперименты, показывают, что вблизи точки сингулярности такие процессы становятся неустойчивыми, то есть, вся структура практически мгновенно разрушается под действием малых случайных возмущений. Весь процесс эволюции это есть процесс непрерывно ускоряющегося усложнения самоорганизующихся структур. Следовательно, невольно напрашивается вывод... Впрочем, об этом дальше. А пока вернёмся к прогнозу С.П.Капицы. Стоит ли и нам присоединиться к этому настораживающему любителей технических инноваций прогнозу? На мой взгляд, особенных поводов для пессимизма нет. Режимы стабилизации структуры, в уже начавшемся процессе с обострением, в природе не наблюдаются... Вспомним, что происходило на всех предыдущих этапах развития материи, когда резервы экстенсивного развития предыдущего способа хранения и передачи информации оказывались исчерпанными? Появлялся новый способ хранения и обработки информации, причём, обычно имеющий от нескольких раз до нескольких десятков раз большую скорость роста системной памяти. Примечательно, что такой способ появился и при исчерпании резервов роста за счёт увеличения народонаселения и на этот раз, причём, достаточно широкое распространение он получил как раз в конце 50-ых, начале 60-ых годов. Речь, как вы, вероятно, уже поняли, идёт об универсальных цифровых вычислительных машинах. А вскоре Мур сформулировал свой знаменитый закон...
В настоящее время, такие базовые параметры компьютеров, как объём памяти и быстродействие удваиваются примерно каждые полтора года. Таким образом, даже если не учитывать ежегодный рост производства компьютеров в мире, их вычислительная мощность удваивается примерно на порядок быстрее, чем растёт объём информации, добываемой человечеством в последние десятилетия. Конечно, рост производительности процессоров и объёма памяти сам по себе ещё не гарантирует того, что они будут осмысленно использоваться для извлечения, хранения и обработки новой информации, но, по крайней мере, делают это возможным. По подсчётам аналитиков компании Gartner Dataquest в настоящее время в мире используется примерно около полумиллиарда персональных компьютеров. Конечно, большая часть информации, которую они хранят, либо дублируется, либо не представляет интереса для цивилизации с информационной точки зрения. Исходя из практики той фирмы, в которой я работаю, я бы грубо оценил количество действительно уникальной и ценной информации, содержащейся на неком усреднённом персональном компьютере, в 1 Мбайт. Эта оценка получена исходя из объёма памяти, которую занимает в сжатом виде та система, которую мы разрабатываем, делённого на общее число компьютеров, которое имеют на работе и дома все сотрудники нашей компании. Таким образом, количество информации, содержащейся в настоящее время на всех персональных компьютерах в мире, можно весьма грубо оценить в 4*10^15 бит. Величина примерно такого же порядка получается и другими независимыми методами оценки. В начале 80-ых годов прошлого века, когда персональных компьютеров ещё практически не было, большая часть памяти системы цивилизация располагалась на бумажных носителях, и, как мы отмечали выше, имела размер порядка 10^13 бит. Таким образом, рост её системной памяти за последние 20 лет составил примерно 2-3 порядка, что даёт период удвоения около двух-трёх лет. Это близко к оценке, следующей из закона Мура, что, опять же, косвенно подтверждает её справедливость. Если принять период удвоения числа научно-технических публикаций на начало 80-ых годов в 10 лет, то имеем в наличии очередной скачёк скорости роста объёма памяти цивилизации в 3-5 раз.
Вообще говоря, если рассматривать сегодняшнюю цивилизацию как саморазвивающуюся информационную систему, то можно сделать вывод о том, что на данном этапе для поддержания прежних темпов развития она должна в качестве обязательных элементов включать как компьютеры, так и человечество. Дело в том, что всё развитие эволюционирующих систем на Земле, начиная от первых простейших биологических организмов, и кончая современным этапом, шло тривиальным методом “проб и ошибок”, или, другими словами, методом перебора. По мере ускорения развития перебор осуществлялся на всё более высоких уровнях управления, но сам принцип неизменно оставался одним и тем же. Это было хорошо показано в книге В.Ф.Турчина “Феномен науки. Кибернетический подход к эволюции”, написанной ещё в 70-х годах XX-го века. Переход с одного уровня, на котором осуществлялся перебор (в вышеназванной книге речь идёт об уровнях управления, но это, на мой взгляд, дела существенно не меняет), на более высокий уровень, Турчин называет метасистемным переходом. Если говорить о сегодняшнем дне, то перебор, например, в науке, осуществляется путём отбора из множества гипотез, предлагающихся различными учёными, лишь тех, которые не противоречат экспериментальным данным и всему уже построенному до них зданию науки. Перебор в технике проявляется в виде конкурентной борьбы между различными технологическими решениями, предлагаемыми на рынке конкурирующими фирмами и т.д. Однако, перебираются не все возможные варианты решений, а лишь те из них, которые в соответствии с накопленной к текущему моменту времени информацией, с наибольшей вероятностью могут привести к успеху. Это позволяет существенно сокращать дерево перебора, избегая проблемы комбинаторного взрыва. Так же, как и в шахматах, компьютеры в идущей в настоящее время “игре в цивилизацию” могут на много порядков быстрее людей считать конкретные варианты возможных решений, но отсев из всего множества решений только тех, которые представляются перспективными, гораздо лучше пока получается у людей. Таким образом, на данном этапе развития мы имеем своеобразную человеко-машинную цивилизацию, причём каждый из обоих её компонентов нуждается в другом для продолжения успешного развития. Однако, тенденция такова, что человек постепенно вытесняется из производственной сферы, передавая всё больше функций машинам и компьютерам. И в этом, судя по всему, есть своя неизбежная логика. Дело в том, что уже упоминавшийся закон гиперболического роста принципиально отличается от закона экспоненциального роста тем, что он имеет во времени некую предельную точку, в которой значение функции стремится к бесконечности. По расчётам С.П.Капицы, координаты этой точки сингулярности во времени соответствуют примерно 2025-ому году. Другими словами, для поддержания сложившихся темпов ускорения развития цивилизации, население Земли к 2025-ому году должно стать бесконечным. Очевидно, что это невозможно. Более того, уже сейчас форма кривой роста начала отклоняться от гиперболы в сторону замедления развития. Но это может означать лишь одно – человеческая цивилизация, как передний фронт развития эволюционирующей информационной системы, близка к исчерпанию ресурсов своего вклада в её развитие, и в масштабах системного времени очень скоро может быть заменена на что-то другое. Судя по всему, в настоящий момент мы находимся как раз примерно в середине этого переходного периода. Сейчас один учёный или инженер, вооружённый обычным персональным компьютером, часто может сделать за один день работы больше, чем тысячи учёных и инженеров могли сделать лишь за многие годы ещё каких-нибудь 60 лет назад. Это стало возможным благодаря тому, что после появления цифровых процессоров появилась возможность перенесения на альтернативный нейронному носитель не только процесса хранения, но и процесса обработки информации. Таким образом, скорость роста накопленной цивилизацией информации начинает зависеть уже не столько от общего количества людей, вовлечённых в эволюционный процесс, сколько от степени совершенства аппаратного и программного обеспечения компьютеров. Этот эффект приводит к тому, что для продолжения роста сложности системы уже больше нет необходимости в увеличении численности населения, вполне достаточно оказывается количественного (hardware) и качественного (software) роста параметров вычислительной техники.
Кстати говоря, если учитывать изменение скорости вычислений в пересчёте на один доллар (с поправкой на инфляцию), обеспечиваемое различными вычислительными устройствами начиная с начала XX-го века, то можно обобщить закон Мура, получив кривую указанной зависимости на достаточно больших промежутках времени. Это было выполнено известным американским учёным и изобретателем Рэем Курцевейлом, который, нанеся соответствующие точки на график, пришёл к выводу, что на достаточно больших промежутках времени закон Мура так же носит гиперболический характер, то есть период времени, в течение которого вычислительная мощность удваивается, тоже постоянно сокращается. По расчётам Курцвейла, соответствующая точка сингулярности, при которой вычислительная мощность становится равной бесконечности, приходится на вторую половину XXI-го века. Естественно, что опять найдутся какие-то системные ограничения, которые этому помешают, но, тем не менее, во второй половине XXI-го века, или даже несколько раньше, скорость увеличения информационной сложности системы, по всей видимости, достигнет таких величин, что человечество попросту не будет успевать к ним адаптироваться. Другими словами, люди вообще перестанут понимать, что происходит, подобно тому, как мы не можем понять содержание фильма, который просматриваем в режиме быстрой перемотки ленты на видеомагнитофоне. Системное время спрессуется до такой степени, что оно будет идти как бы в другом измерении, по отношению к нашему социально-биологическому времени...
Пожалуй, первым, кто обратил внимание на весьма большую вероятность подобного развития событий, был американский математик, много занимавшийся проблемами программного обеспечения компьютеров, Вернор Винж из университета Сан-Диего. В 1993 году он опубликовал статью под названием “Технологическая сингулярность”, в которой доказывал, что создание аппаратно-программных компьютерных (или, на начальных этапах, человеко-компьютерных) комплексов, приведёт к мощной положительной обратной связи, позволяющей во всё ускоряющемся темпе строить ещё более совершенные комплексы, которые, в свою очередь, могут ещё более ускоренными темпами строить ещё более совершенные комплексы, и так до бесконечности. Ту точку во времени, за которой начинается этот взрывообразный процесс, он и назвал точкой сингулярности. В этой же статье Винж указал и свои оценки сроков наступления “эры сингулярности”. По его словам, это случится в течение следующих 30-ти лет (от 1993-го года), что соответствует точке сингулярности в 2023-ем году. Сравнив координаты этой точки во времени с координатами точкой сингулярности С.П.Капицы (2025-ый год), и учитывая, что обе эти даты были получены совершенно разными методами, остаётся лишь подивиться такому странному совпадению, и, прислушавшись к себе, почувствовать, как холодок начинает пробегать у нас по спине... Кроме предполагаемой даты наступления “постчеловеческой эры”, Винж даёт так же свою оценку доверительного интервала. Он пишет, что будет удивлён, если ЭТО случится до 2005-го или после 2030-го года. Американский учёный приводит два признака, по которым, по его мнению, можно будет косвенно судить о приближении цивилизации к точке сингулярности. В качестве одного из признаков он называет резкое увеличение технологической безработицы, которая, в конце концов, приведёт к полному вымыванию людей из процесса производства вначале в западных странах, а потом и во всём мире. С моей точки зрения, “процесс уже пошёл”. Несмотря на непрерывно уменьшающуюся продолжительность рабочей недели и увеличение периода отпусков, безработица в ведущих западных странах не только не сокращается, но даже имеет в последнее время явную тенденцию к росту. В качестве второго признака Виндж указывает на резкое сокращение периода времени, который проходит от высказанной кем-то абстрактной технологической идеи, до её повсеместного всеобщего распространения. Я бы лично от себя добавил так же третий признак – постепенное слияние компьютеров и человеческого мозга, что, в конце концов, приведёт к практически полному стиранию грани между белковыми и кремниевыми компонентами. Точнее говоря, будет происходить постепенная замена белка на кремний. Этот процесс, как следует из последних сообщений с научного фронта (эксперименты по непосредственному мысленному управлению реальными физическими устройствами, эксперименты по расширению стандартных органов чувств за счёт обеспечения возможностей ультразвукового восприятия, замена некоторых частей мозга (гипокамп) кремниевым чипом и т.д.) тоже вовсю набирает скорость. Короче говоря, процесс с положительной обратной связью, или, другими словами, процесс с обострением, явно имеет место быть.
А теперь, самое время вспомнить, чем, в соответствии с законами синергетики, заканчивается любой процесс с обострением? Как вы, вероятно, помните, он заканчивается очень быстрым, в масштабах системного времени, разрушением всей структуры и скачкообразной ликвидацией неоднородности, до этого упорно сопротивлявшейся второму закону термодинамики. Говоря по-простому, это конец эволюции структуры, и её смерть. Что этот закон сулит нашей цивилизации? В общем-то, ничего особенно оптимистичного он ей не сулит. Приближающиеся признаки неустойчивости в последние десятилетия мы уже наблюдаем (Карибский кризис, 11 сентября и т.д.). Ничего не поделаешь, развиваясь, и накапливая энергию, система сама добавляет пороху в пороховой погреб, увеличивая вероятность того, что случайно брошенный кем-то окурок приведёт к разрушительному взрыву всего здания. И вероятность этого, по мере приближения к точке сингулярности, только растёт. Не в этом ли и заключается разгадка парадокса, мучившего многие лучшие умы человечества (включая советского астрофизика И.Шкловского, автора широко известной книги “Вселенная, жизнь, разум”, в последние годы его жизни) – “Почему молчит Вселенная?”. Если жизнь, это вполне обыденное и рядовое явление во Вселенной, развивающееся всюду, где для этого есть подходящие условия, то где те суперцивилизации, которые должны были уйти от нас в своём развитии на миллионы лет вперёд? Почему мы нигде не видим результатов их деятельности? Ведь если развитие земной цивилизации будет продолжаться такими же темпами, как и сейчас, то мы можем наводнить всю нашу Галактику следами нашей жизнедеятельности (колонии, автономные энергетические станции и станции наблюдения и т.д.) за какие-то сотни тысяч лет! Так не потому ли их нет, что любой режим развития жизни с обострением на определённом этапе неизбежно заканчивается “смертью” системы? Этот вывод может показаться чересчур пессимистичным, но, увы, именно таков, с моей точки зрения, достаточно вероятный прогноз будущего нашей цивилизации на ближайшие 50-100 лет. Сколько нам ещё осталось? А стоит ли об этом задумываться? Живём же мы, полностью осознавая, что, в конце концов, умрём. Так и наша цивилизация, подчиняясь всеобщим законам природы, в конце концов, превратится в прах. Но, может быть, как и в случае с нашей индивидуальной смертью, не стоит слишком много думать о том, когда конкретно это случится...
Резюмируя, хотелось бы ещё раз подчеркнуть, что грубые числовые оценки с точностью до порядков величин показывают, что логика развития эволюционирующих систем вообще, и нашей цивилизации в частности, дают основания полагать, что достаточно туманное понятие, которое в настоящее время скрывается за расплывчатой формулировкой Искусственный Интеллект, по всей видимости, в ближайшие несколько десятков лет обретёт вполне реальные очертания, и постепенно полностью заменит человека в качестве “переднего фронта эволюции”. Видимо, ещё через некоторое время после этого, та система, которая в итоге появится как результат эволюционного развития нашей цивилизации, прекратит своё существование. На прилагаемом графике, построенном в двойном логарифмическом масштабе, отчётливо видно, что процесс эволюции на планете Земля стремительно приближается к точке сингулярности. Этот график можно так же рассматривать как обобщение закона Мура на период времени, сравнимый со временем существования Вселенной. При этом, «классический» закон Мура оказывается соответствующим лишь заключительному этапу непрерывной эволюции материи. Мы все живём в уникальную эпоху, завершающую цикл эволюционного развития, продолжавшийся до этого миллиарды лет. Но в любом случае, когда бы ни наступила развязка, эволюция во Вселенной на этом не закончится. Возможно, что опять на планете Земля, и почти наверняка, что на других подходящих планетах, будут вновь и вновь зарождаться, взрослеть, и умирать цивилизации, продолжая вечную игру под названием Жизнь и Смерть...
No comments:
Post a Comment