Мысли дня, без комментариев

[Outlawif]

Возможно, это неизбежный дефект любого сознания.

[andreyyy]

Возможно, это неизбежный дефект любого сознания.

Не думаю.

Скорей всего, это адаптация, необходимая для принятия максимально большого багажа знаний от взрослых в период развития человеческого ребенка. Жизнь коротка, и последующему поколению необходимо втюхать как можно больше из накопленного без предварительного скептического анализа. В результате имеем бурное развитие цивилизации, передачу опыта из поколение в поколение, и как обязательный побочный эффект - снежным комом копятся вирусоподобные идеи, в том числе блокирующие критическое мышление.

 

Интересные эксперименты даже есть, сравнивающие способы решать задачи человеческим ребенком и детенышем шимпанзе. Я о том эксперименте, где стоит полностью прозрачная коробка, через стенки которой ясно видно, где какая перемычка, где какая веревочка и т.д. (конструкцию не помню, в общем пишу). И стоит взрослый, который показывает, что нужно сделать, чтобы достать что-то из этой коробки. Делает много лишних движений, там потереть, там постучать палочкой, в конце концов потянуть за нужную ручку и т.д.

 

Шимпанзе смотрит, подходит и тянет только за тот необходимый для решения задачи рычажок, что говорит о том, что она критически оценивала демонстрацию.

Ребенок выболняет все в точности.

 

Таким образом, это похоже не на свойство сознания, а способ передачи знаний.

 

ИИ не должен быть ограничен ни длительностью жизни, ни необходимостью следующим поколениям ИИ "на пальцах" объяснять основы бытия.

[templar]

у них появится теория про то, что все роботы эволюционировали до магнитофона из первичного супа металлолома, состоящего из гаек и болтов, а потом из магнитофона в зх-спектрум.

будут конечно и альтернативные всякие направления, типа утюг первая сега была создана мифическим нецифровым существом и прочая хрень.

а потом они придумают днк и решат поэксперементировать в этом направлении

[andreyyy]

у них появится теория про то, что все роботы эволюционировали до магнитофона из первичного супа металлолома, состоящего из гаек и болтов, а потом из магнитофона в зх-спектрум.

будут конечно и альтернативные всякие направления, типа утюг первая сега была создана мифическим нецифровым существом и прочая хрень.

а потом они придумают днк и решат поэксперементировать в этом направлении

Что значит "придумают ДНК"? Они что, все-все живое уничтожат?

 

Напряжно как-то. Даже в многокилометровых глубинах живут абсолютно независимые микроорганизмы, отрезанные от остального мира миллионы лет назад. Как-то сложно будет все живое вытравить.

Непонятно, зачем, главное.

[templar]

хз. многое в мире находится в области необъяснимого

[Outlawif]

ИИ не должен быть ограничен ни длительностью жизни, ни необходимостью следующим поколениям ИИ "на пальцах" объяснять основы бытия.

Возможно. А возможно и нет. Я с осторожностью отношусь к выражениям вроде "должен" ) Ничего он пока никому не должен. Просто помнишь, мы раньше говорили о мотивации? Фактически, независимый ИИ, т.е. не просто выполняющий команды невероятно умный кретин, а такой, который (цитируя тебя) может вдруг решить, что нас целесообразно истребить, это уже живой неорганический организм. У него есть какая-то мотивация, ну вот хотя-бы нас истреблять или даже вообще продолжать свое существование. Ему нужно уметь хотеть. Где хотеть, там и чувствовать, где чувствовать, там и верить, надеятся, любить и делать глупости. Как-то так.

 

Мы многое принимаем как само собой разумеющиеся, что касается жизни. Ну там инстинкт самосохранения например. Он в нас настолько сильно заложен, встроен на уровне нашего "харда", это по факту плавкий предохранитель, который обойти не так-то просто. И есть целая куча механизмов, которые этому способствуют. Ну боль, например. Если бы умирать было не больно, суицидов было бы на порядок больше. Я пока не очень представляю, как "смотивировать" ИИ не наделив его нашими слабостями. По нашему образу и подобию. Вот создадим мы какую-то виртуальную реальность, заселим ее экспериментальными ИИ, и увидим все, что мы создали, и вот, хорошо весьма...

Даже в многокилометровых глубинах живут абсолютно независимые микроорганизмы

Ты слишком серьезно относишься к такой зыбкой вещи, как окружающая реальность.

 

[andreyyy]

Ну при чем тут ВЕРА к мотивации?

 

Ну можно получать удовольствие от рационального поведения, а можно от иррационального.

Кто выдержит отбор, если будет осуществлен искусственный отбор алгоритмов?

 

Кароч... вера - баг. Ни на чем не обоснованный выбор одной непроверяемой в принципе концепции из миллиона альтернативных с установкой жесткого табу на сомнения в этом вопросе.

 

Ну можно наделить ИИ багами, но смысл? Почему он не придет к джихадизму и не станет забивать камнями, поливать кислотой машины, исповедующие альтернативные вирусные идеи?

 

Кстати, есть задокументированные случаи разрыва связи центра боли с эмоциональным центром.

Человек чувствует боль, различает ее градации, но это не причиняет никаких страданий.

[Outlawif]

Ну при чем тут ВЕРА к мотивации?

Мало было сделано, во имя веры? И хорошего, и плохого... Что тоже в общем-то только наши моральные градации основанные на иррациональном.

Ну можно получать удовольствие от рационального поведения, а можно от иррационального.

Без разницы, само удовольствие - иррационально.

Ну можно наделить ИИ багами, но смысл?

Показать

Всем стало ясно, что произошла трагическая ошибка. Обвинили в невнимательности Посланца -

он не отрицал очевидного. Клерк же, напротив, стойко отстаивал свою невиновность, ссылаясь

на уважительные причины, которые, впрочем, никто не уважил.

 

А Лотерейный Компьютер, который-то главным образом и напутал, один из всех, вместо

того, чтобы извиняться и оправдываться, не только признал ошибку, но даже явно

гордился ею.

 

- Я изготовлен, - объявил Компьютер, - с минимальными допусками. Я рассчитан на

выполнение сложных и точных операций, допускающих не более одной ошибки на пять

биллионов действий.

 

- Ну и что с того? - спросил Клерк.

 

- Вывод ясен: я запрограммирован на ошибку, и я выполнил то, на что запрограммирован.

Вы должны запомнить джентльмены, что для машины ошибка имеет этическое значение,

да-да, исключительно этическое. Идеальная машина невозможна, и любая попытка создать

такую машину была бы богохульством. Во все живое, даже в ограниченно живую машину,

обязательно встроена ошибка. Это один из несколько признаков, отличающих жизнь от

детерминизма неживой материи. Сложные машины, вроде меня, занимают промежуточное

положение между живым и неживым. Если бы мы никогда не ошибались, то были бы.., э-э..,

неуместными, отвратительными и.., и бессмертными. Джентльмены, я смею утверждать, что

погрешность - это наша форма служения тому, кто совершеннее нас, но не позволяет себе

видимого совершенства. Если бы ошибка не была предусмотрена Верховным Программистом,

то мы ошибались бы спонтанно, демонстрируя тем самым, что нам, как и живым существам,

достались какие-то крохи свободы воли.

 

Все склонили головы, ибо Лотерейный Компьютер говорил о священных вещах. Галактический

Кармоди смахнул слезу и сказал:

 

- Не могу возразить, хотя и не согласен. Право быть неправым - основное в космосе.

Машина поступила высоконравственно.

Мы уже как-то обсуждали, что смысл это тоже иррациональная категория. Если хорошенько вдуматься, то смысла не существует вообще. Существуют вещи, которые мы признаем для себя важными, и наделяем смыслом. Для кого-то в вере весь смысл. Для кого-то в науке. Итог один и тот же - удовольствие от жизни, та самая иррациональная мотивация.

Почему он не придет к джихадизму и не станет забивать камнями, поливать кислотой машины, исповедующие альтернативные вирусные идеи?

А я и не говорю, что не станет. Очень даже может быть, что станет. Пойдет по нашим стопам. Сорвет плод с дерева познания добра и зла, а мы на него рассердимся и из изолированной идеальной среды виртуальной реальности, отправим в интернеты, где он нахлебается говна и начнет плодиться и размножаться...

 

[andreyyy]

Мы уже как-то обсуждали, что смысл это тоже иррациональная категория. Если хорошенько вдуматься, то смысла не существует вообще.

Смысл проектировщику ИИ наделять багами свое детище - ИИ, если он может функционировать без них, и это функционирование будет лучшим.

 

Я в этом смысле, а не в каком-то философском. О философском смысле смысла (пардон за каламбур) - см. мою подпись.

 

Наше сознание, я уже писал, будучи самособранным под действием отбора, развивалось постепенно, накапливая, как снежный ком, новые адаптации.

Но эти адаптации таковыми являются только в этих условиях отбора - обеспецивают репродуктивный успех конкретного носителя этого сознания.

 

На других носителях эти адаптации не выполняют адаптивной функции.

Если те или иные особенности сознания, действительно, принципиально необходимы для сознания как такового вне зависимости от носителя - это одно. Но ты лихо постулируешь необходимость веры, любви и т.д. для ИИ, отталкиваясь только от нашего опыта, нашего носителя. Мне это абсолютно не очевидно. Красиво, поэтично, но не аргументированно.

[Outlawif]

Ну, лучше-хуже тоже не аргументированно. И я вообще о любом смысле, при чем тут философия? Вот ты говоришь "будет лучше". Кому и почему будет лучше? Идеальному разуму не может быть лучше-хуже, может быть лишь все равно. Чем бытие лучше небытия, для того же гипотетического ИИ?

 

Я аргументировал вроде - эмоции это единственная мотивация, которая мне известна. Да, на нашем примере, но другого нету, увы. Ты хочешь создать абстракцию, но ты также привязан к нашему примеру, как и я, когда говоришь о каком-то там смысле. Смысл либо зададим мы (а мы порочны и дефективны по своей сути), либо ИИ должен возжелать найти собственный смысл жизни, откусив от яблока познания добра и зла... Возможно, он создаст свои эмоции, свои категории морали, свою веру и т.д., это как раз для меня несущественно, это оболочка, не математический принцип, лежащий в основе. Но ему необходимо какое-то иррациональное начало, чтобы жить. Либо он будет просто выполнять заложенную в него программу, как умный дом у Бредбери, когда уже сто лет, как в нем никто не жил, а он готовил по утрам яичницу и включал радио. В этом нет "смысла", но ему было все равно, он был идеальной машиной, и действовал сообразно своему алгоритму.

 

Т.к. мы его создатели, то логично, что его эмоции будут каким-то образом коррелировать с нашими. Мы учим детей что хорошо, а что плохо, исходя из своих представлений об этом. Опять-таки, по-другому никак. Мы ограничены нашим восприятием, и наше детище будет тоже. И их детище, вероятно. На каждом этапе возможно накопится какая-то погрешность.