В упомянутой статье "Может ли машина мыслить" был предъявлен некий взгляд на путь, который мог бы привести к возникновению того, что человек, хотя бы с сомнениями, назвал бы человеческим интеллектом. Там же были разобраны многие возражения против возможности человекоподобного ИИ, и показана некорректность этих возражений. С тех пор ситуация продвинулась, например, программа Watson "знает, что она знает", она сравнивает и ранжирует алгоритмы - что это, как не самосознание? Причем в этой программе есть специальный блок WatsonPaths, который показывает человеку пути, по которым программа шла к ответу (в результате эта программа стала учить студентов-медиков идти к диагнозу). Некоторые авторы, защищая свою "самость", часто вопрошают, а "понимала ли" программа, что слышала и что говорила? Но если спросить человека, да хотя бы себя самого, что такое "понимание", то окажется, что понимание текста - это определение, исходя из контекста, в каком смысле употреблено то или иное многозначное слово. Если же речь идет не о тексте, а имеется в виду общение, то это определение субъективного смысла того или иного слова - конкретно, для этого собеседника и в конкретной ситуации. При таком определении для понимания нужно вырасти в рамках конкретной культуры и накопить соответствующие знания. Аналогичный процесс вполне может быть реализован и для компьютера; только идти он будет на порядки быстрее. Идея эволюционирующего социума ИИ есть в фантастике (Грег Иган "Кристальные ночи").
Изучение работы и попытка моделирования человеческого мозга человеком немного напоминает попытку молекул изучать молекулы и строить их модели. Для молекул это, наверное, было бы сложной задачей. Но "молекулы" (1,65 метра) сумели узнать что-то о Вселенной (1027 м), это равносильно тому, что молекула воды (1,54*10-10 м), мирно плещущаяся в стакане, узнала что-то не только о стакане, столе, Земле, Койпере и Оорте, но дотянулась своим пониманием (1017 м) до звезд и даже экзопланет. Так что надежда есть.
ИИ может учиться сам (например, ища информацию в Сети или наблюдая действия людей), но это можно делать по-разному. Первый вариант - он делает это так, как мы ему сказали. Второй - он может начать учиться, подражая тому, как учатся люди, но команду "учиться" ему дали. Третий - можно подождать, пока он сам начнет это делать, исходя из своих целей (например, выживания) или внешних задач, поставленных человеком.
Страхи, которые возникают у людей при обращении к теме ИИ и роботов, можно разделить на несколько типов. Простейший - это проекция на них какой-либо внушающей страх черты человека, например, властолюбия или вообще стремления к экспансии. Но все человеческие черты, в том числе и плохие, являются результатом биологии и истории. За ИИ и роботами нет ни того, ни другого, и этого можно не опасаться. Желание захватить власть может возникнуть, если мы поставим перед ними задачу, требующую для своего выполнения именно власти над всей землей. Так что, создавая ИИ, реально способный захватить власть, и собираясь ставить перед ним глобальные задачи, нужно задуматься об ограничениях в методах, или об объяснении предполагаемых действий, или о моделировании последствий.
Некоторые тонкие вопросы были в свое время разобраны Станиславом Лемом в работе "Сумма технологии". Например, мощный ИИ обнаруживает влияние рождаемости на благосостояние и, решая задачу подъема благосостояния, начинает каким-либо способом понижать рождаемость. Разумеется, если дать в руки ИИ эти средства, поставить именно такую задачу и отказаться от какого-либо контроля, можно в теории получить подобный результат.
Кроме ИИ, людям есть и еще, о чем беспокоиться. Например, когда Солнце превратится в красный карлик, уменьшится количество ультрафиолета в атмосфере и вольготнее начнут чувствовать себя микробы. А Всемирная организация здравоохранения (ВОЗ) не только не адекватно реагировала на коронавирус, но этому фактору не уделяет должного внимания.
Кстати, еще сюжет для писателей. Все цивилизации Вселенной идут именно по этому пути и получают конечный результат. Но кого-то, естественно, успевает спасти герой, естественно с Земли. Если же говорить серьезно, то в тоталитарном государстве с людьми, опущенными до уровня безгласной массы, может быть, да и бывало, не только такое. Так что не стройте тоталитаризма, не человеческого, ни компьютерного, и не опускайтесь до плинтуса.
Что касается именно роботов, то некоторые авторы почему-то считают, что именно человекоподобие будет вызывать у людей отторжение. Но, судя по популярности цифровых помощников и секс-кукол, это не так. Следующий шаг - их объединение. Начало простое - только голос. Вот когда они получат интеллект... потому что, мне кажется, люди просто боятся конкуренции. Опять же, подсознательно наделяя робота с ИИ еще и ущербной человеческой психологией (см. В.Пелевин "S.N.U.F.F")