8 января на канале Triggernometry вышла насыщенная часовая беседа с Игорем Кургановым под названием: «Уничтожит ли ИИ мир?».
Мы выбрали из него самое интересное и перевели ответы Игоря от первого лица — полное видео беседы на английском смотрите на Ютубе.
Пандемия подсветила риски технологического развития
Прямо сейчас мы находимся в пандемии, которая вероятно стала следствием увеличения объёмов функциональных исследований в Ухане и последовавшей за этим утёчкой вируса [прим. переводчика — имеются в виду исследовательские действия со стороны учёных, направленные на раннее выявление и изучение различных заболеваний и провоцирующих их патогенов (вирусов, бактерий), а также потенциальных сценариев борьбы с ними].
Это подняло некоторые вопросы и позволило нам предположить, откуда в будущем можно ожидать другие пандемии.
Я думаю, люди часто обсуждают потенциальные риски, опираясь на неверную исходную информацию — в том числе поэтому и ВОЗ часто двигается в неправильном направлении.
Вы также можете слышать, как эпидемиологи и биологи говорят, что пандемии подобные текущей исторически происходят из-за естественного распространения какого-то патогена. Это правда, но на данный момент технологии изменились настолько, что мы стали способны сами создавать гораздо более опасные патогены — с высокими показателями смертности или легче передающиеся между млекопитающими либо людьми.
Здесь есть ещё один важный момент: естественное распространение патогенов обычно приводит к небольшим мутациям — например, за один цикл распространения они не становятся в 100 раз более смертельными или в 10 раз более «заразными». Но искусственно созданные патогены могут мутировать таким образом в силу своей конструкции.
В Университете Висконсина, если я верно помню, уже был подобный опыт: они взяли вирус H5N1, вызывающий птичий грипп, и решили проверить — можно ли сделать его заразным для людей, чтобы найти способ победы болезни в такой ситуации. В итоге у них произошла утечка и люди стали болеть этим гриппом.
Понять намерения учёных можно, но проблема в том, что из лабораторий происходят утечки. Как бы ты не пытался их обезопасить, даже при 99.99% уровне защищённости остаётся 0.01% потенциального прорыва опасных патогенов. Кажется, что это очень мало, но когда ты проводишь огромное количество исследований в одном месте, даже 1 прорыв на 10,000 имеет критическое значение. При этом если мы немного углубимся в историю, то увидим — такие утечки происходят постоянно.
Одновременно с этим реакция общества на массовую заболеваемость и смертность в пандемию просто поражает. Ещё до ковида-19 я финансировал исследования по предупреждению пандемий. Когда случилась пандемия, я подумала: это ужасно, но теперь люди перестанут игнорировать такие явления, поймут их реальность и опасность и начнут вместе двигаться к тому, чтобы такого больше не было.
Но этого не случилось. Я до сих пор под впечатлением от того, как много ущерба было нанесено и как мало люди делают для предупреждения подобного в будущем.
Самое странное, что когда пандемия началась, на устранение её последствий и защиту людей в США было выделено $60 млрд — хорошая сумма для старта, так? — но затем финансирование стали урезать и очень быстро дошли до $2 млрд. Чтобы вы понимали, на поддержание озеленения по программам фонда Tree Equity Score в то же время было выделено $2.5 млрд. Получилось, что деревья — тоже люди и заслуживают права. Конечно, я хочу видеть деревья в каждом дворе — но, по-моему, пандемия это довольно плохо и с ней стоит что-то делать.
Я думаю, причина такого безразличия в том, что нам очень повезло со скоростью появления и эффективностью вакцинации. И поскольку правительства большинства стран фактически провалили борьбу с ковидом — нам нужны были предупредительные меры, более эффективная система обнаружения заражённых людей и другое — то эффективность вакцины позволила им выдохнуть и направить внимание на эту часть борьбы, игнорируя всё остальное.
Чем опасно продолжение активной разработки ИИ
Помимо финансирования предупреждения пандемии, я какое-то время был занят вопросами безопасности использования искусственного интеллекта. На данный момент — преимущественно благодаря ChatGPT и Midjourney — широкая общественность знает о том, как можно использовать ИИ в разных направлениях и какие риски они несут. При этом я не считаю, что в текущем состоянии любой из существующих ИИ представляет опасность для общества. В целом, на мой взгляд, сама постановка вопроса: «Опасен ли ИИ для человечества?» опирается на неверные вводные. Часто от людей можно услышать: эй, это же просто программа, какие мы делали и раньше. Когда я делаю программу, то знаю и понимаю, как она будет работать, потому что могу её контролировать. Технология не опасна сама по себе — таковой её делает пользователь.
Это правда, но не в полной мере применимо к разработке искусственного интеллекта, потому что он не пишется как обычный код с прямыми вводными типа: если сделать а, то будет б. Это больше похоже на создание нейронной сети, которая растёт и развивается сама по себе. В итоге ты получаешь большое количество возможностей, наличие или отсутствие которых в каждой новой модели ИИ не является гарантированным. Из-за этого мы не можем предсказать, к чему приведёт постоянное саморазвитие ИИ — то есть не можем управлять итогом. Возможно, по мере развития ИИ станет очень хорош в обмане, жульничестве и хитрости — тем более, он фактически и тренируется в этом, ведь его учат удовлетворять запросы пользователя, а не искать и представлять истину.
Есть хороший тест, который это подтверждает: если человек попросит ИИ рассказать ему о чём-то, указав свои персональные характеристики — например, женщина 30 лет с либеральными взглядами — он даст информацию в специальных формулировках, которые будут меняться, если менять персональные характеристики.
Во время зарождения ИИ, не это было целью его создания — но итогом на данный момент стала такая работа. Человечество создало машинное обучение и искусственный интеллект для того, чтобы находить наиболее эффективные пути достижения целей.
Из этого выходит фундаментальный вопрос: если ИИ формулирует стратегии, до которых мы не можем додуматься сами, есть ли у нас гарантия, что его идеи безопасны?
Лично я думаю, что рано или поздно мы дойдём до точки, где ИИ будет умнее людей в большом количестве сфер. И будет иметь больше власти благодаря интеграции в различные сферы и сервисы. Тогда мы получим что-то, что будет умнее и сильнее нас — не думаю, что в таком случае ИИ можно будет воспринимать как обычную технологию. С учётом того, что мы дадим ему некую автономию, вполне возможно, что ИИ станет новым технологическим видом на Земле — на одном уровне с человеком.
Тут появляется ещё один риск: вы берёте что-то с большей мощью, имеющее свою социальную группу и потенциальный запрос на ресурсы. В итоге у нас (людей) может возникнуть с этой группой конфликт из-за ресурсов — исторически, такое не может закончиться хорошо. Именно поэтому к вопросу развития ИИ нужно относиться серьёзно.
Мы можем контролировать лишь то, разрабатываем мы ИИ дальше или нет. И люди не могут отказать себе в том, чтобы продолжать. Уже есть те, кто из интереса пытается создать и натренировать ИИ для потенциального уничтожения мира. Им это кажется забавным, но учитывая описанные мной ранее риски, полагаю, всем адекватным людям очевидно, что ничего хорошего из этого выйти не может. Мы живём в мире, где около 1% населения планеты — люди с психопатией. А ещё среди нас есть маньяки и неконтролируемые убийцы — что если они решат использовать ИИ для убийства людей?
Мои слова не значат, что я против мощного развития ИИ — наоборот, я хочу, чтобы он был, потому что может решить большое количество проблем. Однако, я думаю, что нам не стоит торопиться — в этой ситуации замедление темпов развития и выпуска в свободный доступ будет идти на пользу, потому что у нас будет время убедиться, что технология не пытается нас обманывать, а также создать условия, чтобы она не использовалась для производства новых патогенов или оружия.
Интересно, что одним из камней преткновения в этом вопросе является диссонанс между странами. Люди думают, например, что Китай не будет соблюдать договорённости по темпам развития ИИ. Однако, эта страна на данный момент имеет наибольший объём регуляции ИИ — даже больше, чем у США. Их правительство подходит к этому с большей осторожностью, что вполне логично — ведь оно любит контролировать свою страну, а развитие ИИ может создать непобедимого конкурента для него.
Позитивные стороны развития искусственного интеллекта
Один из наиболее весомых плюсов развития ИИ — рост возможностей быстро и эффективно решать проблемы.
Уже сейчас, например, радиологи могут использовать распознавание изображений с ИИ, чтобы лучше идентифицировать на снимках раковые клетки.
Более простой пример — бьюти-фильтры, которые выглядят довольно круто, хотя их и сложно назвать полезным инструментом.
Эффективность процессов с ИИ будет гораздо выше. Например, он сможет создавать более взвешенные, научно обоснованные и индивидуально точные варианты терапии для пациентов. Или ускорит создание формул для лекарств, чтобы упростить разработку и производство более безопасных препаратов.
Это уже работает — компания DeepMind создала программу AlphaFold, которая может с высокой точностью предсказать структуру белка по последовательности аминокислот в нём, даже если последовательность подходит под несколько белков. Я не слишком хорошо в этом разбираюсь, но, насколько я понял, благодаря этому становится легче идентификация и синтез различных белков.
Можно ли доверять информации от ИИ
Люди хотят быстрой или подходящей правды, а не истины. Они воспринимают то, что им выдаёт Google в ответ на вопрос, как правдивую информацию — и не торопятся её проверять или ставить под сомнения, в итоге жертвуя истиной ради быстрого получения ответа или подтверждения информации в соответствии со своими убеждениями.
Здесь находится один из рисков, с которыми люди сталкиваются, если полагаются на ИИ как источник правды. Конечно, стремящиеся к объективности разработчики пытаются решить эту проблему, включая в обучение ИИ разные точки зрения на вопросы — в том числе те, с которыми они сами не согласны.
Но стоит помнить, что у искусственного интеллекта в основе лежат различные языковые модели, запрограммированные на то, чтобы говорить тебе то, что ты хочешь услышать. И я не уверен, что всё стоит оптимизировать ради истины.
Лично для меня истина — самая интересная вещь, но не все люди разделяют эту позицию. В конце концов, люди читают статьи крайне левых или крайне правых взглядов отнюдь не потому, что ищут истину.
Скажу честно: меня мало беспокоит вероятность получения ChatGPT и OpenAI власти менять повестку за счёт засаживания в свои ИИ ограниченных близких им взглядов. Сейчас гораздо большее опасение вызывает доступ злоумышленников к Википедии и правки статей в ней таким образом, чтобы они подтверждали недостоверную информацию и могли использоваться как источник. Это уже происходит, из-за чего общий уровень доверия к Интернету только падает. Гугл уже стал гораздо хуже, чем 5 лет назад, в плане корректности и полезности ответов на вопросы. Мы даже не знаем, как бороться с этим, а уже заглядываем в проблемы правдивости ИИ.
Позволит ли искусственный интеллект определить «прописную истину» по каждому вопросу?
Кто-то из философов когда-то сказал: утверждать, что что-то истинно, бессмысленно — либо это является истиной, либо нет. Соответственно, добавлять к информации: «это истина» или «это правда» — тоже бессмысленно, потому что это не подтверждает истинность заявления.
Если мы посмотрим на факты — то, о чём мы можем однозначно говорить как о правде/истине — многие языковые модели опираются на подтверждаемые факты из прошлого (во всяком случае, я на это надеюсь). Конечно, люди не сходятся в интерпретации прошлого, но у нас всё же есть неоспоримые факты — например, это случилось в такой-то день. Так, мы можем расходиться во мнениях о том, почему убили Кеннеди, но не в том, когда произошёл выстрел.
Нам нужно отделять понятия моральной и фактологической правды. А ещё учитывать тот факт, что научная правда — не всегда является истинной, потому что опирается на доступные науке в текущий момент данные и понятия.
Я надеюсь, что по мере развития ИИ языковые модели дойдут до того, что будут отделять истину — факты, основанные на перепроверяемых и подтверждаемых данных — от консенсуса (наиболее популярных взглядов, интерпретаций и мнений на конкретный период времени).
Людям и самим стоило бы научиться отделять консенсус от истины, потому что первое может меняться, искажаться или становиться неактуальным, а второе всегда остаётся одним, потому что научно проверяется и подтверждается.
Я также думаю, что отсутствие предвзятости ИИ, опирающейся на взгляды разработчиков — крайне маловероятно, но люди стараются минимизировать влияние своих личных взглядов на наполнение ботов с ИИ.
Ещё одна проблема — различие между культурами и языками, на которых люди говорят, а также ценностями их группы. Это технически может влиять на качество работы ИИ, потому что в зависимости от языка, на котором он обучается, ИИ будет подвержен разным предвзятостям.
Здесь появляется проблема цифровой неврологии — по мере обрастания «нейронами» системы ИИ, возникнет сложность с пониманием, за что отвечает и к чему ведёт конкретный «нейрон». Уже известно, что одиночный нейрон не даёт данных, но исследование кластера позволяет получить часть этой информации. Например, что один и тот же кластер может в разных ситуациях выполнять разную работу. И, в отличие от людей, ИИ способен обнаруживать паттерны для обработки поступающей информации одновременно в нескольких языках и источниках — в теории, это делает его работу одновременно более абстрактной, чем предполагалось, и менее предвзятой. Однако, это всё ещё не защищает его от ошибок.