ну, чтобы обсуждать возможность взлома искусственного интеллекта нужно определить что такое ИИ если говорить о сегодняшних разработках, то мне кажется, что можно взломать все. причём, либо получив прямо доступ к устройству/программному коду, либо путём скармливания неверных данных.
читал про беспилотные машины, там интересный список проблем, часть из которых позволяет обманывать автопилот. подозреваю, что подобные уязвимости всплывут и в будущем. https://t.me/brodetsky/1347 (ссылка должна открываться даже без регистрации в телеграм. если нет, то скажите - скопирую текст и ссылки)
с такой формулировкой я не согласен то, что сейчас понимается под ИИ, это всего лишь некий набор алгоритмов созданных человеком. даже обучаемые системы, которые тренируются на наборах данных и могут потом давать непредсказуемые результаты, все равно обучаются и работают по заданным человеком критериям и под его(человека) контролем. т.е. это всего лишь инструмент, для которого можно определить область применения и выработать нормы безопасности. другое дело, что с помощью этого инструмента можно делать всякое, это уже про человечество, а не про ИИ - химию тоже можно применять на благо человека или во вред.
я о том, что, поскольку программирует человек, то ошибки обязательны. при том, что и злонамеренное вмешательство нынче всюду и везде. на этом фоне идея: "ии свободен от предвзятости и все, что ни делает, нам на пользу", = "все грибы съедобны".
офф: мы теперь на "облачный офис" перешли в организации - "прогресс и удобство" нескончаемое. в статье (пост) об "окучивании облаков" -- а это уже вектор. а ии, завязанный на облако, если еще и обучаться станет, - большая опасность, чем микрософт сам по себе.
офф-2: у максима соколова пост-жалоба на ай-фон ("качает и весь трафик съел"), а в комментах все скопом против "эппла", пиша гневно-разоблачительное на клавах от курть микрософта, у которого те же проблемы.
неужели вы не видите, что этот вектор веером разошелся, одним концом по юзеру, другим... куда катимся?
видимо, данный пост продолжение каких-то разговоров и я не понял, что в данном случае подразумевается под ИИ и в чём суть претензий. если отвечать на этот комментариий
я о том, что, поскольку программирует человек, то ошибки обязательны. да, полностью согласен
при том, что и злонамеренное вмешательство нынче всюду и везде. тоже согласен с небольшими оговорками
на этом фоне идея: "ии свободен от предвзятости и все, что ни делает, нам на пользу", = "все грибы съедобны". а тут 2 момента: 1) "все, что ни делает, нам на пользу" ну это вообще какой-то идеализм, так не бывает. это из серии "вся радиация полезна" - ну, 100 лет назад эту радиацию натурально жрали с предсказуемым результатом. но возможен же и более разумный подход 2) "ии свободен от предвзятости" тут множество моментов, перед обсуждением которых хотелось бы все-таки понять что такое ИИ в нашем случае. если же вы говорите не об искусственном интеллекте как таковом, а о Computer science вообще, алгоритмах или даже о математике, то есть любопытный пост как у вас (в США) борются с этой (не?)предвзятостью.
офф-1: да, при распространении облаков возникают дополнительные риски, причём даже без всякого ИИ. если вернуться к айфонам и злонамеренному вмешательству, то была история, как человек одновременно лишился доступа к своим iphone, ipad и macbook, а заодно доступа к почте, соцсетям и прочим, и всё это благодаря icloud.
офф-2: про соколова ничего не могу сказать
мне кажется, что вектор тут один - мы катимся вперед по пути научно-технического прогресса. продукты этого прогресса одни люди могут использовать для контроля и эксплуатации других людей. чем именно тут провинились компьютеры или интернет? да, возможно, с помощью всего этого проще, например, манипулировать массами людей, но это, опять же, вопрос не про компьютеры, а про устройство общества или человеческую природу.
я тоже сомневаюсь. алгоритмы фильтров входной информации - всего лишь алгоритмы, совершенными они быть не могут, наверное.
быть свободным от предубеждений - это значит построить систему весов и коэффициентов, не имеющую предпочтений. но это тоже вряд ли возможно: какие-то основания, причины для назначения весов и коэффициентов должны быть так или иначе основаны на внешних данных, но, повторю: совершенных алгоритмов фильтрации быть не может.
все упирается в данные, которыми ИИ будет оперировать.
это, конечно, только мое мнение. а не закон природы.
потом начнут выяснять, чьи алгоритмы недостаточно fair, и отправлять в Googlag на перевоспитание
всегда будут вопросы: что такое fair? с чьей позиции fair?
а если алгоритмы отпустят на свободу - самосовершенствоваться - очень быстро выяснится, что их fairness никому не нужна, вообще к человеческим делам не относится. люди почему-то считают, что они кому-то интересны: иным цивилизациям, искусственному интеллекту. ну вот нам, к примеру, креветки интересны. но как-то иначе они нам интересны.
что касается второй части, то тут согласен. сейчас, например, в Китае рассчитывается социальный рейтинг. ну т.е. это видимо некая функция с кучей параметров и коэффициентов, насколько я понимаю, коэффициенты сейчас задаются в ручную, ну или пересчитываются разово. потом кому-нибудь придёт в голову поручить это занятие нейросети. а потом нейросеть может решить, что негры не нужны, например.
забыл еще отметить один момент fairness в данном случае это, натурально, новояз по оруэллу потому что честность не в том, что мы честно отражаем реальность без искажений, а как раз в том, чтобы скорректировать реальность в соответствии с требованиями партии
да-с, никаких шуток. но пугалок и страшилок для народа все одно не хватает, тем более после двухлетнего поиска русского вмешательства, павшего жертвой в борьбе роковой, сейчас вот новую придумали: "все на борьбу с антисемитизмом" -- дебилы, б!
и еще: если создадут ИИ, свободный от предубеждений и нечувствителен к пропаганде, его сочтут biased вообще все, и слева, и справа, и сверху, и снизу. и быстро выключат :)
помните у Стругацких:
Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты. Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет.
— А в чем, собственно, дело? — спросил Банин. — Она начала _в_е_с_т_и_ с_е_б_я, — сказал Горбовский.
этого опасаюсь более всего. ии по определению не просто программа, а нечто, способное анализировать реальность, делать выводы и действовать по своему усмотрению. достаточно один раз упустить инициативу -- а это д.б. сделано по определению, чтобы ии стал ии, а не программой! -- все и покатится.
ну если речь идёт именно об искусственном разуме, то насколько я могу судить, человечеству это в ближайшее время не грозит. сейчас все эти ИИ это не более чем либо вообще алгоритмы, созданные человеком, либо типа нейросети, которая решает задачу без формализованного алгоритма, но всё равно это всего лишь математика. могут быть неожиданные результаты на выходе, но не более того. не о каких действиях втайне или вопреки речи даже не идёт. т.е. в результате ошибок программистов или действий хакеров может произойти что-то плохое, но это опять же про человечество, а не компьютерный разум.
Пока, это "детские" болезни совсем недавно возникшей отрасли. Не пройдёт и четверти века, как всё это останется в прошлом. Также и ИИ. Вначале, хакеры с азартом будут пытаться перепрограммировать устройство. А со временем, ИИ начнёт их самих отшивать и даже посылать по всем известным адресам.
ну, ИИ как бы больше 25 лет, вопрос в том, что под этим понимают и куда двигаются исследования. вот тут можно посмотреть краткую историю как раз за последние четверть века проанализировано порядка 16K статей с сайта arXi один из выводов: примерно раз в 10 лет меняется "главное направление", так что скоро нас ожидает что-то новое и модное https://www.technologyreview.com/s/612768/we-analyzed-16625-papers-to-figure-out-where-ai-is-headed-next/
ИИ, как механистическое создание, видимо, не представляет опасности. Но, я полагаю, будет генетически создана новая раса в ряду гоминидов, умнее и сильнее человека. Вроде, не надо бояться умных. Они не уничтожают слабых, например, животных. Завтра расскажу о философской беседе на эту тему. Вывод, который сделал, уже сообщил.
не все с этим согласны :-) Кристофер Кокер, профессор Лондонской школы экономики и один из самых интересных теоретиков войны и мира, на сессии про войны будущего сформулировал парадоксальное наблюдение. Речь шла о том, как развивалась мораль и этика войны. Кое-чего достигнуто за столетия, но в конечном итоге есть только один фундаментальный результат, достигнутый 25 000 лет назад. Человек гарантировал себе право быть убитым только (за исключением случайностей) другим человеком. А не животным, как было до появления оружия. Все остальное, в том числе "гуманные" способы ведения боевых действий и технические усовершенствования, - это частности. А сейчас происходит революция - впервые появляется возможность того, что человека будет убивать, то есть принимать решение о его смерти, не другой человек, а машина, искусственный интеллект. И это вызывает растерянность вплоть до ужаса. https://t.me/ru_global/3273
Что - то не хочет ссылка открываться. Но тезис понятен. Предполагается, что ИИ это устройство. А я говорю о новой породе людей, более совершенной. Когда - то белые люди с пулемётом решали, кому жить, а кому нет, в Африке или Индии. Новый супер сапиенс тоже может решить, что люди слишком глупые и слабые. Опасность есть.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
no subject
Date: 2019-02-12 07:33 am (UTC)если говорить о сегодняшних разработках, то мне кажется, что можно взломать все. причём, либо получив прямо доступ к устройству/программному коду, либо путём скармливания неверных данных.
читал про беспилотные машины, там интересный список проблем, часть из которых позволяет обманывать автопилот. подозреваю, что подобные уязвимости всплывут и в будущем.
https://t.me/brodetsky/1347
(ссылка должна открываться даже без регистрации в телеграм. если нет, то скажите - скопирую текст и ссылки)
no subject
Date: 2019-02-12 02:06 pm (UTC)no subject
Date: 2019-02-12 03:35 pm (UTC)то, что сейчас понимается под ИИ, это всего лишь некий набор алгоритмов созданных человеком. даже обучаемые системы, которые тренируются на наборах данных и могут потом давать непредсказуемые результаты, все равно обучаются и работают по заданным человеком критериям и под его(человека) контролем.
т.е. это всего лишь инструмент, для которого можно определить область применения и выработать нормы безопасности.
другое дело, что с помощью этого инструмента можно делать всякое, это уже про человечество, а не про ИИ - химию тоже можно применять на благо человека или во вред.
no subject
Date: 2019-02-12 03:54 pm (UTC)офф: мы теперь на "облачный офис" перешли в организации - "прогресс и удобство" нескончаемое.
в статье (пост) об "окучивании облаков" -- а это уже вектор. а ии, завязанный на облако, если еще и обучаться станет, - большая опасность, чем микрософт сам по себе.
офф-2: у максима соколова пост-жалоба на ай-фон ("качает и весь трафик съел"), а в комментах все скопом против "эппла", пиша гневно-разоблачительное на клавах от курть микрософта, у которого те же проблемы.
неужели вы не видите, что этот вектор веером разошелся, одним концом по юзеру, другим... куда катимся?
no subject
Date: 2019-02-12 04:39 pm (UTC)если отвечать на этот комментариий
я о том, что, поскольку программирует человек, то ошибки обязательны.
да, полностью согласен
при том, что и злонамеренное вмешательство нынче всюду и везде.
тоже согласен с небольшими оговорками
на этом фоне идея: "ии свободен от предвзятости и все, что ни делает, нам на пользу", = "все грибы съедобны".
а тут 2 момента:
1) "все, что ни делает, нам на пользу" ну это вообще какой-то идеализм, так не бывает. это из серии "вся радиация полезна" - ну, 100 лет назад эту радиацию натурально жрали с предсказуемым результатом. но возможен же и более разумный подход
2) "ии свободен от предвзятости" тут множество моментов, перед обсуждением которых хотелось бы все-таки понять что такое ИИ в нашем случае. если же вы говорите не об искусственном интеллекте как таковом, а о Computer science вообще, алгоритмах или даже о математике, то есть любопытный пост как у вас (в США) борются с этой (не?)предвзятостью.
офф-1: да, при распространении облаков возникают дополнительные риски, причём даже без всякого ИИ. если вернуться к айфонам и злонамеренному вмешательству, то была история, как человек одновременно лишился доступа к своим iphone, ipad и macbook, а заодно доступа к почте, соцсетям и прочим, и всё это благодаря icloud.
офф-2: про соколова ничего не могу сказать
мне кажется, что вектор тут один - мы катимся вперед по пути научно-технического прогресса. продукты этого прогресса одни люди могут использовать для контроля и эксплуатации других людей. чем именно тут провинились компьютеры или интернет? да, возможно, с помощью всего этого проще, например, манипулировать массами людей, но это, опять же, вопрос не про компьютеры, а про устройство общества или человеческую природу.
no subject
Date: 2019-02-12 01:50 pm (UTC)no subject
Date: 2019-02-12 02:29 pm (UTC)хочу только добавить, что это - основное занятие всех СМИ, во всем мире.
да и всех людей вообще.
no subject
Date: 2019-02-12 03:56 pm (UTC)no subject
Date: 2019-02-12 04:29 pm (UTC)быть свободным от предубеждений - это значит построить систему весов и коэффициентов, не имеющую предпочтений. но это тоже вряд ли возможно: какие-то основания, причины для назначения весов и коэффициентов должны быть так или иначе основаны на внешних данных, но, повторю: совершенных алгоритмов фильтрации быть не может.
все упирается в данные, которыми ИИ будет оперировать.
это, конечно, только мое мнение. а не закон природы.
no subject
Date: 2019-02-12 06:25 pm (UTC)https://mi-b.livejournal.com/292475.html
no subject
Date: 2019-02-12 06:31 pm (UTC)потом начнут выяснять, чьи алгоритмы недостаточно fair, и отправлять в Googlag на перевоспитание
всегда будут вопросы: что такое fair? с чьей позиции fair?
а если алгоритмы отпустят на свободу - самосовершенствоваться - очень быстро выяснится, что их fairness никому не нужна, вообще к человеческим делам не относится. люди почему-то считают, что они кому-то интересны: иным цивилизациям, искусственному интеллекту. ну вот нам, к примеру, креветки интересны. но как-то иначе они нам интересны.
мне так кажется
no subject
Date: 2019-02-12 07:08 pm (UTC)ну это партия решает.
https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-data-and-civil-rights
что касается второй части, то тут согласен. сейчас, например, в Китае рассчитывается социальный рейтинг. ну т.е. это видимо некая функция с кучей параметров и коэффициентов, насколько я понимаю, коэффициенты сейчас задаются в ручную, ну или пересчитываются разово. потом кому-нибудь придёт в голову поручить это занятие нейросети. а потом нейросеть может решить, что негры не нужны, например.
no subject
Date: 2019-02-12 07:17 pm (UTC)ну да :)
> поручить это занятие нейросети
в общем, правительства все это будут держать под жестким контролем. пока смогут, конечно.
но мне кажется, удержать под контролем это будет трудно. как и редактирование ДНК.
no subject
Date: 2019-02-13 06:36 am (UTC)fairness в данном случае это, натурально, новояз по оруэллу
потому что честность не в том, что мы честно отражаем реальность без искажений, а как раз в том, чтобы скорректировать реальность в соответствии с требованиями партии
no subject
Date: 2019-02-13 01:47 pm (UTC)no subject
Date: 2019-02-13 01:59 pm (UTC)p.s. я думал, насчёт toxic masculinity была шутка, а тут пишут прямо "the era of social media, school shootings, toxic masculinity and a divided country"
https://www.theguardian.com/media/2019/feb/12/esquire-cover-story-american-boy-black-history-month
no subject
Date: 2019-02-13 02:49 pm (UTC)но пугалок и страшилок для народа все одно не хватает, тем более после двухлетнего поиска русского вмешательства, павшего жертвой в борьбе роковой, сейчас вот новую придумали: "все на борьбу с антисемитизмом" -- дебилы, б!
no subject
Date: 2019-02-12 06:43 pm (UTC)помните у Стругацких:
Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты. Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет.
— А в чем, собственно, дело? — спросил Банин.
— Она начала _в_е_с_т_и_ с_е_б_я, — сказал Горбовский.
no subject
Date: 2019-02-12 06:58 pm (UTC)no subject
Date: 2019-02-12 07:00 pm (UTC)вряд ли мы сегодня способны даже смутно представить, что произойдет
но мало не покажется :)
no subject
Date: 2019-02-12 07:57 pm (UTC)т.е. в результате ошибок программистов или действий хакеров может произойти что-то плохое, но это опять же про человечество, а не компьютерный разум.
no subject
Date: 2019-02-12 05:44 pm (UTC)Также и ИИ. Вначале, хакеры с азартом будут пытаться перепрограммировать устройство. А со временем, ИИ начнёт их самих отшивать и даже посылать по всем известным адресам.
no subject
Date: 2019-02-12 06:52 pm (UTC)да и на всех остальных.
no subject
Date: 2019-02-12 07:04 pm (UTC)no subject
Date: 2019-02-12 07:08 pm (UTC)Жаль только жить в эту пору прекрасную
Уж не придется ни мне, ни тебе.
то есть - не жаль, конечно :)
no subject
Date: 2019-02-13 07:55 pm (UTC)no subject
Date: 2019-02-13 08:08 pm (UTC)no subject
Date: 2019-02-13 08:16 pm (UTC)no subject
Date: 2019-02-12 08:02 pm (UTC)вот тут можно посмотреть краткую историю как раз за последние четверть века
проанализировано порядка 16K статей с сайта arXi
один из выводов: примерно раз в 10 лет меняется "главное направление", так что скоро нас ожидает что-то новое и модное
https://www.technologyreview.com/s/612768/we-analyzed-16625-papers-to-figure-out-where-ai-is-headed-next/
no subject
Date: 2019-02-13 07:25 pm (UTC)Но, я полагаю, будет генетически создана новая раса в ряду гоминидов, умнее и сильнее человека.
Вроде, не надо бояться умных. Они не уничтожают слабых, например, животных.
Завтра расскажу о философской беседе на эту тему. Вывод, который сделал, уже сообщил.
no subject
Date: 2019-02-13 08:59 pm (UTC)Кристофер Кокер, профессор Лондонской школы экономики и один из самых интересных теоретиков войны и мира, на сессии про войны будущего сформулировал парадоксальное наблюдение. Речь шла о том, как развивалась мораль и этика войны. Кое-чего достигнуто за столетия, но в конечном итоге есть только один фундаментальный результат, достигнутый 25 000 лет назад. Человек гарантировал себе право быть убитым только (за исключением случайностей) другим человеком. А не животным, как было до появления оружия. Все остальное, в том числе "гуманные" способы ведения боевых действий и технические усовершенствования, - это частности. А сейчас происходит революция - впервые появляется возможность того, что человека будет убивать, то есть принимать решение о его смерти, не другой человек, а машина, искусственный интеллект. И это вызывает растерянность вплоть до ужаса.
https://t.me/ru_global/3273
no subject
Date: 2019-02-14 06:54 pm (UTC)А я говорю о новой породе людей, более совершенной. Когда - то белые люди с пулемётом решали, кому жить, а кому нет, в Африке или Индии. Новый супер сапиенс тоже может решить, что люди слишком глупые и слабые. Опасность есть.
no subject
Date: 2019-02-14 09:02 pm (UTC)