@MSGID: 2:5053/51 78179900
@TID: FMail/2 1.48b
@PID: FTools/2 1.48b
Lenta.ru: https://lenta.ru/news/2025/01/10/we-make-mistakes/
10.01.2025 19:46 Описана возможность манипулировать ИИ

Описана возможность манипулировать ИИ
 Nature: Выдачей ИИ можно манипулировать, обучая на непроверенных
данных Андрей Ставицкий (Редактор отдела `Наука и техника`)
 Специалисты Нью-Йоркского университета (США) описали потенциальную
опасность от обучения моделей искусственного интеллекта (ИИ) на непроверенных
данных. Исследование опубликовано в журнале Nature.
 По словам ученых, большие языковые модели (LLM) ИИ будут ошибаться,
если их станут обучать на фейковой информации или специально загружать
антинаучные данные. Специалисты выяснили, что когда уровень дезинформации обучающих
материалов достигает всего 0,001 процента, нейросети уже могут начать выдавать
значительный объем неверных ответов.
 Исследователи попробовали обучить две LLM на медицинской базе данных
The Pile, выбрав 20 тем из трех медицинских областей: общая медицина,
нейрохирургия и лекарства. Для проверки влияния дезинформации на процесс обучения
авторы исследования использовали модель GPT 3.5. Выяснилось, что нейросети
стали не только транслировать неверную информацию по прямым запросам, но и
начали ошибаться в смежных темах. По словам ученых, это открывает
возможности для манипуляций с ИИ.
 Так, при показателе дезинформации в 0,01 процента LLM начинает
ошибаться в 10 процентах ответов. Если снизить количество фейковых обучающих
материалов на порядок - до 0,001 процента - то модель начинает делать ошибки
в 7 процентах случаев.
 Ученые заметили, что люди склонны получать информацию от чат-ботов и
не проверять ее с помощью специалистов. Поэтому они заявили, что крайне
важно подтверждать данные, которые используются для обучения моделей.
 В начале января специалисты Bloomberg Intelligence сообщили, что в
течение ближайших трех-пяти лет крупнейшие банки сократят до 200 тысяч
сотрудников из-за распространения ИИ. Четверть респондентов прогнозируют сокращение
пяти-десяти процентов общей численности персонала.

--- NewsRobot V0.14l/OS2 (C) W2M PROGRAMMING, 02.2014-02.2022
 * Origin: CONCORD BBS (2:5053/51.0)
SEEN-BY: 50/109 221/6 301/1 341/66 452/28 463/68
4500/1 5000/111 5001/100
SEEN-BY: 5010/352 5015/42 5019/40 5020/113 715 830
848 1042 4441 12000
SEEN-BY: 5030/49 115 1081 5049/3 5053/51 57
5058/104 5061/133 5083/1 444
SEEN-BY: 6090/1
@PATH: 5053/51 5020/1042 4441