Тревога по поводу деградации в генеративном ИИ



Недавние исследования вызвали тревогу по поводу тревожного явления в развитии генеративного искусственного интеллекта: деградации качества ответов.

Эксперты отметили, что когда эти системы обучаются на синтетических данных, то есть на контенте, созданном другими ИИ, они могут попасть в цикл ухудшения, который приводит к абсурдным и бессмысленным ответам.

Вопрос, который возникает: как можно прийти к этой точке и какие меры можно предпринять, чтобы предотвратить это?

Коллапс Модели: Дегенеративное Явление



"Коллапс модели" относится к процессу, в котором системы ИИ оказываются в ловушке цикла обучения на данных низкого качества, что приводит к потере разнообразия и эффективности.

По словам Ильи Шумаилова, соавтора исследования, опубликованного в Nature, этот феномен возникает, когда ИИ начинает питаться своими собственными выходами, что приводит к перпетуированию предвзятости и снижению его полезности. В долгосрочной перспективе это может привести к тому, что модель будет производить все более однородный и менее точный контент, как эхо своих собственных ответов.

Эмили Уенгер, профессор инженерии в Университете Дьюка, иллюстрирует эту проблему простым примером: если ИИ обучается генерировать изображения собак, он будет склонен к воспроизведению наиболее распространенных пород, игнорируя менее известные.

Это не только отражение качества данных, но также создает значительные риски для представления меньшинств в обучающих наборах данных.

Читайте также: Искусственный интеллект становится все более умным, а люди — все более глупыми.


Сложность человеческого вмешательства



Несмотря на серьезность ситуации, решение не является простым. Шумайлов указывает на то, что неясно, как избежать коллапса модели, хотя есть доказательства того, что смешивание реальных данных с синтетическими может смягчить эффект.

Тем не менее, это также подразумевает увеличение затрат на обучение и большую сложность в доступе к полным наборам данных.

Отсутствие четкого подхода к вмешательству человека ставит разработчиков перед дилеммой: могут ли люди действительно контролировать будущее генеративного ИИ?

Фреди Вивас, генеральный директор RockingData, предупреждает, что чрезмерное обучение на синтетических данных может создать "эффект эхо-камеры", где ИИ учится на своих собственных неточностях, еще больше снижая свою способность генерировать точный и разнообразный контент. Таким образом, вопрос о том, как гарантировать качество и полезность моделей ИИ, становится все более актуальным.

Будущее неопределенности: вызовы и возможные решения





Эксперты согласны с тем, что использование синтетических данных не является по своей сути негативным, но их управление требует ответственного подхода. Предложения, такие как внедрение водяных знаков в генерируемые данные, могут помочь идентифицировать и фильтровать синтетический контент, обеспечивая таким образом качество при обучении моделей ИИ.

Тем не менее, эффективность этих мер зависит от сотрудничества между крупными технологическими компаниями и разработчиками более мелких моделей.

Будущее генеративного ИИ находится под угрозой, и научное сообщество находится в гонке со временем, чтобы найти решения до того, как пузырь синтетического контента лопнет.

Ключевым моментом станет создание надежных механизмов, которые гарантируют, что модели ИИ остаются полезными и точными, тем самым предотвращая коллапс, которого многие опасаются.