По результатам исследования, проведенного аналитиками Стэнфорда и Калифорнийского университета, стало известно, что новейшие модели чат-бота ChatGPT с течением нескольких месяцев стали предоставлять менее точные ответы на одни и те же вопросы. Причины снижения точности работы нейросети пока остаются неясными.
В рамках эксперимента, проведенного с использованием ChatGPT-3.5 и ChatGPT-4, их просили решить математические задачи, ответить на деликатные вопросы, написать новые строки кода и проявить пространственное мышление с помощью подсказок.
Согласно данным исследования, в марте текущего года последняя версия ChatGPT смогла идентифицировать простые числа с точностью 97,6%, а в июне этот показатель упал до 2,4%. Таким образом, за данный промежуток времени возможности искусственного интеллекта значительно ухудшились. В то же время, предыдущая модель нейросети продемонстрировала улучшение своих способностей.
Также важно отметить, что при генерации идентичных строк кода обе версии ChatGPT столкнулись с существенным снижением своих возможностей в течение нескольких месяцев.
Ранее старая модель нейросети предоставляла более подробные объяснения, почему не может ответить на некоторые деликатные вопросы, однако в июне обе версии просто извинялись за невозможность предоставления ответа.
«Поведение одного и того же сервиса большой языковой модели может существенно измениться за относительно короткий промежуток времени», — говорится в исследовании.
Эксперты рекомендуют пользователям и компаниям, полагающимся на услуги нейросетей в своих рабочих процессах, внедрить форму анализа для обеспечения актуальности и соответствия работы ботов.
В июле разработчики ChatGPT выпустили новый плагин для платной версии, который обладает возможностью анализа данных, создания кода на Python, построения графиков и решения математических задач. Отмечается, что чат-бот смог научно опровергнуть теорию «плоской Земли».
