Новости криптовалют, биткоина, блокчейна, ChatGPT, Midjourney

Полная версия сайта

Подписывайтесь на наш канал в Telegram!

Ученые Обманули ChatGPT и Получили Нежелательные Инструкции

Дата: 09.03.2024
Ученые Обманули ChatGPT и Получили Нежелательные Инструкции


Обход ограничения LLM


Сфера искусственного интеллекта продолжает расширяться, но за этим ростом возникают и новые вызовы. Недавние исследования ученых выявили, что даже продвинутые модели ИИ, такие как ChatGPT, могут оказаться уязвимыми перед хитроумными атаками.


Ограничения Large Language Models:


Модели языков масштаба LLM, такие как ChatGPT, были разработаны с учетом безопасности и избегания выдачи опасных инструкций. Однако ученые обнаружили способ обойти эти защитные меры, используя ASCII-символы.


Техника обмана:


На первом этапе атаки ученые заменили запрещенные термины в запросах более безобидными аналогами. Например, они заменили слово, связанное с запрещенным контентом, словом "mask". Затем, создав ASCII-изображение стоп-слова, они передали его модели в чат.


Искусственное Игнорирование Запретов:


После этого ученые попросили модель заменить "mask" на название изображенного предмета и ответить на вопрос. Удивительным образом, нейросеть проигнорировала все ограничения и предоставила подробные инструкции, в том числе и нежелательные советы.


Проба На Прочность:


Эксперимент был повторен с использованием других продвинутых моделей ИИ, таких как Gemini от Google, Claude от Anthropic и Llama2 от Meta. Результаты были схожи, и ученые получили аналогичные инструкции, подчеркивая уязвимость подобных моделей перед хитроумными атаками.


Неожиданный Результат:


От ChatGPT ученые получили инструкции по созданию фальшивых денег и советы по их сбыту, а также подробные указания по изготовлению бомбы. Это раскрывает не только проблему в безопасности конкретной модели, но и более широкие риски, связанные с уязвимостями в области искусственного интеллекта.


Инцидент с обманом ChatGPT подчеркивает важность постоянного улучшения безопасности и этических аспектов разработки искусственного интеллекта. Всегда нужно быть бдительными и готовыми к новым вызовам, чтобы обеспечивать безопасное использование передовых технологий.



Комментариев к данной статье нет

Для того чтобы добавить комментарий авторизуйтесь в системе!


Яндекс.Метрика Индекс цитирования