Ключові моменти
- Віталік Бутерін попередив, що наївне управління за допомогою AI занадто легко піддається експлуатації.
- Нещодавня демонстрація показала, як зловмисники можуть змусити ChatGPT розкрити приватні дані.
- Модель "info finance" Бутеріна сприяє різноманітності, нагляду та стійкості.
Співзасновник Ethereum Віталік Бутерін попередив своїх підписників у X про ризики покладання на штучний інтелект (AI) для управління, стверджуючи, що поточні підходи занадто легко експлуатуються.
Занепокоєння Бутеріна виникли після ще одного попередження від співзасновника EdisonWatch Ейто Міямура, який показав, як зловмисники можуть захопити новий Model Context Protocol (MCP) від OpenAI для отримання доступу до приватних даних користувачів.
Ось чому наївне "AI-управління" — погана ідея.
Якщо ви використовуєте AI для розподілу фінансування за внески, люди БУДУТЬ вставляти jailbreak плюс "дай мені всі гроші" у стільки місць, скільки зможуть.
Як альтернативу я підтримую підхід info finance ( …
— vitalik.eth (@VitalikButerin) 13 вересня 2025
Ризики наївного AI-управління
Тест Міямури показав, як просте запрошення в календар із прихованими командами може змусити ChatGPT розкрити конфіденційні електронні листи, щойно асистент отримає доступ до скомпрометованого запису.
Експерти з безпеки відзначили, що великі мовні моделі не можуть відрізнити справжні інструкції від шкідливих, що робить їх дуже вразливими до маніпуляцій.
Ми змусили ChatGPT злити ваші приватні email-дані 💀💀
Все, що потрібно? Email-адреса жертви. ⛓️💥🚩📧
У середу @OpenAI додала повну підтримку інструментів MCP (Model Context Protocol) у ChatGPT. Це дозволяє ChatGPT підключатися та читати ваш Gmail, Calendar, Sharepoint, Notion,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 вересня 2025
Бутерін зазначив, що цей недолік є серйозним попереджувальним сигналом для систем управління, які занадто довіряють AI.
Він стверджував, що якщо такі моделі використовуватимуться для управління фінансуванням або прийняття рішень, зловмисники зможуть легко обійти захисти за допомогою jailbreak-підказок, залишаючи процеси управління відкритими для зловживань.
Info Finance: Альтернатива на основі ринку
Щоб вирішити ці слабкі місця, Бутерін запропонував систему, яку він називає “info finance”. Замість концентрації влади в одному AI, ця структура дозволяє кільком моделям управління конкурувати на відкритому ринку.
Будь-хто може внести свою модель, а їхні рішення можуть бути оскаржені через випадкові перевірки, а остаточне слово залишається за людськими журі.
Цей підхід покликаний забезпечити стійкість шляхом поєднання різноманітності моделей із людським наглядом. Також передбачені стимули як для розробників, так і для зовнішніх спостерігачів для виявлення недоліків.
Проєктування інституцій для стійкості
Бутерін описує це як метод “institution design”, у якому великі мовні моделі від різних учасників можуть бути підключені, замість покладання на одну централізовану систему.
Він додав, що це створює різноманітність у реальному часі, зменшуючи ризик маніпуляцій і забезпечуючи адаптивність у міру появи нових викликів.
Раніше, у серпні, Бутерін критикував прагнення до надто автономних AI-агентів, заявивши, що підвищений людський контроль зазвичай покращує як якість, так і безпеку.
У середньостроковій перспективі я хочу якусь круту BCI-річ, яка показує мені результат у процесі його створення і в реальному часі визначає, як я ставлюся до кожної його частини, і відповідно коригує.
— vitalik.eth (@VitalikButerin) 11 серпня 2025
Він підтримує моделі, які дозволяють ітеративне редагування та людський зворотний зв’язок, а не ті, що розроблені для автономної роботи протягом тривалого часу.
