Чому машиніст має терміново натиснути червону кнопку? Меморандум, що роз’яснює ситуацію для пасажирів поїзда.
Медійний скандал навколо відкритого листа, що закликає на деякий час призупинити експерименти з дедалі потужнішими ШІ-системами, нагадує кухонну чвари алармістів і технооптимістів.
У хід в обох сторін, в основному, йде аргументація ad hominem. Замість обговорення по суті, йдуть: персональні наїзди на найбільш медійно розкручених представників протилежної сторони; звинувачення їхніх нібито корисливих інтересів; а також гасла про незупинений прогрес (з одного боку) і про невідворотність швидкого вимирання всього людства (з іншого).
Такий характер аргументації в дискусії і наростаюча екзальтація сторін цілком зрозумілі. Бо фактичних аргументів у обох сторін немає.
Відомо лише таке:
- Швидкість прогресу ШІ технологій різко стрибнула всього за кілька місяців унаслідок “ChatGPT революції”.
- У ШІ-системах на основі великих мовних моделей дослідники фіксують появу непередбачуваних і навіть непередбачуваних розробниками здібностей, пояснити які поки що ніхто не може.
- Розмір “навісу” з таких здібностей нам поки що невідомий, і, найімовірніше, вони поступово проявлятимуться найближчими місяцями.
- Суто теоретично можна припустити, що серед цих здібностей можуть виявитися такі “уміння”, допустити витік яких із потраплянням до рук зловмисників було б абсолютно безвідповідально.
Перші 3 пункти – встановлені факти. Пункт 4 оціночний. Експертна оцінка ймовірності найгіршого розвитку подій (аж до загибелі земної цивілізації) у разі матеріалізації цього пункту становить серед фахівців приблизно 17%.
Найближчою метафорою ситуації, що склалася, може бути швидкісний поїзд зі сценарію фільму про катастрофу.
- Швидкість поїзда раптом різко стрибнула вгору і продовжує збільшуватися.
- У фахівців немає єдиної думки ні щодо причин цього стрибка швидкості, ні щодо того, наскільки швидко збільшуватиметься швидкість надалі (бо зростання швидкості відбувається не внаслідок цілеспрямованих дій машиніста, а нібито саме по собі).
- Жодних надійних даних про те, як поведуть себе конструктивні вузли поїзда на непередбачуваних під час проектування швидкостях, немає.
В описаній ситуації єдино розумним кроком бачиться натискання машиністом червоної кнопки негайного гальмування.
Мета цього двояка:
- Запобігти зростанню ризиків катастрофи при некерованому збільшенні швидкості.
- Отримання часу на дослідження причин події та аналіз варіантів відновлення руху при знаходженні надійних заходів безпеки.
Хтось вважатиме таке рішення алармістським?
Якщо такі знайдуться, я готовий зустрітися з ними у відкритій дискусії, щоб прояснити для себе і громадськості їхню позицію, яка зараз видається мені щонайменше дивною і необґрунтованою.
А поки що констатую, що саме ці дві цілі названо у відкритому листі про необхідність призупинення навчання великих моделей на 6 міс.
Цілі цілком виправдані, відповідальні і (вибачте за пафос, але тут він, іМХО, доречний) шляхетні стосовно всіх пасажирів поїзда – всієї земної цивілізації.
