Чат-боты «думают» на английском языке даже при работе с другими языками
Ученые из Федеральной политехнической школы Лозанны изучили несколько версий большой языковой модели Llama 2 компании Meta (признана экстремистской и запрещена в РФ) и пришли к выводу, что основные процессы ИИ проходят на английском языке, даже когда запросы к ним были сформулированы на других языках. Llama 2 имеет открытый исходный код, что и позволило исследователям провести изучение ИИ на каждом этапе обработки запроса.
По словам ученых, работа ИИ-моделей устроена следующим образом: сначала письменные подсказки переводятся в токены, потом каждый из них контекстуализируется и затем предоставляется ответ. Исследователи пробовали спрашивать ИИ на русском, французском и немецком языках: каждый раз обработка запроса происходила через английское подпространство.
По мнению ученых, работа ИИ только через подсистемы с английским языком может привести к распространению связанных с английским языком ограничений в мировоззрении на другие культурно и лингвистически отличающиеся регионы. Как считают исследователи, существуют фундаментальные риски, связанные с распространением генеративных ИИ с англоцентрическими ценностями.
