Энтузиаст представил проект WorldTUI — языковую модель с 360 млн параметров, обученную имитировать работу терминала. В отличие от стандартных эмуляторов, за этой системой не стоит реальная оболочка или файловая система. Вместо этого модель предсказывает изменения на экране в ответ на нажатия клавиш пользователя.
Как это работает
В основе проекта лежит модель Qwen2.5-Coder-0.5B, дообученная на записях терминальных сессий из Docker-контейнеров. Автор отказался от посимвольной генерации текста в пользу предсказания изменений в сетке символов. Когда пользователь вводит команду, система анализирует текущее состояние экрана и вычисляет, какие строки нужно обновить, а куда переместить курсор.
- Модель способна «редактировать» свои ошибки, обучаясь на собственных неверных предсказаниях.
- Для оптимизации процесса автор внедрил специальные токены для операций копирования строк, что значительно сократило нагрузку при прокрутке экрана.
- Система поддерживает работу в браузере с использованием WebGPU, хотя для комфортной игры в «змейку» или работы в vim рекомендуется использовать десктопную версию Chrome или Edge.
Для обучения модели было сгенерировано около 336 тысяч эпизодов сессий, что эквивалентно 2 млрд токенов. Использование грамматически ограниченного декодирования гарантирует, что каждое предсказание модели является валидным обновлением экрана. Обучение заняло около 75 часов на видеокарте RTX 4090.
По словам разработчика, такой подход позволяет создавать приложения, которые не пишутся кодом, а «изучаются» нейросетью. Хотя модель отлично справляется с имитацией привычных команд вроде ls или cat, она не является полноценным терминалом. Если ввести несуществующую команду, например pythoon, станет очевидно, что перед пользователем лишь вероятностная модель, пытающаяся угадать следующий «кадр» интерфейса.
Источник: simedw.com