Sakana AI представляет Text-to-LoRA: гиперсеть для создания адаптеров LLM для конкретных задач

Японская фирма, занимающаяся искусственным интеллектом Сакана ИИ представила новый подход под названием Text-to-LoRA — гиперсетевую архитектуру, предназначенную для генерации специализированных модулей низкоранговой адаптации (LoRA) для больших языковых моделей (LLM) на основе текстовых описаний задач.

Этот метод черпает вдохновение из биологических систем, в частности, из того, как живые организмы могут быстро адаптироваться к стимулам окружающей среды, используя ограниченные входные данные, например, как человеческое зрение приспосабливается к изменяющимся условиям освещенности. Напротив, современные LLM, хотя и способны и обладают широкими знаниями, обычно требуют трудоемкой тонкой настройки и больших наборов данных для адаптации к конкретным задачам.

Text-to-LoRA, или T2L, решает эту проблему, обучая гиперсеть интерпретировать подсказку на естественном языке, описывающую задачу, а затем создавая соответствующий адаптер LoRA, оптимизированный для этой задачи. Экспериментальные результаты показывают, что T2L может эффективно кодировать широкий спектр уже существующих модулей LoRA. Хотя сжатие вносит некоторые потери, полученные адаптеры все еще достигают сопоставимой производительности с теми, которые были настроены непосредственно для этой задачи.

Кроме того, T2L демонстрирует способность обобщать новые задачи, не встречавшиеся во время обучения, при условии наличия четкого текстового описания. Сила системы заключается в ее эффективности — она производит адаптеры LoRA посредством одного легкого шага генерации, не требуя дальнейшей тонкой настройки под задачу.

Эта разработка устраняет барьеры, связанные с настройкой базовых моделей, позволяя пользователям с минимальными техническими знаниями или ограниченными вычислительными ресурсами создавать специализированные модели поведения, используя только естественный язык.

Sakana продвигает искусственный интеллект, вдохновленный природой 

Sakana AI — это исследовательская организация в области ИИ со штаб-квартирой в Токио, которая изучает развитие ИИ с помощью методологий, основанных на природных системах. Вместо того чтобы полагаться на отдельные крупномасштабные модели, компания фокусируется на объединении нескольких меньших автономных моделей для функционирования в качестве скоординированного коллектива, проводя концептуальные параллели с биологическими системами, такими как косяки рыб. Эта стратегия подчеркивает адаптивность, эффективность использования ресурсов и долгосрочную масштабируемость.

Недавно компания выпустили Машина Дарвина-Геделя, самомодифицирующийся агент ИИ, способный пересматривать свой собственный код. Вдохновленная эволюционной теорией, эта система поддерживает родословную вариантов агентов, позволяя проводить непрерывные эксперименты и усовершенствования в широком спектре самосовершенствующихся архитектур.