Искусственный интеллект Alpaca от университета Стэнфорда проявляет подобную производительность во многих задачах, как и ChatGPT, однако он основан на открытой языковой модели и его обучение стоило менее 600 долларов.
Запуск ChatGPT в конце прошлого года взорвал мир: машины теперь могут общаться практически неотличимо от людей. Они способны писать текст и даже программный код на огромном количестве предметных областей за считанные секунды, часто на очень высоком уровне. Они улучшаются с метеорической скоростью, как показывает запуск GPT-4, и могут фундаментально изменить человеческое общество, автоматизируя ряд задач, которые ранее считались невозможными.
Многие другие компании, такие как Google, Apple, Meta, Baidu и Amazon, среди прочих, не сильно отстают и их искусственные интеллекты вскоре заполнят рынок, связанные со всевозможными приложениями и устройствами. Языковые модели уже присутствуют в вашем поисковом движке, если вы пользуетесь Bing, и вскоре они будут в других поисковиках. Они будут в вашей машине, телефоне, телевизоре и будут ждать в конце телефонной линии, когда вы попытаетесь связаться с компанией. Вскоре вы увидите их в роботах.
Одно маленькое утешение заключается в том, что OpenAI и другие крупные компании понимают потенциал этих машин в создании спама, распространения ложной информации, создания вредоносного программного обеспечения, нацеленного домогательства и других случаях, которые большинство людей признает нежелательными. Они проводят месяцы, работая над ручным ограничением этих возможностей до запуска. Глава OpenAI Сэм Альтман, как и многие другие, беспокоится о том, что правительства не движутся достаточно быстро, чтобы ограничить возможности ИИ в интересах общественного блага.
Но что насчет языковой модели, которую можно построить самостоятельно за 600 долларов? Команда исследователей из Стэнфорда сделала именно это, и ее впечатляющая производительность подчеркивает, насколько быстро весь этот сектор и его впечатляющие возможности могут выйти из-под контроля.
Команда исследователей из Стэнфорда начала с модели языка LLaMA 7B от Meta — самой маленькой и дешевой из нескольких доступных моделей LLaMA. Эта небольшая языковая модель была предварительно обучена на триллионе «токенов» и имела определенный уровень возможностей, но она существенно уступала ChatGPT в большинстве задач; главная стоимость и главное конкурентное преимущество в моделях GPT в основном заключается в огромном количестве времени и ресурсов, которые OpenAI вложила в последующее обучение. Одно дело прочитать миллиард книг, а другое — проработать большое количество пар вопрос-ответ, которые обучают эти ИИ их реальной работе.
С уже запущенной моделью LLaMA 7B команда Стэнфорда попросила GPT создавать в стиле и формате уже имеющихся 175 пар инструкций/выводов, по 20 штук за раз. Это было автоматизировано с помощью одного из предоставляемых OpenAI API, и в короткий срок команда получила около 52 000 образцов разговоров для использования в последующем обучении модели LLaMA. Создание этого объемного набора данных обошлось менее чем в 500 долларов.
Затем они использовали эти данные для настройки модели LLaMA — процесс, занявший около трех часов на восьми облачных процессорах A100 емкостью 80 ГБ. Это стоило им менее 100 долларов.
В дальнейшем исследователи проверили получившуюся модель, которую они назвали Alpaca, на различных областях, включая написание электронных писем, социальные медиа и инструменты продуктивности. Альпака победила в 90 из этих тестов, GPT победил в 89.
«Мы были довольно удивлены этим результатом, учитывая небольшой размер модели и скромное количество данных для следования инструкциям», пишет команда. «Кроме того, мы также тестировали модель Альпака интерактивно и обнаружили, что Альпака часто ведет себя аналогично text-davinci-003 [GPT-3.5] на разнообразных входных данных.»
Команда также отметила, что они могли бы сделать это дешевле, если бы попытались оптимизировать процесс. Стоит отметить, что теперь каждый желающий может создать свой собственный ИИ, используя более мощную GPT 4.0 и несколько более мощные модели LLaMA в качестве основы, и нет необходимости останавливаться на 52 000 вопросах.
Команда из Стэнфорда выпустила на Github 52 000 вопросов, использованных в этом исследовании, код для их генерации и код, который они использовали для настройки модели LLaMA.
Так что мешает практически любому создавать свой собственный ИИ сейчас и обучать его как угодно? Условия использования OpenAI гласят: «вы не можете … использовать выходные данные от услуг для разработки моделей, которые конкурируют с OpenAI». И Meta говорит, что на данном этапе LLaMA разрешена только для использования академическими исследователями на не коммерческой основе, хотя это не имеет значения, поскольку вся модель LLaMA утекла на 4chan.
Еще одна группа утверждает, что удалось избавиться от расходов на облачные вычисления, выложив на Github код, который может работать на Raspberry Pi и завершать процесс обучения за пять часов на одной видеокарте Nvidia RTX 4090.
Что все это означает? Это значит, что теперь неограниченное количество неконтролируемых языковых моделей может быть создано за копейки людьми, которые не заботятся об условиях использования или нарушении авторских прав.
