Как Мета создала Ламу 2

Разработка и эволюция языковых моделей были важной областью интересов в области искусственного интеллекта. Одной из таких моделей искусственного интеллекта, которая привлекла внимание, является Llama 2, обновленная версия оригинальной модели Llama. Meta, команда разработчиков Llama 2, добилась значительных успехов в улучшении возможностей модели , уделяя особое внимание инструментам с открытым исходным кодом и отзывам сообщества. В этом руководстве представлена ​​более подробная информация о том, как Meta создала Llama 2, и подробно рассматривается разработка, функции и потенциальные приложения Llama 2, а также углубленный взгляд на достижения в больших языковых моделях. Благодаря презентации Анжелы Фан, ученого-исследователя из Meta AI Research Paris, которая занимается машинным переводом.

Llama 2 была разработана с учетом отзывов и поддержки сообщества. Команда, создавшая модель, открыто рассказала о процессе разработки, подчеркнув важность инструментов с открытым исходным кодом. Такой подход позволил обеспечить более совместный и инклюзивный процесс разработки, укрепив чувство общности вокруг проекта.

Как Meta разработала Llama 2

Архитектура Llama 2 аналогична оригиналу и использует стандартную архитектуру на основе Transformer. Однако новая модель имеет три различных размера параметров: 7 миллиардов, 13 миллиардов и 70 миллиардов параметров. Модель с 70 миллиардами параметров обеспечивает высочайшее качество, но модель с 7 миллиардами параметров является самой быстрой и маленькой, что делает ее популярной для практических приложений. Такая гибкость в размерах параметров позволяет более индивидуально подходить к различным вариантам использования.

Набор данных для предварительного обучения для Llama 2 использует два триллиона токенов текста, найденного в Интернете, преимущественно на английском языке, по сравнению с 1,4 триллиона в Llama 1. Такое увеличение размера набора данных позволило создать более полный и разнообразный набор языковых шаблонов. и структуры, которые будут включены в модель. Длина контекста в Llama 2 также была увеличена примерно до 4000 токенов по сравнению с 2000 в Llama 1, что повышает способность модели обрабатывать более длинные и сложные разговоры.

Тренировочная Лама 2

Процесс обучения Llama 2 включает в себя три основных этапа: предварительное обучение, тонкая настройка для создания модели чата и цикл обратной связи между людьми для создания различных моделей вознаграждения за полезность и безвредность. Команда обнаружила, что высококачественные аннотации наборов данных имеют решающее значение для получения высококачественных примеров контролируемой тонкой настройки. Они также использовали методы выборки отклонений и методы оптимизации проксимальной политики для подкрепления обучения с обратной связью с людьми. Этот итеративный процесс улучшения показал линейное улучшение показателей безопасности и полезности, что указывает на возможность улучшения обоих аспектов одновременно.

Команда, создавшая Llama 2, также провела как автоматическую, так и человеческую оценку: около 4000 различных подсказок были оценены на предмет полезности и 2000 — на безвредность. Однако они признали, что человеческая оценка может быть субъективной, особенно когда существует множество возможных ценных ответов на подсказку. Они также подчеркнули, что распространение подсказок, используемых для оценки, может сильно повлиять на качество оценки, поскольку людей интересуют самые разные темы.

модели искусственного интеллекта

Llama 2 была представлена ​​как конкурентоспособная модель, которая работает значительно лучше, чем модели с открытым исходным кодом, такие как Falcon или Llama 1, и вполне конкурентоспособна с такими моделями, как GPT 3.5 или Palm . Команда также обсудила концепцию «временного восприятия», когда модели дается конечный срок ее знаний, а затем задаются вопросы о событиях после этой даты. Эта функция позволяет модели предоставлять более точные и контекстуально релевантные ответы.

Несмотря на успехи, достигнутые с Llama 2, команда признает, что в этой области все еще остается много открытых вопросов. К ним относятся проблемы галлюцинационного поведения моделей, необходимость того, чтобы модели были более фактическими и точными, а также вопросы масштабируемости и типов используемых данных. Они также обсудили использование Llama 2 в качестве судьи при оценке производительности других моделей, а также проблемы использования модели для оценки самой себя.

Тонкая настройка

Команда также упомянула, что они не опубликовали свой контролируемый набор данных для точной настройки и что доступ модели к API симулируется, а не реален. Они отметили, что использование инструментов модели не является особенно надежным и что в этой области необходимо проделать дополнительную работу. Однако они также обсудили потенциальное использование языковых моделей в качестве помощников в написании, предположив, что стратегия тонкой настройки и предметная область данных должны корректироваться в зависимости от предполагаемого использования модели.

Llama 2 представляет собой значительный шаг вперед в разработке больших языковых моделей. Его улучшенные возможности в сочетании с приверженностью команды инструментариям с открытым исходным кодом и отзывами сообщества делают его многообещающим инструментом для различных приложений. Однако, как и в случае с любой технологией, важно продолжать совершенствовать и совершенствовать модель, решая остающиеся проблемы и открытые вопросы. Будущее больших языковых моделей, таких как Llama 2, светлое, и будет интересно увидеть, как они продолжают развиваться и формировать область искусственного интеллекта.