Как запустить собственную LLM в стиле ChatGPT бесплатно (и конфиденциально)

Возможности больших языковых моделей (LLM), таких как ChatGPT, которые обычно становятся возможными благодаря облачным вычислениям, очевидны, но задумывались ли вы когда-нибудь о запуске чат-бота с искусственным интеллектом на своем ноутбуке или настольном компьютере? В зависимости от того, насколько современна ваша система, вы, вероятно, сможете запускать LLM на своем собственном оборудовании. Но зачем вам это нужно?

Что ж, возможно, вы хотите настроить инструмент под свои собственные данные. Возможно, вы хотите, чтобы ваши разговоры с искусственным интеллектом оставались конфиденциальными и оффлайн. Возможно, вы просто хотите посмотреть, на что способны модели искусственного интеллекта без того, чтобы компании, использующие облачные серверы, закрывали любые темы разговоров, которые они считают неприемлемыми. При наличии LLM, подобного ChatGPT, на вашем собственном оборудовании все эти сценарии возможны.

И аппаратное обеспечение является меньшим препятствием, чем вы думаете. Новейшие LLM оптимизированы для работы с видеокартами Nvidia и компьютерами Mac, использующими процессоры Apple M-серии, даже с маломощными системами Raspberry Pi. А по мере того, как на рынок выходит новое оборудование, ориентированное на искусственный интеллект, такое как встроенный NPU процессоров Intel Meteor Lake или AMD Ryzen AI, локально управляемые чат-боты станут более доступными, чем когда-либо прежде.

Благодаря таким платформам, как Обнимающее лицо и такие сообщества, как Reddit МестныйLlaMA, модели программного обеспечения, лежащие в основе таких сенсационных инструментов, как ChatGPT, теперь имеют эквиваленты с открытым исходным кодом — фактически на момент написания этой статьи доступно более 200 000 различных моделей. Кроме того, благодаря таким инструментам, как веб-интерфейс для генерации текста Oobabooga, вы можете получить к ним доступ в своем браузере, используя понятные и простые интерфейсы, подобные ChatGPT, Bing Chat и Google Bard.

Модели программного обеспечения, лежащие в основе таких сенсационных инструментов, как ChatGPT, теперь имеют эквиваленты с открытым исходным кодом — фактически доступно более 200 000 различных моделей.

Итак, вкратце: локально запускаемые инструменты ИИ доступны бесплатно, и каждый может их использовать. Однако ни один из них не является готовым для нетехнических пользователей, и эта категория достаточно новая, поэтому вы не найдете много простых для понимания руководств или инструкций о том, как загрузить и запустить свой собственный LLM. Также важно помнить, что локальный LLM не будет таким же быстрым, как платформа облачного сервера, поскольку его ресурсы ограничены только вашей системой.

Тем не менее, мы здесь, чтобы помочь любопытным, предоставив пошаговое руководство по настройке собственной альтернативы ChatGPT на вашем компьютере. В нашем руководстве используется компьютер с Windows, но перечисленные здесь инструменты обычно доступны и для систем Mac и Linux, хотя при использовании других операционных систем могут потребоваться некоторые дополнительные действия.

Некоторые предупреждения о локальном запуске LLM

Однако сначала несколько предостережений. много предостережений. Как мы уже говорили, эти модели бесплатны и доступны сообществу разработчиков программного обеспечения с открытым исходным кодом. Они полагаются на множество других программ, которые обычно также бесплатны и имеют открытый исходный код. Это означает, что все поддерживается мешаниной программистов-одиночек и команд волонтеров, а также несколькими крупными компаниями, такими как Facebook и Microsoft. Дело в том, что вы столкнетесь со множеством движущихся частей, и если вы впервые работаете с программным обеспечением с открытым исходным кодом, не ожидайте, что это будет так же просто, как загрузить приложение на телефон. Вместо этого это больше похоже на установку набора программного обеспечения еще до того, как вы сможете подумать о загрузке окончательного приложения, которое вам нужно, — которое тогда все равно может не работать. И независимо от того, насколько подробным и удобным для пользователя мы стараемся сделать это руководство, вы можете столкнуться с препятствиями, которые мы не сможем описать в одной статье.

Кроме того, поиск ответов может быть настоящей болью. Интернет-сообщества, посвященные этим темам, обычно помогают в решении проблем. Часто кто-то решает проблему, с которой вы столкнулись, в разговоре, который можно найти в Интернете, немного поискав. Но где этот разговор? Это может быть на Reddit, в FAQ, на странице GitHub, на форуме пользователей HuggingFace или где-то еще.

ИИ — это зыбучие пески. Все движется стремительно, и окружающая среда постоянно претерпевает огромные изменения.

Стоит повторить, что ИИ с открытым исходным кодом развивается быстро. Каждый день выпускаются новые модели, и инструменты, используемые для взаимодействия с ними, меняются почти так же часто, как и базовые методы обучения и данные, а также все программное обеспечение, лежащее в основе этого. Как тема, о которой стоит писать или в которую стоит погрузиться, ИИ — это зыбучие пески. Все движется стремительно, и окружающая среда постоянно претерпевает огромные изменения. Большая часть обсуждаемого здесь программного обеспечения может прослужить недолго, прежде чем будут выпущены новые и лучшие LLM и клиенты.

Итог: Действуйте на свой страх и риск. Нет команды компьютерщиков, к которой можно было бы обратиться за помощью с программным обеспечением с открытым исходным кодом; не все это обслуживается профессионально; и вы не найдете удобного руководства для чтения или отдела обслуживания клиентов, к которому можно было бы обратиться — просто группа слабо организованных онлайн-сообществ.

Наконец, когда вы все это запустите, эти модели ИИ будут иметь разную степень отшлифованности, но все они содержат одни и те же предупреждения: не доверяйте тому, что они говорят, за чистую монету, потому что это часто неверно. Никогда не обращайтесь к чат-боту с искусственным интеллектом, чтобы помочь вам принять решения о своем здоровье или финансовых решениях. То же самое касается написания школьных сочинений или статей для веб-сайта. Кроме того, если ИИ говорит что-то оскорбительное, постарайтесь не принимать это на свой счет. Это не человек, выносящий суждения или извергающий сомнительные мнения; это статистический генератор слов, созданный для того, чтобы выдавать в основном разборчивые предложения. Если что-то из этого звучит слишком пугающе или утомительно, возможно, этот проект не для вас.

Выберите свое оборудование

Прежде чем начать, вам нужно кое-что узнать о машине, на которой вы хотите запустить LLM. Это ПК с Windows, Mac или Linux? Это руководство, опять же, будет посвящено Windows, но большинство упомянутых ресурсов предлагают дополнительные параметры и инструкции для других операционных систем.

Вам также необходимо знать, имеет ли ваша система дискретный графический процессор или использует встроенную графику процессора. Множество LLM с открытым исходным кодом могут работать исключительно на вашем процессоре и системной памяти, но большинство из них созданы для использования вычислительной мощности выделенного графического чипа и его дополнительной видеопамяти. Игровые ноутбуки, настольные компьютеры и рабочие станции лучше подходят для этих приложений, поскольку они оснащены мощным графическим оборудованием, на которое часто полагаются эти модели.

Игровые ноутбуки и мобильные рабочие станции — лучшее оборудование для запуска LLM дома. (Фото: Молли Флорес)

В нашем случае мы используем игровой ноутбук Lenovo Legion Pro 7i Gen 8, который сочетает в себе мощный процессор Intel Core i9-13900HX, 32 ГБ системной оперативной памяти и мощный мобильный графический процессор Nvidia GeForce RTX 4080 с 12 ГБ выделенной видеопамяти.

Если вы используете систему Mac или Linux, зависите от процессора или используете оборудование AMD вместо оборудования Intel, имейте в виду, что, хотя общие шаги в этом руководстве верны, вам могут потребоваться дополнительные шаги и дополнительное или другое программное обеспечение для установки. . И производительность, которую вы видите, может заметно отличаться от того, что мы здесь обсуждаем.

Настройте свою среду и необходимые зависимости

Для начала вам необходимо загрузить необходимое программное обеспечение: Microsoft Visual Studio 2019. Любая обновленная версия Visual Studio 2019 будет работать (но не более новые годовые выпуски), но мы рекомендуем получить последнюю версию. напрямую от Microsoft.

(Фото: Брайан Вестовер/Microsoft)

Персональные пользователи могут пропустить версии Enterprise и Professional и использовать только версию программного обеспечения BuildTools.

Найдите последнюю версию Visual Studio 2019 и загрузите версию BuildTools (Фото: Брайан Вестовер/Microsoft)

После этого обязательно выберите «Разработка для настольных компьютеров с помощью C++». Этот шаг необходим для правильной работы других частей программного обеспечения.

Обязательно выберите «Разработка для настольных компьютеров на C++». (Фото: Брайан Вестовер/Microsoft)

Начните загрузку и приступайте к работе: в зависимости от вашего интернет-соединения может пройти несколько минут, прежде чем программное обеспечение будет готово к запуску.

(Фото: Брайан Вестовер/Microsoft)

Загрузите установщик веб-интерфейса для генерации текста Oobabooga

Затем вам необходимо загрузить инструмент WebUI для создания текста с сайта Oobabooga. (Да, это глупое название, но проект GitHub предоставляет простой в установке и использовании интерфейс для работы с искусственным интеллектом, так что не зацикливайтесь на этом прозвище.)

(Фото: Брайан Вестовер/Убабуга)

Чтобы загрузить инструмент, вы можете перейти по Страница на GitHub или перейдите непосредственно к коллекции установщики в один клик Oobabooga сделал доступным. Мы установили версию для Windows, но здесь вы также найдете установщики для Linux и macOS. Загрузите zip-файл, показанный ниже.

(Фото: Брайан Вестовер/Убабуга)

Создайте новую папку с файлами где-нибудь на своем компьютере, которую вы запомните, и назовите ее AI_Tools или что-то подобное. Не используйте пробелы в имени папки, так как это нарушит некоторые автоматические процессы загрузки и установки установщика.

(Фото: Брайан Вестовер/Microsoft)

Затем извлеките содержимое только что загруженного zip-файла в новую папку AI_Tools.

Запустите установщик WebUI для генерации текста.

После того как zip-файл будет извлечен в новую папку, просмотрите его содержимое. Вы должны увидеть несколько файлов, в том числе файл start_windows.bat. Дважды щелкните его, чтобы начать установку.

В зависимости от настроек вашей системы вы можете получить предупреждение о том, что Защитник Windows или другой инструмент безопасности блокирует это действие, поскольку он не от признанного поставщика программного обеспечения. (Мы не видели и не видели в Интернете никаких сообщений о том, что с этими файлами возникла какая-либо проблема, но мы повторяем, что вы делаете это на свой страх и риск.) Если вы хотите продолжить, выберите «Подробнее», чтобы подтвердить, вы хотите запустить start_windows.bat. Нажмите «Все равно выполнить», чтобы продолжить установку.

(Фото: Брайан Вестовер/Microsoft)

Теперь установщик откроет командную строку (CMD) и начнет установку десятков частей программного обеспечения, необходимых для запуска инструмента Text Generation WebUI. Если вы не знакомы с интерфейсом командной строки, просто расслабьтесь и посмотрите.

(Фото: Брайан Вестовер/Microsoft)

Сначала вы увидите прокрутку большого количества текста, за которым следуют простые индикаторы выполнения, состоящие из хэштегов или символов решетки, а затем появится текстовая подсказка. Он спросит вас, какой у вас графический процессор, что даст вам возможность указать, используете ли вы чипы Nvidia, AMD или Apple серии M или только процессор. Вы уже должны были это понять, прежде чем что-либо скачивать. В нашем случае мы выбираем A, потому что на нашем ноутбуке установлен графический процессор Nvidia.

(Фото: Брайан Вестовер/Microsoft)

После того, как вы ответите на вопрос, установщик сделает все остальное. Вы увидите прокрутку большого количества текста, за которым сначала следуют простые текстовые индикаторы выполнения, а затем более графически приятные розовые и зеленые индикаторы выполнения, когда установщик загружает и настраивает все, что ему нужно.

(Фото: Брайан Вестовер/Microsoft)

В конце этого процесса (который может занять до часа) вас встретит предупреждающее сообщение, окруженное звездочками. Это предупреждение сообщит вам, что вы еще не загрузили ни одну большую языковую модель. Это хорошие новости! Это означает, что установка Text Generation WebUI почти завершена.

(Фото: Брайан Вестовер/Microsoft)

На этом этапе вы увидите текст зеленого цвета: «Информация: загрузка галереи расширений». Установка завершена, но пока не закрывайте командное окно.

(Фото: Брайан Вестовер/Microsoft)

Скопируйте и вставьте локальный адрес для WebUI

Сразу под зеленым текстом вы увидите еще одну строку с надписью «Выполняется по локальному URL: http://127.0.01:7860». Просто щелкните этот текст URL-адреса, и откроется ваш веб-браузер, предоставляющий веб-интерфейс для создания текста — ваш интерфейс для всего, что касается LLM.

(Фото: Брайан Вестовер/Microsoft)

Вы можете сохранить этот URL-адрес где-нибудь или добавить его в закладки в своем браузере. Несмотря на то, что доступ к веб-интерфейсу Text Generation осуществляется через ваш браузер, он работает локально, поэтому будет работать, даже если ваш Wi-Fi отключен. Все в этом веб-интерфейсе является локальным, и генерируемые данные должны быть конфиденциальными для вас и вашего компьютера.

(Фото: Брайан Вестовер/Убабуга)

Закройте и снова откройте веб-интерфейс

После того, как вы успешно получили доступ к веб-интерфейсу и подтвердили, что он установлен правильно, закройте браузер и командное окно.

В папке AI_Tools откройте тот же командный файл start_windows, который мы запускали для установки всего. Он снова откроет окно CMD, но вместо того, чтобы проходить весь процесс установки, загрузит небольшой фрагмент текста, включая зеленый текст, прежде чем сообщить вам, что галерея расширений загружена. Это означает, что веб-интерфейс снова готов к открытию в вашем браузере.

(Фото: Брайан Вестовер/Убабуга)

Используйте тот же локальный URL-адрес, который вы скопировали или добавили в закладки ранее, и вас снова встретит интерфейс WebUI. Именно так вы будете открывать инструмент в будущем, оставляя окно CMD открытым в фоновом режиме.

Выберите и скачайте LLM

Теперь, когда у вас установлен и запущен веб-интерфейс, пришло время найти модель для загрузки. Как мы уже говорили, вы найдете тысячи бесплатных LLM, которые можно загрузить и использовать с WebUI, а процесс их установки довольно прост.

Если вам нужен тщательно подобранный список наиболее рекомендуемых моделей, вы можете посетить такое сообщество, как Reddit. /r/LocalLlaMAкоторый включает в себя вики-страница сообщества в котором перечислено несколько десятков моделей. Он также включает информацию о том, для чего созданы разные модели, а также данные о том, какие модели поддерживаются различным оборудованием. (Некоторые LLM специализируются на задачах кодирования, а другие созданы для естественного текстового чата.)

Все эти списки в конечном итоге отправят вас на Обнимающее лицо, который стал хранилищем LLM и ресурсов. Если вы пришли сюда из Reddit, вас, вероятно, перенаправили прямо на карточку модели, которая представляет собой специальную информационную страницу о конкретной загружаемой модели. На этих карточках представлена ​​общая информация (например, использованные наборы данных и методы обучения), список файлов для загрузки и страница сообщества, где люди могут оставлять отзывы, а также запрашивать помощь и исправления ошибок.

Вверху каждой карточки модели указано большое и жирное название модели. В нашем случае мы использовали метод WizardLM 7B без цензуры Модель Эрика Хартфорда. Он использует псевдоним Эхартфордпоэтому указанное местоположение модели — «ehartford/WizardLM-7B-Uncensored», точно так же, как оно указано в верхней части карточки модели.

Рядом с названием находится небольшой значок копии. Нажмите на нее, и правильно отформатированное название модели будет сохранено в буфере обмена.

(Фото: Брайан Вестовер/Обнимающее лицо)

Вернувшись в WebUI, перейдите на вкладку модели и введите имя модели в поле с надписью «Загрузить пользовательскую модель или LoRA». Вставьте название модели, нажмите «Загрузить», и программа начнет загрузку необходимых файлов из Hugging Face.

(Фото: Брайан Вестовер/Убабуга)

В случае успеха вы увидите всплывающий оранжевый индикатор выполнения в окне WebUI, а в командном окне, которое вы оставили открытым в фоновом режиме, появится несколько индикаторов выполнения.

(Фото: Брайан Вестовер/Убабуга)

(Фото: Брайан Вестовер/Убабуга)

Как только все будет завершено (опять же, наберитесь терпения), индикатор выполнения WebUI исчезнет, ​​и будет просто написано «Готово!» вместо.

Загрузите свою модель и настройки в WebUI

После загрузки модели вам необходимо загрузить ее в WebUI. Для этого выберите его из раскрывающегося меню в левом верхнем углу вкладки модели. (Если у вас загружено несколько моделей, здесь вы можете выбрать одну из них.)

Прежде чем вы сможете использовать модель, вам необходимо выделить некоторую системную или графическую память (или и то, и другое) для ее запуска. Хотя в этих моделях вы можете настроить практически все, что захотите, включая распределение памяти, я обнаружил, что установка примерно двух третей памяти как графического процессора, так и процессора работает лучше всего. Это оставляет достаточно неиспользуемой памяти для других функций вашего ПК, в то же время предоставляя LLM достаточно памяти для отслеживания и поддержания более длительного разговора.

(Фото: Брайан Вестовер/Убабуга)

После того, как вы выделили память, нажмите кнопку «Сохранить настройки», чтобы сохранить свой выбор, и каждый раз по умолчанию будет использоваться это распределение памяти. Если вы когда-нибудь захотите изменить его, вы можете просто сбросить его и снова нажать «Сохранить настройки».

Наслаждайтесь своим LLM!

Когда ваша модель загружена и готова к работе, пришло время начать общение с альтернативой ChatGPT. Перейдите в WebUI на вкладку «Создание текста». Здесь вы увидите настоящий текстовый интерфейс для общения с ИИ. Введите текст в поле, нажмите Enter, чтобы отправить его, и дождитесь ответа бота.

(Фото: Брайан Вестовер/Убабуга)

Здесь, скажем еще раз, вы испытаете небольшое разочарование: если вы не используете супер-пупер рабочую станцию ​​с несколькими высокопроизводительными графическими процессорами и огромным объемом памяти, ваш локальный LLM не будет и близко быстро, как ChatGPT или Google Bard. Бот будет выдавать фрагменты слов (называемые токенами) по одному с заметной задержкой между каждым.

Однако, проявив немного терпения, вы сможете полноценно общаться с загруженной моделью. Вы можете запрашивать у него информацию, играть в игры в чате и даже присвоить ему одну или несколько личностей. Кроме того, вы можете использовать LLM, будучи уверенным в конфиденциальности ваших разговоров и данных, что дает вам душевное спокойствие.

Вы встретите массу контента и концепций для изучения, начиная с местных LLM. Чем больше вы будете использовать WebUI и другие модели, тем больше узнаете о том, как они работают. Если вы не знаете свой текст по своим токенам или свой GPTQ по LoRA, это идеальное место, чтобы начать погружаться в мир машинного обучения.