LIMB
Рассказываю для кого-то очевидные вещи, но если вы совсем 0 в теме то welcome.
В эпоху, когда популярные языковые модели вроде ChatGPT и Claude хранят все ваши диалоги, возникает вопрос о безопасности личных данных. Недавний случай с утечкой базы данных DeepSeek только подчеркивает проблему. В этой статье мы рассмотрим, как запустить и использовать большую языковую модель на вашем собственном компьютере, обеспечивая конфиденциальность.
Примечание: локальные модели уступают в точности передовым решениям от OpenAI или Anthropic. Выбор между точностью и безопасностью остается за вами.
Терминология
Системные требования
Хотя для запуска больших моделей обычно используются мощные видеокарты, описанный метод позволяет запускать модели даже на CPU. Однако мощность железа влияет на скорость запуска и генерации текста.
Я рекомендую использовать видеокарты NVIDIA (например, у меня RTX 4070Ti Super с 16 ГБ памяти), но это не обязательное условие.
2. Нажмите на значок лупы в правом верхнем углу.
3. Выберите пункт "Runtimes" и установите подходящий для вашей системы:
Чем выше в списке модель, тем она сильнее.
Рядом с моделью либо в самом названии указано число параметров модели в формате [число]B, где B (billions) означает миллиарды.
Для начала нужно посчитать, какие модели поместятся в вашу видеокарту
Заходим на калькулятор - https://eusholli.github.io/llm-ram-calculator/
У меня в видеокарте 16 ГБ видеопамяти (если запускаете на процессоре, то считайте ОЗУ а не видеопамять).
К примеру, я хочу запустить топовую открытую модель из лидерборда T-pro-it-1.0 от T-tech. Я вижу, что она на 32B (миллиарда) параметров. Значит, в калькуляторе в пункте "Number of parameters in billions (P)" пишем 32
Теперь подбираем квантизацию. Это параметр "Bit Mode when loading model (Q)". Обычно квантизация бывает 16, 8, 7, 6, ..., 1. Чем меньше число, тем меньше потребуется памяти, однако точность модели падает.
Пробую поставить 16 (самая высокая, т.е. потери качества не будет), нажимаю calculate и...
Получаю 76 ГБ. У меня столько нет. Значит понижаю квантизацию до 8 - 38 ГБ.
Понижаю до 4 - 19.2 ГБ.
Понижаю до 3 - 14.4 ГБ.
Значит, чтобы вся модель поместилась в мою видеокарту, нужно найти ее с уровнем квантизации равным 3. При этом запустить я могу модели и с большей квантизацией, но часть будет загружена в ОЗУ и это её замедлит.
Примечание: я не рекомендую брать модели с квантизацией ниже 4. Если модель с квантизацией 4 не помещается, то лучше посмотреть модели поменьше (с меньшим числом параметров).
Установка модели
С выбором модели определились. Как же теперь её скачать и использовать?
Возвращаемся в LM Studio. Если вы вышли с меню, то снова нажмите на лупу в правом верхнем углу. В меню выберите пункт "Model search" и в поисковой строке введите название модели
Найдите модель с нужной квантизацией (Число после заглавной буквы Q) либо, если это возможно, выберите нужную квантизацию в карточке модели:
Нажмите на зелёную кнопку Download и дождитесь скачивания модели
Во время скачивания с меню уже можно выйти, но LM Studio не закрывайте.
Использование модели
Для начала нужно создать чат. Нажимаем на кнопку "Create new chat" по центру либо на плюсик слева вверху:
Теперь сверху нажмите на "Select a model to load" и выберите модель:
Дождитесь загрузки модели и теперь можно с ней общаться в чате:
Чтобы выгрузить модель из памяти можно нажать на кнопку Eject вверху (справа от выбора модели) или найти LM Studio в трее и нажать на Unload All Models
Вроде норм \;
Если есть вопросы, пишите в тему либо мне в телеграм - @uwuowo9
В эпоху, когда популярные языковые модели вроде ChatGPT и Claude хранят все ваши диалоги, возникает вопрос о безопасности личных данных. Недавний случай с утечкой базы данных DeepSeek только подчеркивает проблему. В этой статье мы рассмотрим, как запустить и использовать большую языковую модель на вашем собственном компьютере, обеспечивая конфиденциальность.
Примечание: локальные модели уступают в точности передовым решениям от OpenAI или Anthropic. Выбор между точностью и безопасностью остается за вами.
Терминология
- Большая языковая модель (LLM) - система искусственного интеллекта, генерирующая текст на основе запроса пользователя.
- Параметры языковой модели - набор числовых значений, определяющий поведение и способности модели. Количество параметров влияет на размер и скорость работы модели.
- Квантизация - процесс снижения точности представления параметров модели для уменьшения её размера и увеличения скорости работы, но с возможной потерей точности.
Системные требования
Хотя для запуска больших моделей обычно используются мощные видеокарты, описанный метод позволяет запускать модели даже на CPU. Однако мощность железа влияет на скорость запуска и генерации текста.
Я рекомендую использовать видеокарты NVIDIA (например, у меня RTX 4070Ti Super с 16 ГБ памяти), но это не обязательное условие.
Подготовка к установке
Если планируете использовать GPU, убедитесь, что у вас установлен актуальный драйвер для видеокарты.Установка LM Studio
- Перейдите на официальный сайт LM Studio.
- Нажмите кнопку "Download LM Studio for ..." в зависимости от вашей операционной системы.
- Скачайте и установите приложение.
Спойлер: Изображение
Не удалось прогрузить медиа
Настройка LM Studio
1. Откройте приложение и установите runtime extension pack:Спойлер: Изображение
Не удалось прогрузить медиа
Спойлер: Изображение
Не удалось прогрузить медиа
- CUDA для видеокарт NVIDIA
- ROCm для видеокарт AMD
- CPU для использования только процессора
- Vulkan как универсальный вариант
- Metal или MLX для устройств Mac
Выбор модели
Используйте лидерборды для выбора модели на русском языке:Не удалось прогрузить медиа
Russian LLM Leaderboard - a Hugging Face Space by Vikhrmodels
This app lets you explore a leaderboard of large‑language‑model benchmark scores and add your own model for evaluation. Just provide the model name, revision, type, precision, weight format, organi...
huggingface.co
Рядом с моделью либо в самом названии указано число параметров модели в формате [число]B, где B (billions) означает миллиарды.
Для начала нужно посчитать, какие модели поместятся в вашу видеокарту
Заходим на калькулятор - https://eusholli.github.io/llm-ram-calculator/
У меня в видеокарте 16 ГБ видеопамяти (если запускаете на процессоре, то считайте ОЗУ а не видеопамять).
К примеру, я хочу запустить топовую открытую модель из лидерборда T-pro-it-1.0 от T-tech. Я вижу, что она на 32B (миллиарда) параметров. Значит, в калькуляторе в пункте "Number of parameters in billions (P)" пишем 32
Теперь подбираем квантизацию. Это параметр "Bit Mode when loading model (Q)". Обычно квантизация бывает 16, 8, 7, 6, ..., 1. Чем меньше число, тем меньше потребуется памяти, однако точность модели падает.
Пробую поставить 16 (самая высокая, т.е. потери качества не будет), нажимаю calculate и...
Спойлер: Изображение
Не удалось прогрузить медиа
Понижаю до 4 - 19.2 ГБ.
Понижаю до 3 - 14.4 ГБ.
Значит, чтобы вся модель поместилась в мою видеокарту, нужно найти ее с уровнем квантизации равным 3. При этом запустить я могу модели и с большей квантизацией, но часть будет загружена в ОЗУ и это её замедлит.
Примечание: я не рекомендую брать модели с квантизацией ниже 4. Если модель с квантизацией 4 не помещается, то лучше посмотреть модели поменьше (с меньшим числом параметров).
Установка модели
С выбором модели определились. Как же теперь её скачать и использовать?
Возвращаемся в LM Studio. Если вы вышли с меню, то снова нажмите на лупу в правом верхнем углу. В меню выберите пункт "Model search" и в поисковой строке введите название модели
Спойлер: Изображение
Не удалось прогрузить медиа
Найдите модель с нужной квантизацией (Число после заглавной буквы Q) либо, если это возможно, выберите нужную квантизацию в карточке модели:
Спойлер: Изображение
Не удалось прогрузить медиа
Нажмите на зелёную кнопку Download и дождитесь скачивания модели
Во время скачивания с меню уже можно выйти, но LM Studio не закрывайте.
Использование модели
Для начала нужно создать чат. Нажимаем на кнопку "Create new chat" по центру либо на плюсик слева вверху:
Спойлер: Изображение
Не удалось прогрузить медиа
Теперь сверху нажмите на "Select a model to load" и выберите модель:
Спойлер: Изображение
Не удалось прогрузить медиа
Дождитесь загрузки модели и теперь можно с ней общаться в чате:
Спойлер: Изображение
Не удалось прогрузить медиа
Чтобы выгрузить модель из памяти можно нажать на кнопку Eject вверху (справа от выбора модели) или найти LM Studio в трее и нажать на Unload All Models
Вроде норм \;
Если есть вопросы, пишите в тему либо мне в телеграм - @uwuowo9
👍19
🔥4
💯3