Локальная нейросеть на ПК: железо, LM Studio Bionic и тесты

Локальная нейросеть на ПК – модель, которая работает прямо на вашем компьютере: без лимитов облачных чатов и без оплаты подписки через третьи руки. Но если скачать программу и выбрать модель наугад, результат часто разочаровывает – либо черепашья скорость, либо ответы хуже облачных. Разберемся, как подобрать модель под железо, чем чат с локальной моделью отличается от агента вроде LM Studio Bionic и что такой агент умеет на самом деле по итогам трёх независимых тестов.

Какую модель для LM Studio потянет ваш ПК: размер, квантование и память

У любой локальной модели в названии два ключевых параметра. Первый – размер: число параметров в миллиардах, обозначается буквой B. Второй – квантование, то есть насколько сжаты веса модели; его обозначают буквой Q и числом бит.

С квантованием выбор обычно простой: 4 бита подходят большинству. Модель становится почти втрое легче, а качество обычно падает на несколько процентов. Версии на 8 бит точнее, но требуют заметно больше памяти.

С размером работает грубое, но удобное правило: число миллиардов параметров не должно быть больше объёма видеопамяти в гигабайтах. На слабых ПК без видеокарты локальные нейросети нагружают процессор и оперативную память – и потолок резко снижается. Допустим, у вас ноутбук с 16 ГБ ОЗУ. Тогда разумно брать модель примерно на 4–6 млрд параметров, более крупные будут работать очень медленно.

Ориентир для агентских задач – отдельная видеокарта минимум с 12 ГБ видеопамяти. Без неё экспериментировать можно, но к скорости стоит относиться спокойно.

LM Studio или LM Studio Bionic: чат или агент

У LM Studio сейчас два продукта, и путать их не стоит. Обычная LM Studio – чат: вы задаёте вопрос локальной модели и получаете ответ, интернет для этого не нужен. LM Studio Bionic – агент. Он работает и с локальными, и с облачными моделями и сам выполняет действия: открывает и правит файлы в рабочей папке, ищет информацию в интернете, запускает скрипты.

За эти возможности приходится платить ресурсами – это, по сути, накладные расходы агента. Если нужен только чат – редактировать тексты, разбирать документы, писать небольшие куски кода, – обычная LM Studio заметно легче и подходит лучше. На скромном компьютере без видеокарты Bionic с маленькой моделью Gemma 4 E4B отвечал на простое приветствие 2 минуты 8 секунд. Для агентской работы с файлами это терпимо, для живого диалога – нет.

Кстати, поиск в интернете в Bionic по умолчанию выключен. Чтобы его включить, нужно войти в аккаунт LM Studio. Регистрация бесплатная. Важное ограничение: без неё агент работает только с тем, что лежит у вас на диске.

Что локальный ИИ-агент умеет на деле: результаты трёх тестов

Обещания у агентов звучат одинаково: работа с файлами, документами и интернетом. Проверки показывают картину честнее: что-то получается сразу, что-то не получается совсем.

У красивых демонстраций есть простое объяснение. Официальные примеры Bionic показаны на облачной модели с 2,8 трлн параметров из платного тарифа. Маленькая локальная модель на слабом ПК – совсем другой класс, и ждать от неё того же не стоит.

Модель – полдела: почему агент вокруг неё меняет результат

Мнение «локальные модели плохо пишут код» часто строится на неверном сравнении. Вокруг модели есть окружение – его называют харнессом: сам агент, подключённые MCP-серверы, языковые серверы (LSP) и другие инструменты. От него результат зависит не меньше, чем от модели.

Это хорошо видно на эксперименте, где одну и ту же локальную модель подключили к трём разным агентам и дали одинаковую задачу – написать игру по спецификации. Aider за час так и не собрал рабочий прототип. OpenCode, в котором языковые серверы и поддержка MCP есть сразу, с первой попытки выдал в целом рабочий код. Минималистичный агент pi, где по умолчанию нет ничего, но который хорошо расширяется, справился не хуже – и потратил около 3,2 млн токенов против примерно 6 млн у OpenCode, почти вдвое меньше.

Вторая частая ошибка – судить по самой маленькой версии. Кто-то запускает на ноутбуке крошечную и сильно сжатую модель, получает слабые ответы и решает, что локальные модели бесполезны. На самом деле это вывод о конкретной сборке, а не о семействе моделей.

Поэтому порядок такой: если результат не устраивает, попробуйте сначала другой агент или более крупную версию модели. Выводы о локальном ИИ на ПК – только после этого.

Как ставить задачи локальной нейросети

Локальный агент ограничен памятью и контекстом сильнее облачного, поэтому результат зависит и от модели, и от того, как сформулирована работа. Перед запуском – короткий список:

• Разбейте большую задачу на шаги: сначала конвертация файлов, потом анализ, потом отбор. Одна огромная составная просьба легко перегружает систему.
• Для новой задачи, не связанной с предыдущей, откройте отдельный проект или чат – агент держит в голове контекст прошлой работы и может путаться.
• После выполнения проверьте результат сами: откройте папку, файл, документ. Отчёт агента – не доказательство.
• Данные из интернета сверяйте с исходной страницей, особенно если важна свежесть.
• Если агент раз за разом не справляется, смените модель или агента, а не переписывайте промпт в десятый раз.

Ключевые термины

• Квантование – Сжатие весов модели до меньшего числа бит (например, Q4 или Q8), чтобы она занимала меньше памяти при небольшой потере качества.
• Харнесс (harness) – Окружение вокруг языковой модели – агент, подключённые инструменты, MCP-серверы и LSP, – от которого зависит итоговый результат.
• ИИ-агент – Программа, которая с помощью языковой модели не только отвечает в чате, но и сама выполняет действия: работает с файлами, запускает скрипты, ходит в интернет.
• MCP (Model Context Protocol) – Открытый стандарт подключения языковых моделей и агентов к внешним сервисам и инструментам, например к веб-поиску.
• GGUF и MLX – Форматы файлов локальных моделей: GGUF – универсальный формат, который работает и на Windows, и на Mac, MLX – оптимизированный для Mac на Apple Silicon.
• LSP – Языковой сервер, который подсказывает агенту структуру кода и ошибки для конкретного языка программирования.

Итог: когда хватит локальной модели, а когда нужна подписка

Локальная нейросеть на ПК закрывает рутинные задачи и поиск базовой информации – если модель подобрана под память, а агент под задачу. Сложные многошаговые сценарии вроде создания документов с нуля пока надёжно работают на крупных облачных моделях, а не на маленьких локальных. Все зависит от железа. С видеокартой от 12 ГБ локальный агент на ПК становится рабочим инструментом, а без неё остаётся скорее полигоном для экспериментов, где к скорости и ошибкам нужно относиться спокойно.

Проверьте себя

1. У вас ноутбук без видеокарты с 16 ГБ оперативной памяти. Какую модель разумно попробовать?

• А. Модель на 4–6 млрд параметров в 4-битном квантовании
• Б. Любую: размер модели не влияет на скорость
• В. Модель на 70 млрд параметров – она умнее

2. Вам нужен только чат с локальной моделью: задать вопрос, отредактировать текст. Что выбрать?

• А. Агента Bionic – он лучше во всём
• Б. Обычную LM Studio
• В. Только облачную подписку

3. Агент отчитался: «Документ успешно создан». Что делать?

• А. Ничего, агент не ошибается в отчётах
• Б. Открыть папку и проверить, что файл действительно появился
• В. Сразу переходить к следующей задаче в том же чате

4. Знакомый запустил модель в одном агенте, получил нерабочий код и решил, что локальные модели бесполезны. В чём ошибка? (Верных ответов несколько.)

• А. Он не учёл, что агент и инструменты вокруг модели сильно влияют на результат
• Б. Ошибки нет: локальные модели не умеют писать код
• В. Он мог запустить самую маленькую и сильно сжатую версию модели

5. Вы хотите за один запрос обработать 2000 RAW-снимков, оценить каждый и выбрать лучшие. Как поступить?

• А. Дать всё одним промптом – агент сам разберётся
• Б. Разбить работу на последовательные шаги: конвертация, затем оценка, затем отбор
• В. Включить режим рассуждения, и задача пройдёт за один раз