Цикл «Домашняя AI-лаба». Часть 1.

Обложка

Когда я начинал собирать AI-обвязку домашней лабы, в голове была красивая и наивная картинка: одна модель, которая умеет всё. Пишешь - отвечает, даёшь инструмент - вызывает, тормозит - перезапустил.

Реальность оказалась злее. «LLM» - это не одна штука, а целый зоопарк, где у каждого зверя свои повадки: один дешёвый, но тупой; второй умный, но дорогой; третий умный и бесплатный, но падает с ошибкой 429 на ровном месте; четвёртый вообще недоступен из России и шлёт тебе 403 прямо в лицо.

Чтобы агент, который живёт у тебя в подвале и разбирает твою сеть, работал стабильно, а не «по настроению», нужна система. Про неё и поговорим: кто есть кто среди моделей, чем облако отличается от локального Ollama, зачем нужна fallback-цепочка - и как при всём этом не платить лишнего.

Три этажа одного «мозга»

По сути любой мой запрос может уехать в одно из трёх мест, и у каждого - свои законы.

Облако. Внешние API-провайдеры, где ты платишь за токены. Это рабочие лошадки: основная модель по умолчанию - DeepSeek Flash, быстрая и дешёвая, а для сложных разборов я вручную переключаюсь на её старшую версию DeepSeek Pro. Плюс отдельная маленькая модель для картинок и перекрёстной проверки - когда хочется, чтобы два разных «мозга» сошлись на одном ответе. Плюсы: скорость, умение работать с инструментами, не нужно своё железо. Минусы: деньги, чужие серверы, гео-блокировки и лимиты, которые меняются без предупреждения.

Локальный Ollama. Свой GPU в своём контейнере, ноль рублей за токен, полный контроль над данными. Тут живёт gemma3:12b - основная локальная модель для субагентов. Текст не покидает домашнюю сеть, никто не считает твои запросы. Но у неё есть характер, о котором ниже, и он может сильно разочаровать.

Fallback-цепочка. Клей между первым и вторым: список моделей по убыванию «цены и ума». Запрос летит на первую, если она упала, занята или вернула ошибку - уезжает на следующую, и так до последнего «погреба», который почти никогда не отказывает:

  • первая - быстрая и дешёвая, справляется с 80% задач;
  • вторая - потяжелее и подороже, включается, когда первая не вывезла или легла;
  • последняя - бесплатная, медленная, но всегда на связи.

У меня это DeepSeek Flash, потом DeepSeek Pro, и в самом конце - qwen3:30b, который крутится у местного провайдера бесплатно по квоте. Последний рубеж не зависит от зарубежных API и их гео-блокировок, так что агент не останется с пустыми руками, даже когда всё вокруг горит.

Важно: порядок - это не про «кто умнее», а про «кто дешевле при достаточном качестве». Поставишь Pro первым - заплатишь за весь объём рутины, которую Flash сделал бы так же.

Живые цифры из наших замеров

Замеры честные, на своём железе, без маркетинга. Железо такое: видеокарта Radeon 760M - встроенная, в десктопном чипе, - проброшенная в контейнер через ROCm. Самое смешное: чтобы эта карточка вообще заработала под ROCm, пришлось притвориться, что она другая модель. Переменная HSA_OVERRIDE_GFX_VERSION=11.0.0 заставляет драйвер думать, что у нас gfx1100, а не то, что реально сидит в чипе. Без этого хака инференс падает на CPU, то есть в разы медленнее.

Итак, цифры:

  • gemma3:12b - 8 ГБ VRAM, 14.8 токена в секунду, контекст до 128 тысяч токенов. Основная локальная рабочая лошадка.
  • gemma3:4b - 23.5 токена в секунду, контекст скромнее (32 тысячи). Запасная, быстрая, но простоватая.
  • 8B-модели (hermes3, llama3.1) - я честно пытался использовать их в агентском режиме. Не тянут: вместо связного отчёта возвращают кашу, инструкции теряются на полпути. Удалены с диска без сожалений.

Для сравнения: облачная Flash отвечает практически мгновенно и умеет в инструменты; Pro - заметно умнее, но дороже и медленнее. Плата за удобство - деньги и то, что текст уходит на чужие серверы. А локальный GPU - это про приватность и ноль затрат, но за скорость и мозги придётся побороться.

Деньги: платишь не за интеллект, а за привычку

Самый недооценённый навык в лабе с LLM - не «завести ещё одну модельку», а научиться не платить за то, что может работать бесплатно.

Облачные API устроены коварно: счёт растёт не тогда, когда ты делаешь что-то сложное, а когда тебе лень разбираться, куда ушёл очередной запрос. Я это понял на третий месяц, когда открыл статистику и увидел, что половина расхода улетела на рутину, которую спокойно тянет локальная моделька: перескажи, перепиши, подставь в шаблон, прикинь заголовок.

Главная иллюзия новичка: «дорогая модель = хорошая модель, пусть на ней всё и крутится». На деле дорогая модель - инструмент с узким профилем. Для всего остального платить за топ - это как возить картошку на «порше». Доедет, да. Но зачем.

Поэтому разделение труда такое:

  • На бесплатное и локальное - вся рутина: черновики, пересказы, субагенты, простые вопросы, подстановки в шаблоны, «сведи вот эти три файла в табличку». qwen3:30b по квоте провайдера тянет это без единого цента.
  • На платные Claude/Pro - особые случаи: разбор сложного конфига, поиск неочевидных проблем, код с логикой, финальная вычитка текста перед публикацией. Когда задача одна на день и она реально важная - тут уместно заплатить за топ.

Смысл в том, чтобы платные модели включались редко, но метко. Тогда счёт в конце месяца - это копейки, а не «сколько?!».

Бесплатно ≠ безлимитно

У агрегаторов вроде OpenRouter есть целый пул моделей с ценой ноль: glm, gemma, nemotron и прочие. Звучит как сказка: большие контексты, много параметров, качай и радуйся. Но у бесплатного два нюанса, которые вылезают боком.

Лимиты. На момент августа 2026 без пополнения баланса - порядка 50 запросов в день (и 20 в минуту). На субагентов это уходит за час. После разового пополнения (у меня хватило $10) free-пул поднялся до ~1000 запросов в день. Лимит общий на все бесплатные модели, не «по тысяче на каждую». Цифры у OpenRouter меняются - сверяй кабинет.

429. Бесплатные модели живут в общей очереди и регулярно отдают «Provider returned error» - очередь перегружена. Это не сбой, это норма: бесплатное - значит, в очереди за всеми платными. Лечится ретраем с паузой или переключением на другую бесплатную модель. Проверено на практике: в один момент отвечают два nemotron'а, а glm и gemma молчат с 429. Через час картина может поменяться. Для рутины сойдёт, для чего-то важного - нет.

Мёртвые зоны: 403 из-за гео

Часть популярных облачных API из нашей страны просто не работает - отдаёт 403 на любом запросе. Не «медленно», не «с ошибками», а глухо: 403, до свидания. Сюда попадает и сам OpenAI, и часть моделей на OpenRouter, которые крутятся на их бэкенде.

Проверить легко: если модель «по документации» должна работать, а в логах стабильный 403 - она мертва именно для нас, и не надо три часа чинить то, что чинится только VPN'ом.

Главный вывод: не включать такие модели в fallback-цепочку. Иначе при первом же сбое основной модели агент падает в гарантированную дыру, а вместо экономии ты получаешь задержку и кучу красных строк в логах. Я однажды поймал себя на том, что «запасная» модель в цепочке была мёртвой с самого начала - просто её не проверили отдельно. У меня такие модели исключены из автоматического переключения намертво.

Считаем по токенам, а не «по запросу»

Самая частая ошибка в оценке стоимости - считать «за запрос». Запрос запросу рознь: один - 200 токенов, другой - 20 тысяч, потому что ты кинул в контекст три файла по десять килобайт.

Цена у моделей считается за миллион токенов, отдельно на вход и на выход. Порядок величин (ориентир на момент статьи, не прайс-лист): дешёвые Claude-классы - доллары за миллион на входе и заметно дороже на выходе; флагманы - в разы выше. Актуальные цифры всегда в кабинете провайдера.

Практический вывод: если задача требует тяжёлой модели - следи за тем, сколько она генерит на выходе, а не сколько ты ей скормил. Три килобайта контекста на входе почти бесплатны; три килобайта ответа от Opus - это уже заметная строка в счёте.

И ещё: токены - это не слова. Русский текст даёт примерно 1.5-2 токена на слово, код - ещё плотнее. Поэтому «прикинуть на глаз» по словам почти всегда врёт в меньшую сторону.

Мониторинг: порог тревоги и cron

Чтобы «не платить лишнего» стало фактом, а не мантрой, у меня висит cron-задача проверки баланса: ходит в API, смотрит остаток и расход, и если баланс проседает ниже порога - шлёт сообщение.

Порог подбирается под темп: от срабатывания до нуля должно оставаться время спокойно среагировать, а не «ой, всё встало». Для меня это пара дней автономной работы агента - с запасом.

Заодно та же задача смотрит, куда уходит трафик: какая модель сколько выжгла за сутки. Именно этот график однажды показал мне, что Flash крутит 90% запросов (как и задумано), а вот на Pro падает слишком много рутины - и я поправил маршрутизацию. Без цифр я бы этого не заметил: «ну вроде норм».

Где ещё зарыты грабли

Локальная модель не умеет в инструменты. gemma3 в связке с ollama версии 0.32.5 отвечает «does not support tools». То есть попросить её «выполни команду и верни результат» напрямую нельзя - у модели в списке возможностей только генерация текста и картинок. Сначала я этого не заметил: субагенты вроде работали. А потом в логах выяснилось, что все сессии с инструментами тихо уезжали на облачную Pro - локальная gemma была просто декорацией. Fallback-цепочка честно спасла запрос и так же честно спрятала подмену. И заодно добавила строку в счёт.

ROCm-хак капризный. Да, 12B-модель на встроенной карточке крутится. Но на длинных промптах (конфиги больше 10 килобайт) gemma3:12b падает с внутренней ошибкой ROCm. Короткие запросы работают, длинные - бабах. Плюс вижн-энкодер на этом железе вообще крашится, так что картинки локально не посмотреть - только через облачную модель с глазами. Жить можно, но это запасной аэродром, а не основной.

Вывод

Секрет не в том, чтобы найти «одну идеальную модель». Её нет. Секрет в том, чтобы честно разложить задачи по полочкам и склеить всё fallback-цепочкой: быстрая облачная модель для рутины, тяжёлая - для сложного, локальный GPU и бесплатная квота - для приватного и дешёвого, а цепочка переключений - чтобы ни один сбой не оставил агента без ответа.

И три урока с моих граблей. Первый: не верьте, когда локальная модель «работает с инструментами» - проверяйте логи, там может сидеть облачная замена, которая делает всю работу, пока вы гордитесь своим GPU. Второй: запасное выбирайте так, чтобы оно не лежало в той же луже (гео-блокировка, перегруз очереди), что и основное, иначе ваша «отказоустойчивость» - это два туза одной масти. Третий: считайте токены, а не запросы, и повесьте порог тревоги на баланс - домашняя лаба тем и хороша, что видно каждый запрос.

В следующей части - про контекстное окно и почему миллион токенов ещё не делает модель памятливой.

Теги: #llm #selfhosting #ollama #openclaw #openrouter #fallback