Цикл «Домашняя AI-лаба». Часть 1.
Когда я начинал собирать AI-обвязку домашней лабы, в голове была красивая и наивная картинка: одна модель, которая умеет всё. Пишешь - отвечает, даёшь инструмент - вызывает, тормозит - перезапустил.
Реальность оказалась злее. «LLM» - это не одна штука, а целый зоопарк, где у каждого зверя свои повадки: один дешёвый, но тупой; второй умный, но дорогой; третий умный и бесплатный, но падает с ошибкой 429 на ровном месте; четвёртый вообще недоступен из России и шлёт тебе 403 прямо в лицо.
Чтобы агент, который живёт у тебя в подвале и разбирает твою сеть, работал стабильно, а не «по настроению», нужна система. Про неё и поговорим: кто есть кто среди моделей, чем облако отличается от локального Ollama, зачем нужна fallback-цепочка - и как при всём этом не платить лишнего.
Три этажа одного «мозга»
По сути любой мой запрос может уехать в одно из трёх мест, и у каждого - свои законы.
Облако. Внешние API-провайдеры, где ты платишь за токены. Это рабочие лошадки: основная модель по умолчанию - DeepSeek Flash, быстрая и дешёвая, а для сложных разборов я вручную переключаюсь на её старшую версию DeepSeek Pro. Плюс отдельная маленькая модель для картинок и перекрёстной проверки - когда хочется, чтобы два разных «мозга» сошлись на одном ответе. Плюсы: скорость, умение работать с инструментами, не нужно своё железо. Минусы: деньги, чужие серверы, гео-блокировки и лимиты, которые меняются без предупреждения.
Локальный Ollama. Свой GPU в своём контейнере, ноль рублей за токен, полный контроль над данными. Тут живёт gemma3:12b - основная локальная модель для субагентов. Текст не покидает домашнюю сеть, никто не считает твои запросы. Но у неё есть характер, о котором ниже, и он может сильно разочаровать.
Fallback-цепочка. Клей между первым и вторым: список моделей по убыванию «цены и ума». Запрос летит на первую, если она упала, занята или вернула ошибку - уезжает на следующую, и так до последнего «погреба», который почти никогда не отказывает:
- первая - быстрая и дешёвая, справляется с 80% задач;
- вторая - потяжелее и подороже, включается, когда первая не вывезла или легла;
- последняя - бесплатная, медленная, но всегда на связи.
У меня это DeepSeek Flash, потом DeepSeek Pro, и в самом конце - qwen3:30b, который крутится у местного провайдера бесплатно по квоте. Последний рубеж не зависит от зарубежных API и их гео-блокировок, так что агент не останется с пустыми руками, даже когда всё вокруг горит.
Важно: порядок - это не про «кто умнее», а про «кто дешевле при достаточном качестве». Поставишь Pro первым - заплатишь за весь объём рутины, которую Flash сделал бы так же.
Живые цифры из наших замеров
Замеры честные, на своём железе, без маркетинга. Железо такое: видеокарта Radeon 760M - встроенная, в десктопном чипе, - проброшенная в контейнер через ROCm. Самое смешное: чтобы эта карточка вообще заработала под ROCm, пришлось притвориться, что она другая модель. Переменная HSA_OVERRIDE_GFX_VERSION=11.0.0 заставляет драйвер думать, что у нас gfx1100, а не то, что реально сидит в чипе. Без этого хака инференс падает на CPU, то есть в разы медленнее.
Итак, цифры:
- gemma3:12b - 8 ГБ VRAM, 14.8 токена в секунду, контекст до 128 тысяч токенов. Основная локальная рабочая лошадка.
- gemma3:4b - 23.5 токена в секунду, контекст скромнее (32 тысячи). Запасная, быстрая, но простоватая.
- 8B-модели (hermes3, llama3.1) - я честно пытался использовать их в агентском режиме. Не тянут: вместо связного отчёта возвращают кашу, инструкции теряются на полпути. Удалены с диска без сожалений.
Для сравнения: облачная Flash отвечает практически мгновенно и умеет в инструменты; Pro - заметно умнее, но дороже и медленнее. Плата за удобство - деньги и то, что текст уходит на чужие серверы. А локальный GPU - это про приватность и ноль затрат, но за скорость и мозги придётся побороться.
Деньги: платишь не за интеллект, а за привычку
Самый недооценённый навык в лабе с LLM - не «завести ещё одну модельку», а научиться не платить за то, что может работать бесплатно.
Облачные API устроены коварно: счёт растёт не тогда, когда ты делаешь что-то сложное, а когда тебе лень разбираться, куда ушёл очередной запрос. Я это понял на третий месяц, когда открыл статистику и увидел, что половина расхода улетела на рутину, которую спокойно тянет локальная моделька: перескажи, перепиши, подставь в шаблон, прикинь заголовок.
Главная иллюзия новичка: «дорогая модель = хорошая модель, пусть на ней всё и крутится». На деле дорогая модель - инструмент с узким профилем. Для всего остального платить за топ - это как возить картошку на «порше». Доедет, да. Но зачем.
Поэтому разделение труда такое:
- На бесплатное и локальное - вся рутина: черновики, пересказы, субагенты, простые вопросы, подстановки в шаблоны, «сведи вот эти три файла в табличку». qwen3:30b по квоте провайдера тянет это без единого цента.
- На платные Claude/Pro - особые случаи: разбор сложного конфига, поиск неочевидных проблем, код с логикой, финальная вычитка текста перед публикацией. Когда задача одна на день и она реально важная - тут уместно заплатить за топ.
Смысл в том, чтобы платные модели включались редко, но метко. Тогда счёт в конце месяца - это копейки, а не «сколько?!».
Бесплатно ≠ безлимитно
У агрегаторов вроде OpenRouter есть целый пул моделей с ценой ноль: glm, gemma, nemotron и прочие. Звучит как сказка: большие контексты, много параметров, качай и радуйся. Но у бесплатного два нюанса, которые вылезают боком.
Лимиты. На момент августа 2026 без пополнения баланса - порядка 50 запросов в день (и 20 в минуту). На субагентов это уходит за час. После разового пополнения (у меня хватило $10) free-пул поднялся до ~1000 запросов в день. Лимит общий на все бесплатные модели, не «по тысяче на каждую». Цифры у OpenRouter меняются - сверяй кабинет.
429. Бесплатные модели живут в общей очереди и регулярно отдают «Provider returned error» - очередь перегружена. Это не сбой, это норма: бесплатное - значит, в очереди за всеми платными. Лечится ретраем с паузой или переключением на другую бесплатную модель. Проверено на практике: в один момент отвечают два nemotron'а, а glm и gemma молчат с 429. Через час картина может поменяться. Для рутины сойдёт, для чего-то важного - нет.
Мёртвые зоны: 403 из-за гео
Часть популярных облачных API из нашей страны просто не работает - отдаёт 403 на любом запросе. Не «медленно», не «с ошибками», а глухо: 403, до свидания. Сюда попадает и сам OpenAI, и часть моделей на OpenRouter, которые крутятся на их бэкенде.
Проверить легко: если модель «по документации» должна работать, а в логах стабильный 403 - она мертва именно для нас, и не надо три часа чинить то, что чинится только VPN'ом.
Главный вывод: не включать такие модели в fallback-цепочку. Иначе при первом же сбое основной модели агент падает в гарантированную дыру, а вместо экономии ты получаешь задержку и кучу красных строк в логах. Я однажды поймал себя на том, что «запасная» модель в цепочке была мёртвой с самого начала - просто её не проверили отдельно. У меня такие модели исключены из автоматического переключения намертво.
Считаем по токенам, а не «по запросу»
Самая частая ошибка в оценке стоимости - считать «за запрос». Запрос запросу рознь: один - 200 токенов, другой - 20 тысяч, потому что ты кинул в контекст три файла по десять килобайт.
Цена у моделей считается за миллион токенов, отдельно на вход и на выход. Порядок величин (ориентир на момент статьи, не прайс-лист): дешёвые Claude-классы - доллары за миллион на входе и заметно дороже на выходе; флагманы - в разы выше. Актуальные цифры всегда в кабинете провайдера.
Практический вывод: если задача требует тяжёлой модели - следи за тем, сколько она генерит на выходе, а не сколько ты ей скормил. Три килобайта контекста на входе почти бесплатны; три килобайта ответа от Opus - это уже заметная строка в счёте.
И ещё: токены - это не слова. Русский текст даёт примерно 1.5-2 токена на слово, код - ещё плотнее. Поэтому «прикинуть на глаз» по словам почти всегда врёт в меньшую сторону.
Мониторинг: порог тревоги и cron
Чтобы «не платить лишнего» стало фактом, а не мантрой, у меня висит cron-задача проверки баланса: ходит в API, смотрит остаток и расход, и если баланс проседает ниже порога - шлёт сообщение.
Порог подбирается под темп: от срабатывания до нуля должно оставаться время спокойно среагировать, а не «ой, всё встало». Для меня это пара дней автономной работы агента - с запасом.
Заодно та же задача смотрит, куда уходит трафик: какая модель сколько выжгла за сутки. Именно этот график однажды показал мне, что Flash крутит 90% запросов (как и задумано), а вот на Pro падает слишком много рутины - и я поправил маршрутизацию. Без цифр я бы этого не заметил: «ну вроде норм».
Где ещё зарыты грабли
Локальная модель не умеет в инструменты. gemma3 в связке с ollama версии 0.32.5 отвечает «does not support tools». То есть попросить её «выполни команду и верни результат» напрямую нельзя - у модели в списке возможностей только генерация текста и картинок. Сначала я этого не заметил: субагенты вроде работали. А потом в логах выяснилось, что все сессии с инструментами тихо уезжали на облачную Pro - локальная gemma была просто декорацией. Fallback-цепочка честно спасла запрос и так же честно спрятала подмену. И заодно добавила строку в счёт.
ROCm-хак капризный. Да, 12B-модель на встроенной карточке крутится. Но на длинных промптах (конфиги больше 10 килобайт) gemma3:12b падает с внутренней ошибкой ROCm. Короткие запросы работают, длинные - бабах. Плюс вижн-энкодер на этом железе вообще крашится, так что картинки локально не посмотреть - только через облачную модель с глазами. Жить можно, но это запасной аэродром, а не основной.
Вывод
Секрет не в том, чтобы найти «одну идеальную модель». Её нет. Секрет в том, чтобы честно разложить задачи по полочкам и склеить всё fallback-цепочкой: быстрая облачная модель для рутины, тяжёлая - для сложного, локальный GPU и бесплатная квота - для приватного и дешёвого, а цепочка переключений - чтобы ни один сбой не оставил агента без ответа.
И три урока с моих граблей. Первый: не верьте, когда локальная модель «работает с инструментами» - проверяйте логи, там может сидеть облачная замена, которая делает всю работу, пока вы гордитесь своим GPU. Второй: запасное выбирайте так, чтобы оно не лежало в той же луже (гео-блокировка, перегруз очереди), что и основное, иначе ваша «отказоустойчивость» - это два туза одной масти. Третий: считайте токены, а не запросы, и повесьте порог тревоги на баланс - домашняя лаба тем и хороша, что видно каждый запрос.
В следующей части - про контекстное окно и почему миллион токенов ещё не делает модель памятливой.
Теги: #llm #selfhosting #ollama #openclaw #openrouter #fallback