Podlodka #501 – Локальные модели для кодинга

Подписка на облачного кодинг-агента стоит не так уж дорого. Зачем тогда покупать GPU и запускать модель самому? Вместе с Иваном Опариным из Wildberries разбираемся, какие локальные модели уже годятся для агентной разработки, где они уступают облачным, сколько стоит железо под них и как настраивать их под свою кодовую базу. А самое главное – дадим подробный гайд по тому, как решить свою первую задачу с помощью агента на локальной модели, и по тому, как внедрить их в свою ежедневную работу. Хочешь стать главным экспертом по AI в своей команде? Один из лучших способов – перенимать опыт у тех, кто уже внедряет AI и набивает шишки на практике. Вступай в Podlodka AI Engineers Club – закрытое сообщество 800 инженеров c еженедельными воркшопами, активным чатом и огромной базой знаний. https://podlodka.ai Реклама. ИП Толстая, ИНН 507503278104, erid: 2SDnjdsfbtg Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Стас Цыганов, Егор Толстой Полезные ссылки: Чат «ИИнтузиаст» https://t.me/+H3uHM51jCg5mZjAy Канал «ИИнтузиаст» https://t.me/byurrer_ru «Фарш не провернуть» — канал Алексея Фатеева о локальных моделях и инференсе https://t.me/fuckup_files «Локальный максимум» — материалы о локальных LLM, инференсе и GPU https://alesha.pro/ Qwen3.8-27B — основная модель, которую обсуждаем в выпуске https://huggingface.co/Qwen/Qwen3.8-27B Qwen3.8-27B — GGUF-квантизации от Unsloth https://huggingface.co/unsloth/Qwen3.8-27B-GGUF Qwen3.8-Flash-Next https://huggingface.co/Qwen/Qwen3.8-Flash-Next GLM-5.3-Flash https://huggingface.co/zai-org/GLM-5.3-Flash DeepSeek V4.1 Flash https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 Gemma — документация семейства моделей Google https://ai.google.dev/gemma/docs/core Unsloth — динамические квантизации моделей https://unsloth.ai/blog/dynamic-v2 llama.cpp — движок для запуска локальных моделей https://github.com/ggml-org/llama.cpp vLLM https://github.com/vllm-project/vllm SGLang https://github.com/sgl-project/sglang DS4 / DwarfStar — inference-движок от создателя Redis https://github.com/antirez/ds4 DeepInfer — inference-движок DeepSeek https://github.com/deepseek-ai/DeepInfer Mirai https://trymirai.com/ Uzu — inference-движок Mirai https://github.com/trymirai/uzu Coinbase — кейс дообучения Qwen3.5-9B для выявления фрода https://www.coinbase.com/blog/part-three-owning-intelligence-series Cross-Model KV Cache Transfer — исследование переноса KV-кэша между моделями https://arxiv.org/abs/2608.03893 Экспериментальная реализация переноса KV-кэша на vLLM от Алексея Фатеева https://github.com/alesha-pro/vllm-cross-model-kv Mostik — передача внутренних состояний между большой и маленькой моделями https://mostik.ai/read-more Microsoft — локальные модели и инструменты в Windows и GitHub Copilot https://commandline.microsoft.com/local-models-sandboxed-tools-github-windows/ Microsoft — гибридный AI в Windows https://blogs.windows.com/windowsexperience/2026/10/07/building-windows-for-hybrid-intelligence/ Гибридный инференс с клиент-серверным разнесением prefill и decode: архитектура и экономика для клиентов с унифицированной памятью https://github.com/relux-works/hybrid-inference-paper Андрей Карпати — о разрыве между использованием чат-ботов и продвинутых агентских систем https://x.com/karpathy/status/2109361546505966046 Эссе инженера DeepSeek об автоматизации своей работы и открытом интеллекте https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA Английский пересказ эссе инженера DeepSeek и перевод в комментариях https://www.lesswrong.com/posts/o8roRrdisBAjngHJN/a-summary-of-a-viral-chinese-essay-on-what-a-deepseek-kernel