Прежде чем встраивать ИИ в работу, приходится решить приземлённый вопрос: брать подписку или поднимать модель у себя. От ответа зависят деньги, стабильность и то, упрётесь ли вы в ограничения.
Как выбранная модель ведёт себя в реальной работе агента, показывают на записи воркшопа по сборке пентест-агента. А здесь разложим варианты по полочкам, чтобы выбрать под свои задачи.
Два пути доступа к моделям
Первый путь это подписка. Можно брать доступ напрямую у провайдера по API или через агрегатор, где платишь по факту за использование. Для открытых моделей есть отдельные сервисы, через которые доступен целый зоопарк весов. Второй путь это запуск открытой модели локально, на своём железе.
Сколько стоит поднять модель у себя
Для локального запуска есть простое правило прикидки. Берёте количество миллиардов параметров модели и умножаете на два. Получаете примерный объём видеопамяти в гигабайтах, который понадобится для более-менее нормальной работы. Модный сейчас размер это около тридцати миллиардов параметров, популярные открытые семейства крутятся рядом. По формуле выходит порядка шестидесяти гигабайт видеопамяти, то есть, например, ноутбук с объединённой памятью на шестьдесят четыре гигабайта.
Есть нюанс, который легко недооценить. Развернуть достаточно большую и при этом достаточно умную модель требует серьёзных мощностей, и нередко арендовать доступ у провайдера дешевле и проще, чем хостить у себя. Результаты локального запуска обычно менее стабильны, чем по подписке.
Открытые против закрытых
Открытые модели, в том числе от китайских команд, становятся доступны довольно быстро после того, как выкладывают веса. У них, как правило, меньше жёстких ограничений на задачи безопасности. Закрытые модели американских провайдеров сильны в этой области, но доступ к ним затруднён: нужно пройти верификацию, что вы действительно занимаетесь исследованиями безопасности, а из России это непросто.
Сколько платить
По подписке ориентиры такие: двадцать, сто и двести долларов. Двадцатидолларовый лимит быстро сгорает, когда активно пишешь и отлаживаешь код. А вот на повседневные задачи вроде поиска зацепок на большом охвате двадцати долларов вполне хватает. Выбор тарифа зависит от того, насколько тяжёлую работу вы собираетесь вести. Как разные модели ведут себя под одну и ту же задачу, показывают на записи воркшопа.
Что в итоге важнее модели
Главный вывод для выбора неожиданный. Если взять одну и ту же модель и в одном случае хорошо её настроить, а в другом запустить как есть, настроенная всегда отработает лучше. Локальные модели не стоит сравнивать с новыми закрытыми, это разные весовые категории. Но при прочих равных выигрывает не тот, у кого мощнее модель, а тот, кто её сконфигурировал. Поэтому выбор между подпиской и своим железом стоит делать от задач и бюджета, а не от желания взять самое громкое название.
Как настроить выбранную модель под работу, собрать контекст и навыки и выжать из неё максимум, разбирают на записи воркшопа по сборке пентест-агента. Полезно посмотреть перед тем, как вкладываться в железо или подписку.
