Foundation Models Catalog

Сервис для запуска и управления LLM в облаке Selectel. Выберите модель, конфигурацию и получите готовый endpoint для работы с ней.

Open AI API Большой выбор GPU Выделенный endpoint

Каталог преднастроенных моделей с готовым API

Полный список моделей смотрите в панели управления. Выберите модель и получите свой выделенный endpoint.

Как развернуть LLM из Foundation Models Catalog

Выберите модель

В выборе помогут теги, система поиска и ссылки на описание моделей в Hugging Face.

Получите рекомендуемую конфигурацию

Задайте ключевые параметры работы модели: тип данных, максимальную длину контекста, количество одновременных запросов. Система предложит рекомендуемую конфигурацию инфраструктуры и релевантные бенчмарки.

Задайте параметры Inference-сервиса

Выберите параметры масштабирования: фиксированное количество инстансов или автоматическое масштабирование под нагрузку. Укажите тип диска.

Создайте Inference-сервис

Вы получите endpoint для работы с моделью, пример curl-запроса для тестирования, API-ключ для авторизации.