Market NinjaMarket Ninja

Массовая выгрузка

Постраничный обход большого среза датасета — для загрузки в LLM-контекст, собственную базу или аналитику — с учётом дневной квоты.

Навигация по категориям перед выгрузкой

Прежде чем выгружать весь ассортимент маркетплейса, часто удобно сузить область через список категорий — GET /categories, полученный category_path как фильтр category в GET /products. Полное руководство, включая совпадение по вхождению на любом уровне иерархии и разбор пустого category_path: [] — в разделе Категории. Так же можно сузить выгрузку по конкретному бренду через brand — см. раздел Бренды для списка доступных названий и примеров.

Постраничный обход

page_size по умолчанию 100, максимум 500 — специально больше типичного значения для UI-ориентированных API, рассчитан именно на массовую выгрузку. GET /products не возвращает meta.total — ориентируйтесь на meta.has_more:

#!/bin/bash
PAGE=1
while true; do
  RESPONSE=$(curl -s -G -H "Authorization: Bearer mn_live_..." \
    "https://data.marketninja.ru/v1/products" \
    --data-urlencode "marketplace=wildberries" \
    --data-urlencode "category=Зоотовары" \
    --data-urlencode "page_size=500" \
    --data-urlencode "page=$PAGE")

  echo "$RESPONSE" | jq -c '.data[]' >> products.jsonl

  HAS_MORE=$(echo "$RESPONSE" | jq '.meta.has_more')
  if [ "$HAS_MORE" != "true" ]; then break; fi
  PAGE=$((PAGE + 1))
done

Учитывайте дневную квоту

Квота считает записи, фактически возвращённые в ответах, а не количество запросов, так что постраничная выгрузка расходует её по числу полученных товаров, сколько бы запросов на это ни ушло. В каждом ответе есть заголовок X-Quota-Remaining. Пример выше останавливается, когда он доходит до 0 (или при 429 quota_exceeded), а при 429 rate_limited ждёт Retry-After секунд и повторяет ту же страницу. При 503 он ждёт Retry-After секунд (30, если заголовка нет), с каждым повтором дольше, и после трёх повторов останавливается: если query_timeout возвращается снова и снова, слишком тяжёлый сам запрос, и его стоит сузить (более точным фильтром), а не повторять без изменений. Расход квоты за текущий день по каждому ключу виден на странице API-ключи в личном кабинете. Значения лимитов и правила подсчёта описаны в разделе Лимиты и квоты.

Квота сбрасывается в 00:00 UTC (03:00 МСК). Если вы выгружаете весь датасет целиком, спланируйте выгрузку на несколько дней. Если 75 000 записей в сутки мало для вашей задачи, напишите нам в Telegram @getmarketninja.

Для LLM-контекста

Если цель — предоставить модели актуальный срез данных (а не хранить копию датасета у себя), удобно выгружать точечно, под конкретный запрос пользователя, а не всё сразу: например, найти конкретный товар или продавца через сценарии из Поиска товаров и передать модели уже готовый, компактный JSON — вместо предварительной массовой выгрузки «на всякий случай».

Обновлено

На странице