Большая языковая модель (LLM) — нейросеть, обученная предсказывать следующий токен: минимальную единицу текста (примерно ¾ слова). На огромном корпусе текстов она учится закономерностям языка, фактов и рассуждений, а на запросе генерирует ответ токен за токеном. Отсюда две базовые характеристики любой модели: объём контекста (сколько текста она «помнит» за раз) и скорость/цена (сколько стоит каждый сгенерированный токен).
Контекст измеряется в токенах: 128K — примерно 90–96 тысяч слов, 1M — уже «роман+». Чем больше контекст, тем больше документации/кода можно засунуть в один запрос, но и тем дороже обработка.
Цены указывают за 1 млн токенов и обычно разделены на вход (input) и выход (output): выход почти всегда дороже. Вход при этом часто бывает дешевле с добавлением кэширования — повторные части запроса считаются по сниженному тарифу в разы дешевле. На странице «Цены» сравниваются публичные тарифы провайдеров.
API-модели (GPT, Claude, Gemini, Grok…) — работают на серверах разработчика, доступны через API-ключ, оплата за токены. Максимум качества, ноль возни с железом, но ваши данные уезжают в облако и есть лимиты.
Open-weight модели (Qwen, GLM, DeepSeek, Llama, Gemma…) — веса открыты, можно запустить у себя (обычно нужно 24–64+ ГБ VRAM для приличного размера). Дешевле в проде и полностью приватно, но нужны железо и обслуживание, а качество чуть ниже фронтира.
Правило: отдайте рутинные приватные задачи open-weight (или дешёвым flash-моделям), а сложные рассуждения и кодинг — фронтирным API. Это экономит большую часть бюджета без потери качества там, где оно решает.
Бенчмарк — стандартизированный тест (обычно набор задач с эталонными ответами): SWE-bench (реальные задачи из GitHub), LiveCodeBench (кодинг), GPQA (естественно-научные вопросы «уровня PhD»), MMLU-Pro (широкие знания). Сводный счёт на этом сайте собран из проверяемых источников по методологии BenchLM.
Важные оговорки:
Все рейтинги, цены и даты релизов — открытые машиночитаемые данные BenchLM.ai. Обновление — ежедневно автоматически. Названия моделей, баллы и цены проверяйте по первоисточникам провайдеров на страницах моделей.
Рейтинги, цены и даты релизов на этом сайте берутся из открытых данных BenchLM.ai — сводного рейтинга языковых моделей, собирающего результаты из публикуемых бенчмарков.
Сайт агрегирует эти данные автоматически раз в сутки. Названия моделей, баллы и цены всегда сверяйте по первоисточникам провайдеров — ссылки есть на страницах моделей.
Сводный счёт модели — по шкале 0–100. Оценки опираются на публикуемые прогоны бенчмарков (SWE-bench, GPQA, MMLU-Pro, LiveCodeBench и другие), сгруппированные по задачам.