Как запустить бенчмарк

1. Установите NanoLLM и скачайте модель по умолчанию (её скачивает установщик или nanollm models pull).

2. Запустите бенчмарк. По умолчанию — быстрый набор: auto и два репрезентативных пресета; полный — с --full:

   nanollm bench
   nanollm bench --full

   Каждый пресет идёт в отдельном процессе: прогрев, три повтора, медиана и разброс. Пресет, который не помещается в память машины, отмечается как «не помещается» — это результат, а не ошибка. На время прогона закройте тяжёлые программы и подключите ноутбук к сети.

3. После прогона NanoLLM покажет сводку и точный JSON, который уйдёт на сайт, и спросит согласие. Ничего не отправляется без вашего «y». Для скриптов — --submit.

4. Без сети результат сохраняется в файл; отправить его позже:

   nanollm bench submit bench/results/bench-ДАТА-standard.json

5. Удалить свою отправку (нужен тот же ключ установки, который её подписал):

   nanollm bench withdraw ID

   Режим «анонимно» (bench.anonymous: true) подписывает отправку одноразовым ключом: её нельзя будет удалить и связать с другими вашими отправками.

Что уходит на сайт

Метрики пресетов, версии NanoLLM и llama.cpp, хэши модели и профиль железа: процессор, память, видеокарта, производитель и модель компьютера, ОС, источник питания, тип диска. Не уходят имя компьютера и пользователя, серийные номера, UUID и MAC-адреса; тексты ответов модели — только их хэш. Подробности — в политике приватности.

Как считаются цифры

Для каждой группы (модель, набор, пресет, система, процессор, видеокарта, ОС) показана медиана и p25–p75. Каждая установка и каждая машина (грубый отпечаток железа) учитываются один раз, сколько бы раз они ни отправляли результат. Результаты разных версий набора не смешиваются. Скорость генерации проверяется на правдоподобие по пропускной способности памяти; выбросы уходят на модерацию.