Когда команда меняет модель, она обычно сравнивает новые ответы с уже накопленными правильными. Проверка качества ИИ теряет смысл, если эти «правильные» ответы когда-то написала сама прежняя модель. Опубликованный 27 октября кейс Property Finder показывает, почему сначала приходится проверять основу сравнения.
Почему прежние ответы мешали сравнению
Площадка недвижимости оценивает фотографии объявлений. В совместном разборе Property Finder и AWS команда сообщила: 96,8% эталонных меток были унаследованы от действующей модели без независимой проверки. Эта цифра описывает происхождение разметки, а не долю неверных ответов.
При таком сравнении новая модель получала баллы за сходство с прежней. Для бизнеса это неудобная ловушка: можно отклонить полезную замену только потому, что она иначе отвечает на неоднозначные фотографии.
Понятный редакционный пример — снимок кухни, через дверь которой видна гостиная. Если в эталоне разрешена только кухня, второй обоснованный ответ выглядит ошибкой. До сравнения моделей нужно договориться, что именно считать правильным: единственный объект, главный объект или все видимые помещения.
Проверка качества ИИ начинается с понятного эталона
Для нового сравнения команда заново разметила 356 изображений из ОАЭ с участием отраслевого эксперта. Первые 256 использовала для настройки; итоговое сравнение охватывало все 356, включая ещё 100 изображений. Поэтому весь набор нельзя считать полностью независимым от разработки.
Практический вывод редакции — отделить создание правильных ответов от выбора победителя. Человек, который составляет эталон, должен видеть исходную фотографию и правила, а чужой готовый ответ может повлиять на его решение. Спорные случаи полезно разбирать отдельно и записывать основание выбора.
Например, для проверки товарных фотографий можно завести таблицу с четырьмя полями: файл, ожидаемый признак, основание и спорный момент. Если проверяется наличие водяного знака, важно заранее решить, относятся ли к нему дата съёмки и надпись на самом товаре. Иначе два аккуратных проверяющих будут оценивать разные задачи.
Это предложенный способ организовать собственную проверку, а не дополнительное описание процесса Property Finder. Он помогает обнаружить разногласие в правилах до того, как оно превратится в рейтинг моделей.
Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
Используйте эти модели
в Agent ROI.
Подписку можно оплатить в рублях.
Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
Используйте эти модели
в Agent ROI.
Подписку можно оплатить в рублях.
300 ₽ на первые запросы
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Начислим при регистрации в Agent ROI.

Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
при регистрации
Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
Используйте эти модели
в Agent ROI.
Подписку можно оплатить в рублях.
Оплачивайте подписку
в рублях
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Карту для старта
привязывать не нужно.
при регистрации
На первые запросы
к моделям в Agent ROI
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Карту для старта
привязывать не нужно.
Оплачивайте подписку
в рублях
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Попробуйте Grok, ChatGPT,
Gemini, Claude и Perplexity
Эти модели доступны по одной подписке
в Agent ROI.
Начните с бонуса при регистрации.

Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
Используйте эти модели
в Agent ROI.
Подписку можно оплатить в рублях.
Оплачивайте подписку
в рублях
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Используйте эти модели в Agent ROI.
Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
300 ₽ при регистрации
Карту привязывать не нужно.
Используйте эти модели в Agent ROI.
На первые запросы
к моделям в Agent ROI
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Бонус начислим при регистрации.
Карту привязывать не нужно.
300 ₽ на первые запросы
Бонус при регистрации
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Используйте эти модели в Agent ROI.

Оплачивайте подписку
в рублях
Grok, ChatGPT, Gemini, Claude
и Perplexity доступны по одной подписке.
Карту привязывать не нужно
Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке
Используйте эти модели
в Agent ROI.
Подписку можно оплатить в рублях.
Попробуйте Grok, ChatGPT,
Gemini, Claude и Perplexity
Эти модели доступны по одной подписке
в Agent ROI.
Бонус начислим при регистрации.
Карту привязывать не нужно.
при регистрации
Что ограничивает выводы из этого кейса
Источник написан участниками внедрения и поставщиком инфраструктуры. Он даёт конкретную методику, но не независимое подтверждение преимуществ одной платформы. Кроме того, для разных моделей было потрачено неодинаковое число итераций настройки.
Для читателя это причина внимательно выбирать формулировку результата. «Команда улучшила свой рабочий процесс» и «модель всегда точнее конкурентов» требуют разных доказательств. Второй вывод из такого кейса не следует.
В своей таблице результатов стоит показывать ошибки по отдельным признакам. Общий высокий балл может соседствовать с пропусками редкого, но важного случая. Для каталога фотографий это может быть приемлемо; для документа с обязательным реквизитом даже небольшая группа таких пропусков потребует отдельной проверки.
Как начать с небольшой проверки ответов
Выберите одну операцию, где вы уже сравниваете ответы ИИ с готовым образцом. Сначала выясните, кто и как создал этот образец. Если его написал прежний инструмент, попросите специалиста проверить часть исходных материалов заново, не показывая ему старый ответ.
После этого составьте короткие правила оценки и разделите примеры для настройки и для окончательной проверки. Не исправляйте контрольный набор под результат понравившейся модели. Отдельно записывайте время ручного разбора: высокая оценка мало помогает, если её нельзя воспроизвести при обычной нагрузке команды.
Начните с одной таблицы спорных ответов. Для организации дальнейшей проверки пригодится материал об ИИ для анализа данных.
Больше материалов по теме — в разделе «Данные, Excel и аналитика».