Data Science by ODS.ai 🦜

Forwarded from Valuable AI / Валентин Малых

тут вышел ClockBench, бенчмарк, который проверяет умение моделей определять время по часам со стрелками; современные модели с ним справляются плохо (лучший результат - 13% у Gemini), что собственно неудивительно - большая часть изображений в интернете, на которых и тренируются модели, появились вместе со смартфонами, которые по совместительству наручные часы со стрелками и заменили

из забавного - человеческий результат на бенчмарке составляет 89%, хотя 6 лет назад было исследование, которое показало, что старшее поколение может распознавать время в 96% случаев; а зумеры (на тот момент люди в возрасте 18-24 лет) - только в 50%, такие дела

@valuableai

😁5🤷2

www.tgoop.com/opendatascience/2585

2.54K viewsSep 9 at 10:05

тут вышел ClockBench, бенчмарк, который проверяет умение моделей определять время по часам со стрелками; современные модели с ним справляются плохо (лучший результат - 13% у Gemini), что собственно неудивительно - большая часть изображений в интернете, на которых и тренируются модели, появились вместе со смартфонами, которые по совместительству наручные часы со стрелками и заменили

из забавного - человеческий результат на бенчмарке составляет 89%, хотя 6 лет назад было исследование, которое показало, что старшее поколение может распознавать время в 96% случаев; а зумеры (на тот момент люди в возрасте 18-24 лет) - только в 50%, такие дела

@valuableai

BY Data Science by ODS.ai 🦜