Биология - Netflix Prize - История и результаты
07 мая 2011Оглавление:
1. Netflix Prize
2. Данные
3. Призы
4. История и результаты
Соревнование началось 2 октября 2006 года. Уже 8 октября команда WXYZConsulting превзошла результаты Cinematch. К 15 октября было уже 3 компании с результатами лучшими, чем Cinematch. Одна из них превзошла Cinematch на 1,06 %, этого достаточно, чтобы получить приз за прогресс. К июню 2007 для участия в соревновании зарегистрировались более 20 тысяч команд из более чем 150 стран. 2000 команд послали 13 тысяч наборов предсказаний.
В первый год соревнования лидерами гонки были следующие команды:
- Gravity, группа из 4 учёных из Будапештского технологического университета.
- ML@UToronto A, команда из университета Торонто, возглавляемая проф. Джеффри Хинтоном.
- анонимная команда, называющая себя ICMLsubmission
- BellKor, группа учёных из AT&T
2007
12 августа 2007 многие участники собрались на конференцию «KDD Cup and Workshop 2007». в Сан-Хосе, Калифорния. На конференции все четыре ведущих группы представили свои техники.
2 сентября 2007 участникам осталось 30 дней до присуждения приза за прогресс 2007 года. В начале этого срока лучший результат был у BellKor с её СКО 0,8728, за которой следовали Dinosaur Planet и Gravity. В последний час перед присуждением приза первое место занял KorBell. Как оказалось, это другое имя команды BellKor.
13 ноября 2007, KorBell был объявлен лауреатом приза за прогресс в размере $50,000. с СКО 0.8712. Команда состояла из трёх исследователей из AT&T: Иегуды Корена, Роберта Белла и Криса Волински. Как и требуется правилами, они опубликовали описание своего алгоритма.
2008
BellCor объединился с BigChaos. Объединённая команда «BellKor in BigChaos» достигла улучшения в 9,44 % и получила приз за прогресс. Участники команды опубликовали описание использованного алгоритма.
2009
26 июня команда «BellKor’s Pragmatic Chaos», образованная слиянием команд «BellKor in BigChaos» и «Pragmatic Theory», достигла улучшения в 10,05 % по сравнению с Cinematch, и таким образом соревнование перешло в завершающую фазу. С этого момента всем участникам отводилось 30 дней для отправки окончательных решений.
25 июля, за день до конца соревнования, команда «The Ensemble», образованная слиянием команд «Grand Prize Team» и «Opera Solutions and Vandelay United», опередила «BellKor’s Pragmatic Chaos», достигнув улучшения в 10,09 %.
26 июля 2009 года, в 18:42:37 UTC приём решений прекращён. В этот момент верхушка таблицы результатов выглядела следующим образом:
-
№ Команда СКО Улучшение в % Время отправки 1 The Ensemble 0.8553 10.10 2009-07-26 18:38:22 2 BellKor’s Pragmatic Chaos 0.8554 10.09 2009-07-26 18:18:28
По информации от участников команд на форуме соревнования и австрийской газеты «Kurier», на секретной половине данных алгоритм команды «BellKor» превосходил алгоритм «The Ensemble», так что ожидалось, что победителем официально будет признана команда «BellKor’s Pragmatic Chaos».
Согласно правилам, участники победившей команды должны были предоставить компании Netflix описания использованных алгоритмов и исходный код, и только потом Netflix официально объявила победителя соревнования. Им действительно оказалась команда «BellKor’s Pragmatic Chaos». Официальное объявление результатов и церемония награждения состоялись 21 сентября 2009. В тот же день были опубликованы секретные оценки.
Как оказалось, на секретной половине данных обе команды улучшили результаты на 10,06 %, но команда «BellKor’s Pragmatic Chaos» прислала свои результаты на 20 минут раньше.
Просмотров: 10506
|
|