В начале, когда только начинались активности в этом направлении, мы много говорили о том какими должны быть идеальные рекомендации и о том, что коллаборативная фильтрация и методы оценки её эффективности не есть мера "идеальности" хорошей рекомендательной машины.
Поясню на примере.
У нас есть набор образцов: A, B, C, D, E, F.
Пользователю предлагались для оценки образцы A, D, F и он их оценил соответственно на 2, 3, 5. Мерой "идеальности" считается ответ от рекомендационной машины F=5 если ей скормить A=2 и D=3. Если ответ будет F=3 - это плохая машина. Однако, если ответом будет В=5 и C=5 - это мерой "идеальности" тоже оценивается как плохой ответ! Хотя никому не известно, какие бы оценки выставил пользователь для элементов B и C, по той простой причине, что ему эти элементы даже и не предлагали оценить :)
Так же получилось и в моем случае. На старте проекта, много разговаривая про "тривиальные" рекомендации и прочее я спрашивал у заказчика - вам нужен очередной алгоритм коллаборативной фильтрации (коих как грязи и в open source и в википедии) или ...? Ответ был однозначный - нужно ИЛИ!
Так и появилась система ОРАКУЛ. Которую, однако, оценивали методом идеальности с коллаборативной фильтрацией. В результате, то самое свойство системы "ИЛИ" сыграло злую шутку и результаты выдачи корректировались этой "ИЛИ" составляющей. Данное поведение отлично видно на диаграмме.
 |
| From ПИПС |
С первого по 50 запросы ОРАКУЛ показывал "холодный старт", в то время как коллаборативная фильтрация (фиолетовый график) накапливала статистику. Затем, с 50 по 90 запросы поведение систем идентично. После 90 запроса включилась "ИЛИ" составляющая и ОРАКУЛ начал портить результаты "идеального ответа". Т.е. попросту показывать вместо F=5, B и C.
Из чего, при "правильной" интерпретации, были сделаны соответствующие выводы не в пользу ОРАКУЛ. А нужно было, оказывается, убрать а не добавить (как просили) эту "ИЛИ" составляющую, что бы пройти сравнительное тестирование! :)
Итого, финал - ОРАКУЛ похоронен.
Благодарю всех кто следил за этой историей и принимал в ней участие.
Появилась возможность вернуться к любимому ПИПС'у.
