Здравствуйте уважаемые читатели.
Некоторое время назад, кроме системы рекомендаций ОРАКУЛ, я предлагал Yota использовать ПИПСа в виде консультанта. Причем, в отличии от раскрученного Инфа, у ПИПСа есть множество отличий (в том числе и ОТСУТСТВИЕ Flash "морды" - у ПИПСа на front-end слое подключены: REST, Jabber, MSN, Voice). Но! Или не с теми людьми общался, или по другим причинам (наличию нимбов, например) был однозначный отказ. И вот рузультат - http://www.yota.ru/ru/info/news/details/?ID=241222
Без комментариев :(
Кстати, мне кажется, или они и для аватарки своего "Инфа" взяли морду ПИПСа?
вторник, 7 сентября 2010 г.
понедельник, 6 сентября 2010 г.
Открыт новый RSS канал
Здравствуйте уважаемые читатели.
Рад сообщить, что открылся новый новостной канал содержащий тренды и тенденции в развитии современных технологий (страничка канала и ее версия в формате atom).
Архитектура самой системы бесхитростная и основывается на сервисах Google Reader & rss4me поэтому не буду вдаваться в нудные детали. Главную идею можно передать одной картинкой.
Здесь (слева на право) поступает множество новостей из различных источников. Далее они фильтруются в rss4me но некоторые поступают в Google reader как не фильтрованные. В последнем, каждому сообщению присваивается соответствующая метка и мы получаем результирующий канал.
Рад сообщить, что открылся новый новостной канал содержащий тренды и тенденции в развитии современных технологий (страничка канала и ее версия в формате atom).
Архитектура самой системы бесхитростная и основывается на сервисах Google Reader & rss4me поэтому не буду вдаваться в нудные детали. Главную идею можно передать одной картинкой.
Здесь (слева на право) поступает множество новостей из различных источников. Далее они фильтруются в rss4me но некоторые поступают в Google reader как не фильтрованные. В последнем, каждому сообщению присваивается соответствующая метка и мы получаем результирующий канал.
понедельник, 30 августа 2010 г.
Рекомендационная система, финальный раунд (R.I.P.)
Как я писал ранее "Индивидуальность и рекомендации", раунд 3, раунд 2, раунд 1, медленно и верно (стараниями всех заинтересованных лиц) мы пришли к сабжу проекта.
В начале, когда только начинались активности в этом направлении, мы много говорили о том какими должны быть идеальные рекомендации и о том, что коллаборативная фильтрация и методы оценки её эффективности не есть мера "идеальности" хорошей рекомендательной машины.
Поясню на примере.
У нас есть набор образцов: A, B, C, D, E, F.
Пользователю предлагались для оценки образцы A, D, F и он их оценил соответственно на 2, 3, 5. Мерой "идеальности" считается ответ от рекомендационной машины F=5 если ей скормить A=2 и D=3. Если ответ будет F=3 - это плохая машина. Однако, если ответом будет В=5 и C=5 - это мерой "идеальности" тоже оценивается как плохой ответ! Хотя никому не известно, какие бы оценки выставил пользователь для элементов B и C, по той простой причине, что ему эти элементы даже и не предлагали оценить :)
Так же получилось и в моем случае. На старте проекта, много разговаривая про "тривиальные" рекомендации и прочее я спрашивал у заказчика - вам нужен очередной алгоритм коллаборативной фильтрации (коих как грязи и в open source и в википедии) или ...? Ответ был однозначный - нужно ИЛИ!
Так и появилась система ОРАКУЛ. Которую, однако, оценивали методом идеальности с коллаборативной фильтрацией. В результате, то самое свойство системы "ИЛИ" сыграло злую шутку и результаты выдачи корректировались этой "ИЛИ" составляющей. Данное поведение отлично видно на диаграмме.
С первого по 50 запросы ОРАКУЛ показывал "холодный старт", в то время как коллаборативная фильтрация (фиолетовый график) накапливала статистику. Затем, с 50 по 90 запросы поведение систем идентично. После 90 запроса включилась "ИЛИ" составляющая и ОРАКУЛ начал портить результаты "идеального ответа". Т.е. попросту показывать вместо F=5, B и C.
Из чего, при "правильной" интерпретации, были сделаны соответствующие выводы не в пользу ОРАКУЛ. А нужно было, оказывается, убрать а не добавить (как просили) эту "ИЛИ" составляющую, что бы пройти сравнительное тестирование! :)
Итого, финал - ОРАКУЛ похоронен.
Благодарю всех кто следил за этой историей и принимал в ней участие.
Появилась возможность вернуться к любимому ПИПС'у.
В начале, когда только начинались активности в этом направлении, мы много говорили о том какими должны быть идеальные рекомендации и о том, что коллаборативная фильтрация и методы оценки её эффективности не есть мера "идеальности" хорошей рекомендательной машины.
Поясню на примере.
У нас есть набор образцов: A, B, C, D, E, F.
Пользователю предлагались для оценки образцы A, D, F и он их оценил соответственно на 2, 3, 5. Мерой "идеальности" считается ответ от рекомендационной машины F=5 если ей скормить A=2 и D=3. Если ответ будет F=3 - это плохая машина. Однако, если ответом будет В=5 и C=5 - это мерой "идеальности" тоже оценивается как плохой ответ! Хотя никому не известно, какие бы оценки выставил пользователь для элементов B и C, по той простой причине, что ему эти элементы даже и не предлагали оценить :)
Так же получилось и в моем случае. На старте проекта, много разговаривая про "тривиальные" рекомендации и прочее я спрашивал у заказчика - вам нужен очередной алгоритм коллаборативной фильтрации (коих как грязи и в open source и в википедии) или ...? Ответ был однозначный - нужно ИЛИ!
Так и появилась система ОРАКУЛ. Которую, однако, оценивали методом идеальности с коллаборативной фильтрацией. В результате, то самое свойство системы "ИЛИ" сыграло злую шутку и результаты выдачи корректировались этой "ИЛИ" составляющей. Данное поведение отлично видно на диаграмме.
 |
| From ПИПС |
С первого по 50 запросы ОРАКУЛ показывал "холодный старт", в то время как коллаборативная фильтрация (фиолетовый график) накапливала статистику. Затем, с 50 по 90 запросы поведение систем идентично. После 90 запроса включилась "ИЛИ" составляющая и ОРАКУЛ начал портить результаты "идеального ответа". Т.е. попросту показывать вместо F=5, B и C.
Из чего, при "правильной" интерпретации, были сделаны соответствующие выводы не в пользу ОРАКУЛ. А нужно было, оказывается, убрать а не добавить (как просили) эту "ИЛИ" составляющую, что бы пройти сравнительное тестирование! :)
Итого, финал - ОРАКУЛ похоронен.
Благодарю всех кто следил за этой историей и принимал в ней участие.
Появилась возможность вернуться к любимому ПИПС'у.
воскресенье, 1 августа 2010 г.
Словотворчество
С развитием мозга у ребенка обновляется словарный запас и в значительной мере изменяется процесс словотворчества. Из собственных наблюдений (в порядке убывания возраста):
# Канял Бубля - Тарас Бульба
# миссис поптень - Мэри Попенс
# разброненосить - защекотать
# крот взошел - вылез из норы
# белакрысая - белобрысая
# авосики - волосы
# мухарат - мошки (комары)
# ка - кошка, собака, ...
# дить - ребенок (постарше, который уже умеет ходить)
# буп - ребенок (обиженный)
# бактись! - победный кличь
# сесек - ребенок
# кутя пысь - самоидентификаци (я)
# Канял Бубля - Тарас Бульба
# миссис поптень - Мэри Попенс
# разброненосить - защекотать
# крот взошел - вылез из норы
# белакрысая - белобрысая
# авосики - волосы
# мухарат - мошки (комары)
# ка - кошка, собака, ...
# дить - ребенок (постарше, который уже умеет ходить)
# буп - ребенок (обиженный)
# бактись! - победный кличь
# сесек - ребенок
# кутя пысь - самоидентификаци (я)
Подписаться на:
Сообщения (Atom)