Новая версия нашей поделки www.mypicturetown.com теперь умеет Google maps. И, кстати, совершенно случайно, новая камера от Nikon COOLPIX P6000 имеет GPS приемник на борту. Теперь, можно не только хостить свои фотографии и альбомы, но и смотреть по карте где была сделана каждая фотография и даже отследить свой туристический маршрут :)
Еще одна полезная функциональность теперь поддерживается. Если фотография НЕ имела никакой геоинформации, тогда вам достаточно ее загрузить на сайт mypicturetown.com указать на карте где был сделан этот снимок и при следующем download/sharing эту фотографию сервер снабдит соответствующими EXIF тэгами с GPS информацией. Далее - можно с ней хоть на Flickr хоть на Picasaweb.
Удачи!
Показаны сообщения с ярлыком my Picturetown. Показать все сообщения
Показаны сообщения с ярлыком my Picturetown. Показать все сообщения
пятница, 19 сентября 2008 г.
суббота, 16 августа 2008 г.
myPicturetown - "горизонтальное" расширение
Как говорят некоторые коллеги: "тихо и незаметно"...
Дак вот, тихо и незаметно, проект www.mypicturetown.com перешел от простого кластера к полноценной "grid" архитектуре. Если ранее - это был кластер из нескольких серверов поверх условно "центральной" базы данных, то теперь - это большая сеть состоящая из множества, так называемых, "AB" пар (primary-secondary).
Каждая "AB" пара в гриде представляет собой клатер из 2-х хостов (primary - secondary). Причем, кластеризация самопальная. Каждый AB хост имеет как файловое хранилище, так и базу данных (PostgreSQL). Разделение между ними, скорее, master-master нежели master-slave. Дублирование в файловом хранилище реализовано на уровне бизнес логики, а вот дублирование в базу выполняется посредством собственной имплементации JDBC драйвера (на основе HA-JDBC). Конечно же, каждый пользователь (его данные и файлы) "привязан" (размещается) на конкретной AB паре. Ничего удивительного :) Тем более, что это довольно распространенная практика. Конечно встает вопрос о неком "центральном" реестре пользователей. Где хранится информация о том что данный пользователь (с таким то UID) размещается на такой то AB паре.
Однажды, Иван Блинков (кстати, рекомендую посетить его блог) задавал мне вопросы связанные с деталями реализации наших AB кластеров и центрального реестра пользователей (у нас в системе его называют CDC). Теперь, когда мы уже зарелизилист, могу рассказать некоторые "секреты" :)
Итак, про JDBC репликацию я уже рассказал. Конечно же, процедуры восстановления базы данных после сбоя выписаны "руками" поверх все того же HA-JDBC.
Центральный реестр пользователей (CDC) - реализован как кластер из одного или более хостов. В качестве хранилища, использующий Berkeley DB (Java Edition) от ORACLE. Я, как автор CDC, могу "похвастать" еще и тем - что механизм распределенных транзакций сделан собственный. Кроме того, сервис полностью удовлетворяет требованиям "zero administration" и умеет "самовосстанавливаться" и "самореплицироваться".
Для построения кластеров мы активно используем JGroups.
Вот пожалуй и все "секреты", остальное - дело техники :)
Желаю удачи, коллеги!
Дак вот, тихо и незаметно, проект www.mypicturetown.com перешел от простого кластера к полноценной "grid" архитектуре. Если ранее - это был кластер из нескольких серверов поверх условно "центральной" базы данных, то теперь - это большая сеть состоящая из множества, так называемых, "AB" пар (primary-secondary).
Каждая "AB" пара в гриде представляет собой клатер из 2-х хостов (primary - secondary). Причем, кластеризация самопальная. Каждый AB хост имеет как файловое хранилище, так и базу данных (PostgreSQL). Разделение между ними, скорее, master-master нежели master-slave. Дублирование в файловом хранилище реализовано на уровне бизнес логики, а вот дублирование в базу выполняется посредством собственной имплементации JDBC драйвера (на основе HA-JDBC). Конечно же, каждый пользователь (его данные и файлы) "привязан" (размещается) на конкретной AB паре. Ничего удивительного :) Тем более, что это довольно распространенная практика. Конечно встает вопрос о неком "центральном" реестре пользователей. Где хранится информация о том что данный пользователь (с таким то UID) размещается на такой то AB паре.
Однажды, Иван Блинков (кстати, рекомендую посетить его блог) задавал мне вопросы связанные с деталями реализации наших AB кластеров и центрального реестра пользователей (у нас в системе его называют CDC). Теперь, когда мы уже зарелизилист, могу рассказать некоторые "секреты" :)
Итак, про JDBC репликацию я уже рассказал. Конечно же, процедуры восстановления базы данных после сбоя выписаны "руками" поверх все того же HA-JDBC.
Центральный реестр пользователей (CDC) - реализован как кластер из одного или более хостов. В качестве хранилища, использующий Berkeley DB (Java Edition) от ORACLE. Я, как автор CDC, могу "похвастать" еще и тем - что механизм распределенных транзакций сделан собственный. Кроме того, сервис полностью удовлетворяет требованиям "zero administration" и умеет "самовосстанавливаться" и "самореплицироваться".
Для построения кластеров мы активно используем JGroups.
Вот пожалуй и все "секреты", остальное - дело техники :)
Желаю удачи, коллеги!
пятница, 30 мая 2008 г.
Обновление myPicturetown
Доброго времени суток, коллеги!
Как говориться "тихо и незаметно" вышел очередной релиз фотохостинга www.mypicturetown.com. Он значительно отличается от предыдущей версии прежде всего тем, что это интеграция 3-х различных систем. Расположенных на большом удалении друг от друга территориально и состоящих из различных платформ. Объединила все back-end'ы идеалогия SSO (single sign-on). Вендоров SSO, предоставляющих свои решения под различные платформы, достаточно много, однако компания Nikon (как заказчик может диктовать свои требования) остановилась на RSA решении. Теперь, 3-ри части системы, подкрепленные соответствующими RPC взаимодействиями друг с другом, могут работать как единое целое. Одна система отвечает за хранение пользовательской информации и аккаунтов [I], другая за биллинг и обслуживание кредитных карт на аккаунтах кастомеров [II], и третья (это мы) отвечает за хранение картинок, видео, аудио и RAW файлов [III].
Как это работает?
Собственно секрета никакого нет, работает так же как описано в любом букваре по SSO. Пользователь попадает на login страничку (I системы) авторизуется там, получает много секретного себе в кукисы и редиректится к нам (III система). Далее, специальный модуль от RSA на Apache сервере проверяет валидность этого секрктного и пускает на главную страничку пользователя где он колдует над своими картинками (файлами). Для платных аккаунтов, в связку добавляется еще и II система.
Помимо этого, в релиз вошли новые UI удобности и бантики. Появилась возможность просмотра upload history просто кликнув на дату в календаре, а также, возможность присваивать рэйтинги картинкам. Причем, только СВОИМ картинкам - странно, не правда ли?
Ну и конечно, с новыми мульками мы стали еще более неповоротливыми и тормрзными!
Желаю удачи, коллеги!
Как говориться "тихо и незаметно" вышел очередной релиз фотохостинга www.mypicturetown.com. Он значительно отличается от предыдущей версии прежде всего тем, что это интеграция 3-х различных систем. Расположенных на большом удалении друг от друга территориально и состоящих из различных платформ. Объединила все back-end'ы идеалогия SSO (single sign-on). Вендоров SSO, предоставляющих свои решения под различные платформы, достаточно много, однако компания Nikon (как заказчик может диктовать свои требования) остановилась на RSA решении. Теперь, 3-ри части системы, подкрепленные соответствующими RPC взаимодействиями друг с другом, могут работать как единое целое. Одна система отвечает за хранение пользовательской информации и аккаунтов [I], другая за биллинг и обслуживание кредитных карт на аккаунтах кастомеров [II], и третья (это мы) отвечает за хранение картинок, видео, аудио и RAW файлов [III].
Как это работает?
Собственно секрета никакого нет, работает так же как описано в любом букваре по SSO. Пользователь попадает на login страничку (I системы) авторизуется там, получает много секретного себе в кукисы и редиректится к нам (III система). Далее, специальный модуль от RSA на Apache сервере проверяет валидность этого секрктного и пускает на главную страничку пользователя где он колдует над своими картинками (файлами). Для платных аккаунтов, в связку добавляется еще и II система.
Помимо этого, в релиз вошли новые UI удобности и бантики. Появилась возможность просмотра upload history просто кликнув на дату в календаре, а также, возможность присваивать рэйтинги картинкам. Причем, только СВОИМ картинкам - странно, не правда ли?
Ну и конечно, с новыми мульками мы стали еще более неповоротливыми и тормрзными!
Желаю удачи, коллеги!
пятница, 28 марта 2008 г.
среда, 13 февраля 2008 г.
Сравнение архитектуры Flickr и myPicturetown
Недавно коллега дал ссылку на очень интересный пост.
Там достаточно подробно описывается архитектура Flickr сервиса. Кроме всего, сам блог Ивана Блинкова содержателен, рекомендую! Там же, кстати можно прочесть и про Google
Мне был интересен именно Flickr потому, что делаю систему фотохостинга. Задачи похожие. И... пришло разочарование. Не только ничего нового в этой сфере не придумано, но и "одинаковые вещи делаются одинаковым образом". Однако, в нашей системе есть некоторые отличия:
Ну и один из корневых компонент в подобных системах - это реестр пользователей. У Flickr это зовется центральной базой данных.
У нас "CDC" - Central Dispatcher Cluster. Но суть не в том как этот компонент называют, а в его функциональности.
Делайте выводы, коллеги и не копируйте "вслепую" чужие схемы.
Там достаточно подробно описывается архитектура Flickr сервиса. Кроме всего, сам блог Ивана Блинкова содержателен, рекомендую! Там же, кстати можно прочесть и про Google
Мне был интересен именно Flickr потому, что делаю систему фотохостинга. Задачи похожие. И... пришло разочарование. Не только ничего нового в этой сфере не придумано, но и "одинаковые вещи делаются одинаковым образом". Однако, в нашей системе есть некоторые отличия:
- Система полностью на Java;
- Обработка изображений - imagemagick, видео - ffmpeg;
- PostgreSQL вместо MySQL;
- Репликация рукописная;
- Восстановление после сбоя - рукописное и поюзерное. Т.е. это когда данные целиком еще не синхронизированы между 2-мя нодами, а пользователи для которых эта процедура завершена переключаются из read-only режима в боевой и уже могут работать;
- Обработка изображений, полученных от пользователей по электронной почте, происходит прямо на SMTP сервере (тоже Java).;
- В среднем при загрузке одной страницы выполняется 5-7 SQL-запросов;
- Миграция пользователей с хоста на хост осуществляется автоматически (!) по команде из web UI администратора;
- По состоянию на дату поста добавляем поддержку SSO - один логин на все сервисы;
Ну и один из корневых компонент в подобных системах - это реестр пользователей. У Flickr это зовется центральной базой данных.
"... Центральная база данных включает в себя таблицу пользователей, состоящую из основных ключей пользователей (несколько уникальных идентификационных номеров) и указатель на сегмент, на котором может быть найдена остальная информация о конкретном пользователе."
У нас "CDC" - Central Dispatcher Cluster. Но суть не в том как этот компонент называют, а в его функциональности.
Делайте выводы, коллеги и не копируйте "вслепую" чужие схемы.
понедельник, 19 ноября 2007 г.
myPicturetown upgraded to 1.2
http://www.mypicturetown.com
Задеплоили новую версию (1.2)
Из улучшений:
- багофикс
- перфоманс подтюнили
- красивостей (удобностей) добавили
Задеплоили новую версию (1.2)
Из улучшений:
- багофикс
- перфоманс подтюнили
- красивостей (удобностей) добавили
четверг, 30 августа 2007 г.
Nikon COOLPIX CONNECT 2 теперь стал "my Picturetown"
Upgrade завершен, сервера работают в номинмльном режиме, отвечают на новое доменное имя www.mypicturetown.comКроме повышения удобства пользования и появления новых типов аккаунта появился drag-n-drop. Все еще присутствует рудиментарный поиск, однако, появилась публичная регистрация. Ранее эта функция была доступна только для владельцев фотокамер Nikon Coolpix S50. Поддерживается просмотр контена с DoCoMo и BlackBerry телефонов. Официальный нотис ниже...
This is a notice to all registered
members of COOLPIX CONNECT 2.
================================================
Notice of COOLPIX CONNECT 2 Site Upgrade
================================================
Dear COOLPIX CONNECT 2 Member,
Thank you for your patience during the temporary
interruption of COOLPIX CONNECT 2 services.
We are pleased to announce that, with the site
upgrade, COOLPIX CONNECT 2 has become the
new my Picturetown!
We hope you will enjoy some new features of
my Picturetown, including slideshow and photo
publishing to external sites and blogs.
Residents of Japan and the U.S. can enjoy
my Picturetown on their DoCoMo and BlackBerry
phones. They can also sign up for a premium
account, which will provide up to 20 GB of
storage space.
Please visit my Picturetown at
http://mypicturetown.com to learn more about the
exciting changes that have taken place.
Remember to bookmark the URL so that you can
return to it easily in the future!
Thank you for storing and sharing your photos
with COOLPIX CONNECT 2. We hope to see you very
soon at the new my Picturetown by Nikon!
==================================
Imaging Company
Nikon Corporation
==================================
Подписаться на:
Сообщения (Atom)