myPicturetown +Google Maps

Новая версия нашей поделки www.mypicturetown.com теперь умеет Google maps. И, кстати, совершенно случайно, новая камера от Nikon COOLPIX P6000 имеет GPS приемник на борту. Теперь, можно не только хостить свои фотографии и альбомы, но и смотреть по карте где была сделана каждая фотография и даже отследить свой туристический маршрут :)

Еще одна полезная функциональность теперь поддерживается. Если фотография НЕ имела никакой геоинформации, тогда вам достаточно ее загрузить на сайт mypicturetown.com указать на карте где был сделан этот снимок и при следующем download/sharing эту фотографию сервер снабдит соответствующими EXIF тэгами с GPS информацией. Далее - можно с ней хоть на Flickr хоть на Picasaweb.

Удачи!

myPicturetown - "горизонтальное" расширение

Как говорят некоторые коллеги: "тихо и незаметно"...
Дак вот, тихо и незаметно, проект www.mypicturetown.com перешел от простого кластера к полноценной "grid" архитектуре. Если ранее - это был кластер из нескольких серверов поверх условно "центральной" базы данных, то теперь - это большая сеть состоящая из множества, так называемых, "AB" пар (primary-secondary).

Каждая "AB" пара в гриде представляет собой клатер из 2-х хостов (primary - secondary). Причем, кластеризация самопальная. Каждый AB хост имеет как файловое хранилище, так и базу данных (PostgreSQL). Разделение между ними, скорее, master-master нежели master-slave. Дублирование в файловом хранилище реализовано на уровне бизнес логики, а вот дублирование в базу выполняется посредством собственной имплементации JDBC драйвера (на основе HA-JDBC). Конечно же, каждый пользователь (его данные и файлы) "привязан" (размещается) на конкретной AB паре. Ничего удивительного :) Тем более, что это довольно распространенная практика. Конечно встает вопрос о неком "центральном" реестре пользователей. Где хранится информация о том что данный пользователь (с таким то UID) размещается на такой то AB паре.

Однажды, Иван Блинков (кстати, рекомендую посетить его блог) задавал мне вопросы связанные с деталями реализации наших AB кластеров и центрального реестра пользователей (у нас в системе его называют CDC). Теперь, когда мы уже зарелизилист, могу рассказать некоторые "секреты" :)

Итак, про JDBC репликацию я уже рассказал. Конечно же, процедуры восстановления базы данных после сбоя выписаны "руками" поверх все того же HA-JDBC.

Центральный реестр пользователей (CDC) - реализован как кластер из одного или более хостов. В качестве хранилища, использующий Berkeley DB (Java Edition) от ORACLE. Я, как автор CDC, могу "похвастать" еще и тем - что механизм распределенных транзакций сделан собственный. Кроме того, сервис полностью удовлетворяет требованиям "zero administration" и умеет "самовосстанавливаться" и "самореплицироваться".

Для построения кластеров мы активно используем JGroups.

Вот пожалуй и все "секреты", остальное - дело техники :)

Желаю удачи, коллеги!

Нейроны на электродах научились обходить препятствия

Как сообщают Свободные исследователи, достигнут ощутимый результат в управлении железом искусственно выращенными нейронами.

Шестьдесят электродов были подключены к ячейке с нейронами, извлеченными из коры головного мозга крысы (точнее - крысиного эмбриона) и помещенными в питательную среду. За счет того, что электроды передавали сигналы в двух направлениях (т.е. помимо регистрации электрической активности ими же можно было стимулировать нейроны) удалось добиться весьма впечатляющего результата - культивированный “в пробирке” биологический мозг смог управлять электронной схемой с использованием получаемых от электроники же данных!

Пока он только научился (я специально подчеркиваю это - обучились живые нейроны, а не искусственная нейросеть) избегать препятствий - но ученые надеются добиться и узнавания окружающего ландшафта.

Искусственный интеллект в системах поиска

Искусственный интеллект в поиске
Вебпланета - Москва,Russia
Искусственный интеллект может улучшить качество поиска в Интернете, но на пути к этому все еще полно препятствий – на этом акцентировал внимание главный докладчик технической конференции, проведенной в июле корпорацией IBM. Конференция называлась "Новый искусственный интеллект – новые приемы использования компьютеров" и проходила в исследовательском центре IBM в Сан-Хосе (США). Основой конференции стало выступление Орена Эциони (Oren Etzioni), директора Центра имени Тьюринга в Вашингтонском университете ...

Моделирование мошенников

Создана новая система моделирования взлома
Хакер - Москва,Russia
Проект предлагает технологию под названием "моделирование мошенничества", комбинацию из определения поведенческой модели пользователя и искусственного интеллекта на основе причинно-следственных связей. Guardian Analytics позволяет компаниям создать настраиваемую модель «нормального» взаимодействия пользователя с системой, что позволяет более точно определять попытки возможного воровства. Милтонбергер говорит, что существует множество способов скрыть попытку мошенничества, таких как использование прокси, ...

Российская армия без искусственного интеллекта, как рыба без велосипеда

У российской армии разыгрался аппетит
ГАЗЕТА.GZT.ru - Москва,Russia
Российская армия, как следует из проекта, будет развиваться на основе нанотехнологий и оружия с искусственным интеллектом, численность офицерского состава будет оптимизирована, а призыв останется. Согласно документу, военные конфликты первой трети ХХI века будут вестись с использованием оружия с искусственным интеллектом, воздушно-космических войск и мобильных спецгрупп. Решающее значение на исход войны будет оказывать скорость развертывания и применения оружия, а также способность в сжатые сроки ...

Научность в проблеме происхождения

Отход науки от научности в проблеме происхождения?

InVictory.org - Киев,Ukraine
(Ведь считается, что и людской интеллект и сконструированный им искусственный интеллект (компьютер) — порождены бездумной материей.) Эволюционизм — это по сути учение о «Великом Самоорганизующем Источнике», поэтому его вполне справедливо можно назвать «теорией Большого Сaмо». В случае с «Большим Само» наука начинает отступать от своего основного принципа — обоснованности утверждений, незаметно переходя на позиции фанатизма. Уже само только краткое описание истории эволюционного учения чего стoит! ...

Nvidia GeForce 9800GX2 и искусственный интеллект

Кадр дня: 8 видеокарт и 16 графических процессоров в одном системнике
Компьюлента - Москва,Russia
В рамках проекта по работе над искусственным интеллектом создан компьютер, оборудованный шестнадцатью графическими процессорами – в нем задействовано восемь видеокарт Nvidia GeForce 9800GX2, каждая из которых содержит по два графических ядра G98. К сожалению, пока не сообщается, какие именно задачи будут поставлены перед данной машиной. Напомним, что графические адаптеры GeForce 9800GX2 были представлены в марте текущего года. Каждый из двух процессоров в них работает на частоте 600 МГц, ...
See all stories on this topic

Cuil

Google убивает сам себя
Газета.Ru - Москва,Russia
В этой области конкуренцию Cuil сейчас может составить только другой стратап PowerSet, который разрабатывает семантический поиск на основе искусственного интеллекта, который пытается «понять» смысл текста на вебсайте. Кроме того, разработчики Cuil обещают пользователям конфиденциальность данных, так как их поиск основан на анализе контента, а не поисковой истории. Yahoo и Google в течение нескольких месяцев хранят информацию о запросах, поступивших с определенного IP-адреса (присваивается одному или ...
See all stories on this topic

Google Alert - искусственный интеллект

Мимические машины

Брянск.ru - Брянск,Брянская,Russia
Именно так, по мнению сотрудников компании Microsoft, и должен вести себя искусственный интеллект в будущем. Впрочем, эксперты уверяют, что новая программа окажется доступной далеко не для каждого пользователя, поскольку будет стоить несколько десятков тысяч долларов. Корпорация Microsoft представила одно из новых видений будущих интерфейсов «компьютер-человек». Директор по исследованиям и стратегии Microsoft Крейг Манди продемонстрировал концептуальную разработку корпорации – программного робота, ...
See all stories on this topic

---

 This as-it-happens Google Alert is brought to you by Google.

Противостояние

BMW

Хороший фотохостинг

Что необходимо, что бы создать хороший сервис? Будь то фотохостинг, блогосферу, соц.сеть, ...
Конечно архитектура, скажут многие. Такая, что бы с горизонтальной масштабируемостью, с 24x7x365, резервированием, кластеризацией и прочей хренью... Нет, скажут другие, нужно что бы были всякие бантики, мулечки, удобности, полезности, и прочий функционал (причем лучше чем у конкурентов).

Реальная система же не может обходится ни без первой ни без второй составляющей. Проблема лишь в том, что первый пункт уже не представляет из себя какой-либо сложности. При таком количестве открытых публикаций про архитектуру больших систем, уровня Flickr или Google, наверное уже только самый ленивый студент не сможет построить нечто, обладающее всеми качествами первой составляющей. Эта самая "инженерная" составляющая все меньше волнует реальных бизнесов, как раз по причине ее доступности (что конечно же 100% правильно).

В качестве "закладки", я бы хотел оставить ссылку на пост Ивана Матвеева, руководителя сервиса Яндекс.Фотки и его обсуждение. Примечательно в нем то, что не чистым гением в одно литцо и в полумраке офиса высиживается, вынашивается и рожается новая "так нужная всем" фича, а в режиме открытого обсуждения. Т.е. ребята молодцы! Они не только не боятся услышать критику, но и таким образом получают чужие идеи в "чистом виде".

Пример достойный подражания - наполнение второй составляющей через feedback от благодарных пользователей. Учитесь, коллеги.

Обновление myPicturetown

Доброго времени суток, коллеги!

Как говориться "тихо и незаметно" вышел очередной релиз фотохостинга www.mypicturetown.com. Он значительно отличается от предыдущей версии прежде всего тем, что это интеграция 3-х различных систем. Расположенных на большом удалении друг от друга территориально и состоящих из различных платформ. Объединила все back-end'ы идеалогия SSO (single sign-on). Вендоров SSO, предоставляющих свои решения под различные платформы, достаточно много, однако компания Nikon (как заказчик может диктовать свои требования) остановилась на RSA решении. Теперь, 3-ри части системы, подкрепленные соответствующими RPC взаимодействиями друг с другом, могут работать как единое целое. Одна система отвечает за хранение пользовательской информации и аккаунтов [I], другая за биллинг и обслуживание кредитных карт на аккаунтах кастомеров [II], и третья (это мы) отвечает за хранение картинок, видео, аудио и RAW файлов [III].

Как это работает?
Собственно секрета никакого нет, работает так же как описано в любом букваре по SSO. Пользователь попадает на login страничку (I системы) авторизуется там, получает много секретного себе в кукисы и редиректится к нам (III система). Далее, специальный модуль от RSA на Apache сервере проверяет валидность этого секрктного и пускает на главную страничку пользователя где он колдует над своими картинками (файлами). Для платных аккаунтов, в связку добавляется еще и II система.

Помимо этого, в релиз вошли новые UI удобности и бантики. Появилась возможность просмотра upload history просто кликнув на дату в календаре, а также, возможность присваивать рэйтинги картинкам. Причем, только СВОИМ картинкам - странно, не правда ли?

Ну и конечно, с новыми мульками мы стали еще более неповоротливыми и тормрзными!

Желаю удачи, коллеги!

Cколько стоит плохой начальник?

Оригинальный пост http://www.eldar.com/node/169

Полностью присоединяюсь к мнению автора, жаль только не могу также порадоваться своим менеджером :(

Для поднятия настроения

Подборка фоток с myPicturetown.com

Робот Titan для развлечений

COM-BAT – уникальный робот-шпион

Этот летающий шпион был разработан исключительно в военных целях и ему есть чем похвастаться. Он носит название COM-BAT или «летучая мышь» и является 15-сантиметровым летающим роботом, который оснащен миниатюрным радаром и очень чувствительной навигационной системой, благодаря чему может ориентироваться в темноте не хуже летучей мыши.
Далее на MOBBIT.info

Бот, который сбегает за пивом!

Оригинал статьи

Очередной бот от DARPA

Зовется Crusher-1. В настоящий момент существует его 2-ая модификация.

Rammstein - Bayern des samma mia

Песенка про пиво :)

Сравнение архитектуры Flickr и myPicturetown

Недавно коллега дал ссылку на очень интересный пост.
Там достаточно подробно описывается архитектура Flickr сервиса. Кроме всего, сам блог Ивана Блинкова содержателен, рекомендую! Там же, кстати можно прочесть и про Google

Мне был интересен именно Flickr потому, что делаю систему фотохостинга. Задачи похожие. И... пришло разочарование. Не только ничего нового в этой сфере не придумано, но и "одинаковые вещи делаются одинаковым образом". Однако, в нашей системе есть некоторые отличия:

• Система полностью на Java;


• Обработка изображений - imagemagick, видео - ffmpeg;


• PostgreSQL вместо MySQL;


• Репликация рукописная;


• Восстановление после сбоя - рукописное и поюзерное. Т.е. это когда данные целиком еще не синхронизированы между 2-мя нодами, а пользователи для которых эта процедура завершена переключаются из read-only режима в боевой и уже могут работать;


• Обработка изображений, полученных от пользователей по электронной почте, происходит прямо на SMTP сервере (тоже Java).;


• В среднем при загрузке одной страницы выполняется 5-7 SQL-запросов;


• Миграция пользователей с хоста на хост осуществляется автоматически (!) по команде из web UI администратора;


• По состоянию на дату поста добавляем поддержку SSO - один логин на все сервисы;

Ну и один из корневых компонент в подобных системах - это реестр пользователей. У Flickr это зовется центральной базой данных.

"... Центральная база данных включает в себя таблицу пользователей, состоящую из основных ключей пользователей (несколько уникальных идентификационных номеров) и указатель на сегмент, на котором может быть найдена остальная информация о конкретном пользователе."

У нас "CDC" - Central Dispatcher Cluster. Но суть не в том как этот компонент называют, а в его функциональности.

Делайте выводы, коллеги и не копируйте "вслепую" чужие схемы.

Java