myPicturetown - "горизонтальное" расширение

Как говорят некоторые коллеги: "тихо и незаметно"...
Дак вот, тихо и незаметно, проект www.mypicturetown.com перешел от простого кластера к полноценной "grid" архитектуре. Если ранее - это был кластер из нескольких серверов поверх условно "центральной" базы данных, то теперь - это большая сеть состоящая из множества, так называемых, "AB" пар (primary-secondary).

Каждая "AB" пара в гриде представляет собой клатер из 2-х хостов (primary - secondary). Причем, кластеризация самопальная. Каждый AB хост имеет как файловое хранилище, так и базу данных (PostgreSQL). Разделение между ними, скорее, master-master нежели master-slave. Дублирование в файловом хранилище реализовано на уровне бизнес логики, а вот дублирование в базу выполняется посредством собственной имплементации JDBC драйвера (на основе HA-JDBC). Конечно же, каждый пользователь (его данные и файлы) "привязан" (размещается) на конкретной AB паре. Ничего удивительного :) Тем более, что это довольно распространенная практика. Конечно встает вопрос о неком "центральном" реестре пользователей. Где хранится информация о том что данный пользователь (с таким то UID) размещается на такой то AB паре.

Однажды, Иван Блинков (кстати, рекомендую посетить его блог) задавал мне вопросы связанные с деталями реализации наших AB кластеров и центрального реестра пользователей (у нас в системе его называют CDC). Теперь, когда мы уже зарелизилист, могу рассказать некоторые "секреты" :)

Итак, про JDBC репликацию я уже рассказал. Конечно же, процедуры восстановления базы данных после сбоя выписаны "руками" поверх все того же HA-JDBC.

Центральный реестр пользователей (CDC) - реализован как кластер из одного или более хостов. В качестве хранилища, использующий Berkeley DB (Java Edition) от ORACLE. Я, как автор CDC, могу "похвастать" еще и тем - что механизм распределенных транзакций сделан собственный. Кроме того, сервис полностью удовлетворяет требованиям "zero administration" и умеет "самовосстанавливаться" и "самореплицироваться".

Для построения кластеров мы активно используем JGroups.

Вот пожалуй и все "секреты", остальное - дело техники :)

Желаю удачи, коллеги!

Нейроны на электродах научились обходить препятствия

Как сообщают Свободные исследователи, достигнут ощутимый результат в управлении железом искусственно выращенными нейронами.

Шестьдесят электродов были подключены к ячейке с нейронами, извлеченными из коры головного мозга крысы (точнее - крысиного эмбриона) и помещенными в питательную среду. За счет того, что электроды передавали сигналы в двух направлениях (т.е. помимо регистрации электрической активности ими же можно было стимулировать нейроны) удалось добиться весьма впечатляющего результата - культивированный “в пробирке” биологический мозг смог управлять электронной схемой с использованием получаемых от электроники же данных!

Пока он только научился (я специально подчеркиваю это - обучились живые нейроны, а не искусственная нейросеть) избегать препятствий - но ученые надеются добиться и узнавания окружающего ландшафта.

Искусственный интеллект в системах поиска

Искусственный интеллект в поиске
Вебпланета - Москва,Russia
Искусственный интеллект может улучшить качество поиска в Интернете, но на пути к этому все еще полно препятствий – на этом акцентировал внимание главный докладчик технической конференции, проведенной в июле корпорацией IBM. Конференция называлась "Новый искусственный интеллект – новые приемы использования компьютеров" и проходила в исследовательском центре IBM в Сан-Хосе (США). Основой конференции стало выступление Орена Эциони (Oren Etzioni), директора Центра имени Тьюринга в Вашингтонском университете ...

Моделирование мошенников

Создана новая система моделирования взлома
Хакер - Москва,Russia
Проект предлагает технологию под названием "моделирование мошенничества", комбинацию из определения поведенческой модели пользователя и искусственного интеллекта на основе причинно-следственных связей. Guardian Analytics позволяет компаниям создать настраиваемую модель «нормального» взаимодействия пользователя с системой, что позволяет более точно определять попытки возможного воровства. Милтонбергер говорит, что существует множество способов скрыть попытку мошенничества, таких как использование прокси, ...