myPicturetown - "горизонтальное" расширение

Как говорят некоторые коллеги: "тихо и незаметно"...
Дак вот, тихо и незаметно, проект www.mypicturetown.com перешел от простого кластера к полноценной "grid" архитектуре. Если ранее - это был кластер из нескольких серверов поверх условно "центральной" базы данных, то теперь - это большая сеть состоящая из множества, так называемых, "AB" пар (primary-secondary).

Каждая "AB" пара в гриде представляет собой клатер из 2-х хостов (primary - secondary). Причем, кластеризация самопальная. Каждый AB хост имеет как файловое хранилище, так и базу данных (PostgreSQL). Разделение между ними, скорее, master-master нежели master-slave. Дублирование в файловом хранилище реализовано на уровне бизнес логики, а вот дублирование в базу выполняется посредством собственной имплементации JDBC драйвера (на основе HA-JDBC). Конечно же, каждый пользователь (его данные и файлы) "привязан" (размещается) на конкретной AB паре. Ничего удивительного :) Тем более, что это довольно распространенная практика. Конечно встает вопрос о неком "центральном" реестре пользователей. Где хранится информация о том что данный пользователь (с таким то UID) размещается на такой то AB паре.

Однажды, Иван Блинков (кстати, рекомендую посетить его блог) задавал мне вопросы связанные с деталями реализации наших AB кластеров и центрального реестра пользователей (у нас в системе его называют CDC). Теперь, когда мы уже зарелизилист, могу рассказать некоторые "секреты" :)

Итак, про JDBC репликацию я уже рассказал. Конечно же, процедуры восстановления базы данных после сбоя выписаны "руками" поверх все того же HA-JDBC.

Центральный реестр пользователей (CDC) - реализован как кластер из одного или более хостов. В качестве хранилища, использующий Berkeley DB (Java Edition) от ORACLE. Я, как автор CDC, могу "похвастать" еще и тем - что механизм распределенных транзакций сделан собственный. Кроме того, сервис полностью удовлетворяет требованиям "zero administration" и умеет "самовосстанавливаться" и "самореплицироваться".

Для построения кластеров мы активно используем JGroups.

Вот пожалуй и все "секреты", остальное - дело техники :)

Желаю удачи, коллеги!

Нейроны на электродах научились обходить препятствия

Как сообщают Свободные исследователи, достигнут ощутимый результат в управлении железом искусственно выращенными нейронами.

Шестьдесят электродов были подключены к ячейке с нейронами, извлеченными из коры головного мозга крысы (точнее - крысиного эмбриона) и помещенными в питательную среду. За счет того, что электроды передавали сигналы в двух направлениях (т.е. помимо регистрации электрической активности ими же можно было стимулировать нейроны) удалось добиться весьма впечатляющего результата - культивированный “в пробирке” биологический мозг смог управлять электронной схемой с использованием получаемых от электроники же данных!

Пока он только научился (я специально подчеркиваю это - обучились живые нейроны, а не искусственная нейросеть) избегать препятствий - но ученые надеются добиться и узнавания окружающего ландшафта.

Искусственный интеллект в системах поиска

Искусственный интеллект в поиске
Вебпланета - Москва,Russia
Искусственный интеллект может улучшить качество поиска в Интернете, но на пути к этому все еще полно препятствий – на этом акцентировал внимание главный докладчик технической конференции, проведенной в июле корпорацией IBM. Конференция называлась "Новый искусственный интеллект – новые приемы использования компьютеров" и проходила в исследовательском центре IBM в Сан-Хосе (США). Основой конференции стало выступление Орена Эциони (Oren Etzioni), директора Центра имени Тьюринга в Вашингтонском университете ...

Моделирование мошенников

Создана новая система моделирования взлома
Хакер - Москва,Russia
Проект предлагает технологию под названием "моделирование мошенничества", комбинацию из определения поведенческой модели пользователя и искусственного интеллекта на основе причинно-следственных связей. Guardian Analytics позволяет компаниям создать настраиваемую модель «нормального» взаимодействия пользователя с системой, что позволяет более точно определять попытки возможного воровства. Милтонбергер говорит, что существует множество способов скрыть попытку мошенничества, таких как использование прокси, ...

Российская армия без искусственного интеллекта, как рыба без велосипеда

У российской армии разыгрался аппетит
ГАЗЕТА.GZT.ru - Москва,Russia
Российская армия, как следует из проекта, будет развиваться на основе нанотехнологий и оружия с искусственным интеллектом, численность офицерского состава будет оптимизирована, а призыв останется. Согласно документу, военные конфликты первой трети ХХI века будут вестись с использованием оружия с искусственным интеллектом, воздушно-космических войск и мобильных спецгрупп. Решающее значение на исход войны будет оказывать скорость развертывания и применения оружия, а также способность в сжатые сроки ...