Что вы делаете, когда у вас есть терабайт и более данных и вы хотите работать его с в режиме реального времени? Ну, одним из решений является обратиться к Apache Storm.
Storm с открытым исходным кодом, высокопроизводительный, с распределенными путями вычислений в реальном времени для быстрой обработки больших потоков данных. Он может быть использован в режиме реального времени для аналитики, машины онлайн обучения, непрерывно вычислительных и других рабочих мест Big Data.
Эта программа очень быстра. Apache Software Foundation (ASF) утверждает, что Storm способен обрабатывать более миллиона tuples в секунду на узел. Шторм делает это, работая по потоковой передачи данных в параллельных кластерах в отличие от MapReduce, который делает его в пакетных заданий.
Если вы так долго ждали Storm, чтобы сделать Apache Project верхнего уровня (TLP) перед его использованием, то это больше не оправдано. Шторм стал TLP 29 сентября.
Компания BackType официально благословила Storm, которая начала маркетинг разведку до того, как приобрела Twitter, и уже используется многими ведущими компаниями, ищущих самой высокой скорости для своих проектов больших данных. К ним относятся Alibaba, Twitter, Yahoo, и Groupon.
Обычно Storm используется в сочетании с Hadoop , но это не ограничивается этим. Microsoft, например, находится на грани включения Storm в Azure Factory Data .
Как Андрей Фэн, выдающийся архитектор Yahoo, говорит в заявлении, «Сегодняшнее объявление знаменует собой важную веху в продолжающейся эволюции Storm. Мы гордимся нашими постоянно вносимыми взносами в Storm, которые привели к упрочнению безопасности, поддержку мульти-аренды и повышение масштабируемости. Сегодня, Apache Storm широко принятой на Yahoo в режиме реального времени для обеспечения потребностей обработки данных, включая контент персонализации, рекламы и мобильных разработок. Это захватывающе, чтобы увидеть экосистему Hadoop и продолжением расширения сообщества принявших Storm».
Так что, если вы ищете идеальное решение для ваших нагрузок по обработки данных, вы должны попробовать Storm.