BigData - уходящий тренд или перспективное направление в ИТ?

Информация – это один из ценнейших ресурсов в современном мире, владение большими объемами которого позволяет в разы повысить эффективность ведения бизнеса. В последние годы развитие современных технологий и увеличение роли интернета в жизни людей(соцсети, крупные интернет магазины, поисковые системы и т.д.)позволило различным структурам накопить громадное количество информации, обработка и анализ которой может принести немалую пользу крупному бизнесу или правительственным организациям. Понимание необходимости создания технологии работы с крупными массивами данных и привело к появлению термина BigData, который стал одним из самых обсуждаемых трендов в ИТ сфере в последние годы.

Несмотря на то, что многие крупные корпорации ежегодно вкладывают десятки миллионов долларов в развитие технологий работы с большими массивами информации, у BigData находится немало критиков, выказывающих сомнение в целесообразности развития этих технологий. И если у вас идея бизнеса, связанная с этим сектором ИТ индустрии, то стоит изучить мнения обеих сторон.

Что представляет собой BigData на сегодняшний день

Над точным определением термина BigData до сих пор ведутся споры среди специалистов, но большинство склоняется к тому, что под определение попадают не только сами большие объемы информации, которые сложно обработать стандартными методиками, но также программное обеспечение и оборудование, способное справится с этой задачей.

По мнению специалистов BigData имеет следующие характерные признаки:

• Большие объемы информации, которые слишком сложно хранить и обрабатывать без усовершенствования традиционных инструментов.
• Скорость накопления информации – быстрота сбора данных постоянно увеличивается, 90% имеющихся на сегодняшний день накопленных данных были собраны буквально за несколько последних лет.
• Многообразие типов информации структурированной и неструктурированной (аудио, видео, текст, информация из соцсетей и т.д.) имеющей разный формат, которая требует одновременной обработки. Сегодня 80% хранимых данных как раз имеют неструктурированный характер и без комплексного подхода ее сложно обработать.
• Достоверность данных – для использования BigData в практических целях необходимо быть уверенным в достоверности информации. Например, четко определить - сделаны были действия на сайте реальным пользователем или роботом.
• Ценность информации – и обработанные данные должны иметь реальную ценность для компании, проводящей исследования (оптимизация бизнес процессов, уменьшение текущих расходов, ведение отчетности и т.д.).

Институт IBM проводил статистические исследования, которые показали, что больше всего BigData используется для улучшения клиентского сервиса 53%, повышения операционной эффективности 40% и управлениея рисками 7%.

Для практического использования BigData используется три типа технологий:

• Программное обеспечение: SQL язык программирования для работы с базами данных; NoSQL – набор методик для работы с меняющимися базами, такими как соцсети; MapReduce– модель для построения параллельных вычислений; Hadoop– инструмент для работы с контекстными и поисковыми механизмами крупных сайтов; SAP HANA – платформа, способная обрабатывать данные с высокой скоростью.
  
  
  
• Оборудование – для хранения и обработки данных используют компьютерные кластеры, которые способны обеспечить бесперебойную работу, и исключают потерю информации благодаря своей конструкции.
  
  
  
• Сервисное обслуживание – имеется в виду построение архитектуры компьютерного оборудования, оптимизации инфраструктуры, устранение неполадок и т.д.

В обработке и последующем анализе BigData более всего заинтересованы следующие отрасли бизнеса:

• Розничная торговля – здесь подобная информация позволяет оптимизировать все процессы бизнеса, от взаимодействия с клиентами, до улучшения логистики.
• Финансы – работа с кредитными историями и предложением клиентам наиболее интересных для них банковских продуктов. Также BigData в финансовой сфере помогает бороться с мошенническими схемами.
• Сотовые операторы – этими компаниями проводится анализ данных для удержания клиентов и привлечения новых.
• Горнодобывающая промышленность – в этом случае массивы данных обрабатывают для выяснения перспективности разработки месторождений, прогнозирования рыночного спроса и контроля над исправностью оборудования.

На сегодняшний день уже многие компании используют ресурсы BigData для оптимизации своего бизнеса. Примером могут послужить такие гиганты как: Google, Facebook, Visa, CocaCola и д.р.

Критика технологий BigData

Несмотря на то, что количество накапливаемых данных растет как снежный ком, и в будущем при реализации таких трендов как «интернет вещей» накапливаемой информации будет только больше, у BigData находятся противники, выражающие конструктивную критику.

В первую очередь многие специалисты из ИТ индустрии говорят о том, что технология хранения и обработки данных постоянно эволюционирует и в ближайшее время будет возможно обрабатывать массивы информации в реальном времени. И технологии BigData просто уйдут на свалку истории, как это когда-то было с идеями Web 2.0.

Также нередко утверждается, что разговоры BigData – это всего лишь маркетинговый трюк, не приносящий реальной пользы, и не стоящий тех громадных вложений, которые тратятся на разработку технологий обработки массивов информации.

И еще одна тема для критики – это морально-этические вопросы использования такого количества данных, которые могут содержать личную информацию миллионов людей. Приверженцы конспирологических теорий видят в этом опасность тотального контроля со стороны спецслужб, или преступных организаций.

Но, несмотря на критику, с каждым днем все больше представителей бизнеса осознают ценность работы с большими объемами информации. И так как внутри компании проблематично создать подразделение, которое сможет работать с технологиями BigData, то спрос на аутсорсинг в этом вопросе будет высоким в обозримом будущем. А значит, что на этой технологии можно построить успешную идею бизнеса.

Если вам понравилась статья, то поделитесь ею с друзьями – возможно, их бизнесу принесет пользу использование технологий BigData.