Анализ больших данных

Big Data или боль­шие дан­ные — это серия под­хо­дов, инстру­мен­тов и мето­дов обра­ботки струк­ту­ри­ро­ван­ных, слабо струк­ту­ри­ро­ван­ных и неструк­ту­ри­ро­ван­ных дан­ных огром­ных объ­ё­мов и зна­чи­тель­ного мно­го­об­ра­зия для полу­че­ния вос­при­ни­ма­е­мых чело­ве­ком резуль­та­тов, эффек­тив­ных в усло­виях непре­рыв­ного при­ро­ста, рас­пре­де­ле­ния по мно­го­чис­лен­ным узлам вычис­ли­тель­ной сети, аль­тер­на­тив­ных тра­ди­ци­он­ным систе­мам управ­ле­ния базами дан­ных и реше­ниям класса Business Intelligence. В дан­ную серию вклю­чают сред­ства мас­сово-парал­лель­ной обра­ботки неопре­делённо струк­ту­ри­ро­ван­ных дан­ных, преж­де все­го, реше­ниями кате­го­рии NoSQL, алго­рит­мами MapReduce, про­грамм­ными кар­ка­сами и биб­лио­те­ками про­екта Hadoop.

В каче­стве опре­де­ля­ю­щих харак­те­ри­стик для боль­ших дан­ных отме­чают «три V» — volume (объём), velocity (ско­рость), variety (мно­го­об­ра­зие).

  • объём — в смысле вели­чины физи­че­ского объёма,
  • ско­рость — в смыс­лах как ско­ро­сти при­ро­ста, так и необ­хо­ди­мо­сти высо­ко­ско­рост­ной обра­ботки и полу­че­ния резуль­та­тов,
  • мно­го­об­ра­зие — в смысле воз­мож­но­сти одно­вре­мен­ной обра­ботки раз­лич­ных типов струк­ту­ри­ро­ван­ных и неструк­ту­ри­ро­ван­ных дан­ных.

В реаль­но­сти, только очень круп­ные ком­па­нии обла­дают боль­шими дан­ными в истин­ном пони­ма­нии этого термина, так как даже несколько тер­ра­байт накоп­лен­ной ста­ти­стики тако­выми про­сто не явля­ют­ся.

Проблемы анализа Больших Данных

Тер­ра­байт­ная реля­ци­он­ная база дан­ных — это highload-DB, а не Big Data. Раз­ница между этими поня­ти­ями в воз­мож­но­сти стро­ить гиб­кие запро­сы. Обыч­ные реля­ци­он­ные базы дан­ных под­хо­дят для доста­точно быст­рых и одно­тип­ных запро­сов, а на слож­ных и гибко постро­ен­ных запро­сах нагрузка про­сто пре­вы­шает все разум­ные пре­делы и исполь­зо­ва­ние СУБД ста­но­вится неэф­фек­тив­ным. При этом, методы ана­лиза Big Data вполне при­ме­нимы и к дан­ным, кото­рые изна­чально боль­шими не явля­ют­ся, более того, ана­ли­ти­ка, постро­ен­ная на ста­ти­сти­че­ском ана­лизе и машин­ном обу­че­нии может быть полезна во мно­гих про­ектах.

Некото­рые методы и тех­ники ана­лиза, при­ме­нимые к Big Data

  • Data Mining: обу­че­ние ассо­ци­а­тив­ным пра­ви­лам, клас­си­фи­ка­ция (методы кате­го­ри­за­ции новых дан­ных на основе прин­ци­пов, ранее при­менён­ных к уже нали­че­ству­ю­щим дан­ным), кла­стер­ный ана­лиз, регрес­си­он­ный ана­лиз;
  • Кра­уд­сор­синг — кате­го­ри­за­ция и обо­га­ще­ние дан­ных силами широ­ко­го, неопре­делённого круга лиц;
  • Сме­ше­ние и инте­гра­ция дан­ных — набор тех­ник, поз­во­ля­ю­щих инте­гри­ро­вать раз­но­род­ные дан­ные из раз­но­об­раз­ных источ­ни­ков для воз­мож­но­сти глу­бин­ного ана­лиза;
  • Машин­ное обу­че­ние, вклю­чая обу­че­ние с учи­те­лем и без учи­те­ля, а также исполь­зо­ва­ние моде­лей, постро­ен­ных на базе ста­ти­сти­че­ского ана­лиза или машин­ного обу­че­ния для полу­че­ния ком­плекс­ных про­гно­зов на основе базо­вых моде­лей;
  • искус­ствен­ные ней­рон­ные сети, сете­вой ана­лиз, опти­ми­за­ция, в том числе гене­ти­че­ские алгоритмы;
  • про­стран­ствен­ный ана­лиз — исполь­зо­ва­ние топо­ло­ги­че­ской, гео­мет­ри­че­ской и гео­гра­фи­че­ской инфор­ма­ции в дан­ных;
  • ста­ти­сти­че­ский ана­лиз: A/B-тести­ро­ва­ние и ана­лиз вре­мен­ных рядов;
  • визу­а­ли­за­ция ана­ли­ти­че­ских дан­ных — пред­став­ле­ние инфор­ма­ции в виде рисун­ков, гра­фи­ков, схем и диа­грамм с исполь­зо­ва­нием интер­ак­тив­ных воз­мож­но­стей и ани­ма­ции как для резуль­та­тов, так и для исполь­зо­ва­ния в каче­стве исход­ных дан­ных для даль­ней­шего ана­лиза.

Главные слова 2017 года: Хайп, Зашквар и Эщкере!

Биг дата — что это такое? Определение, значение, перевод

Биг дата (от английского Big Data — «большие объёмы данных») это понятие из области современных компьютерных наук, обозначающее огромные, сложные и быстро растущие объёмы данных, которые нужно постоянно обрабатывать, хранить и анализировать.

Big Data — что такое системы больших данных? Развитие технологий Big Data

Представьте себе современный поисковик вроде Яндекса или Гугла, ежедневно обрабатывающий миллиарды запросов. Те данные, которыми оперирует поисковая система, нуждаются в хранении, обновлении и постоянной быстрой обработке. Для этого нужны нестандартные программные решения, которые и принято называть Big Data. Те средства, которые хороши для разработки маленького сайта, на который заходят по 5-6 тысяч посетителей в сутки, уже не выдержат нагрузки в миллиард запросов в день, отсюда и необходимость в разного рода оптимизациях и уловках, позволяющих быстро и эффективно обрабатывать огромные массивы букв и цифр. Кстати, по-английски «Big Data» произносится как «биг дэйта».

исправить/дополнить

Биг дата находится в списке: Компьютеры

Вы узнали, откуда произошло слово Биг дата простыми словами, его перевод и смысл.
Пожалуйста, поделитесь ссылкой «Что такое Биг дата?» с друзьями:

И не забудьте подписаться на самый интересный паблик ВКонтакте:

 

© 2018 Сайт новых и хорошо забытых слов Что-это-такое.ru
Добавить слово | Помочь проекту

Технология Big Data (Анализ Больших Данных)

Big Data — модный термин, обозначающий технологии обработки структурированных и неструктурированных данных огромных объемов для получения полезных и понятных человеку результатов. В бизнесе Big Data используется для поддержки принятия решений руководителем (например, на основании анализа финансовых показателей из учетной системы) или маркетологом (например, на основании анализа предпочтений клиентов из социальных сетей)

25.09.17. МТС запустила облачную платформу для обработки Big Data


Оператор МТС запустил услугу по облачной обработке больших данных для бизнеса в рамках своей облачной платформы #CloudМТС. Компании смогут работать с данными в программных средах Hadoop и Spark. Например, этот  облачный сервис поможет бизнесу таргетировать рекламу, собирать и обрабатывать открытые данные, проводить финансовую и бизнес-аналитику. Интернет-магазины смогут анализировать поведение клиентов, а затем предлагать готовые таргетированные предложения к разным событиям и праздникам.

Большие данные vs бизнес-аналитика

Сервис работает при помощи предустановленных инструментов расчета, однако есть возможность создать собственные алгоритмы обработки данных. Стоимость использования сервиса составляет от 5 тысяч рублей в месяц, цена изменяется в зависимости от пространства, занятого в облаке. Напомним, платформа #CloudМТС была создана в 2016 году. Сначала она предоставляла только услуги облачного хранения данных, а позже появилась и услуга облачных вычислений.

2016. Big Data прогноз на Олимпиаду в Рио


Уже скоро Big Data сервисы будут подсказывать вам, какие решения принимать для роста и обеспечения безопасности вашего бизнеса. Пока же они, в основном, тренируются на спортивных мероприятиях. Помните, недавно интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу? Так вот, нифига она не угадала. На этот раз американская компания Gracenote, которая специализируется на обработке больших данных, просчитала наиболее вероятный вариант медального зачета Олимпиады в Рио. На картинке — прогноз, который был составлен за месяц до Олимпиады. Он постоянно обновляется. Текущая версия — здесь.

2016. Интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу


У Microsoft (как у любого уважающего себя ИТ-гиганта) уже есть аналитическая платформа, основанная на обработке больших данных (Big Data) и искусственном интеллекте — Microsoft Cortana Intelligence Suite. На основании различных данных из ваших бизнес-систем, она может предсказать отток клиентов, поломки оборудования, изменение доходов и т.д. А сейчас, Microsoft дает нам возможность проверить, насколько точно работает эта платформа. Проанализировав футбольную историю, статистическую информацию о командах, результативности игроков, полученных травмах, а также комментарии фанатов в социальных сетях, она представила свой прогноз на Чемпионат Европы по футболу, который стартует сегодня.

Итак, согласно прогнозу: в финале Германия победит Испанию с вероятностью 66%. А в стартовом матче Франция выиграет у Румынии с вероятностью 71%. ***

2016. SAP и Яндекс создают Big Data сервис для удержания клиентов


2 года назад Яндекс запустил сервис Yandex Data Factory, который предоставляет услуги обработки больших данных для бизнесов. Этот сервис уже помог таким компаниям как Билайн и Wargaming (Word of Tanks) избегать оттока клиентов. Он предсказывает периоды оттока на основании исторических данных и дает бизнесу возможность подготовиться и вовремя предложить какую-нибудь новую акцию. Теперь, видимо, эта технология Яндекс заинтересовала крупнейшего в мире игрока на корпоративном ИТ рынке — компанию SAP. Компании объединили усилия, чтобы разработать сервис для предсказания поведения клиентов. По мнению SAP и YDF, сервис будут использовать в ритейле, e-commerce, банках и телекоммуникациях. Говорят, сервис будет предназначен для среднего бизнеса, в том числе, и по цене.

2016. PROMT Analyser — морфологический анализатор Big Data


Компания PROMT выпустила PROMT Analyser — решение в области искусственного интеллекта для работы с большими данными в информационно-аналитических системах. Инструмент предназначен для поиска, извлечения, обобщения и структуризации информации из практически любого текстового контента на разных языках как в корпоративных системах, так и во внешних источниках.  Он анализирует любые тексты или документы, выделяет в них сущности (персоналии, организации, географические названия, геополитические сущности и др.), а также определяет соотносящиеся с этим сущностями действия, дату и место совершения действия, формирует целостный образ документа. PROMT Analyser позволяет решать самые разные задачи: анализ внутренних ресурсов компании (системы документооборота), анализ внешних ресурсов (медиа, блогосфера и пр.), анализ данных, получаемых из закрытых источников, для оценки критичности ситуаций, анализ деятельности объекта с привязкой к географии, а также оптимизация поисковых систем и служб поддержки.

2016. Mail.Ru поможет компаниям анализировать их данные


Mail.Ru стремится ни в чем не отставать от своего главного конкурента — Яндекса. Год назад Яндекс открыл сервис анализа больших данных для бизнеса. А теперь Mail.ru открыла Big Data направление для корпоративных клиентов. Прежде всего, оно будет заниматься проектами, направленными на повышение эффективности процессов маркетинга и продаж, оптимизации производства, логистики, управления рисками, планирования, управления персоналом и другие рабочие процессы различных бизнесов. Например, Mail.ru сможет создать модель прогнозирования оттока клиентов, отклика на предложения, прогноз реакции на обращение через определенный канал коммуникации. Это позволит сделать взаимодействие с потенциальным клиентом более персонифицированным. В Mail.ru заявляют, что компания занимается анализом данных фактически с момента основания и имеет собственные технологии машинного обучения. ***

2015. IBM станет ведущим провайдером прогноза погоды для бизнеса


Важна ли погода для бизнеса? Конечно, особенно, если ваш бизнес — это сельхоз предприятие, турфирма, кафе или магазин одежды. Погода влияет на стабильность поставок, выбор ассортимента и активность продаж. В таком случае, каждая уважающая себя система бизнес-аналитики должна учитывать прогноз погоды. Так подумали в IBM и купили крупнейшую в мире метеослужбу The Weather Company. IBM планирует скормить данные из трех миллиардов прогнозных референсных точек своему суперкомпьютеру Watson и совершить переворот в прогнозировании погоды. Кроме того, они планируют создать платформу, которая позволит сторонним бизнес-приложениям использовать информацию о погоде за некоторую плату. ***

2015. Видео: как использовать Big Data для привлечения талантливых сотрудников

Вы все еще сомневаетесь, что Big Data — это полезно для бизнеса? Тогда посмотрите этот ролик о том, как Билайн привлекает новых талантливых работников с помощью Big Data. В начале сентября по Москве курсировало такое Big Data Taxi в виде автомобиля Tesla.

По словам представителя Билайн, кроме помощи в привлечении новых талантов, технологии Big Data позволяют компании решать самые разные задачи. Начиная от таких простых и тривиальных, как «найди всех тех, кто пользуется SIM, купленной по чужому паспорту», и заканчивая — «определи возраст абонента по совокупности показателей». ***

2015. Microsoft представила говорящую Big Data платформу

Технологии Big Data обещают компаниям волшебную оптимизацию бизнес процессов, например: у вас всегда будет нужное количество товара в нужном месте, в нужное время. Но те компании, которые уже попробовали Big Data говорят: на практике это не работает. Существующие Big Data системы предназначены для аналитиков, а обычному сотруднику, который должен принять решение здесь и сейчас, они не помогают. Поэтому, в Microsoft решили выпустить Big Data платформу с человеческим лицом (точнее — голосом) — Cortana Analytics Suite. Она основана на облачной платформе Azure и использует голосового помощника Cortana в качестве интерфейса. Предполагается, что с помощью визуального конструктора любой начальник департамента сможет создавать мини-приложения, обрабатывающие большие объемы данных, а любой сотрудник — сможет спрашивать у Кортаны и получать нужную информацию в нужное время, в нужном месте. ***

2015. Видео: Что такое Big Data и кому это нужно?

Российский стартап CleverData позиционируется как Big Data-интегратор. Они реализуют проекты для решения конкретных бизнес-задач с использованием Big Data платформ и технологий. На видео генеральный директор CleverData Денис Афанасьев интересно рассказывает о том, что такое Big Data и откуда эти большие данные появились. Оказывается, технологии обработки больших данных существуют уже не один десяток лет, но причина появления маркетингового термина Big Data в том, что (благодаря облачным вычислениям) снизилась их стоимость, и они стали доступными малым-средним компаниям. По словам Дениса, чаще всего Big Data применяется для маркетинга (сегментация клиентской базой, онлайн реклама), ит безопасности (выявление мошенничества, прогнозирование поломок), риск менеджмента (оценка кредитоспособности клиентов). ***

2015. SAP представил Next Big Thing — ERP-систему S/4HANA


Первая ERP система SAP называлась R/2 и работала на мейнфреймах. Потом был R/3. В 2004 году появился SAP Business Suite. На днях SAP представил (как они говорят) самый главный продукт в своей истории — новую версию S4/HANA. При ее создании разработчики думали не о том, как утереть нос извечному конкуренту Oracle, а о том, как не дать себя обставить агрессивным SaaS-провайдерам Salesforce и Workday. Поэтому S4 сможет работать как локально, так и в облаке. Главная фишка системы — скорость. Как следует из названия, в основе S4 лежит ведущая Big-Data платформа SAP HANA, которая позволяет обрабатывать очень большие данные за секунды. Вторая главная фишка — интерфейс. Забудьте о сложных таблицах и меню, в которых без бутылки не разобраться. SAP хочет, чтобы новой мощной системой можно было управлять с помощью смартфона. Для работы с SAP можно будет использовать как минимум 25 простых приложений SAP Fiori. Вот их видеопрезентация: ***

2014. Яндекс открыл Big Data сервис для бизнеса


Яндекс запустил проект Yandex Data Factory, который будет предоставлять услуги обработки больших данных для бизнесов. Для этого он использует технологию машинного обучения Матрикснет, которую Яндекс разработал для ранжирования сайтов в своей поисковой системе. Заявляется, что Яндекс планирует стать конкурентом таким компаниям, как SAP AG и Microsoft. На данный момент специалисты Yandex Data Factory реализовали несколько пилотных проектов с европейскими компаниями. В частности искусственный интеллект Яндекса использовался компанией, обслуживающей линии электропередач, для прогнозирования поломок, банком — для таргетирования заемщиков, автодорожным агентством для прогнозирования пробок на дорогах. Кроме того, оказывается Яндекс обрабатывает данные, полученные из знаменитого адронного коллайдера в центре CERN. ***

2014. Microsoft поможет Мадридскому Реалу выигрывать с помощью Big Data


От добра добра не ищут. Мадридский Реал довольно хорошо играет в последнее время и добивается высоких результатов. Однако, лавры сборной Германии, выигравшей чемпионат мира с помощью Big Data не дают покоя президенту мадридского клуба Флорентино Пересу (крайний слева на фото). Поэтому он заключил контракт с Microsoft на сумму $30 млн, в рамках которого будет создана современная ИТ инфраструктура клуба. Тренерский состав и игроки Реала получат планшеты Surface Pro 3 с предустановленными приложениями Office 365 для более тесного взаимодействия персонала. А используя аналитические инструменты Power BI for Office 365, тренеры команды смогут изучать эффективность игры футболистов, определять долгосрочные тенденции и даже предсказывать травмы. ***

2014. 1С-Битрикс запустил сервис Big Data

Big Data — технологии для обработки очень больших объемов данных с целью получения простых и полезных для бизнеса результатов — это один из главных новых трендов ИТ рынка. А сервис 1С-Битрикс BigData — это пожалуй, первый отечественный сервис, основанный на этой технологии. Первым применением этого искусственного интеллекта станет оптимизация (персонализация) интернет-магазинов на движке Битрикс под каждого нового посетителя. На основе анализа большого количества данных о всех прошлых посетителях, сервис сможет предсказывать поведение нового посетителя на сайте, выделять похожих на него клиентов, и делать ему персонализированные предложения на основе истории покупок других клиентов. Вероятно, скоро можно будет ожидать Big Data функции и в системе управления бизнесом Битрикс24.

***

2014. SAP: Сборная Германии выиграла Чемпионат Мира благодаря Big Data

Недавно, в прошлом году, яхта Oracle выиграла Кубок Америки, и тогда в Oracle сказали, что эта победа произошла во многом благодаря системе анализа больших данных (Big Data) в облаке Oracle. Теперь настало время извечного конкурента Oracle — немецкой компании SAP ответить на этот PR-ход. Оказалось, что сборная Германии выиграла Чемпионат Мира по футболу тоже благодаря Big Data. В SAP разработали систему Match Insights, которая считывает футбольный матч в 3-х мерную цифровую модель и анализирует действия каждого игрока и команды в целом. Анализировались не только матчи собственной сборной (чтобы исправить ошибки и улучшить эффективность), но и матчи конкурентов. Искусственный интеллект находил слабые места соперников и помогал команде подготовиться к матчу. А мораль этой басни такова: Представьте, что Big Data может сделать для вашего бизнеса. ***

2014. КРОК запустил облачное решение класса Business Intelligence


Системный интегратор Крок запустил сервис бизнес-аналитики с говорящим названием «Business Intelligence as a Service» или BIaaS. Решение рассчитано на крупные организации, заинтересованные в снижении капитальных затрат и ускорении принятия управленческих решений. Система построена на продукте EMC Greenplum и представляет собой решение уровня Big Data. С помощью этого инструмента можно анализировать и сравнивать большие объемы информации, выстраивать ключевые показатели и принимать бизнес-решения, минуя стадию капитальных затрат на приобретение софта, лицензий и возможную модернизацию инфраструктуры. Решение позволяет реализовать три возможных сценария работы с данными — аналитика для ритейла, анализ показателей работы контакт-центра, а также оценка управленческой деятельности организации на соответствие KPI.

2013. SAP делает большие бизнесы эффективными с помощью Big Data. Конкуренты плачут

В последние годы SAP проявлял себя, как наименее инновационная ИТ компания (по сравнению с конкурентами Oracle, Microsoft, IBM). Все собственные инновационные проекты SAP в основном проваливались (вспомните Business ByDesign), и единственное, что получалось у SAP — это покупать другие компании (SuccessFactors, SyBase, Ariba). Но на этот раз SAP, похоже, решил утереть нос конкурентам. И сделает он это за счет новой модной технологии Big Data. Что это такое? ***

Добавить комментарий

Закрыть меню