Big Data

Специалист по большим данным: от обработки веб-логов до построения рекомендательных систем за 12 недель

22 марта New Professions Labзапускает восьмую группу образовательной программы — «Специалист по большим данным 8.0». Участники будут осваивать две наиболее востребованные темы в Data Science: обработку веб-логов в рамках DMP-систем и построение алгоритмов для рекомендательных систем на 36 занятиях с экспертами индустрии. Программа рассчитана на разработчиков, аналитикови продакт-менеджеров, желающих овладеть новейшими инструментами работы с большими данными, улучшить свои продукты, используя технологии Big Data, а также научиться эффективнее управлять бизнес-процессами, применяя навыки машинного обучения.

Занятия будут проходить в офлайн формате (предусмотрена онлайн трансляция всех занятий) в течение 12 недель, за которые участникам предстоит выполнить 10 лабораторных работи 2 проектав двух тематических модулях:

● Модуль «Обработка и анализ веб-логов»будет посвящен комплексному изучению экосистемы Hadoop, работе HBase, Hive и уникальным методам text mining. Полученные навыки позволят на практике делать прогнозы по оттоку клиентов, проводить сентимент-анализ отзывов, определять тематику текстов и персонализировать рекламу, а также осуществлять скоринг потенциальных заёмщиков банка на основе управления большими данными.

● Модуль «Рекомендательные системы» ориентирован на исследование рекомендательных систем и персонализации контента, упор будет сделан на работу с данными и машинное обучение в Apache Spark. Алгоритмы облегчат процесс создания эффективных рекомендательных систем и персонализированного контента для бизнеса представителям сегментов e-commerce, медиа, социальных сетей, банкинга и рекламы.

Среди преподавателей программы: Петр Ермаков, Head of Data & Analytics в Mail.Ru Group, Антон Пилипенко, Data Engineer в Mail.ru Group, Александр Петров, Sr. Software Development Engineer в Amazon Development Centre в Шотландии, Григорий Сапунов, со-основатель и СТО в Intento, экс-глава разработки Яндекс.Новости, Дмитрий Игнатов, Заместитель руководителя на Факультете компьютерных наук, доцент в Департаменте анализа данных и искусственного интеллекта в НИУ ВШЭ, и др.

«Я прошел большинство онлайн-курсов по Data Science, к примеру, классический курс Andrew Ng. Онлайн курсы дают неплохое представление об использовании того или иного инструмента, и вместе с тем для меня было важно получить ответы на вопросы о тонкостях внедрения и использования различных технологий. Оффлайн формат, когда можно легко общаться с опытными коллегами, отлично для этого подходит. В первую очередь программа познакомила с огромным спектром различных инструментов, принципами их работы, расширив мой технический кругозор, а так же я получил понимание того, что при небольших усилиях можно добиться очень многого, если владеть необходимым инструментарием. Благодаря программе мне удалось выбрать правильные технологии, позволяющие лучшим образом внедрить и настроить систему. Я понял, что big data — это понятно и просто, и научился использовать эти технологии для извлечения максимальной пользы с минимальными затратами.»— Сергей Чеканский, Head of Business Intelligence в StyleLounge, Германия.

Мастер-классы проводятся в партнерстве с компаниями Rambler&Co, Qlean, Amazon, Mail.ru Group, Intento, 1С Битрикс.

Особенностями программы являются:

● Работа в автоматизированном личном кабинете, благодаря которому в режиме real-time участники могут получать результат проверок и точности прогнозов по своим проектам и лабораторным;

● Возможность удаленного участия. Онлайн-трансляция всех занятий позволяет удаленным участникам задавать преподавателям возникающие по ходу занятий вопросы в рабочем slack-чате;

● 24-ядерный кластер с 1 Тб дискового пространствадля комфортной работы с большими данными и бесперебойного функционирования рабочего пространства обучающихся.

Важно: для успешного прохождения обучения необходимо обладать навыками программирования на языках высокого уровня, в частности Python, базовыми знаниями системы Linux, пониманием принципов работы языка запросов SQL, а также знать теорию вероятностей и статистику.

Длительность обучения составит 12 недель (22 марта — 16 июня). Возможно онлайн-участие. Офлайн-занятия будут проводиться в офисе ПАО «Мегафон» по адресу: БЦ Оружейный, Оружейный пер., д.41.

Ознакомиться с подробной информацией о программе, а также узнать стоимость участия можно на сайте: http://newprolab.com/ru/bigdata/.При регистрации на программу до 22 февраля действует 15% скидка.

Подпишитесь на еженедельную рассылку Asmo News

Оставить комментарий
Big Data Blockchain Machine learning

Веселые Финтех-старты

Приглашаем финтех-стартапы, трекеров, специалистов в сфере финансовых технологийпринять участие в «Веселых Финтех-стартах». Это принципиально новый формат встреч Ассоциации «Финтех Старт».

Если вы делаете проекты в сфере Big data, Blockchain, Machine learning и других финтех-сферах, то у вас есть прекрасная возможность провести быструю питч-сессию перед экспертами рынка, представителями Ассоциации ФинТех и получить от них обратную связь.

После этого гостей ждут общение на актуальные темы с представителями отрасли в формате speed dating и фуршет.

Хотите принять участие как стартап- заполните анкету: https://fintechon.typeform.com/to/Bs6sCI

Чтобы принять участие как эксперт, нужно заполнить эту заявку: https://fintechon.typeform.com/to/FB8hGT

ВХОД ТОЛЬКО ПО ПРЕДВАРИТЕЛЬНОЙ РЕГИСТРАЦИИ!

Дата:02.03.2018 (пятница).

Время:18:00.

Место:Шлюзовая наб., 4, БЦ «Россо Рива», 5 этаж, офис Финтех Лаб.

Подпишитесь на еженедельную рассылку Asmo News

Оставить комментарий
Big Data Blockchain S7 Group Мероприятия Хакатоны

В Москве прошел первый хакатон, проведенный авиакомпанией — S7 Airlines

20-21 мая в Москве на площадке «Рабочая станция» в Парке Горького прошел масштабный хакатон от S7 Airlines. Организаторы получили более 200 заявок на участие в хакатоне, 54 команды боролись в финале за главные призы — 600 000 рублей, возможность заключить контракт с авиакомпанией или трудоустроиться в S7 Group.

Хакатон был посвящен созданию проектов и поиску современных технологических решений в сфере пассажирского опыта. В распоряжении у участников было всего 24 часа, чтобы создать рабочий прототип на основе своих идей в номинациях Big Data, Пассажирский опыт #займитесьсчастьем, Чат-бот, Финансы и Gamification. В финале приглашенные эксперты, топ-менеджеры компании, руководители департаментов S7 Group, отвечающие за финансы, пассажирский опыт, программы лояльности, Big Data, blockchain и Travel Retail, выбирали лучшие проекты.

В финале хакатона каждая команда выступила с двухминутной презентацией и представила свою разработку. Члены жюри отметили, что каждый проект предлагает уникальную идею и создает новую ценность для клиентов авиакомпании, которая может изменить жизнь пассажиров S7 Airlines к лучшему.

«Хотел бы сказать большое спасибо всем командам за участие в хакатоне. Хакатон прошел очень позитивно. У нас получилось создать очень продуктивную атмосферу. За 24 часа участникам удалось найти интересные решения и реализовать свои идеи. Со многими из команд мы продолжим общение на тему дальнейшей работы над проектами. Подобные технологические мероприятия являются подпиткой для внедрения инноваций, которые, в свою очередь, обеспечивают S7 Airlines место технологического лидера в отрасли» — Павел Воронин, заместитель генерального директора по информационным технологиям S7 Airlines.

Победителями в номинации Big Data, обладателями 200 000 рублей и специального приза от партнера хакатона Servers.com — ваучера на 1500$ на любые хостинговые услуги от компании, стала команда «Стюардесса по имени Жанна» и ее участники Олег Аленькин, Владимир Черных, Герман Новиков, Александр Анисимов — они на основе предоставленных исторических данных разработали систему прогнозирования загрузки будущих рейсов.

Все вычисления команд-участников секции Big Data были осуществлены на предоставленных Servers.com серверах Dell R430.

Победителями в номинации Gamification, обладателями 100 000 рублей и специального приза от компании S7 Airlines за самую креативную фотографию в Instagram с хештегом #S7hackathon — модель самолета Boeing A320, стала команда «HorseSE» и ее участники Владимир Павлов, Илья Горьков, Данил Беляков, Жамшид Рузиев — они сделали iOS-приложение, интегрированное в уже существующее мобильное приложение S7 Airlines, и расширяющее его функционал за счёт добавления пользователю игровых элементов. S7 Airlines, используя игровые механики, может более активно продавать билеты в приоритетные для компании направления.

Участник Кирилл Бедратый из команды «InnoDreamTeam» выложивший больше всех фотографий с хештегом #S7hackathon, получил приз от S7 Airlines самому активному пользователю Instagram. Ему была вручена модель самолета Boeing A320. Команда «InnoDreamTeam» занималась созданием системы, которая позволяла бы персоналу компании S7 Airlines, используя очки дополненной реальности (Google Glass), узнавать информацию о пассажирах.

Победителями в номинации Финансы и обладателями 100 000 рублей стала команда «Amazingcat» и ее участники Алексей Кузнецов, Валентина Кузнецова, Павел Лыков, Владимир Щипанов, Ярослав Андрусенко — они создали прототип автоматизированной системы проверки отчетов контрагентов для финансового отдела S7 Airlines.

Победителями в номинации Чат-бот и обладателями 100 000 рублей стала команда «Сotraveler» и ее участники Андрей Рязанов, Петр Васильев, Артем Литвинов, Лыков Данил и Семёнов Алексей — разработанный чат-бот позволяет снизить нагрузку на call-центр авиакомпании S7 Airlines за счет решения наиболее частых задач клиентов (ответы на типовые вопросы, регистрация на рейс, поиск и бронирование билетов).

Победителями в номинации Пассажирский опыт #займитесьсчастьем и обладателями 100 000 рублей стала команда «KTS.Mobile» и ее участники Максим Павлов, Максим Мялкин, Сергей Чернобровкин, Майдари Эрдынеев и Опрышко Александр — новое мобильное приложение представляет из себя чат на основе Bluetooth, который работает без интернета и позволяет пассажирам и бортпроводникам общаться в самолете прямо во время полета.

Специальный приз от компании «Электронное Облако» в виде подарочного сертификата на обучение на сумму 50 000 рублей и возможность попасть в инжиниринговый центр был присужден Евстратенко Богдану Сергеевичу в номинации «Чат-боты».

Экскурсии в инжиниринговый центр выиграли и команды:

* «SGame» — простое и гармоничное решение по геймификации текущего приложения S7 Airlines. В приложении от «SGame» пользователь получает уровень за набранные баллы. За получение каждого уровня — мили, скидки, доп. услуги. Команда разработала еще один способ получения баллов и миль, который называется «Приключения» — последовательные задания компании S7 Airlines (например, полететь во Францию и забронировать отель партнера с видом на Эйфелеву башню).

* «YaRobot» — промо-робот для оповещения пассажиров, самостоятельной сдачи багажа и других сценариев.

* «Small Data» — задача состояла в выделении так называемых, оптимальных профилей рейсов. Это совокупность параметров, которая определяет стоимость билетов на рейс с момента начала продаж до его вылета.

Повышение класса обслуживания билета экономического класса до бизнес-класса и сертификат с милями получила команда «KTS.Bot» и ее участники Ожегов Григорий, Игорь Латкин, Сергей Маленко, Виктория Синельникова и Илья Пеняев — бот помогает купить билет, зарегистрироваться на рейс, напомнит о полёте и посоветует одеться теплее, если будет прохладно. Он же отвечает на часто возникающие вопросы и понимает простую человеческую речь.

Travel grant на поездку в Европу получила команда «Picasel» и ее участники Джимиев Артур, Ирина Сенг, Чонгкал Сенг, Алексей Ольховой — проект команды это система лояльности S7High на базе платформы Blockchain. Прототип был реализован в мессенджере Facebook — он проводит транзакцию между клиентами и кофейней-партнером через открытое Blockchain API.

Партнерами мероприятия выступили компании Электронное облако, Servers.com, Яндекс, Voximplant, Готов Есть, Столица печати и Московский физико-технический институт.

Официальные группы хакатона S7 Airlines : Вконтакте, Facebook.

Подпишитесь на еженедельную рассылку Asmo News

Оставить комментарий
Big Data Статьи

В Дублине начал работу первый европейский центр «Лаборатории Касперского»

В столице Ирландии открыт первый центр разработок «Лаборатории Касперского» на европейском континенте.


В оборудование небольшого центра инвестировано приблизительно 5 миллионов долларов. В настоящее время здесь приступили к работе 30 сотрудников, в будущем их число планируется довести до 50. Вновь открытый центр будет сосредоточен на исследованиях и разработках (R&D), и основным направлением при этом станет разработка технологий анализа данных и машинного обучения. ofis-laboratorii-kasperskogo-dublinИсточник: eugene.kaspersky.ru

Создаваемые в результате инструменты защиты призваны послужить основанием инновационных технологий «Лаборатории Касперского», в том числе они будут распознавать и исследовать целевые атаки.

Выбор Дублина и Ирландии для офиса компании не случаен. Как рассказал Никита Швецов, директор по исследованиям и разработке «Лаборатории Касперского»:

Дублин имеет репутацию крупнейшего технологического хаба в Европе: город привлекает высококлассных IT-специалистов и инновационные компании и по праву становится своего рода европейской Кремниевой долиной. Так что наше решение открыть R&D-центр именно здесь более чем обосновано. Имея представительство в Дублине, мы сможем более тесно взаимодействовать с другими международными IT-компаниями. Мы также очень благодарны агентству по привлечению инвестиций IDA Ireland за содействие в открытии нашего нового офиса».

kasperskij-dublinИсточник: eugene.kaspersky.ru

Ирландия претендует на статус одной из лучших стран для создания структур, которые противостоят киберпреступностью. Уже сейчас в стране находятся представительства пяти крупнейших международных компаний, занятых разработкой защитного ПО. Руководство дублинским R&D-центром «Лаборатории Касперского» доверено Киту Уотерсу (Keith Waters), который обладает солидным многолетним работы в сфере разработки решений для анализа больших объемов данных (Big Data).

Появление структурного подразделения российской IT-компании в Дублине вызвало интерес на самом высоком политическом уровне. В официальной церемонии открытия нового офиса приняли участие и премьер-министр Энда Кенни и министр по делам предприятий, труда и инноваций Мэри Митчел О’Коннор. Премьер-министр Ирландии Энда Кенни так прокомментировал  факт появления центра «Лаборатории Касперского» на ирландской земле:

«Решение «Лаборатории Каперского» разместить в Ирландии ключевые для бизнеса процессы – знак доверия нашей экономике и бизнес-среде и признание высокого уровня подготовки наших специалистов. Кроме того, оно подтверждает тот факт, что в Ирландии созданы благоприятные условия для индустрии кибербезопасности. Это значит, что компаниям, заинтересованным в найме высокопрофессиональных разработчиков и аналитиков, стоит обратить свой взор на нашу страну. Правительство Ирландии понимает, какие высокие требования предъявляются к специалистам в области информационной безопасности. Мы делаем все возможное для того, чтобы они учитывались на всех уровнях образовательной системы».laboratoriya-kasperskogo

Источник: eugene.kaspersky.ru

Мартин Шанаан (Martin Shanahan), генеральный директор IDA Ireland, говоря о культуре «сотрудничества и взаимодействия, которая существует между лидерами индустрии и исследовательскими центрами» считает, что существуют все условия для развития Ирландии как инновационного хаба. Мартин Шанаан пожелал «Лаборатории Касперского» успехов в Ирландии:

И разумеется, компания всегда может рассчитывать на поддержку со стороны IDA Ireland».laboratoriya-kasperskogo-v-dubline

Источник: eugene.kaspersky.ru

Новый центр «Лаборатории Касперского» занял половину этажа небольшого здания, расположенного в районе Гранд-канала.

 

 

 

 

Подпишитесь на еженедельную рассылку Asmo News

Оставить комментарий
Big Data Hitachi

5 футуристических технологий хранения данных

Цифровые технологии стремительно развиваются, и учёные усердно работают над поиском новых способов хранения данных — бóльших размеров и на более долгий период.


Исследователи активно открывают новые материалы для хранения данных и новые методы печати данных на выбранных материалах. Пока одни компании хранят данные на дне океана, другие устремляют свои взоры вверх, мечтая хранить данные в небоскрёбах. С различными инновациями, случившимися за столь короткий период времени, начинается гонка по раскрытию потенциала практически неограниченных хранилищ данных.

Стеклянный 5D-диск

Пятимерное хранилище данных, встроенное в наноструктуры внутри стеклянных дисков, может положить начало новой эре в управлении записями. Команда исследователей из Университета Саутгемптона создала прототип размером с монету, который может хранить 360 ТБ данных и выдерживать нагревание до 190°С. Учёные считают, что их изобретение может быть использовано для хранения данных в течение 13,8 млрд лет (возраст Вселенной), потому что, в отличие от CD и DVD, хранящих данные на поверхности и склонных к царапинам, стеклянные 5D-диски хранят информацию внутри себя, в безопасности от ударов и царапин.

5d-data-storage-glass-disc-889x610

Стеклянный 5D-диск

Подводные дата-центры

Неудивительно, что у Microsoft имеется большое количество данных, которые нужно хранить в безопасности, и в последний год IT-гигант начал в качестве экспериментов опускать «облако» глубоко под воду. Проект Natick состоит в заключении дата-центров в большие водонепроницаемые капсулы и погружении их на дно Тихого океана у берегов штата Вашингтон. После двухмесячного тестового-периода контейнер массой в 17 т был поднят обратно на поверхность, и оказалось, что его содержимое — дата-центр с вычислительной мощностью 300 ПК — осталось полностью сухим. Понимание того, что данная концепция работает, может привести к тому, что однажды Microsoft может начать устанавливать подводные дата-центры. Впрочем, сейчас в планы компании это не входит.

2+Microsoft+Project+Natick

Подводные дата-центры Microsoft

Небоскрёбы данных

Это эпичное хранилище данных, которое по замыслу должно находиться в Исландии, пока что находится на этапе концепта. Здание по идее должно играть роль гигантской цилиндрической материнской платы с полым центром, что позволит естественному воздушному потоку воздуху охлаждать сервера — для такого холодного места, как Исландия, это не должно быть большой проблемой. Развитая инфраструктура страны по возобновляемым источникам энергии также означает, что башня на 100% может питаться чистой энергией, хотя пока неизвестно, воплотиться ли когда-нибудь данный проект в жизнь.

3-Sustainable-data-center-tower-in-Iceland-4

Небоскрёб для хранения данных

Кварцевый стеклянный диск от Hitachi

Японский производитель электроники ещё в 2012 году сконструировал другую версию стеклянного 5D-диска. Используя двоичный код, исследователи упаковали 40 МБ данных в кусок кварцевого стекла площадью 1 кв.дюйм. Каждая такая пластина, толщина которой едва достигает 2 мм, может хранить столько же данных, сколько целый CD, выдерживать температуру в 1000°С и без вреда взаимодействовать с химикатами и водой. Данные могут считываться оптическим микроскопом, а сами диски, подобно стёклам, к которым мы все привыкли, всегда остаются идеально прозрачными независимо от того, сколько данных на них записано.

4+hitachi-glass-disc

Кварцевый стеклянный диск

Дата-центры в заброшенных шахтах

Пока одни усердно работают над разработкой новых устройств для хранения данных, другие ищут удачные локации для размещения там серверов. Некоторые утверждают, что ответ у нас, так сказать, под ногами. Заброшенные известняковые шахты могут быть модернизированы в отличные места для подземных дата-центров. Эффективное хранилище данных должно обеспечиваться постоянной прохладной температурой и нужным уровнем влажности — два требования, которые на земле приводят к огромным тратам энергии. А глубоко в шахтах условия как раз подходящие. Архитектурная фирма Callison уже смогла превратить бывший рудник на севере США в подземный дата-центр, правда оставив его точное местоположение в секрете.

6-abandoned-mine+data

Подпишитесь на еженедельную рассылку Asmo News

Оставить комментарий