Хранение, передача, обработка и анализ больших объемов информации – это движущая сила современных технологий. За тысячи лет своей истории человечество накопило огромное количество знаний во всех сферах жизни. Сегодня ученые стремятся классифицировать и автоматизировать все эти базы, чтобы сделать их доступными и полезными каждому человеку. Что такое Big Data, где в Петербурге можно научиться работе с большими данными и когда роботы начнут управлять автомобилями, рассказали в студии Города+ руководитель и менеджер проектов Лаборатории «Промышленные системы потоковой обработки данных» Марина Болсуновская и Алексей Гинцяк.
«Тем, кто сейчас заканчивает школу, стоит обратить внимание на профессии, связанные с Big Data. Специалисты в этой области сейчас особенно востребованы и высокооплачиваемы, они создают новые компьютерные системы и формируют наше будущее. Наша лаборатория позволяет сочетать возможности разных методик и подходов обработки данных. Вылечить болезнь Альцгеймера, обезопасить проезжую часть, в разы ускорить привычные процессы – все это возможно с помощью Big Data. Это технологии на века», – объясняют исследователи.
Лаборатория «Промышленные системы потоковой обработки данных» в Северной столице работает на базе Факультета технической кибернетики Санкт-Петербургского политехнического университета. Это подразделение воспитывает молодых специалистов в области Big Data или «больших данных». Большими считаются объемы информации от 100 ГБ, которые невозможно записать и проанализировать вручную или занести в таблицу Excel. Лаборатория предлагает методы упорядочивания таких данных и использования их в различных разработках.
Обычно конкретную задачу дает обратившийся к специалистам заказчик. Если фирма или предприятие хочет усовершенствовать свою работу, сделать ее быстрее, проще или эффективнее, то руководство обращается к возможностям Big Data. Поэтому проекты лаборатории очень разноплановые. Учреждение дает работу десяткам сотрудников по 17 специальностям: экономика, материаловедение, инженерия, компьютерная графика, конструкторское производство, технические системы, а также узкоспециальные предметные области – от медицины, химии и биологии до видеосъемки и автотранспорта.
«На настоящий момент в нашей профессии нет таких задач, которые бы кто-то смог выполнить лучше нас. Big Data позволяет обработать огромные потоки данных, предоставить их выборку, рассмотреть улучшенные характеристики. Например, есть масштабный совместный проект с нашими партнерами «Лекториум». Они занимаются записью онлайн-лекций, но монтировать вручную такое количество записей очень сложно. С помощью нейросети мы частично автоматизировали работу операторов и монтеров», – говорит Алексей Гинцяк.
Также на счету лаборатории интеллектуальные камеры уличного наблюдения, проект по борьбе с болезнью Альцгеймера, оценка безопасности петербургских пешеходов и система для измерения степени усталости водителя, которая в нужный момент советует автолюбителю выпить кофе или заказать такси. Все эти идеи были осуществлены с помощью грамотного сбора большого количества информации о проблеме. Например, для того, чтобы программа могла верно оценить способность человека вести машину, в нее пришлось занести данные о тысячах разных водителей в разном возрасте, состоянии, настроении и в разное время суток. А человеческий фактор проблемы оценивали специально приглашенные врачи, психологи и социологи.
По словам ученых, с помощью этих же методов можно и вовсе заменить водителя обучаемым роботом. Появление на дорогах России автоматически управляемых машин они обещают уже в ближайшие десятилетия. Для этого есть все необходимые данные, нужно только «научить» компьютер их использовать.
«Управлять автомобилем компьютер способен уже давно. Дело за ситуативным реагированием: чтобы машина, проще говоря, осознавала, где она находится, что перед ней и как избежать столкновения в каждой конкретной ситуации. Компании, которые занимаются анализом точного местоположения, делают большой вклад в эту разработку. Наша лаборатория – идеолог безопасного, умного города, и мы можем сказать, что автоматическое вождение не за горами. Тысячи инженеров по всему миру каждый день стараются сделать так, чтобы эта система пришла к нам как можно скорее», – делится Марина Болсуновская.
А самый простой и наглядный пример машинного обучения каждый читатель Города+ использует ежедневно: это современный интернет. Вся встречающаяся в нем информация так или иначе классифицируется и подбирается системой для конкретного пользователя. Причем происходит это уже так легко и быстро, что мы даже не задумываемся, насколько глубоко технологии Big Data проникли в нашу жизнь.
«Промышленные системы потоковой обработки данных» – это петербургская научно-исследовательская и практическая лаборатория при Политехническом университете Петра Великого. Она существует уже более 15 лет. За это время ее сотрудники успели разработать и ввести в использование десятки методов и подходов для Big Data. Лаборатория сотрудничает с университетом и принимает его студентов на стажировки уже со второго курса. Таким образом, учреждение получает талантливых и активных молодых специалистов, а сами ребята повышают профессионализм и нарабатывают необходимый практический опыт.
Марина Болсуновская и Алексей Гинцяк советуют выпускникам петербургских школ выбирать университетские программы в области разработки программного обеспечения, конструкторской документации, нейротехнологий, бизнес-аналитики и, конечно, обработки данных. Таких специалистов лаборатория с радостью примет в свой коллектив и научит всему необходимому.