Большие данные и искусственный интеллект сегодня уже работают не только в ИТ-гигантах типа Яндекса и Сбера, но и во множестве самых разных организаций, цифровизация которых еще лет 10 назад казались невозможной. Какие области машинного обучения и обработки больших данных сейчас имеют наибольшие перспективы с точки зрения их использования для трансформации бизнеса, Bright решил выяснить у Владимира Соловьева, декана Факультета информационных технологий и анализа больших данных Финансового университета.
Сейчас наиболее активно развивающимися областями являются текстовая аналитика, обработка естественного языка, а также компьютерное зрение, обработка изображений и видеоаналитика.
Например, если спросить хорошего ассистента типа Алисы, когда родился Лев Толстой, она ответит: «9 сентября 1828 года». Но если спросить: «Как звали жену второго сына Льва Толстого?», машина ответит: «Сайт proza.ru дает такой ответ. Софья Андреевна Толстая – жена великого писателя Льва Николаевича Толстого». То есть ответа на вопрос мы не получаем. Это связано с тем, что в популярных голосовых ассистентах используется «плоский» поиск по интернету. Чтобы ответить на вопрос о дате рождения Льва Толстого, машина просто ищет в интернете по запросу «Когда родился Лев Толстой», понимает, что объектом поиска является Лев Толстой, а дата рождения является свойством данного объекта. После этого находится самая релевантная страница, посвященная Льву Толстому, и на ней, очевидно, легко найти дату рождения. В сложных вопросах типа второго так не получается. Машина просто находит самую релевантную данному запросу страницу, и это статья о жене самого Льва Николаевича, а не его сына.
Наша лаборатория искусственного интеллекта и сетевого анализа под руководством Сергея Макрушина разработала уникальную технологию поиска ответов на сложные вопросы. Ведь человеку узнать имя жены второго сына великого писателя несложно. Для этого нужно найти самую релевантную страницу о Льве Толстом (Википедию), посмотреть, какие у Льва Толстого были сыновья, кто из них был вторым (Илья) и далее найти страницу об Илье Толстом и обнаружить, что первую жену Ильи Львовича, второго сына Льва Толстого, звали Софьей Николаевной, а вторую – Надеждой Климентьевной. Но для этого машине нужно представить Википедию как не просто перечень страниц, а совокупность страниц, между которыми есть ссылки. Такая совокупность страниц Википедии – вершин и соединяющих их гиперссылок – дуг в математике называется графом. С учетом того, сколько в Википедии и сколько между ними ссылок, задача быстрого поиска ответов на сложные вопросы довольно непроста, но сегодня уже решаема.
И сегодня графовая аналитика очень активно приносит свои плоды и в развитии разговорных систем, и в анализе взаимоотношений между клиентами, и в управлении корпоративными знаниями.
В обработке изображений сейчас технологии развиваются очень быстро. Появляется возможность заниматься такими задачами, решение которых совсем недавно казалось невозможным. Например, с 1970-х годов люди пытались построить роботов для сборки яблок. Но до промышленного применения дело пока не дошло, и связано это с тем, что в условиях реальных садов, в которых плоды качаются под действием ветра, солнце светит в камеру, дождь оставляет капли и т.д., системы компьютерного зрения могли находить лишь чуть больше половины плодов. Два года назад мы разработали технологию, способную находить в реальных садах 96 процентов яблок. Такая технология востребована не только в роботах для сбора урожая, но и в системах прогнозирования объема урожая. Сейчас у нас в разработке целый ряд систем для контроля качества сырья и готовой продукции, для мониторинга удовлетворенности клиентов и др. Эти системы основаны на анализе видеопотоков в реальном времени.
А в области больших данных какие наиболее интересные перспективы?
Сейчас многие организации уже накопили настолько много данных, что информация одного подразделения недоступна другим. Говорят о башнях данных по аналогии с силосными башнями в которых не то, что иголку найти невозможно, но невозможно найти никакие объекты. Это имеет несколько причин. Некоторые подразделения считают информацию собственным ценным ресурсом и охраняют ее от коллег. С другой стороны, процессы в организациях неинтегрированы, и разрозненные отделы создают собственные массивы данных.
Например, в университете одно из подразделений вело исследование, в ходе которого была собрана информация о внутреннем туризме с 1998 по 2018 год. А другое подразделение чуть позже подразделение занималось исследованием структуры расходов домашних хозяйств на отдых с 2010 по 2020 год. Наконец, третьему исследовательскому подразделению понадобилось построить модель прогнозирования расходов на внутренний туризм. Исходные данные в традиционной парадигме ему придется искать заново, поскольку оно просто не знает, что в университете уже большая часть нужных данных есть.
В Финансовом университете разработали платформу для аналитики корпоративных данных Findatalake. Использованная нами технология озер данных нацелена на предсказание будущего на основе разрозненных и неструктурированных данных, имеющихся в разных подразделениях университета. Фактически получается супермаркет данных, в котором пользователь может просмотреть, какие данные доступны, оценить их бизнес-ценность и заказать те, что ему нужны. Самое важное здесь – это эффективность поиска нужных данных в супермаркете.
| Комментарии: |