1. Проектирование и создание инфраструктуры хранения данных

Была спроектирована и создана инфраструктура хранения данных на AWS (Amazon Web Services): Cloud BD и облачное пространство для последующего доступа к данным. Эта инфраструктура позволит эффективно импортировать и экспортировать наборы данных, включая аудио, видео, изображения и другие типы данных, обеспечивая удобный доступ к ним [1].

AWS (Amazon Web Services) - это облачная платформа, предоставляемая компанией Amazon. AWS предлагает широкий спектр облачных услуг, включая вычислительные ресурсы, хранение данных, базы данных, аналитику, машинное обучение, и многое другое [2].

AWS является наилучшим выбором по созданию облачного хранилища для задач искусственного интеллекта (ИИ). AWS предлагает масштабируемую инфраструктуру, которая легко расширяется по мере роста объемов данных и требований ИИ-задач. Высокая доступность и надежность AWS гарантируют, что данные всегда доступны и защищены от потерь. Системы безопасности AWS обеспечивают конфиденциальность и целостность данных, а также соответствуют строгим стандартам безопасности. AWS обладает высокой производительностью благодаря своей передовой технологической инфраструктуре, что позволяет обрабатывать и анализировать большие объемы данных ИИ-задач. При этом AWS предлагает гибкость в выборе соответствующих ресурсов и оптимизации процессов. Интеграция с другими сервисами и системами является одним из преимуществ AWS, что обеспечивает гладкое взаимодействие и обмен данными между различными приложениями и компонентами. Наконец, AWS предоставляет высококачественную поддержку клиентов, включая оперативное реагирование на запросы и проблемы, обеспечение технической поддержки и восстановление данных. Исходя из всех этих факторов, можно сделать вывод, что AWS обладает комплексным набором функций и превосходит других облачных провайдеров в создании облачного хранилища для задач искусственного интеллекта.

При проектировании ​инфраструктуры хранения данных использовались компоненты AWS: корзины S3 и AWS Lambda:
• S3 (Simple Storage Service) - это служба хранения объектов, которая предоставляет высокомасштабируемое, надежное и долгосрочное хранение данных в облаке. S3 бакеты используются для организации и хранения данных в виде объектов. Они могут содержать различные типы файлов, включая аудио, видео, изображения и другие. S3 обеспечивает высокую доступность данных и предлагает различные функции для управления доступом и обработки данных.
• AWS Lambda - это служба вычисления в облаке, которая позволяет запускать код без необходимости управления серверами. AWS Lambda позволяет создавать функции (фрагменты кода), которые могут реагировать на различные события и выполнять операции обработки данных или взаимодействия с другими сервисами AWS. В контексте этой задачи, AWS Lambda может использоваться для обработки импорта и экспорта наборов данных, а также для выполнения различных операций с этими данными.
                                                         
                                     Рисунок 1 . Архитектура облачного хранилища (Cloud BD и облачное пространство)

В созданной архитектуре (Рис. 1), для хранения и обработки данных и обеспечения потока работы между пользователями и системой AWS, было создано пять корзин S3 и реализована функция Lambda. Первая корзина, названная "Audio", включающая 948 аудио данных (Рис. 2), предназначена для загрузки аудиофайлов. Она служит основным хранилищем аудиоданных, которые могут быть загружены пользователями. Кроме того, настроена репликация данной корзины, что обеспечивает создание ее дубликата для повышения отказоустойчивости и доступности данных. Вторая корзина, "Video", включающая 617 видео данных (Рис. 3), предназначена для загрузки видеофайлов. Она аналогична корзине "Audio" и служит для хранения видеоданных, загруженных пользователями. Также была настроена репликация этой корзины, чтобы обеспечить сохранность данных и их доступность в случае сбоев. Третья корзина, "Output", предназначена для загрузки обработанных файлов. В этой корзине функция Lambda сохраняет обработанные данные. Четвертая корзина - это копия (репликация) первой корзины, а пятая корзина - это копия второй корзины. Связь между пользователями и системой AWS осуществляется через выбор одной из двух корзин: "Audio" или "Video". Пользователи могут загружать соответствующие файлы в выбранную корзину, и после этого функция Lambda автоматически обрабатывает эти файлы и сохраняет результаты в корзину "Output".  Обработанные файлы в корзине "Output" затем доступны для дальнейшего использования другими пользователями. Такая архитектура обеспечивает эффективный поток данных и обработки, а также обеспечивает отказоустойчивость и доступность данных благодаря репликации корзин.

Рисунок 2. Корзина S3 с аудио данными

Рисунок 3. Корзина S3 с видео данными

В созданную инфраструктуру хранения данных был внедрен алгоритм ИИ. Разработка алгоритма искусственного интеллекта (Face Detection Algorithm, FDA) для обнаружения лиц респондентов является важной составляющей обработки данных. FDA повышает эффективность работы и уменьшает объем данных, хранящихся в облачном хранилище. Целью этого кода является обнаружение человеческих лиц в видеопотоке и сохранение кадров с обнаружением человеческого лица в качестве выходных данных. Алгоритм реализован с использованием библиотеки Mediapipe и OpenCV, с использованием языка программирования Python.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1.  K. Venkatachalam, M. Perumal (2019), "Designing a Cloud Storage Architecture: Understanding Storage Technology", International Journal of Advanced Research in Computer Science and Software Engineering.

2.  Jinesh V., Sajee M. (2014), Overview of Amazon Web Services.

В результате выполнения разметки видео данных для проекта по детектированию истинных и ложных высказываний были достигнуты следующие важные моменты:
· Качественная разметка данных. Мы успешно провели разметку большого объема видеофайлов, аннотируя их как содержащие истинные или ложные высказывания. Эта разметка была выполнена в соответствии с кодировкой, что позволило стандартизировать процесс и обеспечить качественную аннотацию.
· Разнообразный набор данных. Мы использовали разнообразные источники данных, включая художественные сериалы, ТВ шоу, экспериментальные записи, что обогатило наш набор данных и позволило создать экспериментальный набор данных, содержащий 402 ложных и 394 правдивых утверждений. Это многообразие источников данных сделало наш проект более репрезентативным и обширным.
· Значимость разметки для проекта. Разметка видео данных является фундаментальным этапом для обучения и тестирования моделей машинного обучения в рамках проекта детектирования истинных и ложных высказываний. Надежность и точность разметки оказывает непосредственное воздействие на качество и эффективность создаваемых моделей. Поэтому качественная разметка данных является ключевым компонентом нашего проекта.