Сеть или не сеть?

(можно ли использовать NAS массивы для редактирования видео)

Эта небольшая заметка посвящена одной часто встречающейся проблеме, о которой много говорят в различных форумах сети. Ее можно формулировать по разному, например, так: почему редактирование видео в Ethernet сети на практике оказывается обескураживающе медленным? Или так: можно ли использовать сетевые устройства хранения данных ( NAS – Network Attached Storage ) для совместного редактирования видео в рабочих группах.

История вопроса такова: с повсеместным переходом ряда телекомпаний на обработку несжатого SD видео и различных форматов HD видео потребность в емких массивах для хранения и доступа к видеоданным (объемом как минимум в несколько терабайт, здесь много не бывает) резко возросла. Кроме этого, в силу возрастания сложности и многоплановости задач видеомонтажа стало крайне неудобным держать данные на локальных массивах без возможности групповой работы над одним и тем же материалом.

Разумеется, взоры администраторов обратились в первую очередь к локальной сети, поскольку в любой компании из более чем трех сотрудников Ethernet сеть обычно есть. Идея очевидна - подключить к приличному серверу (серверам) внешние дисковые массивы с емкостью в нужное количество терабайт, далее соединить такие сервера гигабитной сетью с рабочими компьютерами (видеомонтажными станциями) пользователей и все, можно работать. 

Действительно, элементарные расчеты показывают, что вроде бы все должно получиться. Реальная полоса гигабитной сети 60-70 мегабайт в секунду и ее должно хватить чуть ли на 20 DV потоков, по 3.5 мегабайт в секунду. А работая через пару сетевых карт сервера в «транке», можно добиться реальной отдачи от сервера 120-140 мегабайт в секунду. Иными словами, по идее 20 человек вроде могут одновременно смотреть и редактировать DV видео в реальном времени (если конечно рабочая станция + программа позволяют) без каких-либо проблем. Сказано – сделано, и ряд студий попытались внедрить у себя подобную технологию. Однако, результат оказался плачевным - не  то что 20, даже 5 человек не могли одновременно комфортно работать с видео даже DV качества. И вроде бы все правильно, да и формально работать можно, но вот производительность труда, если можно так выразиться, никакая. Понятно, что следующий вопрос будет из разряда вечных: "Кто виноват и что делать?". 

Кто виноват?

В начале, как обычно, возникает подозрение, что либо расчеты были не верны, либо не оптимально использована и/или сконфигурирована сеть в студии. Попавшийся под горячую руку системный администратор может быть предупрежден о неполном служебном соответствии, а то и просто наказан, расчеты перепроверены еще раз, но результат не изменится. Толковый «сисадмин» просто с помощью тестов легко докажет, что с сервера уходит требуемый поток и все, что обеспечивает Ethernet, он уже сделал, а далее умывает руки. И, как это не печально, он будет абсолютно прав. Оптимизацией топологии, применением и правильной настройкой дорогих коммутаторов выжав из сети все, что можно, комфортной работы на гигабитном Ethernet все равно не получится.

Суть проблемы в том, что не учитывается тот простой факт, что для комфортной работы с видео пропускная способность канала "видеоредактор – данные в сети" должна быть как минимум не меньше канала "локальный диск - программа". Но, кроме поддержки высокой скорости потока (в среднем), и время реакции системы на каждый запрос данных от пользователя должно быть не больше привычного, то есть как от локального жесткого диска (или напрямую подключенного к станции RAID массива). В противном случае любой человек немедленно почувствует заметные задержки в системе, причем в первую очередь в ее откликах на свои команды - а это и есть дискомфорт. Если же скорость падает на порядок, как в примере выше, то работа становится просто невыносимой. Технически причина понятна - локальный недорогой SATA диск сейчас легко обеспечивает поток 30-60 мегабайт в секунду и, что очень важно, минимальную задержку отклика. Внешний или внутренний SATA RAID без напряжения отдаст/примет и 100 мегабайт в секунду (а если надо, то и более).

Что же происходит, когда данные находятся в сети, а не на локальном диске? Полоса пропускания в сети делится между пользователями и время реакции на запрос видеомонтажной программы может увеличиться в разы по сравнению с локальным диском. В результате все очень просто - программа начинает обработку, посылает запрос на необходимые данные, который ставится в очередь – и далее ей приходится относительно долго (по сравнению с локальным диском) ждать запрошенных данных. Задержка особенно заметна в случае, когда рабочая станция обрабатывает кадры быстрее реального времени (т.е. на просчет измененного кадра уходит меньше 20 мс). Разница между работой с локальным диском (под локальным диском здесь и далее мы будем понимать любой локальный диск, локальный RAID массив и т.п.) и работой по сети будет тем больше, чем мощнее рабочая станция и чем быстрее ее локальный диск. Пропускная способность сети фактор постоянный, так что работа с данными по сети фактически снижает эффективную производительность собственно рабочей станции. 

Иными словами, разница между работой по сети и с локальным диском для старого компьютера с двумя процессорами Pentium  III 800 MHz будет весьма небольшой, почти незаметной. А вот для рабочей станции на современном двухядерном процессоре Pentium D 3.2 GHz – весьма существенной. И если пользователь «старого» компьютера может даже не почувствовать разницы, поскольку локальные диски его компьютера намного медленнее современных, да и процессорам не требуется быстрая подача данных, так как они все равно не «успевают» их обрабатывать. Напротив, на современной рабочей станции все упрется в скорости приема/передачи требуемых для обработки данных, и на ней разница в скорости работы будет заметна даже неспециалисту.

Для достижения комфортных условий работы сеть должна пропускать от каждого пользователя не менее 40 мегабайт в секунду, соответственно от 5 пользователей до 200 мегабайт в секунду. Безусловно, можно поставить пару серверов с парой портов Gigabit Ethernet на каждом, завести на них общий внешний массив, далее подключить сервера к хорошим коммутаторам и, используя транк, увеличить быстродействие системы. Да, в таком варианте можно получить полосу в 200 мегабайт в секунду, и 4-6 человек уже смогут более-менее комфортно работать по сети – но и затраты на такое решение будут весьма приличными, а комфорт все-таки весьма относительным, поскольку задержки сети никуда не денутся.

Что делать?

К сожалению, в рамках гигабитного Ethernet ничего сделать нельзя. Больше трех-четырех пользователей подключать к групповой работе по сети не стоит даже для работы с DV материалом, не говоря уже о потоках видео большего объема. Светлое будущее за 10-гигабитным Ethernet и реализацией iSCSI, в этом нет никакого сомнения, но когда наступит это светлое будущее, неясно. Основной сдерживающий фактор здесь - высокая стоимость оборудования для сети 10 Gbit. Сетевые карты от $900 и коммутаторы от $500 за порт не вдохновляют на приобретение этой неплохой технологии. К тому же внешних массивов и контроллеров iSCSI на 10 Gb реально еще нет в продаже, а когда будут неизвестно, поскольку - см. выше про стоимость оборудования на 10 Gbit. 

Поэтому единственный правильный и реально доступный сегодня путь (и видимо в ближайшие пару лет) - это применение 4 Gb Fibre Channel оборудования. Полоса пропускания для 4 Gb Fibre Channel составляет 400 мегабайт в секунду в одну сторону. Нельзя забывать и о том, что внешний Fibre Channel массив для любой рабочей станции будет локальным диском и никаких задержек на реакцию системы не будет. Конечно, назвать это оборудование дешевым никак нельзя, но оно все-таки в целом существенно дешевле аналогичных устройств на 10 Gb Ethernet. К тому же, для Fibre Channel серийно выпускаются сравнительно недорогие внешние дисковые массивы. А полосы пропускания в 400 мегабайт в секунду в одну сторону (и столько же обратно) с лихвой хватит для подавляющего большинства задач. А если не хватит, то применение технологии M ultipath позволяет еще удвоить полосу пропускания и получить результат, полностью перекрывающий все потребности на ближайшие годы. 

А как же тогда Ethernet сеть? Стоит ли использовать специализированные и сетевые хранилища данных? Им тоже есть место – они вполне подходят для архивирования и/или просмотра видео, т.е. в тех случаях, когда не требуется обеспечение гарантированной полосы пропускания от пользователя к системе хранения.