Облачные серверы с gpu что это

Облачный сервер с GPU: что такое и зачем нужен?

Подробно о том, что такое GPU-серверы, где они применяются и почему облачные решения удобнее покупки физического оборудования читайте в статье.

Работа с большими объёмами данных требует мощного оборудования. Серверы на базе GPU –именно такое решение. Они позволяют решать любые высоконагруженные задачи. Подробно о том, что такое GPU-серверы, где они применяются и почему облачные решения удобнее покупки физического оборудования читайте в статье.

Что такое облачная инфраструктура

Прежде, чем перейти к серверам с GPU, разберём, что собой представляет облачная инфраструктура в целом.

IaaS или инфраструктура, как сервис, даёт возможность получить по подписке вычислительные мощности, не приобретая собственное физическое оборудование. Вы просто выбираете требуемое количество виртуальных процессоров, оперативной памяти, объём жёсткого диска.

В отличие от собственной IT-инфраструктуры, облачные ресурсы не требуют капитальных затрат на закупку оборудования, его обслуживание и модернизацию. Кроме того, их легко масштабировать, если нужно увеличить или уменьшить мощности.

Услуга IaaS позволяет платить строго за потребляемые мощности, в то время как значительная часть ресурсов физических серверов обычно простаивает.

Что такое сервер с GPU

Сервер с GPU – это IT-инфраструктура с мощными видеокартами, которая чаще всего требуется, если предстоит работа с большими объёмами данных (рендеринг, стриминг и др.).

Почему используются именно видеокарты? В отличие от обычного процессора (CPU), графический процессор (GPU) иначе обрабатывает операции. В CPU они обрабатываются строго последовательно, то есть пока не выполнится текущая операция, новая не начнётся. Даже если какая-либо задача срочная и приоритетная, она всё равно вынуждена будет занять очередь. В случае ошибки на каком-либо этапе, рушится весь процесс. Многоядерные процессоры выполняют несколько потоков операций одновременно, но внутри каждого потока процессы всё равно выполняются последовательно.

Архитектура видеокарт устроена таким образом, что многочисленные ядра объединяются в блоки, и операции в них осуществляются не последовательно, а параллельно. Ошибка в одном из потоков не приводит к общему сбою. Производительность GPU намного выше (примерно в 8 раз), чем у CPU.

Когда требуется сервер с GPU

Традиционно сервера с GPU применяются для работы с тяжеловесной графикой, однако благодаря их высокой производительности, реальная сфера использования намного шире:

Почему виртуальный GPU-сервер лучше физического

Покупка или аренда физического сервера с GPU требует огромных финансовых вложений. При этом работа с большими данными может требоваться не постоянно, то есть, вложившись в оборудование, ощутимую часть времени вы не будете его использовать. Мощности будут простаивать. Если вы являетесь владельцем стартапа или запускаете новый сторонний проект от основного бизнеса, затраты подобного уровня в принципе могут быть за рамками бюджета.

Аренда сервера с GPU в облаке является более экономичным решением. Вы получаете нужную производительность, при этом платите только за реальное время потребления. Настройкой и обслуживанием полностью занимаются специалисты облачного провайдера. Если для какой-то задачи вам потребуется больше ресурсов, масштабирование выполняется в пределах нескольких минут. Для физической инфраструктуры этот процесс может занять месяцы.

Как получить облачный GPU-сервер

Если вам требуются GPU-мощности, Вы сможете получить в аренду виртуальные сервера с графическим процессором NVIDIA® Tesla® P100, M60 и M40.

Серверы с GPU от Cloud4Y могут применяться для работы с графикой и видео, для выполнения высокопроизводительных вычислений, удалённой работы с высоконагруженными приложениями, а также машинного обучения. Для последнего используются предустановленные пакеты приложений PyTorch, TensorFlow, Keras, XGBoost, CUDA, OpenCV, Jupyter Notebooks и другие.

Оплата взимается только за реально потребляемые ресурсы, поэтому решение хорошо подходит для тех компаний, у которых нагрузки происходят неравномерно.

Вы можете попробовать облачный GPU-сервер от Cloud4Y в тестовом режиме бесплатно до 30 дней, оформив заявку на сайте.

Источник

Зачем нужен выделенный сервер с GPU

Объем информации в нашем мире увеличивается каждый день в немыслимых объемах. Это привело к тому, что многие информационные системы и оборудование с трудом справляются с обработкой поступающих данных. Решить проблему высокой производительности вычислений сегодня смогли серверы с GPU. Это системы с графическими картами, ставшие инструментом для майнинга, рендеринга, стриминга и других ресурсоемких процедур, для которых недостаточно мощности центрального процессора. Серверы с видеокартами также нередко применяются для 3D-моделирования, машинного обучения и сложной аналитики, многие компании уже перешли или в будущем планируют использование подобных систем.

Давайте разберемся, в чем заключаются особенности GPU-серверов, когда оправдано их использование и какие параметры стоит учесть перед заказом подобной услуги у провайдера.

Особенности использования видеокарт

Ранее за любые операции на ПК отвечал центральный процессор – CPU. Именно за счет него выполнялись необходимые вычисления, обрабатывались запросы видеокарты, осуществлялась передача звука и вывод графики на экран. Однако зачастую процедуры происходили с задержкой, так как мощностей такого процессора не хватало на выполнение одновременных операций.

С развитием оборудования стали применяться дискретные и интегрированные видеокарты. Их появление стало закономерным итогом усложнения графических задач и повышения требований со стороны программ и приложений. Для того чтобы осуществить быстрое выполнение задач, видеокарты обзавелись собственным процессором – Graphic Processor Unit. Его целью стало выполнение однотипных вычислений в несколько потоков. Нередко для обозначения такого процессора используют термины «графический ускоритель» и «видеопроцессор», которые характеризуют функционал GPU.

Выделенный сервер с GPU

Существует несколько вариантов применения технологии для организации ИТ-инфраструктуры. Первый из них – выделенный сервер с GPU. Такой вариант подходит для проектов, которые требуют большой вычислительной мощности и производительности.

Архитектура GPU позволяет увеличить скорость обработки информации, так как за такт работы выполняется несколько одновременных операций. Плюс использования выделенного сервера в том, что их можно объединить в единый отказоустойчивый кластер и использовать для создания производительной инфраструктуры.

GPU обычно используется для вычислений. Поэтому оснащать физический выделенный сервер видеокартой целесообразно только, если деятельность вашей компании связана с ресурсоемкими вычислениями. Чаще всего такой вариант выбирают для криптоанализа и криптографии, 3Д-моделирования, работы с Big Data и т. д. Чаще всего это касается сфер разработки, видеоигр, исследовательских проектов, в которых важны масштабные вычисления и различные медиа-ресурсы.

VPS с видеокартой

Многие организации в последние годы отказываются от использования физического оборудования и переходят на аренду виртуальных серверов. В этом случае наиболее логичным выглядит использование VPS с видеокартой. Этот вариант подходит для тех фирм, которые нуждаются в высокой производительности, но при этом хотят снизить расходы на инфраструктуру.

Виртуальный сервер, или VPS / VDS, представляет собой продукт виртуализации. При использовании такой технологии на физическом сервере с помощью гипервизора создается несколько независящих друг от друга серверов. Каждый из виртуальных серверов использует определенные выделенные ресурсы. Память и процессорные ядра также распределяются между созданными элементами.

В настоящем технология виртуализации позволила создавать и виртуальный графический процессор – vGPU. Он разворачивается на виртуальном сервере при помощи определенного ПО. В качестве основы используется физический GPU.

Виртуальный выделенный сервер с видеокартой дешевле и проще в настройках, чем физический. Он отличается высокой масштабируемостью и простотой управления, однако подходит для локальных проектов. Для бизнес-процессов, требующих высокой производительности, рекомендовано использование физического оборудования.

Облачный сервер с видеокартой

Также нельзя не упомянуть еще об этом популярном варианте выделенного сервера с видеокартой. Речь, конечно же, об облачной технологии.

Cloud-сервер представляет собой сервис, созданный на основе виртуализации с использованием облачных технологий и GPU-ускорителя. Аренда такого выделенного сервера с GPU может потребоваться для компаний, занимающихся разработкой или исследовательскими проектами. Как правило, использование облака позволяет существенно сократить расходы на инфраструктуру и оптимизировать все затраты организации. Подобное решение особенно актуально для небольших фирм с удаленной занятостью, которые не нуждаются в использовании физического оборудования.

Облачные технологии нередко применяются и для создания единой виртуальной среды для удаленной работы в крупных организациях. Это позволяет обеспечить непрерывность бизнес-процессов и высокий уровень безопасности. Особенно популярным подобное решение стало в условиях пандемии, так как позволило быстро настроить удаленную работу отделов и обеспечить связь между ними.

В последние годы на cloud-серверы с GPU переходят и различные геймерские компании-разработчики. Сфера облачного гейминга в последнее время обрела много поклонников, так же распространенные получили сервисы для облачного видео-стриминга. Все они не обходятся без серверов с видеокартой, так как требуют ресурсов и обработки большого количества операций.

Сферы применения

Многие эксперты уже говорят о том, что использование видеокарт для вычислений стало новых витком в истории IT. Технология уже применяется в различных сферах бизнеса и науки, а инфраструктуры с использованием серверов с GPU стали неотъемлемой частью крупных корпораций и небольших фирм.

Изначально подобные системы применялись для работы со сложной графикой. Однако высокая производительность серверов позволила применять видеокарты и для выполнения общих вычислений. В результате появилась технология GPGPU, которая предполагает применение множества параллельных вычислений для процедур с неграфическим типом данных.

Сегодня GPU активно применяется в следующих сферах:

Еще одна неожиданная сфера применения серверов с видеокартой – это службы безопасности. Дело в том, что из-за большого количества ядер видеокарты часто используются для перебора паролей и взлома серверов. Поэтому для защиты данных применяется зеркальное решение – настройка защиты за счет тестирования инфраструктуры с использованием графических ускорителей.

Отличия CPU И GPU

Принцип потоковой обработки операций, которые используется в CPU и GPU, серьезно различается. Именно это можно считать главной разницей в вычислениях в центральном процессоре в сравнении с операциями на графическом процессоре. Давайте рассмотрим этот вопрос подробнее:

Также стоит отметить, что технологии по-разному реализовывают доступ к памяти. За счет этого GPU не требуется емкая память, но при этом стоит понимать, что операция записи данных и считывание результата являются разными процессами.

Преимущества сервера с видеокартой

Аренда физического сервера с GPU имеет несколько плюсов:

Недостатки сервера с GPU

Многих клиентов волнует вопрос о том, имеются ли у подобных серверов недостатки. К их числу можно отнести заблуждение о том, что главные вычислительные мощности возложены на видеокарту. Графический адаптер решает множество простых задач, однако ряд процессов он не способен выполнить собственными усилиями. Поэтому GPU почти всегда используется совместно с CPU.

Выводы

Сервер с графическими картами предоставляет максимум возможностей для увеличения скорости обработки графических данных. Если в традиционных CPU может использоваться до 24 ядер, то в GPU – их содержится около 3000. Это позволяет выполнять почти в 100 раз больше различных операций и делать это практически в 10 раз быстрее.

Использовать сервер с видеокартой предпочтительнее в тех случаях, когда вам требуется работа с графикой или видео. Подобная инфраструктура уместна для компаний в сфере дизайна, анимации и видеомонтажа. Также серверы с CPU часто применяются для майнинга криптовалют и выполнения статических расчетов. Еще одна сфера, которая не обходится без использования серверов с графическими картами, это масштабные научные исследования. То есть, по сути GPU-сервер незаменим для процессов, связанных с обработкой больших массивов информации.

Мы можем сделать вывод о том, что серверы с видеокартой не только заняли свою «естественную» нишу, но и стали незаменимыми в самых непредсказуемых областях. Реалии таковы, что даже небольшая компания, занимающаяся разработкой или тестированием, сегодня нуждается в использование серверов с GPU. Крупным организациям применение подобной технологии может потребоваться при анализе Big Data или работе с искусственным интеллектом.

Хотите арендовать сервер с GPU или остались вопросы о технологии? Специалисты нашего дата-центра Xelent подробнее расскажут об услуге и подберут оптимальное решение, учитывающее сферу деятельности и потребности вашей компании. Оставляйте заявку на сайте или звоните по указанным номерам!

Источник

Облачные вычисления на GPU

Графический процессор (Graphics Processor Unit) – это компонент, позволяющий запускать на ПК видео и сложную графику, например, видеоигры. Изначально GPU было периферийным устройством, дополняющим центральный процессор (CPU), но со временем полностью переориентировалось и стало центральным компонентом в HPC, а по мнению некоторых экспертов, будущим компьютерных вычислений.

В высокопроизводительных приложениях GPU используется вместе с CPU для ускорения глубокого обучения, аналитики и инженерных приложений для различных платформ – от искусственного интеллекта до беспилотников, роботов, поисковых систем, интерактивной речи, видеорекомендаций и многого другого.

Для компаний, которые занимаются сложными вычислениями, компьютерным обучением или 3D визуализацией GPU имеет огромное значение. Благодаря облачным технологиям работа с GPU стала проще и доступней. В этой статье рассмотрим преимущества вычислений на GPU в облаке.

Вычисления на GPU

GPU – специализированный тип микропроцессора видеокарты, позволяющий выполнять один и тот же тип вычислений в нескольких потоках одновременно. В первую очередь графический процессор предназначен для быстрого рендеринга изображений.

GPU появились как ответ на усложнение графических задач – использование графически насыщенных приложений увеличивает нагрузку на CPU и снижает производительность компьютера. GPU разгружают центральный процессор от выполнения этих задач. Современные графические процессоры достаточно мощные, чтобы выполнять быстрые математические расчеты для многих других целей, помимо рендеринга.

GPU в облаке

Облачные вычисления с GPU – это услуга, основанная на виртуализации с GPU-ускорением. Такой сервер адаптирован к задачам, требующим высокой вычислительной мощности. Поскольку он интегрирован в облачное решение, клиенты получают преимущества ресурсов по запросу и почасовой тарификации.

Технология виртуальных GPU ускоряет ресурсоемкую серверную рабочую нагрузку, поэтому область ее применения в облаке, достаточно широка. Например,:

графический рендеринг в различных приложениях для работы с видеоконтентом;

статистический анализ и генерация различных прогностических моделей;

проектирование и 3D-моделирование (визуализация);

исследования в области молекулярной химии, биохимии, математике;

искусственный интеллект (нейронные сети для машинного обучения и глубокого изучения);

анализ и обработка больших данных.

То есть при решении ресурсоемких задач мощность видеокарты используется не только для обработки и отображения сложной графики, но и для получения результатов с помощью математических алгоритмов, аналогичных рендерингу.

Хостинг в публичном облаке с GPU

Перед развертыванием облачного сервера с GPU необходимо понять типы приложений и рабочих нагрузок, которые они лучше всего поддерживают. К таким рабочим нагрузкам относятся:

Приложения бизнес-аналитики, поддерживающие массивные параллельные вычисления. Hadoop-подобные приложения с обработкой данных, которые могут быть распределены на большое количество элементарных задач на нескольких узлах или ядрах.

Искусственный интеллект (AI). Облачная инфраструктура с мощными графическими процессорами позволяет проверить масштабируемость проекта без больших инвестиций. Это открывает новые возможности для различных отраслей – от здравоохранения и биотехнологий до автомобилестроения.

Инженерное моделирование, например, в автомобильной промышленности, также выигрывает от облачных GPU. Производители автомобилей используют моделирование и симуляцию, что отнимает много времени, но GPU устраняют необходимость в портативных кластерах для обработки приложений, снижая затраты на анализ, и обычно ускоряя проекты.

VDI с GPU актуален в медиа-индустрии и индустрии развлечений, где необходимо создавать сложные изображения и видео. Дизайнерам и инженерам для работы нужны мощные стационарные компьютеры с графическими процессорами для рендеринга своих проектов, поэтому они всегда привязаны к своему рабочему месту в офисе. С виртуальным рабочим столом приложения, требующие сложной обработки графики и 3D рендеринга, доступны даже маломощного ПК, потому что вся обработка происходит в облачном центре обработки данных. Удаленные пользователи получают возможность работать на GPU, где бы они ни находились, что обеспечивает такой уровень свободы и гибкости, который не был возможен в прошлом. Более того, все данные в безопасности, так как они остаются в ЦОДе, а не хранятся на удаленном устройстве.

Внедрение решения на базе GPU сервера

Использование видеокарт для вычислений – это новый шаг в развитии информационных технологий. Преимущества, которые различные сферы бизнеса и науки получают от этой технологии, неоспоримы. Современный рынок инфраструктурных решений с использованием видео-процессоров богат предложениями с разнообразными конфигурациями.

Вы можете развернуть облачные серверы на базе GPU за считанные минуты и ускорить выполнение сложных вычислительных задач до десяти раз. Если задача требует большей вычислительной мощности, сервер легко масштабировать. Более того, облачные провайдеры предлагают удобную биллинговую систему – вы можете выбрать облачный сервер с GPU и платить за него только тогда, когда он вам нужен.

Источник

GPU в облаках

Нужно построить больше GPU

Подходов к владению высокопроизводительными GPU минимум два: купить (on-premises) и арендовать (on-demand). Как накопить и купить – тема не этой статьи. В этой — мы рассмотрим, какие предложения есть по аренде инстансов VM c высокопроизводительными GPU у облачных провайдеров Amazon Web Service и Windows Azure.

1. GPU in Azure

C точки зрения доступа приложения к графическому процессора архитектура сервиса выглядит так:

Расчеты на GPU доступны на виртуальных машинах серии N, которые, в свою очередь, делятся на 2 категории:

1.1. NC Series VMs

Графические процессоры, предназначенные для compute-intensive нагрузки с использование CUDA/OpenCL. Графическими платами для них служат NVidia Tesla K80: 4992 CUDA ядра, >2.91/8.93 Tflops c двойной/одинарной точностью). Доступ к картам осуществляется с использованием технологии DDA (discrete device assignment), которая приближает производительность GPU при использовании через VM к bare-metal-производительности карты.

Как несложно догадаться, VM серии NC предназначены для ML/DL-задач.

В Azure доступны следующие конфигурации VM, оборудованных Tesla K80.

1.2. NV Series VMs

Виртуальные машины серии NV предназначены для визуализации. На данных VM стоят GPU Tesla M60 (4086 CUDA ядер, 36 потоков по 1080p H.264). Эти карты подойдут для задач (де)кодирования, рендеринга, 3D-моделирования.

Заявлено о доступности экземпляров VM со следующими конфигурациями:

1.3. Цены

Цены на N-Series Azure VM выглядят следующим образом (октябрь 2016) [5]:

Но пусть Ваше любопытство эти 4-ехзначные числа не уменьшают: как всегда, в облаке мы платим за использование ресурсов. Для IaaS-сервисов, каковым сервис Azure VM является, это стоит понимать, как почасовая тарификация. Кроме того, в Microsoft Azure есть много способов получить золото вычислительные ресурсы совершенно бесплатно.

Это распространяется на новые учетные записи в Azure, на студентов, на стартапы, если вы ищете лекарство от рака исследователь, или если Вы/компания, в которой Вы работаете, обладатель MSDN-подписки.

2. Amazon EC2 GPU Instances (+опасное сравнение)

Облачный провайдер Amazon Web Services (AWS) начал предоставлять инстансы VM с графическими процессорами еще в 2010 году.

Еще в начале сентября (2016) GPU-инстансы AWS были представлены только семейством G2.

Конфигурации виртуальных машин семейства G2:

Инстансы G2 комплектуются графическими процессорами NVidia GRID K520 с 1556 CUDA-ядрами, поддержкой 4-ех видеопотоков 1080p H.264. Заявлено о поддержке CUDA/OpenCL. Также имеется поддержка технологии HVM (hardware virtual machine), которая по аналогии с DDA в Azure VM, минимизирует издержки, связанные с виртуализацией, позволяя на гостевой VM получать производительность GPU, близкую к bare-metal-производительности.

Пока я писал статью буквально месяц назад (конец сентября 2016) AWS анонсировали P2-инстансы, содержащие более современные графические карты.

Инстансы семейство P2 могут включать в себя до 8-ми карт NVIDIA Tesla K80. Заявлено о поддержке CUDA 7.5, OpenCL 1.2. Инстансы p2.8xlarge и p2.16xlarge поддерживают высокоскоростное GPU-to-GPU соединение, а для локальной сети доступно соединение до 20 Gbps по технологии ENA (Elastic Network Adapter – высокоскоростной сетевой интерфейс для Amazon EC2).

Для сравнения* возьмем самый производительный (NC24) и самый бюджетный (NC6) инстансы в Azure VM и, ближайшие по производительности к ажуровским, инстансы в Amazon EC2.

Заключение

AWS долго «мучали» data-science-сообщество довольно слабенькими и вместе с тем дорогими GPU-инстансами семейства G2. Но конкуренция на рынке облачных провайдеров сделала свое дело – месяц назад появились GPU-инстансы семейства P2, и выглядят они очень достойно.

Microsoft Azure также долго мучали коммьюнити вообще отсутствием GPU-инстансов (эта была одна из самых ожидаемых возможностей платформы Azure). На текущий момент GPU-инстансы в Azure выглядят крайне неплохо, хотя и не достает технических подробностей. Рreview-статус этой возможности – большой минус обычный этап в жизненном цикле большинства облачных сервисов.

Вообще Microsoft буквально за год-два серьезно обросла различными AI-технологиями / фреймворками/ инструментами, и в том числе (может — в первую очередь) для разработчиков и data scientist’ов. Насколько это все серьезно и удобно можно оценить самостоятельно, посмотрев записи с прошедшего в конце сентября Microsoft ML & DS Summit [6].

Кроме того, ровно через неделю – 1 ноября – пройдет конференция Microsoft DevCon School, один из треков которой полностью посвящен машинному обучению. И рассказывать там будут не исключительно про проприетарные технологии MS, а про привычные и «свободные» Python, R, Apache Spark.

Источник