Гугл клауд платформ что это
Google Cloud: новая платформа и возможности машинного обучения
В последнее время мы вынашиваем планы издать книгу по обработке естественного языка. Одним из наиболее масштабных решений, которые определяют перспективы этой отрасли, несомненно, является платформа Google Cloud, как нельзя лучше адаптированная для машинного обучения. Просим высказываться о востребованности этой книги
и почитать под катом о небольшой библиотеке, предназначенной для обработки естественного языка на R.
Одни из важнейших благ, которыми мы располагаем — это речь и язык. Именно благодаря речевой способности мы можем похвастаться практически всеми нашими достижениями. Способность анализировать коммуникацию помогает нам гораздо лучше понимать друг друга.
Именно для этой цели в Google разработали пакет googleLanguageR на языке R, позволяющий преобразовывать речь в текст, обеспечивающий перевод с применением нейронных сетей и обработку естественного языка, при помощи сервисов машинного обучения, предлагаемых в Google Cloud.
По прогнозам Google машинное обучение станет фундаментальной составляющей любого бизнеса, поэтому Google стремится собрать такую инфраструктуру, в которой созданы все условия для машинного обучения. Образно говоря, если машинное обучение – это электричество, то Google хочет стать той компанией, что уставит всю страну опорами ЛЭП.
Возможно, Google – и не единственная компания с такими амбициями, но у Google есть важное преимущество: объем данных, имеющийся в распоряжении. Благодаря двадцатилетнему опыту поискового индексирования Google наработала беспрецедентный корпус данных для обучения моделей. Кроме того, недавние шаги Google в сторону обработки аудио и видео позволили компании собрать крупнейшие речевые и звуковые множества данных. Таким образом, Google удобно разрабатывать приложения для машинного обучения и встраивать их в свои продукты – например, в поисковик и Gmail. Google готова и далее инвестировать в эту отрасль – отметим хотя бы, что недавно компания приобрела британский стартап Deepmind, занятый исследованиями в сфере искусственного интеллекта и обучивший собственный бот игре го – недавно в новостях сообщалось, что эта программа обыграла чемпиона мира по го. Также Google всерьез занялась опенсорсом, создав ведущую библиотеку машинного обучения Tensorflow и опубликовав ее код.
Конечно, вы можете создавать собственные модели машинного обучения, но для тех, у кого для этого не хватает опыта, данных или времени, Google также предлагает все более разнообразные API для машинного обучения, которые уже предобучены для решения конкретных задач – например, для распознавания образов и видео или для поиска работы. googleLanguageR служит оберткой для подгруппы таких API машинного обучения, тяготеющих к обработке естественного языка — Cloud Speech, Translation и Natural Language.
Поскольку вывод всех этих API взаимно дополняет друг друга, все три API включены в один пакет. Например, можно расшифровать чьи-то слова, произнесенные по-датски, перевести этот текст на английский и определить, положительно или отрицательно автор относится к содержанию (анализ тональности), а затем вычленить самые важные концепции и объекты в тексте (анализ сущностей).
Одна из причин, по которым мы стали присматриваться к этой теме – это «фейковые новости» и тот эффект, который они оказывают на политический дискурс в соцсетях. Я интересовался, возможно ли каким-либо образом измерить, в какой степени новостной сюжет подкрепляет чье-то личное предвзятое отношение к проблеме в пределах индивидуального пузыря фильтров. API сущностей позволяет выполнять масштабный анализ сущностей и тональности на материале твитов, на основании чего сопоставляются различные пользователи и интересующие их новостные источники – и определяется, насколько они коррелируют с вашими предпочтениями, взглядами и вашей подборкой «авторитетных» источников.
Написать собственную Alexa
Еще один мотив прикладного характера связан с тем, что в настоящее время пользователи все активнее начинают работать с приложениями при помощи голосовых команд – и постепенно такое взаимодействие станет основным. По данным Google, уже сегодня 20% запросов поступает через голосовой поиск. Хотелось бы, чтобы у меня была возможность сформулировать запрос так: “R, распечатай мне этот отчет для клиента X”. Приложение Shiny, записывающее ваш голос, загружает его на API, затем разбирает возвращенный текст и преобразует его в действия. Таким образом, вы можете создать собственную Alexa-подобную инфраструктуру.
Alexa от Amazon. Подключенный к Интернету микрофон, активируемый голосом. Изображение с сайта www.amazon.co.uk
Наконец, я живу и работаю в Дании. Всего около 6 миллионов человек во всем мире говорит по-датски, поэтому приложения, доступные на английском языке, на датском могут появиться нескоро или вообще не появиться. API машинного перевода, появившийся в 2016 году, широко разрекламировали в новостях как «систему, которая изобрела собственный язык». Действительно, программа обеспечивает гораздо более качественный перевод с английского на голландский, чем бесплатная веб-версия, которую, возможно, вскоре начнут применять в Дании.
Работа с библиотекой
Чтобы использовать эти API на языке R, сначала нужно выполнить одноразовую начальную настройку и создать Google Project, добавить номер кредитной карты и аутентифицироваться – весь процесс подробно описан на странице пакета.
После этого заносите в систему те объекты R, которыми собираетесь манипулировать. Благодаря rOpenSci review удалось обеспечить удобное наращивание этой системы – таким образом, в программу можно записывать крупные текстовые векторы, которые библиотека затем будет разбирать; при необходимости скорость можно ограничить. Функции также работают с синтаксисом каналов tidyverse.
Преобразование речи в текст
Речевой Cloud Speech API предоставляется через функцию gl_speech.
Он поддерживает множество аудиоформатов и языков, и вы можете либо напрямую записать аудиофайл, не превышающий по длительности 60 секунд, либо выполнять асинхронные запросы для работы с более крупными аудиофайлами.
Переводческий Cloud Translation API позволяет переводить текст при помощи функции gl_translate.
Поскольку тарификация происходит посимвольно, здесь можно посоветовать следующее: если вы работаете сразу со множеством языков, то сначала целесообразно проверить оффлайн, учтен ли уже в вашей системе некий язык, например, английский. Для этого применяется другой пакет rOpenSci, cld2. Таким образом можно обойтись без трат на перевод текста, написанного на языке перевода, в данном примере – на английском.
Обработка естественного языка
API для обработки естественного языка помогает разобраться со структурой и значением текста. Этот API доступен через функцию gl_nlp.
Он обеспечивает несколько видов анализа:
Вся эта информация полезна, чтобы понять смысл предложения, поэтому именно этот API из всех перечисленных обладает самыми широкими возможностями применения. Анализ сущностей обеспечивает категоризацию текста: синтаксис возвращается в таком виде, что вы можете запрограммировать на основе глаголов и существительных иные действия. Анализ тональности помогает понять эмоциональную окраску текста.
Ниже показано, какой вывод вы могли бы получить:
Надеемся, что пока мы только в начале пути, и пакет помогут улучшить сами пользователи. Можете высказываться поэтому поводу на Github – и мы постараемся реализовать ваши предложения. Очень интересно увидеть, чего смогут добиться пользователи, вооружившись такими мощными инструментами.
Я ухожу из Google. Что же такое Google Cloud на самом деле?
Oct 28, 2018 · 7 min read
Примечание: это мой первый пост на Medium — не ругайтесь:). Глядя на мой бейдж, который завтра мне придется сдать, я решил поделиться своими мыслями перед тем, как с головой окунуться в новую работу. В этой статье представлено моё личное мнение, она не связана с позицией или планами Google.
Давайте начнем с конца: после 6,5 лет работы я покидаю компанию, которую считаю лучшей в мире. Так долго я не работал нигде. Я ухожу ради очень рисковой, но и крайне финансово выгодной возможности работы в компании, где придется вкладывать личные средства.
Я начал раб о тать в Google Cloud ещё до того, как платформа сформировалась. У меня один из самых больших стажей работы в Cloud в качестве руководителя по программному продукту. Хотел бы поделиться тем, что увидел за эти годы, и что бы я хотел увидеть в будущем.
Но сначала хотел бы рассказать, почему так сложно уйти из Google.
Что такого хорошего в работе в Google?
Многие говорят о таких достоинствах, как бесплатная еда и четырёхмесячные отпуска по уходу за ребёнком (к сожалению, 3 моих сына родились до того, как я пришел в Google, и потому я смог уделить им всего пару дней!). Не говоря уже о высоких зарплатах и надёжный капитал. Молодые специалисты уделяют этому большее внимание, но они могут получить и нечто иное, что может оказать большое влияние на их развитие и карьеру. Я хочу, чтобы все мои сыновья работали в Google, потому что эта компания позволяет быстро развиваться в наиболее востребованных отраслях.
1. Рай для разработчиков и менеджеров по программному продукту: уровень технической разработки и продакт-менеджмента в Google очень высок. Не поймите неправильно, не все тут гении. Но, в общем, вы можете положиться на коллег в решении сложных задач, потому что:
2. Прекрасная корпоративная этика, которую не купишь за деньги:
Также корпоративная этика поощряет высокий уровень работы и инновации, стимулирует людей говорить “спасибо” и продвигать новые идеи.
Тут создаются ощущение, что люди, в целом, “хорошие”. Поэтому я (как и многие) был абсолютно ошарашен прошлогодним печально известным манифестом. Независимо от того, кого вы поддерживаете в этом споре, Google относится к сотрудникам очень справедливо, особенно по сравнению с другими техническими компаниями. Поверьте мне, я многое повидал.
3. Инновации и масштаб неразрывно связаны: я смеюсь до упаду, когда кто-то говорит, что Google больше не инновационная компания. Во-первых, Google является передовой компанией в важнейшей технической сфере современности — машинном обучении, при этом опережая конкурентов на несколько лет. Не хочу принизить другие компании, они тоже инновационные. Но в сфере искусственного интеллекта и машинного обучения никто не может сравниться с Google. Ни в технологиях, ни в абсолютных цифрах, характеризующих способности разработчиков. Давайте перечислим, где Google применяет машинное обучение: машины с автоматической системой управления, помощник, поиск и т.д. Если это не инновации, то что тогда?
Чтобы оценить масштаб, мне достаточно посмотреть на приложения, которыми я пользуюсь в течении дня: карты, фото, Chrome, YouTube, Gmail, поиск. Для меня они незаменимы. Да, есть альтернативы*, но я считаю, что переход на них негативно повлияет на мою жизнь.
Считаю, что альтернативы YouTube нет. Он уникален. Я какое-то время работал в отделе информационной инфраструктуры YouTube, и хочу сказать. что корпоративная этика и люди там просто замечательные.
Получается, лучше уже некуда? Google безупречен? Конечно же нет.
В некоторых областях Google мог бы работать и лучше. Компания многое ставит на карту ради успеха и также держит в уме риск больших потерь. Работа в области обмена сообщениями идет не так хорошо, как хотелось бы. На Google+ было потрачено много усилий, которые не принесли успеха (но дали дорогу прекрасному приложению Photos). Есть и другие примеры. Но компания учится на своих ошибках, и я надеюсь, в будущих проектах эти ошибки будут учтены.
Наконец, нужно постоянно искать баланс между качеством работы и повышением сотрудников. Постоянно можно услышать, что кого-то незаслуженно повысили, а кто-то перерабатывает. Над этими проблемами работает целая команда, но всё равно ещё многое нужно исправить. Честно говоря, трудно быть справедливым по отношению к каждому из более чем 80 тысяч сотрудников компании. Google уже не стартап.
Эта мысль напоминает мне про Cloud.
Google Cloud уже не стартап
Моей первой задачей в качестве руководителя по программному продукту был запуск Monarch — глобальный сервис Google для контроля за приложениями и сервисами компании (Maps, Gmail, и т.д.). Это явно нельзя было назвать первым лёгким успехом для меня. Но при помощи коллег мне удалось успешно запустить этот сервис, и вот примерно с начала 2013 года я работаю в Cloud.
И только тогда правда ощущалось, что мы работаем в стартапе. Нам нужно было искать нишу на рынке, где сильные конкуренты работали уже много лет (AWS) или располагали огромными отделами продаж и маркетинга (Azure). И при этом пользователи всё ещё сомневались в том, что мы пришли всерьёз и надолго.
Не удивительно, что мы успешно работали с компаниями, похожими на Google. Когда я в первый раз связался со Snapchat, думаю, там работало меньше 10 человек, но масштабы, которых они хотели достичь серьёзно отличались от других отделов Google.
Но мы совершили несколько ошибок. Если быть точным, две серьёзные ошибки.
Первая: мы слишком долго осознавали потенциал предпринимательской деятельности. Во главе нашей компании стояли одарённые разработчики, работавшие в Google более 10 лет. Они достигли большого успеха в разработке продукта, и в этом они были специалистами. Принимая во внимание успех Snapchat и лайков, а также нехватку специалистов в сфере предпринимательства, понятно, почему мы долго не акцентировали внимание на создании крупной корпорации. Я имею ввиду недостаточные инвестиции в маркетинг, продажи, поддержку и разработку программных решений, что в итоге выставляло нас в невыгодном свете по сравнению с конкурентами.
Вторая ошибка — погоня за конкурентами. Например, у AWS был успешный EC2. И потребители хотели того же от Google Cloud Platform. Поэтому наша собственная идея — хранилища данных — была отодвинута на второй план на несколько лет. Только когда стартап под названием Docker поднял популярность хранилищ на достаточно высокий уровень, Google вернулся к этой идее, а дальше вы сами знаете. Ещё один пример — App Engine, на несколько лет опередивший сегодняшнюю моду на внесерверную обработку данных. Да и в то время она была бы весьма успешна. Ни у AWS, ни у Azure не было ничего подобного. Но нам пришлось отвлечь слишком много ресурсов на то, чтобы удовлетворить запросы потребителей, которых в то время больше интересовали функции, предоставляемые нашими конкурентами в то время.
Но всё это в прошлом. За последние примерно 3 года всё серьёзно изменилось. С нынешним руководством (имеющим нужный опыт), концентрацией на предпринимательстве и тщательно подобранному персоналу отделов маркетинга/продаж/поддержки высокого уровня у нас есть самое важное: наши продукты.
Мои друзья спрашивают, считаю ли я, что Google Cloud догонит конкурентов. Я думаю, что не только догонит, но и опередит их в ближайшие 5 лет. Потому сейчас Cloud помогает другим компаниям создавать программное обеспечение, как Google. Это отлично работает в Google? Давайте предложим это другим компаниям — такой продукт точно будет востребован на рынке.
Ещё одной важной областью является безопасность. Если вас спросят, в какой компании ваша информация будет в наибольшей безопасности, что придет вам на ум в первую очередь? Поэтому неудивительно, что Google Cloud лидирует и продолжит лидировать в этой области. Воплощение новых идей и функций по безопасности для наших потребителей докажет свою ценность, слишком высокую для того, чтобы ей пренебрегать.
Третьей мощной опорой является машинное обучение. Помощь компаниям в использовании машинного обучения так, как это делает Google, даст этим компаниям огромное преимущество. Поэтому очень скоро эти технологии будут применяться во всей сфере, в том или ином виде.
Есть и другие вещи, как предоставление известной нам информации о ведение работы в глобальных масштабах (мониторинг идей, отчетность, техники обеспечения безопасности), непрерывной интеграции и развёртывании программного обеспечения, предоставление доступа к сугубо внутренним сервисам (Spanner, BigQuery и BigTable). Список можно продолжать, поэтому возможности компании огромны и пока ещё даже не известны до конца.
Быстро переместимся на 5 лет вперед. Какая компания не захочет создать сервис “Х” такой же гибкий и безопасный сервис такого же масштаба, как и Google? А теперь помножьте это на миллиарды пользователей, желающих минимальной угрозы стабильности работы и безопасности.
Что такое облачная платформа Google
Введение в Google Cloud Platform
Почему GCP важен?
GCP считается третьим по величине поставщиком облачных услуг (CSP) после Amazon AWS и Microsoft Azure. Основные причины выбора ВВП по сравнению с другими ПСУ приведены ниже:
1. Масштабируемость. Одним из основных недостатков облачных вычислений является уменьшение масштаба. Но GCP обеспечивает чрезвычайную легкость в увеличении и уменьшении масштаба.
2. Ценообразование: Google предлагает услуги GCP по самой выгодной цене на облачном рынке по сравнению с конкурентами. Google предлагает 4 основных ключевых фактора в своей ценовой философии
3. Интегрированные сервисы: вы можете использовать различные API, AI и ML, IoT, вычислительный механизм, базы данных, аналитику больших данных, инструменты разработчика, безопасность, хранилище одновременно.
4. Быстрая совместная работа: GCP обеспечивает быструю совместную работу для всех пользователей. Несколько пользователей могут получать доступ к проектам и редактировать их одновременно.
5. Бессерверные вычисления. Это модель выполнения облачных вычислений, в которой CSP запускает сервер и динамически управляет распределением ресурсов. Таким образом, цены будут основаны на фактическом количестве ресурсов, потребляемых приложением, а не на предварительно купленном количестве ресурсов.
Google Cloud Services
GCP предоставляет широкий спектр продуктов и услуг. Они предоставляют услуги от базовых облачных сервисов до сложных облачных сервисов, таких как ML, IoT и т. Д. Давайте обсудим один за другим подробно.
Машинное обучение
AI и ML состоят из трех компонентов.
1. AI Hub
2. Строительные блоки AI
Он состоит из компонентов, которые позволяют разработчикам добавлять взгляды, язык, структурированные данные и диалоги в свои приложения.
Это набор продуктов ML, который позволяет разработчикам с ограниченными знаниями по ML обучать высококачественным моделям с использованием технологии поиска нейронной архитектуры Google.
3. Платформа AI
Среда разработки данных, основанная на коде, которая позволяет разработчикам быстро переносить проекты от идеи к развертыванию.
Интернет вещей (IoT)
Он предлагает все управление устройством и подключает услуги.
Компьютерные услуги
GCP предоставляет широкий спектр вычислительных услуг, таких как:
Сервисы больших данных
Сетевые Услуги
Работа в сети является одной из важнейших и одной из основ служб облачной платформы Google, предлагаемых современными сетевыми службами.
Услуги хранения и базы данных
Службы безопасности и идентификации
Это одна из самых важных облачных служб Google, в которой ваши данные надежно защищены и зашифрованы.
Инструменты управления и разработки
Он используется для мониторинга сервисов, поиска ошибок, отладки и отслеживания сервисов.
Преимущества облачной платформы Google
Вывод
Когда вы объединяете услуги для выполнения работы, вы создаете решение. Возможности для решений на облачной платформе безграничны. Вы можете искать идеи и рекомендации в библиотеке решений Google. До сих пор у нас был подробный обзор GCP и всех его основных продуктов и услуг.
Рекомендуемые статьи
Это руководство к тому, что такое Google Cloud Platforms. Здесь мы обсудили важность облачных платформ Google, AI и машинного обучения с услугами и 10 преимуществами. Вы также можете просмотреть другие наши статьи, чтобы узнать больше-
Googlе представил новую облачную платформу
Компания Google объявила об окончании тестирования платформы Google Cloud, которая отныне становится общедоступной. Были озвучены возможности платформы и обязательства компании перед клиентами, которые планируют ее использовать.
В рамках соглашения, которое обязаны подписывать Google и ее клиент, компания гарантирует бесперебойную работу платформы с коэффициентом доступности 99,95%. В случае несоблюдения этого значения, она обязуется возмещать часть оплаты за последующие периоды использования платформы. Например, если фактический коэффициент доступности составит менее 95%, клиенту будет возмещено 50% оплаты за текущий период.
В Google сообщили, что стоимость обычных виртуальных машин снижена на 10% в сравнении со стоимостью в период тестирования, однако конкретные цены не назвали. Для этого необходимо подать заявку.
Кроме того, клиентам было предложено три новых типа виртуальных машин. Наиболее мощная конфигурация включает 16 ядер и 104 ГБ оперативной памяти. В Google считают, что такие конфигурации будут полезны тем, кому необходима дополнительная вычислительная мощность.
Google присоединился к Amazon и Microsoft с собственной облачной платформой
Google Cloud считается альтернативой Amazon Web Services, однако, по мнению TechCrunch, платформа Google пока не может тягаться с лидером рынка по разнообразию типов ВМ. Например, она не предлагает виртуальные машины с видеоускорителями, которые бы позволяли быстрее производить графические вычисления.
Лидером и пионером рынка IaaS-решений является Amazon. В компании утверждают, что ее облаком пользуются «сотни тысяч» клиентов, в числе которых, например, видеосервис Netflix. В 2008 г. он прекратил развивать собственные дата-центры и с 2010 г. полностью базируется на облаке Amazon.
Переход на облачную платформу Google Cloud (Google Cloud Platform – GCP)
[Часть 1 из 2]
Блог Hike появился 12 декабря 2012 года, и читателей тогда было совсем немного. К 2016 году мы достигли цифр в 100 миллионов зарегистрированных пользователей и 40 миллиардов сообщений ежемесячно. Но такой рост обозначил проблему, связанную с масштабированием нашей инфраструктуры. Для ее устранения нам нужна была высокопроизводительная платформа по приемлемой цене. В 2016 и 2017 годах мы столкнулись с многочисленными перебоями в работе, с этим нужно было срочно что-то делать, поэтому мы начали рассматривать различные варианты.
Нам нужна была такая облачная платформа, которая помогла бы быстро создавать, тестировать и развертывать приложения в масштабируемой и надежной облачной среде. На первый взгляд может показаться, что все крупные облачные платформы схожи во многих отношениях, однако у них есть несколько принципиальных различий.
Мы разделим эту публикацию на 2 части:
Подтверждение концепции
Мы начали с доказательства правильности концепции, в рамках которого рассматривали совместимость существующей инфраструктуры с сервисами, предлагаемыми облачной платформой Google Cloud, а также планировали элементы для будущего развития.
Ключевые области в рамках подтверждения концепции:
⊹ Балансировщик нагрузки
⊹ Вычислительная машина
⊹ Работа в сети и брандмауэры
⊹ Безопасность
⊹ Доступность облачных ресурсов
⊹ Большие данные
⊹ Тарификация
Подтверждение концепции включало в себя тестирование и проверку пропускной способности виртуальных машин/сети/балансировщика нагрузки, а также стабильности, масштабируемости, безопасности, мониторинга, тарификации, больших данных и сервисов машинного обучения. В июне 2017 года мы приняли важное решение о переносе всей инфраструктуры на облачную платформу Google Cloud.
Мы хотели выбрать облачную платформу, способную справиться с бесчисленными проблемами, с которыми мы столкнулись:
⊹ Балансировщик нагрузки:
У нас было множество проблем, связанных с управлением локальными кластерами HAProxy для обработки нескольких десятков миллионов подключений активных пользователей ежедневно. Глобальный балансировщик нагрузки (GLB) решил множество наших проблем.
Используя глобальную балансировку нагрузки GCP, один IP-адрес anycast может пересылать до 1 миллиона запросов в секунду на различные сервера GCP, такие как Группы управляемых экземпляров (Managed Instance Groups – MIG), и для этого не требуется «предварительного прогрева». Наше общее время отклика улучшилось в 1,7–2 раза, поскольку GLB использует реализацию пула, которая позволяет распределять трафик по множеству источников.
⊹ Вычислительная машина:
В самих по себе вычислительных машинах не было больших проблем, но нам нужна была высокопроизводительная платформа по приемлемой цене. Общая пропускная способность виртуальных машин Google увеличилась в 1,3-1,5 раза, что позволило сократить общее количество запущенных экземпляров виртуальных машин.
Тесты Redis проводились с кластером из 6 экземпляров (8 ядер, 30 ГБ каждый). На основе приведенных ниже результатов мы пришли к выводу, что GCP обеспечивает повышение производительности до 48% (в среднем) для большинства операций REDIS и до 77% для конкретных операций REDIS.
Сервис облачных вычислений Google Compute Engine (GCE) обеспечил дополнительные преимущества в управлении нашей инфраструктурой благодаря использованию следующего:
● Группа управляемых экземпляров (MIG): MIG помогают нам поддерживать работу служб приложений в надежной среде с многозональными функциями вместо выделения ресурсов для каждой зоны. MIG автоматически идентифицирует и корректирует неработоспособные экземпляры в группе для обеспечения оптимальной работы всех экземпляров.
● Динамическая миграция: Динамическая миграция помогает поддерживать работу экземпляров виртуальных машин даже в случае сбоя хост-системы, например, при обновлении программного обеспечения или оборудования. Работая с нашим предыдущим облачным партнером, мы получали уведомление о запланированном событии технического обслуживания и были вынуждены останавливать и запускать виртуальную машину, чтобы перейти на работоспособную виртуальную машину.
● Пользовательские виртуальные машины: В рамках GCP мы можем создавать собственные виртуальные машины с необходимыми для конкретных рабочих нагрузок вычислительной мощностью процессора и объемом памяти.
⊹ Работа в сети и брандмауэры:
Управлять несколькими сетями и правилами брандмауэра непросто и может привести к риску. Сетевой VPC GCP по умолчанию является глобальным и обеспечивает межрегиональную связь без дополнительной настройки и без изменений пропускной способности сети. Правила брандмауэра обеспечивают гибкость в рамках VPC для проектов, использующих имя правила тегов.
Для сети с низкой задержкой и более высокой пропускной способностью мы были вынуждены выбирать дорогостоящие экземпляры с пропускной способность в 10Гбит/с и активировали расширенные сети на этих экземплярах.
⊹ Безопасность:
Безопасность — самый важный аспект для любого поставщика облачных сервисов. В прошлом безопасность была либо недоступна для большинства сервисов, либо была лишь дополнительным вариантом.
Облачные сервисы Google по умолчанию зашифрованы. Для защиты данных GCP использует несколько уровней шифрования. Использование нескольких уровней шифрования обеспечивает защиту резервируемых данных и позволяет выбрать оптимальный подход, основанный на требованиях приложений, например, использование сервиса Identity-Aware Proxy и шифрование неактивных данных по умолчанию.
Кроме того, GCP закрывает недавние катастрофические уязвимости, основанные на спекулятивном выполнении, в подавляющем большинстве современных процессоров (Meltdown, Spectre). Google разработал новый метод бинарной модификации, называемый Retpoline, который позволяет обойти эту проблему и прозрачно внести изменения во всю работающую инфраструктуру незаметно для пользователей.
⊹ Доступность облачных ресурсов:
Доступность ресурсов GCP отличается от таковой у других поставщиков облачных решений, так как большинство ресурсов GCP, включая панель управления, являются либо зональными, либо региональными. Нам приходилось управлять несколькими VPC для отдельных проектов из отдельных учетных записей, которым требовались пиринг VPC или VPN-соединение для частного подключения. Нам также приходилось держать копию образа в отдельной учетной записи.
В облаке Google Cloud большинство ресурсов являются либо глобальными, либо региональными. К таким ресурсам относятся панель управления (где мы можем видеть все виртуальные машины нашего проекта на одном экране), образы дисков, контейнеры для хранения данных (несколько регионов в рамках континента), VPC (но отдельные подсети являются региональными), глобальная балансировка нагрузки, публикация и подписка и т. д.
⊹ Большие данные:
Мы перешли от монолитной, трудноуправляемой аналитической конфигурации к полностью управляемой системе с BQ, что привело к улучшениям в трех областях:
● Увеличение скорости обработки запросов до 50 раз.
● Полностью управляемые системы обработки данных с автоматическим масштабированием.
● Время обработки данных сократилось с часов до 15 минут.
⊹ Тарификация:
Было трудно сравнивать различных поставщиков облачных сервисов, поскольку многие сервисы не были похожи или сопоставимы, различались для разных сценариев использования и зависели от уникальных сценариев использования.
Преимущества GCP:
● Скидки за длительное использование: Применяются при нарастающем использовании виртуальных машин при достижении определенных пороговых значений. Мы можем автоматически получить скидку до 30% на рабочие нагрузки, которые выполняются в течение большей части учетного месяца.
● Поминутная тарификация: При выделении виртуальной машины в GCE взимается плата за минимальный период 10 минут, после чего начинается поминутная тарификация за фактическое использование виртуальной машины. Это обеспечивает значительное снижение затрат, поскольку нам не приходится оплачивать полный час, даже если экземпляр машины работает менее часа.
● Превосходное оборудование, меньшее количество экземпляров: Мы обнаружили, что почти для всех уровней и приложений с помощью GCP можно выполнять ту же рабочую нагрузку с одинаковой производительностью, но меньшим количеством экземпляров.
● Обязательство, а не резервирование: Еще одним фактором является подход GCP к цене экземпляров виртуальных машин. В AWS основным способом сокращения затрат на экземпляр виртуальной машины является покупка зарезервированных экземпляров сроком на 1–3 года. Если рабочая нагрузка требовала изменения конфигурации виртуальной машины или данный экземпляр был нам не нужен, нам приходилось продавать его на рынке зарезервированных экземпляров по более низкой цене. В GCP есть «Скидка за обязательство по использованию», которая действует при резервировании ресурсов процессора и памяти, при этом не имеет значения, какие экземпляры виртуальной машины мы используем.
Заключение:
Исходя из этого подробного анализа, мы решили перейти на GCP и начали работать над схемой перехода и контрольными списками. В следующей статье мы расскажем о том, что узнали в ходе выполнения этого проекта.