Amazon S3 и история проблемы

Amazon S3 (Simple Storage Service) и AWS вообще — прекрасные вещи. Но есть с ними одна тонкость. Которую, в принципе, не скрывают, но есть шансы нарваться. Смотрите. Когда прикидываешь во что обойдется S3, в первую очередь смотришь на дисковое пространство (инертность мышления и наиболее достоверно известная величина). И тут все очень недорого, если не сказать дешево. Потом появляются какие-то операции — это так вообще копейки. Но они отвлекают внимание, так как очень непривычная штука (например, не встречающаяся при работе с ПК, при работе с shared hosting,VPS и т. д.; и заранее тяжело прикинуть их количество). Дальше я копать не стал. А стоило бы. Как выяснилось после создания «файлопомойки», дисковое пространство и операции оказались просто песчинкой на фоне такой статьи расхода, которая официально называется AWS Data Transfer. Это исходящий трафик в Интернет.

Amazon S3 ALTERNATIVES

Вот в нем и зарыта собака. Весь исходящий трафик платный и дорогой (1 ГБ бесплатного трафика я не считаю — это смешно по современным меркам, 1/5 от фильма на DVD). Большинству «живых» сайтов с большим количеством «статики» светит тариф 12 центов за ГБ (действует до 10 ТБ/мес.). Именно эта статья расхода сжирает все деньги. Для того, чтобы ее скрыть, Amazon ставит статью расхода вниз страницы (в середину третьей таблицы), а первой сточкой там же ставит тариф $0.000 per GB. Скажу честно, я попался. Торопился и не понял где нас имеют. Была мысль найти калькулятор для AWS, но опять же — торопился. Сейчас, конечно же, нашел. Калькулятор от самого Amazon позволяет прикинуть ежемесячные расходы. И они, скажу я вам, в 5-20 раз отличаются от того, что я тогда насчитал в уме. При исходящем трафике в 2 и 5 ТБ/мес. сумма счета получается минимум 248 и 616 долларов США соответственно. Объем файлов и количество операций на фоне этих сумм просто растворяются — плюс/минус 5-10 баксов. Так что хорошенько все посчитайте перед тем как перенести проект на AWS.

Материал из Xgu.ru

Перейти к: навигация, поиск

Amazon S3 (Amazon Simple Storage Service) — служба по организации масштабируемого хранилища данных. Может использоваться как совместно с Amazon EC2, так и без него.

Данные хранятся в виде объектов (objects), которые организованы в букеты или коллекции (bucket). Размер одного объекта может находиться в диапазоне от 1 Байта до 5 ГБайт. Количество объектов в коллекции не ограничено.

  1. Максимальное количество букетов на одного пользователя — 100;
  2. Название букета должно быть уникальным в пределах всего S3;
  3. Букеты не могут быть вложенными;
  4. В имени букета могут присутствовать только базовые алфавитно-цифровые символы, точка и дефис. Использование пробелов и прочих символов запрещено.

Объекты, хранящиеся в Amazon S3, можно сделать общедоступными, а можно закрытыми и регулировать доступ к ним с помощью списков доступа. Общедоступные данные видны из сети по адресу: http://s3.amazonaws.com/bucket-name/object-name (возможно использование других URL).

Данные автоматически реплицируются по нескольким серверам, но не переходят границу региона. Это означает, что если вы создали объект в Европе, он не будет доступен в Северной Америке (естественно, речь идёт о доступности внутри службы Amazon).

Возможностей по работе с объектами S3 намного меньше чем при работе с обыкновенными файлами на диске:

  • нельзя переименовать или переместить объект;
  • для того чтобы изменить даже один байт внутри объекта, его нужно выгрузить, изменить, а потом загрузить назад на S3;
  • нельзя возобновить прерванную загрузку файла на S3.

Некоторые особенности использования S3:

  • IP-адреса S3-серверов периодически могут меняться, поэтому нужно не забывать использовать DNS-преобразование имён при доступе к ним; кэширование результатов преобразования не нужно делать на большой срок, рекомендуемое время кэширования — 5 минут;
  • Изредка некоторые запросы к S3 могут не обрабатываться, вместо этого будет возвращаться ошибка «Internal Server Error»; это нормально, нужно быть готовым к этому, и в случае такой ошибки повторить запрос.

    Amazon S3 Pricing Explained

Работа с S3 выполняется через API, для использования которого разработаны библиотеки под все наиболее популярные языки программирования, в том числе Perl, Python, Java и другие. Есть сторонний набор программ s3tools, который позволяет использовать S3 прямо из командной строки. Программа s3cmd обеспечивает интерфейс командной строки к хранилищу, а программа s3fuse даёт возможность подмонтировать с помощью FUSE хранилище S3 локально.

Пример использования s3cmd:

~$ s3cmd ls s3://logix.cz-test Bucket ‘logix.cz-test’: 2008-01-19 01:46 120k s3://logix.cz-test/addrbook.xml 2008-11-14 01:46 32k s3://logix.cz-test/storage.jpg ~$ s3cmd get s3://logix.cz-test/addrbook.xml addressbook-2.xml Object s3://logix.cz-test/addrbook.xml saved as ‘addressbook-2.xml’ (123456 bytes) ~$ md5sum addressbook.xml addressbook-2.xml 39bcb6992e461b269b95b3bda303addf addressbook.xml 39bcb6992e461b269b95b3bda303addf addressbook-2.xml ~$ s3cmd rb s3://logix.cz-test ERROR: S3 error: 409 (Conflict): BucketNotEmpty ~$ s3cmd del s3://logix.cz-test/addrbook.xml s3://logix.cz-test/storage.jpg Object s3://logix.cz-test/addrbook.xml deleted Object s3://logix.cz-test/storage.jpg deleted ~$ s3cmd rb s3://logix.cz-test Bucket ‘logix.cz-test’ removed

Цена по работе с S3 складывается из нескольких составляющих: оцениваются все операции, которые выполняются с объектами, и отдельно оценивается трафик.

Сейчас цены такие (подробнее смотрите на сайте Amazon [1]):

  • хранение: $0.150/GB;
  • трафик, закачка на S3: пока беслпатно;
  • трафик, скачка с S3: $0.15/GB;
  • операции, все кроме скачки: $0.01 за 1000 операций;
  • операции, скачка: $0.01 за 10000 операций.

Итоговая сумма складывается из стоимости всех оказанных услуг.

Дополнительная информация:

Категория: Облачные вычисления

Да, вы правы. Загрузка PUT (в частности, один файл — один PUT). Я смотрел, был ли PUT для файла или для некоторого размера пакета, что затруднило бы цену. Он помещает файл (без ссылки на размер).

ТАКЖЕ, КОПИЯ действительно копирует файлы в S3, но theres больше.

Представляем новый класс хранилищ Amazon S3 и снижаем цены на Glacier

Смотри ниже. Я также нашел ссылки на POST и LIST; см. ниже.

Итак, что я узнал о PUT/COPY/POST/LIST и GET Requests, в то время как копался, чтобы оценить наши затраты. Im также включая ГДЕ Я его обнаружил (хотел получить все это от Amazon). Все исправления приветствуются.

Часто задаваемые вопросы Amazon: https://aws.amazon.com/s3/faqs/, и я расскажу об этом ниже.

COPY может быть несколько вещей, один из которых копирует между регионами, которые действительно стоят. Например, если вы храните в West VA и COPY в Северном регионе CA, это сопряжено с затратами. Копирование с EC2 на S3 (в том же регионе, которое я предполагаю) не несет никакой стоимости перевода. См. Часто задаваемые вопросы Amazon в разделе Q: Сколько стоит Amazon S3?

ПРИМЕЧАНИЕ. Написание файла, а затем перезапись того же файла хранит обе версии (если вы ничего не удаляете). Im угадывая вас не поручено больше если архивы точно такие же, но не посылают мне счет если Im неправильно.:-) Кажется, что средний размер (за месяц) — это то, что выставлено счету. См. Часто задаваемые вопросы (ссылка выше)

Для PUT, GET и DELETE появляется один файл — одна транзакция. Это отвечает на большой вопрос для меня (я не хотел, чтобы их минимальный размер 128k был PUT для каждого пакета 128k… да, я параноик). См. Раздел «Вопрос» следующим образом:

В: Как мне будет взиматься плата и оплатить за использование Amazon S3?

Пример запроса:

Предположим, что вы отправляете 10 000 файлов на Amazon S3 и переносите 20 000 файлов из Amazon S3 каждый день в течение марта.

Затем вы удаляете 5000 файлов 31 марта.

Всего запросов PUT = 10 000 запросов x 31 дней = 310 000 запросов

Всего запросов GET = 20 000 запросов x 31 дней = 620 000 запросов

Всего запросов DELETE = 5000 × 1 день = 5000 запросов

В вопросе упоминается СПИСОК: В: Могу ли я использовать API-интерфейс Amazon S3 или Консоль управления для отображения объектов, которые Ive архивируется на леднике Амазонки? Это, по сути, получение списка файлов… каталога, если вы это сделаете.

POST упоминается в RESTObjectPost.html здесь: http://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPOST.html

Надеюсь, это поможет. Это, безусловно, сделало меня более комфортным с тем, что мы будем платить.

ответ дан MrIce 15 мая '17 в 23:31

источникподелиться

Добавить комментарий

Закрыть меню