Репликация базы данных

  • Репликация данных

    Типы и способы применения репликации на примере MySQL

    #Масштабирование#Работа с данными#репликация#mysql

  • Оптимизация репликации в Mysql

    Ускорение репликации в Mysql 5.6+

    #Серверная#Базы данных#mysql#репликация

  • Шардинг и репликация

    Основные понятия о шардинге и репликации

    #Масштабирование#Работа с данными#mysql#репликация#шардинг

  • Mysql 1062 Duplicate entry for key PRIMARY при репликации

    Что делать, если во время репликации встречается: Error ‘Duplicate entry ‘115846’ for key ‘PRIMARY» on query.

    Default database: ‘db’. Query: ‘INSERT INTO some_table …

    #Вопросы#mysql#репликация#ошибки

  • Как настроить MySQL Master-Master репликацию?

    Настройка Master-Master репликации на MySQL за 6 шагов

    #Вопросы#mysql#репликация

  • Как настроить MySQL Master-Slave репликацию?

    Настройка Master-Slave репликации на MySQL за 6 простых шагов

    #Вопросы#mysql#репликация

  • Как восстановить MySQL репликацию без выключения?

    Включение или восстановление репликации на работащих Mysql серверах

    #Вопросы#mysql#репликация

  • 5 стратегий работы с высокими нагрузками в MySQL

    Как строятся по-настоящему большие системы на основе MySQL

    #Масштабирование#Работа с данными#mysql

  • Логирование в MySQL

    Включение и использование логов ошибок, запросов и медленных запросов, бинарного лога для проверки работы MySQL

    #Серверная#Базы данных#mysql#логирование

  • Оптимизация настроек Redis

    Рекомендации по настройке Redis для оптимизации ресурсов и повышения стабильности на производственном сервере

    #Серверная#Базы данных#redis#tuning

  • Восстановление Mysql после сбоя

    Как восстановить данные, если MySQL упал и не поднимается

    #Серверная#Базы данных#mysql#бекапы

  • Как ускорить Mysqldump?

    Быстрая альтернатива Mysqldump для больших таблиц без блокировок и выключений.

    #Серверная#Базы данных#mysql#оптимизация

  • Опыт Твиттера

    Правила и практика масштабирования Твиттера

    #Масштабирование#Опыт

  • Архитектура высоких нагрузок

    Архитектурные принципы высоконагруженных приложений

    #Масштабирование#Архитектурные решения#nginx#php#load balancing

  • Clickhouse / Репликация данных

    использовать репликацию, укажите … блока данных (блоков данныхданные. Дальнейшие преобразования данных

    #clickhouse

  • Clickhouse / Запросы

    репликацию. Подробнее про репликацию … разделе «Репликация данных«.Бэкапы …

    #clickhouse

  • Clickhouse / Отличительные возможности ClickHouse

    Репликация данных, поддержка целостности данных … multimaster репликация. … раздел Репликация данных. …

    #clickhouse

  • Clickhouse / Distributed

    … [, sharding_key]) данные будут … их репликацией.Если … занимается репликацией данных самостоятельно …

    #clickhouse

  • Clickhouse / MergeTree

    данные, … данных может содержать данныерепликация данных — смотрите раздел «Репликация данных

    #clickhouse

  • Clickhouse / Движки таблиц

    … хранятся данные, куда … к данным.Использование … .Параметры репликации данных.При … обрабатывать данные при …

    #clickhouse

  • Clickhouse / Настройки

    данные недоступны. Смотрите «Репликация … Смотрите «Репликация«.Устанавливает … невостребованные данные

    #clickhouse

  • Clickhouse / Постановка задачи в Яндекс.Метрике

    данных. Объём сжатых данных … и репликации, … данных.Но агрегированные данные … неагрегированных данных — …

    #clickhouse

  • Clickhouse / Серверные настройки

    … default_databaseБаза данных по … куска данных. … несжатых данных, используемых … разделе «Репликация«.Пример …

    #clickhouse

  • Clickhouse / Советы по эксплуатации

    … подмножество данныхрепликацию для безопасности данных … промежуточных данных.ZooKeeperВероятно …

    #clickhouse

  • MongoCollection::ensureIndex / PHP

    Устаревание данных в … базы данных. Укажите … удалить данные из … базы данных. Используйте … к репликации. Если …

    #php

  • MongoCollection::createIndex / PHP

    … Устаревание данных в … базы данных. Укажите … удалить данные из … базы данных. Используйте … к репликации. Если …

    #php

  • MongoCollection::remove / PHP

    … . В данный момент … к репликации. Если …

    #php

  • Cамоучитель MS Access 2002 → Репликация баз данных → Что такое "Репликация баз данных"?

    Что такое "Репликация баз данных"?

    Что такое репликация? Это средство организации работы одного или нескольких пользователей с одним и тем же документом, базой данных или другими-файлами на разных компьютерах независимо, без одновременного доступа к файлам, но когда требуется поддерживать некоторую общую версию изменяемых файлов, содержащую в себе все последние исправления, сделанные независимо. Более конкретно, репликация — это процесс создания копий файлов, между которыми может осуществляться обмен обновляемыми данными или объектами. Такие копии называются репликами, а такой обмен — синхронизацией .

    Когда нужна репликация? Microsoft приводит два примера необходимости в такой организации работы.

    • Вы — агент по продажам и совершаете поездки для посещения клиентов. Перед поездкой вам нужно просмотреть последние заказы и маркетинговые тенденции клиентов, которых вы собираетесь посетить. Эта информация хранится в базах данных о клиентах и заказах вашей компании.

      Вы загружаете данные о клиентах на свой переносной компьютер. Во время посещения клиента вы обновляете загруженную информацию о клиенте, например: номера телефонов, адреса E-mail и прочую персональную информацию о клиенте на вашем переносном компьютере, а также вносите туда информацию о новых заказах. Однако вам необходимо закончить работу с заказами как можно быстрее. В конце дня вы подключаетесь по Интернету к сети вашей компании через защищенное удаленное соединение и обновляете базы данных о клиентах и заказах. Конфликты данных автоматически разрешаются благодаря имеющимся бизнес-процедурам. После этого вы печатаете и отправляете клиенту по факсу отчет о принятии заказа или отправляете снимок отчета по E-mail, который клиент может просмотреть с помощью программы Просмотр снимков (Snapshot Viewer).

    • Вы — разработчик программного обеспечения и хотите закончить работу с приложением вашей компании, отслеживающим статистику об обнаружении и исправлении ошибок в проекте, дома, где нет необходимого или защищенного доступа к корпоративной сети. Вы забираете данные только о ваших ошибках, помещая их на свой переносной компьютер, и отключаете его от корпоративной сети. Затем приходите домой и работаете с имеющимися данными, изменяя поля статуса ошибки и прочие поля с информацией об ошибке. На следующий день* вы подключаете свой переносной компьютер к корпоративной сети и легко син-* хронизируете свои изменения с приложением вашей компании, отслеживающим; статистику ошибок в проекте.

    Существует несколько средств репликации баз данных, проектов Access и других файлов.

    • Портфельная репликация средство операционной системы Microsoft Windows. Оно позволяет осуществлять репликацию файлов многих типов, в том числе баз данных Access (файлов MDB), исключая проекты Access (файлы ADP).
    • Репликация баз данных и проектов средствами Access — встроенные средства Microsoft Access. Они предназначены для репликации баз данных и проектов Access.
    • Репликация с помощью Диспетчера репликации Microsoft полнофункциональное средство управления репликами, планирования синхронизации и просмотра элементов набора реплик. Диспетчер репликации входит в комплект средств разработчика Microsoft Office 2002 Developer Edition. Описание Диспетчера репликации (Replication Manager) можно найти в документации этого комплекта.
    • Репликация файлов на сервере Web средство сервера Web фирмы Microsoft. Оно позволяет работать с файлами, сохраненными на узле Web, в автономном режиме — без подключения к серверу.
    • Программная репликация с помощью интерфейсов DАО и JRO. Создание и управление репликами баз данных Access может осуществляться программно — в процедурах на VBA. Разработчики приложений Access могут обеспечить автоматическую синхронизацию реплик и прочие действия, связанные с репликацией, используя специальные свойства и методы объектов из библиотек VBA: Объекты репликации и Jet (JRO) для репликации баз данных Access 2000 и выше и Объекты доступа к данным (DАО) для репликации баз данных более ранних версий — Access 95 и 97.

    Репликация включает следующие действия:

    • выбор средства репликации;
    • создание реплик;
    • синхронизация реплик;
    • управление репликами.

    Способ выполнения перечисленных действий зависит от выбранного средства репликации. Мы рассмотрим основные вопросы, касающиеся использования перечисленных средств репликации, но не будем касаться темы программирования. Дополнительную информацию о репликации можно найти в справочной системе Access 2002.

    Master Replicas Old News Stories

    Aug 2006 update — There were numerous delays for the release of the Clone and Vader helmets. MR recalled the first batches of these helmets as they were not happy with the finish and they were all destroyed,  prompting a switch in Chinese supplier. However many people (myself included) decided to hang onto the ones we received —  figuring that "a bird in the hand, etc.

    etc"). Replacements took a good 6 months to arrive hence many were glad therey held onto theirs!  Production was moved to a new plant in China but no real news on when these will go out at this point (Aug 2006), although an update is imminent.

    May 2007 — MR fails to agree a revised  contract with Lucasfilm so will cease production of SW related props and helmets from the end of the year.

    Jan 2007- MR has shown off the new Stormtrooper Helmet at the US Toy Fair, along with the Boba Fett and Commander Gree. More news and pics lower down this page

    Previous News — Dec 30th 2006 — MR has confirmed that the Stormtrooper helmet will be an LE only (i.e. no EE or CE), which is not surprising given the response to their CE Lightsaber range, which has now been dropped. It will be a similar spec to the Clone buckets, i.e. made of Fiberglass, with lining inside. They’ve gone for a Hero version with bubble lenses, metal grills on the mic tips (unlike the clone decals) and interesting will be a 4 part design like the originals (which of course were vac formed plastic). This is actually quite a nice idea since it will ensure that the helmet looks like the originals, with gaps between the sections, ears etc, but is made from a much more rugged material. Most importantly, like the originals it WILL be wonky/asymmetrical and it should have painted details (not confirmed yet).

    August 2006 — I managed to catch up with Master Replicas at Comic Con in San Diego a few weeks back so asked them for an update on their helmet and costume plans.

    Talking to a couple of their marketing people, they said that they were just looking to produce the "more easy" costumes before moving on the more complex characters, such as the Stormtrooper. On show was the X-Men Wolverine costume (which looked superb btw) which probably illustrates this point.

    They added that they "learned a hard lesson" with the Vader and Clones and therefore the Stormtroper helmet wont arrive until "early 2007", and at some point after which "they may look at armor but there’s been no decision as yet".

    Interestingly they said that Lucasfilm granted licenses for specific characters hence why it would be possible for one company to produce the costume for one character, and another company another. An example of this is the way MR and Sideshow appear to overlap on the SW franchise, with Sideshow showing off their new  C-3PO and R2-D2 life-sizes (see new Sideshow page)

    As soon as they’ve got the Vader and revised Clone troopers out the way then they will be officially announcing and taking orders on the new helmets, which is expected to be the previously-announced Stormtrooper and Boba Fett helmets, which should be ready for despatch Summer 2007.  I was specifically told that the Stormtrooper would be the Hero version and a good possibility that there would be a Signature version (possibly Mark Hamill). The only other helmet mentioned was a Clone Commander Gree which is good news although I hope they decide to produce a Commander Cody with movable Binoculars.

    Looking at the existing range, the revised clones "are 100% the same as the old ones, just manufactured by a new company in China". However MR said that no decals would be used on the new helmets (some  of the 1st run of clones used decals on the side tubes, although not the ones I have). They’ve made a single change to the Vader which now has a revised connection mechanism, along with better packing which will ensure the helmets aren’t received scratched.

     

    Выбор технологии репликации данных

    Источник: http://www.itc.ua/article.phtml?ID=16619&IDw=10&pid=33
    В статье рассматриваются общие вопросы репликации данных. Приводится формальное определение репликации данных, стандартные схемы организации репликации данных, различные уровни репликации данных, поясняется необходимость её использования. Статья имеет обзорный характер.

    Алексей Быков

    В недалеком прошлом технологии репликации были доступны только крупнейшим компаниям, так как это требовало использования дорогостоящих систем хранения данных и высокоскоростных линий связи. Сегодня благодаря снижению цен на системы хранения и услуги по передаче информации, а также применению новых способов копирования данных на значительные расстояния даже небольшие фирмы могут позволить себе внедрить относительно недорогие решения по репликации.

    Стандартный подход к защите данных до недавних пор заключался в создании резервной копии и хранении ее, для большей надежности, в другом офисе или, скажем, в банке. Однако вследствие взрывного роста объемов информации и ее ценности, а также необходимости непрерывного доступа к ней не остается достаточно времени на ее восстановление. Например, восстановление 2 ТB данных даже на таком быстром устройстве, как Exabyte Mammoth2, займет не менее двух суток, не считая времени доставки резервной копии. А при полном крахе системы нужно еще учитывать время установки ОС и ПО резервного копирования… При чрезвычайных обстоятельствах (пожар, стихийные бедствия) необходимо также время на поиски нового оборудования, аналогичного действующему, на котором будет развертываться копия, и квалифицированного персонала. Что же тогда говорить о ситуациях, когда простой недопустим или может измеряться лишь минутами (например, в системе международных безналичных банковских расчетов)? В этих случаях применяются различные технологические решения по обеспечению непрерывности бизнеса и быстрого восстановления данных. Основной частью таких решений является какая-либо из технологий репликации.

    Продуктов репликации существует множество.

    Но какой из них оптимально соответствует конкретным требованиям вашего бизнеса? Чтобы ответить на этот вопрос, во-первых, необходимо разобраться с различными типами технологий репликации. Во-вторых, следует выбрать из них ту, которая наиболее полно отвечает нуждам вашей компании. И наконец, оценить, по карману ли вам такое решение.

    Что такое репликация данных?

    Репликация данных — это процесс создания их точной копии, желательно без прерывания работы приложений. Такая копия может как располагаться на соседней системе хранения данных (даже локально, в том же офисе) и быть готовой к использованию при сбое сервера, так и храниться географически удаленно на случай сбоя всего главного вычислительного центра организации. Дополнительно на основе этой копии возможны создание резервных копий, консолидация серверов и данных, а также миграция последних.

    Прерывания работы можно условно разделить на два вида:s

    • физические — сбои в работе оборудования или из-за природных явлений, устраняются с помощью технологий зеркалирования;
    • логические — ошибки приложений и пользователей, вирусные и хакерские атаки, действия "обиженных" пользователей; преодолеваются посредством создания "моментальных снимков" и "клонов" данных для определенных моментов времени.

    Такое разделение позволяет учесть динамическую и статическую природу соответственно зеркалирования и создания "моментальных снимков" и выбрать необходимую технологию.

    Реплицированные данные можно использовать по-разному: в целях обеспечения непрерывности бизнеса, создания резервных копий и архивов, консолидации серверов и систем хранения данных, миграции данных и т. д.

    Способы и типы репликации данных

    Существуют два способа репликации: синхронный и асинхронный. В первом случае операция записи некоторой порции данных (реплики) считается завершенной только после ее подтверждения обеими системами (основной и резервной). Синхронный способ традиционно используется там, где допустимое время простоя измеряется в минутах или требуется немедленное переключение на резервную систему в случае сбоя. Обычно его применяют для небольших расстояний, чтобы свести к минимуму негативное влияние на производительность и доступность системы.

    Асинхронная репликация позволяет осуществлять запись на основную систему хранения данных, не дожидаясь подтверждения выполнения записи на резервную систему. Обычно такой тип репликации используется при размещении обеих систем на значительном удалении друг от друга.

    Если представить себе путь движения данных от приложения до дисковой системы хранения, то мы можем увидеть три ключевых места, где возможны перехват данных и их перенаправление для дальнейшей записи на диски: хост (компьютер, на котором выполняется приложение), сеть хранения данных (SAN) и контроллер дискового массива. Поэтому в настоящее время можно выделить три соответствующих типа репликации: на уровне хоста, сети хранения данных или дискового массива.

    Репликация на уровне хоста

    В данном случае задачами репликации занимается тот же компьютер, на котором выполняется приложение по обработке данных. Этот способ является наиболее гибким и в то же время наиболее сложным в управлении (особенно для большой группы серверов). Он зависит от операционной системы и, что самое печальное, использует вычислительные ресурсы серверов приложений. Репликацию на уровне хоста можно представить в виде специальной системы, прозрачно для приложений и ОС дублирующей и перенаправляющей операции ввода/вывода. Последние выполняются на четырех соответствующих подуровнях организации данных: специфичных для приложения, блоковом, файловом и логических томов.

    Подуровень приложения

    Специфичным способом репликации на уровне хоста, соотносительно варианта организации данных, является репликация на подуровне приложения. Так как реализация распределенных систем клиент-сервер предполагает применение репликации данных, то после появления первых клиент-серверных приложений были разработаны и первые продукты для репликации на подуровне приложения. В 1984 г. данную технологию впервые использовали в проекте Lotus Notes, и уже в 1987 г. вместе с выходом первой версии этого продукта она была представлена на рынке.

    Для систем управления базами данных технологии репликации на уровне приложения первыми применили в корпорации IBM для БД IMS (также в 1987 г.). Заметим, что это было очень дорогое решение, доступное только крупнейшим компаниям.

    Хотя перспективность распределенных баз данных достаточно давно признана, соответствующая технология была либо слишком ограниченной, либо чересчур сложной.

    Только начиная с 1997 г. ситуация изменилась. У каждой из основных компаний, производящих СУБД, появилось решение для репликации БД.

    Главные недостатки такого способа репликации заключаются в его "привязанности" к определенному приложению, необходимости покупки полноценных лицензий для резервных серверов и выполнения процедур репликации с использованием ресурсов сервера приложения.

    Блоковый подуровень

    Наиболее гибкой, с точки зрения интеграции в имеющуюся инфраструктуру, является репликация на блоковом подуровне. Она не зависит от используемых файловых систем и способов хранения данных и может применяться как для локальной, так и для удаленной репликации. К сожалению, каждый конкретный продукт такого подуровня репликации, как правило, "привязан" к определенной операционной системе.

    Типичная сфера применения: быстрое восстановление после чрезвычайных происшествий, создание "моментальных снимков" и миграция данных.

    Примеры продуктов для различных ОС (Windows, AIX, Solaris, HP-UX, z/OS): Legato RepliStor, Veritas Storage Replicator, NSI Double-Take, IBM HAGEO и GeoRM, Sun StorEdge Availability Suite, Softek Replicator и TDMF.

    Файловый подуровень

    Репликация на этом подуровне обычно используется там, где необходимо синхронизировать небольшое количество файлов. Она позволяет производить выборочную репликацию данных и их перенос на томах различного размера. Этот способ работает на уровне файловой системы, чем определяются все преимущества и недостатки вышеуказанного типа. К примеру, он не годится для создания копии БД или заблокированных системных файлов. И в то же время репликация на файловом подуровне прекрасно подходит для приложений, в которых необходимо обеспечить одновременный доступ ко всем копиям файлов данных. Классический вариант: ферма Web-серверов.

    Примеры продуктов: HP OpenView Storage Mirroring и протокол SUP (Software Update Protocol), разработанный в институте Карнеги Меллона.

    Подуровень логических томов

    Создание "зеркальной" копии данных с помощью менеджера логических томов чаще применяется для увеличения надежности доступа к данным на локальном уровне, чем для создания удаленных копий или "моментальных снимков". Такой способ также используется для миграции данных, но не является лучшим для этого вида работ, так как существуют некоторые архитектурные ограничения. Например, если источник данных размещен на томе с чередованием (striped volume), то обычно и получатель должен быть на таком же томе.

    Этот способ репликации часто привлекателен для многих организаций, потому что менеджер логических томов обычно уже встроен в операционную систему.

    Зеркалирование с помощью менеджера логических томов всегда синхронное и локальное, т. е. создание копии на удаленной системе хранения данных невозможно.

    Примеры продуктов: Veritas Volume Manager, IBM LVM.

    Репликация на уровне сети хранения данных (SAN)

    Это решение базируется на новейшей технологии виртуализации доступа к данным по основному каналу (in-band) и предполагает размещение на пути между серверами и системой хранения данных посредника — специализированного устройства виртуализации.

    Обычно такой способ репликации не зависит от производителей систем хранения данных и ОС и не использует ресурсов серверов. К его недостаткам можно отнести невысокую пропускную способность самого устройства виртуализации и снижение общей надежности системы за счет добавления новой точки потенциального отказа.

    Репликация на уровне сети хранения данных является практически идеальным вариантом для распределенных БД или кластеров active-active.

    Термин active-active относится к кластерам, в которых на каждом узле запущен как минимум один виртуальный сервер. Когда на одном из узлов выполняется приложение (например, БД для системы SAP R/3), второй узел не находится в ожидании возможного сбоя первого узла, а запускает собственное приложение (например, Central Instance и Application Servers для системы SAP R/3) или другую задачу того же приложения, что и на первом узле, и работает в готовности принять на себя задачу от первого узла. Первый же узел, в свою очередь, в случае сбоя берет на себя выполнение приложения второго узла.

    При этом конфигурация узлов кластера active-active должна соответствовать возможностям работы под нагрузкой двух приложений при сбое одного из серверов.

    Примеры продуктов: серверы управления данными с ПО IPStor Enterprise, концентраторы компании StoneFly, HP CASA, IBM SAN Volume Controller (рекомендованный объем данных на один узел управления — 10 ТB).

    Репликация на уровне дискового массива

    Это наиболее универсальное, производительное и надежное решение. Функции репликации на уровне дисковых массивов встроены в контроллеры дискового массива, при этом использование ресурсов серверов не предполагается. Репликация на уровне дискового массива — самая "зрелая", апробированная технология.

    Основные ее преимущества заключаются в том, что репликация осуществляется на самом низком уровне, где реально записываются данные. Одновременно недостатком и достоинством такого способа репликации является то, что вы получаете решение от одного производителя.

    Примеры продуктов: технологии EMC SRDF и TimeFinder (для Symmetrix), синхронный и асинхронный MirrorView и SnapView (для CLARiiON), технологии IBM PPRC (для ESS), Remote Volume Mirror (для FAStT) и FlashCopy (для ESS и FAStT).

    Заключение

    Каждый тип репликации имеет свою стоимость. Необходимо помнить, что приобретение решения низшего класса обычно не означает достижения низких операционных расходов, так как цена покупки напрямую не связана с реальной стоимостью владения и мерой полезности. У каждой технологии есть свои достоинства и недостатки. Репликация на уровне хоста значительно снижает производительность серверов приложений. Репликация на уровне сети хранения данных является новой технологией и предполагает наряду с приобретением системы хранения данных покупку дополнительного устройства (посредника) и затраты на обучение персонала; репликация на уровне дискового массива "привязывает" вас к одному производителю. Поэтому необходимо тщательно проанализировать свою информационную инфраструктуру, используемые серверы и системы хранения данных и выбрать технологию, в наибольшей степени соответствующую ценности вашей информации, стратегии развития и бюджету.

    .

    Добавить комментарий

    Закрыть меню