Как установить Debezium?

[AntonS]

Вопросы из телеграма:

Debezium - Вам этот зверь знаком?
Решил попробовать, но пока что-то не получается его поставить, не могу найти нормальный мануал.
Установил PostgreSQL, Zookeeper и Kafka, что дальше делать - непонятно.

Насколько мне известно, у него как таковой установки нет. Нужны Kafka, библиотеки Debezium и конфигурационные файлы.

А что бы Вы ответили?

[SQL*Plus]

Debezium - Вам этот зверь знаком?

Благодаря вам теперь отдаленно знаком...

Debezium

Stream changes from your database.

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong.

Что в переводе, сделанном DeepL означает:

Debezium

Потоковая передача изменений из вашей базы данных.

Debezium - это распределенная платформа с открытым исходным кодом для сбора данных об изменениях. Запустите ее, направьте на свои базы данных, и ваши приложения начнут реагировать на все вставки, обновления и удаления, которые другие приложения фиксируют в ваших базах данных. Debezium долговечен и быстр, поэтому ваши приложения смогут быстро реагировать и не пропустить ни одного события, даже если что-то пойдет не так.

Переведено с помощью www.DeepL.com/Translator (бесплатная версия)

(Я бы здесь перевел "durable", как "надежен".
Тем не менее рекомендую этого автоматического переводчика.
В русском языке он подбирает слова точнее и изящнее, чем Google)

[SQL*Plus]

То есть Debezium - это средство для репликации данных между базами.
Нечто подобное Oracle GoldenGate.

Я правильно понял?

[AntonS]

Вы правы, Debezium как средство репликации, поддерживающее коннекторы к различным базам данных.

Большой интерес представляет Debezium Connector for Oracle, согласно официальной документации, поддерживающий пакет LogMiner или XStream API, последний в свою очередь требует лицензии GoldenGate.

Debezium читает изменения из redo логов и не нагружает основные таблицы базы данных SQL-запросами. Также документация утверждает, что он передает изменения снимки данных как сообщения ключ-значение в Kafka, создавая потоковую передачу записей событий. Топология коннекторов может выглядеть так:

Код: Выделить всё

                   +-------------+
                   |             |
                   |   Oracle    |
                   |             |
                   +-------------+
                          +
                          |
                          |
                          |
                          v
          +----------------------------------+
          |                                  |
          |           Kafka Connect          |
          |  (Debezium, JDBC connectors)     |
          |                                  |
          +----------------------------------+
                           +
                           |
              _____________|_____________
             |                           |
             v                           v
    +-----------------+          +-----------------+
    |                 |   ~~~~   |      TARGET     |
    |  TARGET ORACLE  |   ~~~~   |    POSTGRESQL   |
    |                 |   ~~~~   |                 |
    +-----------------+          +-----------------+

[SQL*Plus]

Большой интерес представляет Debezium Connector for Oracle, согласно официальной документации, поддерживающий пакет LogMiner или XStream API, последний в свою очередь требует лицензии GoldenGate.

Да, использование XStream API требует лицензии GoldenGate.
Этот API позволяет получать изменения данных в базе в реальном времени.

"Копание" в журналах LogMiner'ом не позволит захватывать изменения данных в реальном времени.
Но в подавляющем большинстве реальных задач такая онлайн-оперативность не требуется.

Предполагаю, что Kafka достаточно хорошо справляется с доставкой сообщений, но это нужно исследовать на реальных задачах.

Вам удалось преодолеть проблемы с установкой Debezium?

[AntonS]

Пока нет.
Насколько понял, нужны толковая инструкция или мануал для Linux, по которым можно будет установить Debezium и необходимые в его работе сервисы.

[Kennethtwito]

Эта фраза просто бесподобна , мне нравится )))

[Georgescoff]

Какие преимущества и недостатки существуют при выборе между Oracle и PostgreSQL в контексте разработки и управления базами данных? Какие факторы следует учитывать при принятии решения о том, какую СУБД использовать? Что может повлиять на производительность, надежность и масштабируемость системы? Будет ли выбор одной из этих СУБД влиять на разработку приложений и доступность инструментов разработки? Жду ваших мнений и опыта!

[SQL*Plus]

Oracle vs. PostgreSQL: кто лучше?

Oracle лучше, чем PostgreSQL.