Добрый, пишу потихоньку свой продукт для администраторов Постгри по аналогии со своим же Оракловым ОрСиМОНом, и задумываюсь, выводить ли его в мир, или оставить "под сукном" для внутреннего использования. И если выводить, то в каком формате. Коммерческом, полукоммерческом, или свободном на радость халявщикам
Мож кто что думает конструктивного ?
Возможности (немного больше и часть скриншотов на http://www.ourorbits.org/kamactsost/art ... hots.shtml)
- компонента "Конфигурации" - показывает данные таблиц словаря, относящихся к конфигурации
- компонента "Объекты" - показывает данные таблиц словаря, относящихся к объектам, и DDL создания обьектов
- компонента "TOP Activity" - аналог такой же у Оракла.Сохранение данных их двух источников - pg_stat_avtivity (ежесекундно) и pg_wait_sampling (в соответствии с конфигурацией расширения), статистик запросов и планов.. Агрегация, возможность сравнения, графики и т.п. В том числе отображает дашбоард графиков TOP Activity сразу для всех кластеров и БД на одном экране
- компонента "История снапшотов" выбирает срезы статистических таблиц, рассчитывает дельты - приращения значений, формирует ряды данных и отображает их в табличной и графической форме
- компонента "Прогресс операций". Просто отражает данные соответствующих таблиц с автообновлением
- компонента "Аналитика и отчёты" предназначена для формирования отчётов по данным других компонент
будет ли интересен продукт для администраторов PostgreSQL
Re: будет ли интересен продукт для администраторов PostgreSQL
Добрый день.
Мониторинг, особенно для PostgreSQL это всегда интересно.
Однако во первых уже есть подобный открытый инструмент https://github.com/zubkov-andrei/pg_profile (в части формирования срезов накопительных счетчиков)
Во вторых если смотреть реализацию, то по сути идет вывод данных из различных имеющихся стандартных справочных таблиц PostgreSQL и практически не видно попыток детализации и агрегации данных.
Например список привилегий: http://www.ourorbits.org/kamactsost/img ... 320_07.png
Нет колонки базы данных. Я так понимаю, что используется текущая и фактически это выборка из стандартной таблицы role_table_grants.
Фактически тот же отчет можно получить любым клиентом базы. В то же время, например был бы интересен отчет формирующий сведения о всех привилегиях заданного пользователя в кластере (т.е. во всех базах). Штатного средства насколько мне известно нет и такой отчет надо именно что собирать.
То же можно сказать и о других формах. По сути это результаты вывода данных из всех справочников без какой-либо существенной агрегации. И в этом смысле не очень понятна польза от такого инструмента.
Список таблиц и объектов вполне доступен в том же pgadmin.
Подкупает конечно системность. Для каждого системного представления сделана таблица, можно не писать запрос а кликать по графическому интерфейсу. Но фактическая польза от такого подхода под вопросом.
TOP Activity - больше графики, но и тут очень много табличных данных. С одной стороны цифры в таблице это точность, но быстро анализировать и сравнивать цифры в таблице не удобно.
Вот отсюда http://www.ourorbits.org/kamactsost/img ... 320_22.png
например, что бы понять, какой запрос больше обрабатывает блоки, потребуется смотреть цифры. Так же не понятно, имеется ли сортировка по столбцам.
Самое главное, нет общего взгляда на состояние системы в целом. Это сделать трудно, плюс надо учитывать много нюансов конкретной реализации.
Мониторинг, особенно для PostgreSQL это всегда интересно.
Однако во первых уже есть подобный открытый инструмент https://github.com/zubkov-andrei/pg_profile (в части формирования срезов накопительных счетчиков)
Во вторых если смотреть реализацию, то по сути идет вывод данных из различных имеющихся стандартных справочных таблиц PostgreSQL и практически не видно попыток детализации и агрегации данных.
Например список привилегий: http://www.ourorbits.org/kamactsost/img ... 320_07.png
Нет колонки базы данных. Я так понимаю, что используется текущая и фактически это выборка из стандартной таблицы role_table_grants.
Фактически тот же отчет можно получить любым клиентом базы. В то же время, например был бы интересен отчет формирующий сведения о всех привилегиях заданного пользователя в кластере (т.е. во всех базах). Штатного средства насколько мне известно нет и такой отчет надо именно что собирать.
То же можно сказать и о других формах. По сути это результаты вывода данных из всех справочников без какой-либо существенной агрегации. И в этом смысле не очень понятна польза от такого инструмента.
Список таблиц и объектов вполне доступен в том же pgadmin.
Подкупает конечно системность. Для каждого системного представления сделана таблица, можно не писать запрос а кликать по графическому интерфейсу. Но фактическая польза от такого подхода под вопросом.
TOP Activity - больше графики, но и тут очень много табличных данных. С одной стороны цифры в таблице это точность, но быстро анализировать и сравнивать цифры в таблице не удобно.
Вот отсюда http://www.ourorbits.org/kamactsost/img ... 320_22.png
например, что бы понять, какой запрос больше обрабатывает блоки, потребуется смотреть цифры. Так же не понятно, имеется ли сортировка по столбцам.
Самое главное, нет общего взгляда на состояние системы в целом. Это сделать трудно, плюс надо учитывать много нюансов конкретной реализации.
Re: будет ли интересен продукт для администраторов PostgreSQL
Добрый день!
А как ваш Продукт будет разворачиваться и интегрироваться в существующую современную инфраструктуру? я имею ввиду прежде всего kubernetеs/docker и мониторинги Grafana/Zabbix, БД Prometheus и любые другие средства сбора данных, в том числе так называемый IOT. И чем этот Продукт будет дополнять уже существующие у каждого администратора формы Zabbix/Grafana/PPEM/PGARM. Будет ли возможность добавлять свои формы и плагины?
В настоящее время есть потребность в роботизации текущих операций, настройке уведомлений через Telegram, как это у вас реализовано?
Хотелось бы видеть более конкретный Roadmap.
А как ваш Продукт будет разворачиваться и интегрироваться в существующую современную инфраструктуру? я имею ввиду прежде всего kubernetеs/docker и мониторинги Grafana/Zabbix, БД Prometheus и любые другие средства сбора данных, в том числе так называемый IOT. И чем этот Продукт будет дополнять уже существующие у каждого администратора формы Zabbix/Grafana/PPEM/PGARM. Будет ли возможность добавлять свои формы и плагины?
В настоящее время есть потребность в роботизации текущих операций, настройке уведомлений через Telegram, как это у вас реализовано?
Хотелось бы видеть более конкретный Roadmap.
Re: будет ли интересен продукт для администраторов PostgreSQL
Относительно вопросов и комментариев. Спасибо ответившим. Вот как я отношусь к этой разработке:
- Про сортировки табличных данных - подмечено верно, в ОрСиМОН оракловом они есть, для получения оперативной аналитики по топам статистк они нужны, здесь пока не реализованы, зависит от см. ниже "роадмап". Если потребуется мне, реализую. Всёж пока основные задачи служебные это Оракл, а Постгря дольше для личных проектов
- Про функционал. Есть написанные полностью, не отраженные на скринах компоненты. Это про историю снапшотов, есть написанные совсем немного - компоненту отчётов
- Про роадмап. Продукт свой я позиционирую как личный инструмент администратора, и пишу для себя в удобном ритме, и удобных мне постановках задачи. Точнее там нужные мне вещи в целом уже какое то время написаны, причём в основном для КрАгрАн как раз. Но применимо уже и в других местах, остаётся только наполнять компоненту отчётов, и дорабатывать остальное по мере появления интереса
Но, т.к. мне этот отсутствующий в PgSQL функционал оказался нужен настолько, что я занялся переработкой своего ораклового ОрСиМОН, то допускаю, что кому то ещё этот функционал будет интересен. В первую очередь именно компонента TOP Activity, дающую возможность ретроспективного анализа по классам и событиям ожидания, запросам и сессиям в разрезе классов. Т.е.оракловая классика, которой в PgSQL нет
И если будет интересен - можно подумать на каких условиях. У меня нет задачи сделать продукт под хотелки заказчика, подкрутить под кого-то. Он и так хорош для решения ряда типовых задач, этого функционала и так нет о постгрессистов, но есть и востребован у ораклоидов, он будет и дальше делаться для помощи в решении текущих задач по администрированию, как это вижу себе я. Потому что вложения ресурса и отдача должны быть обоснованны. Нет задачи непременно продать, или доказать полезность. Чужих бегает много, мы у себя одни, попутчики редки, время есть куда девать без ИТ
- Про интеграцию. Интегрирует в различные ого-системы каждый администратор по своему, но за прошедшие за последние 20- лет конторы нигде не видел ни ушедшего из РФ докера (была новость о закрытии хаба контейнеров для РФ), ни Прометриуса. Графану видел внедренной в одном месте, и только у сетевиков. Заббикс местами есть, ему почти нет альтетнативы. Но, конечно, в инфраструктуре, а не в задачах администрирования СУБД, где есть Cloud Control (CC) в Oracle, и по мелочи, но эффективные - орг-мероприятия и самоделки типа моего ОРСиМОНа. В моей картине мира востребованнее и применимее как раз что то похожее и для PostgreSQL. Все графаны - от отсутствия нормальных инструментов, типа того же CC, а попытки натянуть сову на глобус там, где можно обойтись без новомодных придумок - от профдеформаций, которым к счастью подвержены не все люди и компании
Тут я сторонник нормального юниксового подхода, когда кому то нужно - он делает, не ради бизнеса. Ставить во главу деньги - поход в никуда, развития не будет. И делится с другими на удобных разработчику условиях, денежных или нет, это уже сотый вопрос. Нужно сделать применимый специалистами продукт, а куда и надо ли его интегрировать - каждый специалист решит сам
- Про сортировки табличных данных - подмечено верно, в ОрСиМОН оракловом они есть, для получения оперативной аналитики по топам статистк они нужны, здесь пока не реализованы, зависит от см. ниже "роадмап". Если потребуется мне, реализую. Всёж пока основные задачи служебные это Оракл, а Постгря дольше для личных проектов
- Про функционал. Есть написанные полностью, не отраженные на скринах компоненты. Это про историю снапшотов, есть написанные совсем немного - компоненту отчётов
- Про роадмап. Продукт свой я позиционирую как личный инструмент администратора, и пишу для себя в удобном ритме, и удобных мне постановках задачи. Точнее там нужные мне вещи в целом уже какое то время написаны, причём в основном для КрАгрАн как раз. Но применимо уже и в других местах, остаётся только наполнять компоненту отчётов, и дорабатывать остальное по мере появления интереса
Но, т.к. мне этот отсутствующий в PgSQL функционал оказался нужен настолько, что я занялся переработкой своего ораклового ОрСиМОН, то допускаю, что кому то ещё этот функционал будет интересен. В первую очередь именно компонента TOP Activity, дающую возможность ретроспективного анализа по классам и событиям ожидания, запросам и сессиям в разрезе классов. Т.е.оракловая классика, которой в PgSQL нет
И если будет интересен - можно подумать на каких условиях. У меня нет задачи сделать продукт под хотелки заказчика, подкрутить под кого-то. Он и так хорош для решения ряда типовых задач, этого функционала и так нет о постгрессистов, но есть и востребован у ораклоидов, он будет и дальше делаться для помощи в решении текущих задач по администрированию, как это вижу себе я. Потому что вложения ресурса и отдача должны быть обоснованны. Нет задачи непременно продать, или доказать полезность. Чужих бегает много, мы у себя одни, попутчики редки, время есть куда девать без ИТ
- Про интеграцию. Интегрирует в различные ого-системы каждый администратор по своему, но за прошедшие за последние 20- лет конторы нигде не видел ни ушедшего из РФ докера (была новость о закрытии хаба контейнеров для РФ), ни Прометриуса. Графану видел внедренной в одном месте, и только у сетевиков. Заббикс местами есть, ему почти нет альтетнативы. Но, конечно, в инфраструктуре, а не в задачах администрирования СУБД, где есть Cloud Control (CC) в Oracle, и по мелочи, но эффективные - орг-мероприятия и самоделки типа моего ОРСиМОНа. В моей картине мира востребованнее и применимее как раз что то похожее и для PostgreSQL. Все графаны - от отсутствия нормальных инструментов, типа того же CC, а попытки натянуть сову на глобус там, где можно обойтись без новомодных придумок - от профдеформаций, которым к счастью подвержены не все люди и компании
Тут я сторонник нормального юниксового подхода, когда кому то нужно - он делает, не ради бизнеса. Ставить во главу деньги - поход в никуда, развития не будет. И делится с другими на удобных разработчику условиях, денежных или нет, это уже сотый вопрос. Нужно сделать применимый специалистами продукт, а куда и надо ли его интегрировать - каждый специалист решит сам
Последний раз редактировалось zerot Вт апр 29, 2025 4:49 pm, всего редактировалось 2 раза.
Re: будет ли интересен продукт для администраторов PostgreSQL
Спасибо за вдумчивый ответ
Агрегация - второе имя компоненты TOP Activity, она там многоуровневая, и наглядно отражает топы событий, запросов и сессий как раз по классам ожиданий. И в истории снапшотов есть конечно, там без агрегации вообще ловить нечего, но тут пардон - пока выложены скрины не будут. Компонента написана и полностью работает, но в ближайшие месяцы будет не публична
Да, компоненты конфигурации и объектов - это по сути выборки из системных представлоений для удобства их отображения в одном месте. Да, там пока нет формы фильтров, которые сделаны в ОрСиМОНе, и в компоненте истории снапшотов. И нет сортировок. И не везде есть оьъединения, иногда просто вывод из представления. Но это вспомогательные компоненты, мне так привычно. Основные - TOP Activity, история снапшотов и отчётная. Обычный UNIX way - каждый делает как удобно ему
Re: будет ли интересен продукт для администраторов PostgreSQL
У меня совсем другой опыт, я вижу все эти средства автоматизации и мониторинга в больших количествах и во многих компаниях. Тем более, если мы говорим о PostgreSQL, то здесь часто бывает преимущество за микросервисной архитектурой.zerot писал(а): ↑Пт апр 25, 2025 12:51 pm
- Про интеграцию. Интегрирует в различные ого-системы каждый администратор по своему, но за прошедшие за последние 20- лет конторы нигде не видел ни ушедшего из РФ докера (была новость о закрытии хаба контейнеров для РФ), ни Прометриуса. Графану видел внедренной в одном месте, и только у сетевиков. Заббикс местами есть, ему почти нет альтетнативы. Но, конечно, в инфраструктуре, а не в задачах администрирования СУБД, где есть Cloud Control (CC) в Oracle, и по мелочи, но эффективные - орг-мероприятия и самоделки типа моего ОРСиМОНа. В моей картине мира востребованнее и применимее как раз что то похожее и для PostgreSQL. Все графаны - от отсутствия нормальных инструментов, типа того же CC, а попытки натянуть сову на глобус там, где можно обойтись без новомодных придумок - от профдеформаций, которым к счастью подвержены не все люди и компании
Тут я сторонник нормального юниксового подхода, когда кому то нужно - он делает, не ради бизнеса. Ставить во главу деньги - поход в никуда, развития не будет. И делится с другими на удобных ему условиях, денежных или нет, это уже сотый вопрос. Нужно сделать применимый специалистами продукт, а куда и надо ли его интегрировать - каждый специалист решит сам
Но если речь про такой подход, то думаю, тогда есть очевидный вариант - выложить это в публичный репозиторий "AS IS" и посмотреть, какие у кого будут пожелания, замечания и предложения на доработку. Потому что так издалека не очень видны преимущества или недостатки Продукта.
Re: будет ли интересен продукт для администраторов PostgreSQL
>Но если речь про такой подход, то думаю, тогда есть очевидный вариант - выложить это в публичный репозиторий "AS IS" и посмотреть, какие у кого будут пожелания, замечания и предложения на доработку. Потому что так издалека не очень видны преимущества или недостатки Продукта.
тож к этому склоняюсь, но есть ряд сомнений
тож к этому склоняюсь, но есть ряд сомнений