Вход | Регистрация

  1  2  3  4   
Информационные технологии :: Администрирование

Вопрос по Postgresql

Вопрос по Postgresql
Я
   ВикторП
 
17.01.18 - 12:29
Установил Postgresql - с сайта Postgres pro под Windows- самая последняя 9.6 для 1с.

Выполнил рекомендации из ИТС и gilev.ru/postgres. Что на ИТС, что у Гилева встречаются настройки, которых нет в конфигурационном файле, например checkpont_segmens . Из рекомендаций Гилева мне не подошла настройка effective_io_concurrency - c подобной настройкой PG не стартует.


Сравниваю производительность баз данных под MS SQL и Postgresql , поэтому базы подняты с одного dt и выполняю одинаковые длительные обработки на одном и том же компьютере, обе СУБД на одном сервере.

Вот что я заметил. Время выполнения на обоих СУБД почти одинаковое, MS SQL почти всегда быстрее , но не критично , примерно 10%, диски под MS SQL производительней, все файлы PG на одном диске, поэтому такая разница устраивает и понятна.



НО... при втором, третьем выполнении этой же обработки, время на MS SQL уменьшается очень сильно, а на PG - уменьшения - нет .Вообще.

Например , один тест - под MS SQL 10 мин- первый запуск, 7 минут - второй запуск. Под PG- все время 12 минут.(Времена округленные).
второй тест под MS SQL первый прогон- 37, второй- 31 минута. Под Postgresql . Самый первый прогон - 50 минут, после vacuum full verbose analyze и изменения конфигурационнойго файла- 35 минут и на этом все, следующие прогоны вокруг этой цифры, уменьшения нет.


Можно ли добиться использования кеша 1с настройками Postgresgl? Или это не кэш?
 
 
   ИТ директор
 
101 - 19.01.18 - 16:09
(100) Т.е. вы переводите рабочую базу с MS на постгрес чтобы попрактиковаться для экзамена?
   ERWINS
 
102 - 19.01.18 - 16:13
(101) многие переводят.
Это тенденция.

Я уже перестал встречать мсскл.
   ERWINS
 
103 - 19.01.18 - 16:14
мода
   ВикторП
 
104 - 19.01.18 - 16:20
(101) Нет, не продуктив, базы разработчиков.
   ИТ директор
 
105 - 19.01.18 - 16:31
(104) Понятно. Спасибо за ответ. Т.е. вы сами себе придумываете проблемы и потом героически пытаетесь их решить ради какого-то странного экзамена...Отличная ветка-демотиватор для всех кто считает что 1С-ники обязаны иметь сертификаты.
   ВикторП
 
106 - 19.01.18 - 16:39
У меня другое мнение и про экзамен, и про Постгрис
   ИТ директор
 
107 - 19.01.18 - 16:41
(106) Я поясню свой ответ. Во всё цивилизованном IT-мире есть  DBA которые затачиваются под конкретную базу: Oracle, SQL Server, постгрес/мускул. И только 1С на своем экзамене спрашивает знания MS DBA и postgres DBA. Так никто не работает (ну может кто и работает но не 1С-ники точно). При этом принимающие экзамен сами виндусятники до мозга костей и даже картинки постгреса в своем букваре они налепили виндовозные.

Мой вам совет - хотите получить реальную пользу, а не намешать кашу в голове от идиотский вопросов принимающих эксперта - пройдите курсы DBA1 и DBA2 от postgres pro, а про парней в желтых футболках забудьте.
   ВикторП
 
108 - 19.01.18 - 16:48
польза от подготовки есть точно. К примеру, разбор технологического журнала с использованием регулярных выражений - очень хорошая "штука"
   ИТ директор
 
109 - 19.01.18 - 16:50
(108) ок, а какие практические задачи вы будете решать на работе с помощью разбора ТЖ с помощью регулярок?
   ИТ директор
 
110 - 19.01.18 - 16:54
+(107) перечитал (107) и понял что так работают действительно только 1С-ники (к-к к-к и в продакшен, а потом пишут на партнерке или мисте что база сломалась PostgreSQL служба не запускается), нормальные DBA так не работают.
 
 Рекламное место пустует
   Вафель
 
111 - 19.01.18 - 16:55
постгре под винду не приспособлен. и его делают ну разве чтобы был.
аналогичко как и сервер 1с под линукс
   ИТ директор
 
112 - 19.01.18 - 16:58
(111) это я и пытаюсь втолковать всем 1С-никам в этой ветке - что без серьезных знаний как админить постгрес под линухом запускать на нем базы 1С это идиотизм.
   ИТ директор
 
113 - 19.01.18 - 16:59
причем как говорят сами постгресисты, уровень знаний линукса должен быть намного выше чем у Оракловых базоводов
   Вафель
 
114 - 19.01.18 - 17:03
(111) Ибо работа с памятью в винде сильно отличается. Ну и соответственно никому пререписывать код под винду не интересно
   Вафель
 
115 - 19.01.18 - 17:04
(105) Это называется challendge. работа без них неинтересна
   trdm
 
116 - 19.01.18 - 17:05
(114) По этому лучше фраерберд под винду? :)
   trdm
 
117 - 19.01.18 - 17:06
(114) Можно указать на отличия? Какие именно отличия по работе с памятью?
   _KaA
 
118 - 19.01.18 - 17:06
Пятнично))))
   Вафель
 
119 - 19.01.18 - 17:10
(117) Как минимум в линуксе есть fork()
   Вафель
 
120 - 19.01.18 - 17:12
Собственно где-то была статья почему на винде не реализовали (18)
   ИТ директор
 
121 - 19.01.18 - 17:16
ТС как-то затруднился с ответом на вопрос (109), я попробую ответить за него. Оставлю за скобками тот случай когда ТЖ собирается для передачи в фирму 1С, в этих случаях он как правило имеет гигантский размер и кучу служебной инфы, которую смогут разобрать только разрабы платформы. Ок, а для обычного 1С-ника в чем же польза? А. Морозов в своей статье на ИТС говорит: я типа показываю как можно, а для чего - придумывайте сами. Ок, открываем его книжку и видим, типа топ-5 наиболее длительных транзакций, запросов к СУБД, вызовов, пространств блокировок. Так то что касается СУБД, для этого есть служебные запросы. А то что касается сервера 1С - у всех проприетарных софтов есть инструменты для мониторинга работающие на уровне ядра. И в итоге что мы имеем - правильно, трахайтесь ребятки чтобы сдать экзамен, т.к. у нас ничего для мониторинга своего сервера нет.
   Вафель
 
122 - 19.01.18 - 17:18
(121) сбор тж имеет смысл чтоб посмотреть на большие запросы и блокировки
   Вафель
 
123 - 19.01.18 - 17:18
но конечно делать это через регулярные выражения не айс
   ИТ директор
 
124 - 19.01.18 - 17:20
(122) большие запросы можно посмотреть средствами СУБД, а вот какие возникали ожидания на упр. блокировках и в каком контексте можно посмотреть только в ТЖ. И это печально.
   Вафель
 
125 - 19.01.18 - 17:21
(124) в тж удобнее смотреть чем в субд, ибо есть контекст
   ИТ директор
 
126 - 19.01.18 - 17:26
Что мешало запилить свой мониторинг, если уж запилили свои блокировки? Не шмогла я не шмогла...

(125) Удобнее? На высоконагруженной базе? Ну если ты мастер рег. выражений то наверно да, удобнее.
   ИТ директор
 
127 - 19.01.18 - 17:28
Помнится на инфостарте Богачев рассказывал как он находил контекст длинных запросов, запрещал запросы на скуле длинеее 5 секунд и ему звонил юзверь у которого отчет отвалился.
   ИТ директор
 
128 - 19.01.18 - 17:29
А теперь рассказывает как грепать регекспы сидя под виндой запустив виртуалку линукса...эх, куда мы катимся
   Вафель
 
129 - 19.01.18 - 17:31
(126) у Гилева был например свой анализатор на предмет блокировок и длинных запросов
   ИТ директор
 
130 - 19.01.18 - 17:32
(125) А кстати чувак ты в курсе что сбор длинных запросов в ТЖ нехило так замедляет работу системы?
   ИТ директор
 
131 - 19.01.18 - 17:32
(129) у него и щас он есть, но он не работает с упр. блокировками
   Вафель
 
132 - 19.01.18 - 17:32
(130) Когда уже все тормозит, то можно и еще чутка замедлить
   ИТ директор
 
133 - 19.01.18 - 17:35
Длинные запросы - это херня...А вот разбор ожиданий и сколько составляет суммарное ожидание всех ждущих пользователей, а не первого ждущего (все выстраиваются в очередь) - ответа на этот вопрос нет вообще ни у кого.
 
 
   Вафель
 
134 - 19.01.18 - 17:36
(133) Самые блокируемы ресурсы вполне можно посмотреть
   ИТ директор
 
135 - 19.01.18 - 17:37
(134) с помощью рег. выражений?
   Вафель
 
136 - 19.01.18 - 17:37
(133) а суммарное ожидание не особо то и нужно, ну разве только для интереса. а так апдекс рулит
   Вафель
 
137 - 19.01.18 - 17:38
(135) Да что ты пристал со своими рег выражениями то?
Даже у 1с есть спец инструмент (не помню названия)
   ИТ директор
 
138 - 19.01.18 - 17:39
(137) ЦУП?
   Вафель
 
139 - 19.01.18 - 17:40
(138) Да
   ИТ директор
 
140 - 19.01.18 - 17:43
ЦУП платный, надо больше сотни выложить. И он не работает на уровне ядра, а так же разбирает логи.
   Вафель
 
141 - 19.01.18 - 17:44
(140) а зачем на уровне ядра то?
тебе шашечки или ехать?
   mistеr
 
142 - 19.01.18 - 17:47
(126) >Что мешало запилить свой мониторинг, если уж запилили свои блокировки?

Объясняю на пальцах. Это на та фича, за которую клиенты платят деньги. Для своих разрабов есть логи. Для особо продвинутых клиентов есть сторонние средства мониторинга (в т.ч. бесплатные), собирающие и парсящие логи хоть с черта лысого.

Оракл, кстати, нормальный мониторинг запилил лет через 15-20. И еще лет 5 доводил до ума.
   ИТ директор
 
143 - 19.01.18 - 17:48
(141) Вот тут все ругают мелкомягких, а у них из коробки и профайлер, и DMV на любой вкус, и отчеты полезные. Я не хочу покупать ЦУП, и не хочу грепать регекспы чтобы получить 2 контекста.
   Вафель
 
144 - 19.01.18 - 17:50
Их ругают только за цену
   ИТ директор
 
145 - 19.01.18 - 17:52
(142) >>Это на та фича, за которую клиенты платят деньги.

почему в MS SQL Server есть мониторинг а в 1С за те же деньги условно - стоимость сервера х64 - нет? в случае с 1С клиенты какие-то другими рублями платят
   ИТ директор
 
146 - 19.01.18 - 17:54
(144) тебе mister за цену Оракла сможет пояснить наверно, если захочет
   Вафель
 
147 - 19.01.18 - 17:56
(146) по сравнению с постгре цена сильно отличиется. и если юзеров 100, то на 1/4 этих деньги можно и спеца нанять
   ИТ директор
 
148 - 19.01.18 - 17:58
(147) ЛОЛ, чувак ты удивишься но платная версия постгреса стоит дороже мелкософта
   ИТ директор
 
149 - 19.01.18 - 17:59
а на 100 юзеров надо брать ентерпрайз версию конечно же, а то вдруг у тебя счетчик транзакций кончится, бгг
 
 Рекламное место пустует
   Вафель
 
150 - 19.01.18 - 18:01
(149) вот фреш работает на постгре и норм
   Вафель
 
151 - 19.01.18 - 18:01
На мс еще CAL нужно брать по 10к за штуку
   Вафель
 
152 - 19.01.18 - 18:03
кстати сейчас уже 64 битный счетчик транзакций
   ИТ директор
 
153 - 19.01.18 - 18:06
(150) фреш работает, да...но там работают квалифицированные люди, посмотри требования к их квалификации на хх и умножь свою зарплату на 12 и на кол-во таких людей...умные люди считают совокупную стоимость владения, но кому я об этом говорю...
   ИТ директор
 
154 - 19.01.18 - 18:10
Я говорю про обычных 1С-ников в обычной конторе, а не в софтовой. Что незачем обычному 1С-нику подписываться под эту херню. И если с SQL Server обычный 1С-нк сможет разобраться худо-бедно и обеспечить беспроблемную эксплуатацию, то с опенсорсом - нет (и не надо). Хотите "бесплатно" - нанимайте админов, консалтеров, а потом считайте. Вот что я пытаюсь тут донести.
   ИТ директор
 
155 - 19.01.18 - 18:11
а в (13) тому подтверждение
   Вафель
 
156 - 19.01.18 - 18:12
(154) для собственного развития. что не скучно было
   arsik
 
157 - 19.01.18 - 18:15
(154)
Для начала давайте посчитаем стоимость покупки и владения MS SQL хотя бы на 10 пользователей на 1 год.
И такую же стоимость по postreSQL.
   Вафель
 
158 - 19.01.18 - 18:17
(154) Ты боишься выйти из скорлупы
http://catalog.mista.ru/public/729814/
   ИТ директор
 
159 - 19.01.18 - 18:19
(157) давай...

Лицензия на сервер MS SQL Server Standard 2016 Runtime для пользователей 1С:Предприятие 8. Электронная поставка
Артикул: 4601546127617

Цена: 18 654 рубля

Клиентский доступ на 10 рабочих мест к MS SQL Server 2016 Runtime для 1С:Предприятие 8. Электронная поставка
Артикул: 4601546127648

Цена: 94 423 рубля

Итого: 113 077

Стоимость админа линукс + pg DBA (будем считать что 1 человек это совмещает): (условно) 100 000 * 12 = 1 200 000.
   Вафель
 
160 - 19.01.18 - 18:21
(159) зачем админа в штат?
   ИТ директор
 
161 - 19.01.18 - 18:21
(158) ЛОЛ чувак я по постгресу наверно таки побольше тебя знаю (хотя бы потому что ты даже не знаешь как эта СУБД правильно называется). И это дает мне основание делать некоторые заявления.
   ИТ директор
 
162 - 19.01.18 - 18:25
(160) зачем вообще админа? всё само работать будет
   Вафель
 
163 - 19.01.18 - 18:26
(162) 1 раз настроил и все
   Вафель
 
164 - 19.01.18 - 18:26
а те админы в конторах на 10 чел они и мскл настроить то не могут
   ИТ директор
 
165 - 19.01.18 - 18:28
Ок берем вендорскую поддержку

Сертификат поддержки на 1 год СУБД PostgreSQL на 1 ядро х86 42 480 * 8 ядер (условно) = 339 840

Что это за поддержка, какое качество - я хз.
   ИТ директор
 
166 - 19.01.18 - 18:30
(163) есть реальный свой опыт?
   arsik
 
167 - 19.01.18 - 18:34
(159)
1) Для начала туда еще нужно стоимость Windows Server добавить
2) Не все около московских ЗП крутиться.

Например Ижевск. Стоимость 1С специалиста от 40, со знанием линукса и постгре от 50. Разница 10.
Согласен, что для нерезиновой MS выбор правильный.
Но если в штате есть сисадмин, то дешевле опенсорс даже для Москвы.
   ИТ директор
 
168 - 19.01.18 - 18:39
(167) Что самое прикольное применительно к 1С полностью уйти от мелкомягких не получится, т.к. сервер 1С всё равно надо ставить на винду. И тут если брать сервер, наверно в 90% средних предприятий лучше разместить всё на одном (щас память процы и ссд вполне позволяют держать очень много пользователей на 1 сервере) - и заюзать шаред мемори, что с постгресом невозможно вообще. И в итоге сервер с 512 Гб оперативы и 4 ссд дисками в 10 рейде просто закроет вообще все проблемы.
   arsik
 
169 - 19.01.18 - 18:40
(168) Зачем на винду? Чем он плох в линуксе?
   ИТ директор
 
170 - 19.01.18 - 18:41
(169) работает стабильней, не?
   arsik
 
171 - 19.01.18 - 18:43
(170) Да вроде одинаково.
Мы же сейчас о системе с 10 пользователями говорим?
   ИТ директор
 
172 - 19.01.18 - 18:43
(171) хз я меньше чем с 30 не работал
   Фрэнки
 
173 - 19.01.18 - 23:24
(164) я же ему много раз повторил, что предлагается система на малое число пользователей. "А он уперся рогом в землю и не верит".

Есть реальный опыт работы на линукс сервере полностью. Клиентские машине на винде, а весь 1С сервер на линукс вместе с СУБД. Работа ничем не хуже виндусовой. Но это были типовые БП и ЗУП и отдельные базы с самопиской. Но не ERP.

Почему нельзя _тестовый_ поднять для 10 юзеров? Слово тестовый выделено умышлено.
   Фрэнки
 
174 - 19.01.18 - 23:30
и по моим представлениям, если у нас тут (на юге, так сказать) некий Админ не может справиться с линукс-сервером, то это и не админ вовсе, а какое-то недоразумение, которому будут искать замену, найдут и это не будет стоить больше, чем стоят услуги админов "в среднем по больнице".
   Sun_Lin
 
175 - 20.01.18 - 09:21
(154) я например простой и в меру тупой одинэсник. Года 4 назад я перевел трех из моих клиентов на постгри под вин-сервер. Настраивал постгри сам, никаких проблем. Все работает до сих пор, базы у двух из них уже под соточку отросли, у третьего под 50 гигов. Одновременно работающих пользователей у всех троих примерно 10-15 человек.
Понятно, что:
- постгри лучше работает в родной среде под линуксом.
- тонко настраивать постгри - целая наука.
- с блокировками МС работает лучше.
- не очень мне известно, как постгри будет работать при количестве пользователей >20.
Но вот честно: обычному тупому среднестатистическому одинэснику постгри или МС - без разницы! Ибо и на постгри все очень устойчиво и беспроблемно работает. А запускать,  настраивать и сопровождать даже проще.
   rphosts
 
176 - 20.01.18 - 09:22
(159) что за пошлые примеры мелких лавок? А если юзеров 500, а если 1500?
   rphosts
 
177 - 20.01.18 - 09:29
(3) >мало памяти- это какая настройка.
сама база 17 гб.
Один тест- проведение по партиям - стандартная в УТ10

в сигнел юзер режиме тестить - отстой. В мультиюзер режиме...

да, у УТ10 блокировки-то хоть управляемые?
   ansh15
 
178 - 20.01.18 - 11:49
(168) >>И в итоге сервер с 512 Гб оперативы и 4 ссд дисками в 10 рейде просто закроет вообще все проблемы.
Обычно, после покупки Windows Server и MS SQL Server, денег на такое уже не остается. Поэтому берут самые медленные, недорогие процессоры, памяти, в лучшем случае, впритык, а потом создают жалостливые ветки о том, что "Все тормозит и валится", в надежде найти хоть какое-то оправдание своей "экономии".
   ИТ директор
 
179 - 20.01.18 - 11:54
(176) Если 500 или 1500 в 1с то везде мсскл, посмотри проекты ЦКТП ни одного погреса там нет
   rphosts
 
180 - 20.01.18 - 14:04
(179) т.е. вы мне будете рассказывать что там у нас на основании того, что у третьих лиц бла-бла-бла?
   ИТ директор
 
181 - 20.01.18 - 14:30
(180) а вы это кто и что у вас?)
   rphosts
 
182 - 20.01.18 - 14:32
(181) у нас на первом этапе в Документообороте корп чуть за 500 сеансов в пике, на втором будет хз сколько но точно больше 1000
   ВикторП
 
183 - 20.01.18 - 14:36
Изменяю формулировку своего вопроса.

Вопрос : Есть ли в Progresql процедурный кэш? Если есть, как им управлять?
   ИТ директор
 
184 - 20.01.18 - 14:39
(182) а у вас есть pg dba для этого хозяйства?
   rphosts
 
185 - 20.01.18 - 14:40
(184) у нас есть я и ещё один чел есть. Хватает,хотя мы в первую очередь разрабы
   rphosts
 
186 - 20.01.18 - 14:41
(183) кэш планов запросов? - Tcnm
   rphosts
 
187 - 20.01.18 - 14:41
*Есть
   ИТ директор
 
188 - 20.01.18 - 14:44
(185) а позвольте поинтересоваться, что используете для резервного копирования баз? и еще вопросик, используете ли репликацию?
   rphosts
 
189 - 20.01.18 - 14:47
(188) онлайн бэкап не используем - если вопрос про это. Я предлагал.
   ИТ директор
 
190 - 20.01.18 - 14:54
(189) онлайн бэкап? я не про это и кстати что это такое? :) я имел в виду утилиты резервного копирования типа barman или backrest
   rphosts
 
191 - 20.01.18 - 15:05
(190) это наподобие ArchiveLog у оракла.
Утилитами этими не пользуемся.

У нас не 24*7*365, технологическое окно приличное по времени
   ИТ директор
 
192 - 20.01.18 - 15:12
(191) т.е. делаете только полный бэкап через пг дамп? Вопросов больше не имею :)
   ВикторП
 
193 - 20.01.18 - 15:33
(186) Как им управлять? Я привожу примеры когда процедурный кэш на MS SQL приводит к уменьшению времени выполнения процедур, на стороне PostgreSQL подобного у меня нет
   palsergeich
 
194 - 20.01.18 - 15:40
(150) http://forum.infostart.ru/forum9/topic183832/message1905754/#message1905754 а он говорит что не очень. На тренинге Богачев уклончиво сказал что проблемы есть.
ЦУП это лагучее г..но за 100к, когда тебе на обучении работы с ним говорят, открывайте сразу несколько окон, ибо он иногда вылетает, наводит на мысль.
Анализ блокировок завершился на 9 раз и это Энтерпрайз инструмент за 100 000 от вендора? Он на столько крут что вендор на обучении рекомендует им не пользоватся.
   rphosts
 
195 - 20.01.18 - 16:06
(192) странные выводы... дт на всякой пожарный ночью выгружаем. Куроводитель (должности совпадающий с вашим ником) сказали что больше ничего не требуется,хотя я предлагал, прочем уже писал об этом
   ИТ директор
 
196 - 20.01.18 - 16:07
(194) Богачев это не вендор, он не работает в 1С, у него своя контора геликс софт) новая редакция ЦУП получше работает
   rphosts
 
197 - 20.01.18 - 16:08
(196) курсы по подготовке читает,может и экзамен принимает - ту не в курсе.
   rphosts
 
198 - 20.01.18 - 16:09
вообще когда чел читает курс в УЦ№1 утверждать что он сам по себе а 1с само по себе очень спорно
   ИТ директор
 
199 - 20.01.18 - 16:09
(195) делаете бэкап выгрузкой дт?) да вы крутые спецы) а если предлагал -чего ж сам не сделал?)
   rphosts
 
200 - 20.01.18 - 16:10
(193) очистить?
  1  2  3  4   

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует