Вход | Регистрация

  1  2  3  4
Информационные технологии :: Администрирование

Вопрос по Postgresql

Вопрос по Postgresql
Я
   ВикторП
 
17.01.18 - 12:29
Установил Postgresql - с сайта Postgres pro под Windows- самая последняя 9.6 для 1с.

Выполнил рекомендации из ИТС и gilev.ru/postgres. Что на ИТС, что у Гилева встречаются настройки, которых нет в конфигурационном файле, например checkpont_segmens . Из рекомендаций Гилева мне не подошла настройка effective_io_concurrency - c подобной настройкой PG не стартует.


Сравниваю производительность баз данных под MS SQL и Postgresql , поэтому базы подняты с одного dt и выполняю одинаковые длительные обработки на одном и том же компьютере, обе СУБД на одном сервере.

Вот что я заметил. Время выполнения на обоих СУБД почти одинаковое, MS SQL почти всегда быстрее , но не критично , примерно 10%, диски под MS SQL производительней, все файлы PG на одном диске, поэтому такая разница устраивает и понятна.



НО... при втором, третьем выполнении этой же обработки, время на MS SQL уменьшается очень сильно, а на PG - уменьшения - нет .Вообще.

Например , один тест - под MS SQL 10 мин- первый запуск, 7 минут - второй запуск. Под PG- все время 12 минут.(Времена округленные).
второй тест под MS SQL первый прогон- 37, второй- 31 минута. Под Postgresql . Самый первый прогон - 50 минут, после vacuum full verbose analyze и изменения конфигурационнойго файла- 35 минут и на этом все, следующие прогоны вокруг этой цифры, уменьшения нет.


Можно ли добиться использования кеша 1с настройками Postgresgl? Или это не кэш?
 
 
   Фрэнки
 
301 - 24.01.18 - 15:53
(292) а чем тебе не нравятся "нулевые знания об мс скл" ? Его же никто знать не должен или как? Тут всем как раз в голову вбивают, что в отличие по постгри, не нужно ничего знать - все работает само, а не так, как в кривом халявном постгри. Поэтому, увы.
   ИТ директор
 
302 - 24.01.18 - 15:55
(300) это не онлайн бэкап называется, а архивирование WAL

https://postgrespro.ru/docs/postgrespro/9.6/continuous-archiving

так что глупо сейчас ты выглядишь
   rphosts
 
303 - 24.01.18 - 15:55
(289) для комплекта не хватает оракла, в среднем если активных юзеров >300 - оракл рвёт сиквел как тузик грелку
   rphosts
 
304 - 24.01.18 - 15:56
   Вафель
 
305 - 24.01.18 - 15:56
(289)на 1с?
   Вафель
 
306 - 24.01.18 - 15:56
(305) к (303)
   Вафель
 
307 - 24.01.18 - 15:57
(302) Так он же через pg_dump архивы делает. Зачем ему что-то еще )))
   rphosts
 
308 - 24.01.18 - 15:57
(306) да, речь именно про 1с, до 300 активистов в базе не имеет никаких оснований для использования оракла, но далее...
   MrCoffin
 
309 - 24.01.18 - 15:58
(289) Может плохие танцоры?
   Вафель
 
310 - 24.01.18 - 15:58
(308) Кто тесты проводил? Есть публичная инфа?
 
 Рекламное место пустует
   wayss
 
311 - 24.01.18 - 15:58
(299) нет.так сложилось исторически что виртуализацией практически не пользуемся.
   ИТ директор
 
312 - 24.01.18 - 16:00
(311) а 1С сервер тоже на линуксе?
   rphosts
 
313 - 24.01.18 - 16:01
(299) например на лейзвийной циске у нас... но тут есть некоторые моменты в использовании с которыми я не согласен. Подробностей не будет, как минимум публично.
   Вафель
 
314 - 24.01.18 - 16:09
(313) А циска уже сервера выпускает? что-то я отстал от жизни
   rphosts
 
315 - 24.01.18 - 16:10
(314) очень давно.... но сцуко на мой взгляд они переоценены
   wayss
 
316 - 24.01.18 - 16:22
(312) да, под виндой у нас только клиенты, и то не все.
   rphosts
 
317 - 24.01.18 - 16:33
(316) год-два назад некто В.Богачев рекомендовал сервера 1С для нагруженных систем размещать только под окнами....
Нагрузка большая?
Проблемы какие-то есть?
   ИТ директор
 
318 - 24.01.18 - 16:36
(316) И еще некто Лустин говорит что

"Однако там есть одна особенность – 1С-сервер лучше ставить все-таки не на Linux, а на Windows – из-за проблем с active directory и kerberos-библиотекой. Это связано не с Postgres, а с особенностью статической линковки библиотеки kerberos под CentOS, под Ubuntu и не только."

https://habrahabr.ru/company/pgdayrussia/blog/331448/

Реально есть какие-то "особенности" и вообще о чем он?:)
   arsik
 
319 - 24.01.18 - 16:40
(318) Мне кажется какая то проблема может всплыть на уровне авторизации. Но не думаю, что такое может влиять на быстродействие.
   ИТ директор
 
320 - 24.01.18 - 16:46
(319) вот поэтому и хочется услышать человека у кого всё работает в продакшене ;)
   wayss
 
321 - 24.01.18 - 17:03
(318) с таким не сталкивались, может быть на очень нагруженных системах, но это пока не наш случай.
(317) проблем нет.
Несколько тысяч документов в день, точных цифр уже не помню + активно пользуемся различными вед-сервисами из 1С ну и всякие регламентные задания, которых у нас достаточно.
   wayss
 
322 - 24.01.18 - 17:03
(321) веб.
   rphosts
 
323 - 24.01.18 - 17:36
(321) ну документ документу рознь, тут оценить от чистого количество корректно не получится.

Веб-сервисы - это чисто обмен данными, вебморда, Rest/Odata?
Какие-то доп. возможности используете кроме веба (риб, ком, внешние источники и т.п.)?
   wayss
 
324 - 24.01.18 - 17:42
(323) у нас сеть магазинов автозапчастей. Есть работа с веб-сервисами поставщиков, часть поставщиков присылают прайсы, которые парсятся, грузятся в отдельную БД и из нее погружаются в базы 1С, есть обмен с сайтом, правда трафик там небольшой,ну и по мелочи есть еще разные сервисы, которые из 1С используем, кроме того есть различные регламентные задания. Например у нас есть РС с текущей инофрмацией номенклатуры, куда каждые 10 сек записываются текущие остатки + всякая другая нужная информация
   rs_trade
 
325 - 25.01.18 - 08:51
(301) Да просто радует логика чела. Я не знаю как это делают на сиквеле, но на слоне точно круче. Что-то из серии - не читал, но осуждаю.
   wayss
 
326 - 25.01.18 - 10:33
(325) если про меня, то со всем что касается администрирования в ms sql знаком. Мы на sql до перехода на pg года 4 работали. И по поводу круче не нужно передергивать, хотя система резервирования на pg действительно круче.
   Вафель
 
327 - 25.01.18 - 10:35
(326) А чем лучше?
   ИТ директор
 
328 - 25.01.18 - 10:49
(327) Там из коробки работает репликация, можно реплицировать на несколько серверов. Но на самом деле это ничем не круче AlwaisOn и Windows Failover Cluster
https://docs.microsoft.com/ru-ru/sql/sql-server/failover-clusters/windows/windows-server-failover-clustering-wsfc-with-sql-server

Построение отказоустойчивых схем это овердофига денег и одной постгресовской репликацией ничего не решишь, поэтому непонятен этот аргумент. Ну есть репл-ция и чо?
   wayss
 
329 - 25.01.18 - 10:59
(328) согласен что отказоустойчивая система стоит дорого. но есть бюджетный вариант резервного сервера с репликой.

Таблицы еще можно бэкапить. Хоть 1С не советует туда лазить но иногда это очень быстро, полезно и приятно)
   ИТ директор
 
330 - 25.01.18 - 11:04
(329) а зачем нужен резервный сервер с репликой, если автоматически на нее переключиться не получиться? да и где гарантия что получится вообще, если на основном сервере сгорит память и репликация не успеет завершиться?
   ИТ директор
 
331 - 25.01.18 - 11:05
+(330) насколько я помню прстгресисты говорили что за сутки задержка репликации доходит до нескольких минут
   Вафель
 
332 - 25.01.18 - 11:06
ну несколько минут не критично
   Вафель
 
333 - 25.01.18 - 11:06
Всяко лучше чем вчерашний архив поднимать
 
 
   wayss
 
334 - 25.01.18 - 11:11
(330) всякое решение имеет соотношение цена/качество. На данный момент резервный сервер с репликой базы нас устраивает.
Да и где гарантия что WFS в нужный момент правильно сработает? Вы гоняли рабочие сервера на все возможные форс-мажорные обстоятельства?
   ИТ директор
 
335 - 25.01.18 - 11:17
(334) А вы переключались на реплики?
   ИТ директор
 
336 - 25.01.18 - 11:18
(333) зачем вчерашний? полный+диф+бэкапы лога+конечный фрагмент журнала
   Вафель
 
337 - 25.01.18 - 11:19
(336) ну ладно часовой давности
   ИТ директор
 
338 - 25.01.18 - 11:19
»
   wayss
 
339 - 25.01.18 - 11:19
(335) да переключались, во время обновления ПО на рабочих серверах.
   ИТ директор
 
340 - 25.01.18 - 11:20
(337) да откуда часовой-то? с точностью до секунды до сбоя можно восстановиться при фулл модели
   Вафель
 
341 - 25.01.18 - 11:21
(340) Ты бэкап каждую секунду делаешь? Откуда у тебя данные секундной давности?
   Вафель
 
342 - 25.01.18 - 11:21
А если файл не побит, то ничего и восстанваливать не нужно
   ИТ директор
 
343 - 25.01.18 - 11:22
(341) (342) /*рукалицо иди поучи матчасть штоли
   wayss
 
344 - 25.01.18 - 11:23
(340) На одном и том же железе 4 года назад полную модель выключали, потому что сервер упирался в дисковую подсистему в пиковые моменты а также при создании диф. копий.
Сейчас PG пишет WAL без заметной нагрузки на диски.
   ИТ директор
 
345 - 25.01.18 - 11:25
(339) сколько заняло время переключения?
(344) с реплики пишет?
   wayss
 
346 - 25.01.18 - 11:28
(345) до 10 мин.
   wayss
 
347 - 25.01.18 - 11:31
(345) WAL пишутся на рабочем сервера, до каскадной систему репликации мы еще не дошли;)
   ИТ директор
 
348 - 25.01.18 - 11:35
(346) у меня восстановление из бэкапа занимает столько же
(347) всё это надо админить, само просто так не работает...
   ИТ директор
 
349 - 25.01.18 - 11:36
+(348) ну может минут 20, а не 10, но одинхрен сопоставимо
 
 Рекламное место пустует
   ИТ директор
 
350 - 25.01.18 - 11:36
при этом я одинесник а не админ
   wayss
 
351 - 25.01.18 - 11:39
(348) а размер БД? У нас восстановление идет около часа. (350) Я тоже далеко не админ.
   ИТ директор
 
352 - 25.01.18 - 11:45
(351) около 100 Гб
   ИТ директор
 
353 - 25.01.18 - 11:49
(351) >>Я тоже далеко не админ.

так вас целый отдел линуксоидов + постгресист, а я один+виндовый одмин который в базах ни бумбум
   wayss
 
354 - 25.01.18 - 11:50
(352) сопоставимо, у нас чуть более 80.
А за счет чего у вас 20 мин получается? Винты SSD или регистров не так много?
(353) у нас отдел 1С-ников в первую очередь.
   wayss
 
355 - 25.01.18 - 11:53
У нас на SAS + RAID 10 на MS SQL 2005/2008 восстановление около часа шло.
(354) Хотя регистры тут наверное не причем
   ИТ директор
 
356 - 25.01.18 - 11:57
   ИТ директор
 
357 - 25.01.18 - 12:00
Хотя справедливости ради надо сказать что если сервак упадет то скорость восстановления на другом железе будет меньше, на моем рабочем компе разворачивается около часа.
   wayss
 
358 - 25.01.18 - 12:01
(356) ясно.
   ВикторП
 
359 - 25.01.18 - 16:33
Кто в курсе, дайте, пож-та, ссылку на не старую (максимум год) публикацию Лустина про Postgresql
   Вафель
 
360 - 25.01.18 - 16:34
(359) У него только вебинар платный был. Таких руководств вроде нет
   ИТ директор
 
361 - 25.01.18 - 16:35
(359) а зачем именно Лустин?
   ВикторП
 
362 - 26.01.18 - 09:29
Я несколько раз видел эту фамилию в сочетании с postgresql :)
   ВикторП
 
363 - 26.01.18 - 11:38
https://www.1c-interes.ru/catalog/all6964/25227623/

•Глава 6. Администрирование PostgreSQL при работе с «1С:Предприятием» ?Основы
?Расширения
?Логирование
? Настройки PostgreSQL для работы с «1С:Предприятием» ?Основные параметры postgresql.conf
?Общие положения
?Настройки сервера для PostgreSQL
?Обозначения
?Параметры производительности
?Параметры для платформы «1С:Предприятие»
?Online_analyse

?Расследование проблем
?Резервное копирование и восстановление ?Дамп SQL
?Физические бэкапы
?Непрерывная архивация

?Дополнительные источники информации
   ИТ директор
 
364 - 26.01.18 - 13:26
(363) когда чуваки, которые написали эту чудо-книгу, научатся диагностировать постгрес на таком уровне как чуваки с яндекс-почты, тогда они будут иметь право что-то спрашивать на своем экзамене, ггг

https://habrahabr.ru/company/pgdayrussia/blog/329178/
   ИТ директор
 
365 - 26.01.18 - 13:29
+(364) а у них в букваре картинки постгреса под винду, бгг
   Фрэнки
 
366 - 26.01.18 - 13:31
(365) потому что кроме, грубо говоря, балбесов из под винды никому больше эти картинки неинтересны :))))
   ВикторП
 
367 - 26.01.18 - 13:37
Ребята, а вы сами напишите.
   ВикторП
 
368 - 26.01.18 - 13:43
Начало такое

Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С.
   Вафель
 
369 - 26.01.18 - 13:44
(368) шаг (0) установить линукс
   Фрэнки
 
370 - 26.01.18 - 13:51
(369) шаг один - открыть терминал
   wayss
 
371 - 26.01.18 - 14:06
(370) шаг два - снес линукс, поставил ms )
   wayss
 
372 - 26.01.18 - 14:08
(368) максимальная производительность будет зависеть от ваших конкретных условий - железа, базы данных, нагрузки на эту базу данных.
Общих рекомендаций по настройке PG а также по доработке конфигурации можно много где найти, на том же сайте 1С.
А дальше нужно тестировать и смотреть во что вы упираетесь.
   ИТ директор
 
373 - 26.01.18 - 14:09
(371) шаг три - наконец-то начал зарабатывать деньги на 1С
   ansh15
 
374 - 26.01.18 - 15:59
(368) >>Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С
Это больше похоже на строку в резюме или название услуги.
И то и другое платно.
   ВикторП
 
375 - 26.01.18 - 16:43
С этих слов начинается статья

https://kb.1c.ru/articleView.jsp?id=91

только там про версии 9.2-9.4
   Вафель
 
376 - 26.01.18 - 18:14
(375) думаешь сильно изменилось?
   MRazputko
 
377 - 31.01.18 - 17:18
Hi All!

Народ, поделитесь плиз дистрибутивом

PostgreSQL для Linux x86 (64-bit) (DEB), версия 9.6.6-1.1С

Странное дело, на https://releases.1c.ru/ он весит всего 5 метров!

Буду очень признателен!

Михаил.
   Вафель
 
378 - 31.01.18 - 17:19
может там онлайн установщик?
   MRazputko
 
379 - 31.01.18 - 17:24
Нет, там таровский архив

postgresql_9.6.6_1.1C_amd64_deb.tar.bz2

с *.deb файлами-пакетов внутри
   arsik
 
380 - 31.01.18 - 17:38
   arsik
 
381 - 31.01.18 - 17:39
+ (380) Точнее от сюда. https://postgrespro.ru/products/archive/1c

Там то же самое.
   ansh15
 
382 - 31.01.18 - 17:53
(379) Там еще есть архив с доп. модулями. Он тоже нужен.
   MRazputko
 
383 - 31.01.18 - 18:37
Архива с до. модулями не увидел.

Там ведь только добавляется репозиторий с ключем, из которого ставится постгри...
   MRazputko
 
384 - 01.02.18 - 09:24
Hi All!

Все заработало. Почти сутки - полет нормальный :)

Спасибо!

P.S. Таки не понятно, почему на портале ИТС выложен огрызок дистрибутива:

libpq5_9.6.6-1.1C_amd64                    deb?130096
postgresql-9.6_9.6.6-1.1C_amd64            deb?4038 K
postgresql-client-9.6_9.6.6-1.1C_amd64     deb?1197 K
postgresql-contrib-9.6_9.6.6-1.1C_amd64    deb?524878
   ВикторП
 
385 - 02.02.18 - 12:30
  1  2  3  4

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует