Вход | Регистрация

  1  2   
1С:Предприятие :: 1С:Предприятие 8 общая

Долго перепроводятся документы за 4 мес.

Долго перепроводятся документы за 4 мес.
Я
   MaxRAF
 
16.11.18 - 07:56
Всем привет.

Стоит задача запустить внешнюю обработку, чтобы перепровела все документы за 4 мес. По словам внедренцев двух дней на перепроведение может не хватит. И вот мне генеральный задает вопрос: почему так долго?

Вот и я не знаю, почему так долго )))

Помогите разобраться, где узкое место. Какие нужны вам исходные данные?
 
 
   0xFFFFFF
 
1 - 16.11.18 - 07:59
(0) скажи ему что сервер у вас кака, поэтому нужно пару лямов на новый сервер.
   shuhard
 
2 - 16.11.18 - 08:00
(0)[Какие нужны вам исходные данные?]
бюджет проекта больше 2 лямов ?
   catena
 
3 - 16.11.18 - 08:03
(0)Могу для директора состряпать тестовую конфу, в которой два дня будут перепроводиться в течении 4 месяцев. Дорого.
   MaxRAF
 
4 - 16.11.18 - 08:11
(2) денег нет, но я держусь )) 

Уверен, что мой вопрос глупый, но в 1С мне темный лес.

Год назад была задача ускорить работу 1С - отчеты, проводки.

Было так:
"Старый" сервер R710 + 6x300Gb 15k RPM + 48 Гб ОЗУ скорость загрузки тяжелого отчета 1 мин. 28 сек.

Заменил рейд-контроллер + SSD. Стало так:
Новый сервер R710 + H730 + SSD 480Gb + 48 Гб ОЗУ скорость загрузки тяжелого отчета 32 сек.

И в целом всё стало работать шустрее.

И вот сегодня пришла сотрудница от компании внедренцев и сказала генеральному: можем не успеть за выходные перепровести документы. Генеральный вызывает меня на ковер: мы обновили железо, почему перепроведение так долго?

Вот сижу и думаю - не зная ничего о логике работы 1С - где узкое место.
   catena
 
5 - 16.11.18 - 08:12
"но в 1С мне темный лес" - так и перенаправить этот вопрос внедренцам.
   lucbak
 
6 - 16.11.18 - 08:14
(4) >>Вот сижу и думаю - не зная ничего о логике работы 1С - где узкое место.

Узкое место в вашем железе - 1С :)
   rphosts
 
7 - 16.11.18 - 08:17
О, пятница!
   MaxRAF
 
8 - 16.11.18 - 08:17
(6) хоть какие-то движения ) Я правильно понял, что при тестовом запуске перепроведения надо снять счётчики процессоров, потому что узкое место скорей всего в них?
   MaxRAF
 
9 - 16.11.18 - 08:18
(7) я тоже радовался, пока не вызвали на ковер (
   dmpl
 
10 - 16.11.18 - 08:18
(4) Для быстрого проведения нужен Core i9-9900K.
 
 Рекламное место пустует
   dmpl
 
11 - 16.11.18 - 08:19
(8) Затык в производительности на 1 ядро. Тест Гилева сколько попугаев выдает?
   rphosts
 
12 - 16.11.18 - 08:19
(6) может и в коде и гарантированно в мозгах - пока не вижу никаких причин для перепроведения за 4 месяца... максимум при каком-то эпик фэйле допроведение
   rphosts
 
13 - 16.11.18 - 08:21
(8) вы даже не написали файловая или клиент-сервер.
   catena
 
14 - 16.11.18 - 08:23
+(13)И количество документов.
   MaxRAF
 
15 - 16.11.18 - 08:25
(11) предлагал внедренцам запустить тест Гилёва, они так и не сделали, но перед этим сказали: мы что-то слышали об этом.

(13) Клиент-сервер. Win 2012R2 + MSSQL 2016. Клиенты по RDP запускают клиенскую часть 1С на другом сервере.

(14) Перепровести надо 300 000 документов
   Fram
 
16 - 16.11.18 - 08:29
опять дохренаядерный ксеон 2 ГГц?
   MaxRAF
 
17 - 16.11.18 - 08:30
(16) да, дохренаядерный )) x5650 2.67Ghz x 2 шт.
   MaxRAF
 
18 - 16.11.18 - 08:31
(11) договорился сегодня вечером, чтобы они запустили тест. Тем не менее можно ли запустить тест Гилева во время работы сотрудниками? Имею ввиду, чтобы сейчас запустить тест.
   piter3
 
19 - 16.11.18 - 08:31
(15)Сама по себе цифра ни о чем,может быть там одна строка в каждом,а может и больше.Чем вам мешает на выходных или по ночам?У меня так в нескольких конторах где железо не очень.Или сделать риб для проведения.Варианты есть,но не с вами обсуждать,а с пришлыми
   xXeNoNx
 
20 - 16.11.18 - 08:32
(11) мля, ну что вы гилевские попугаи считаете, это актуально если сравнивать два сервака, к базам это не имеет никакого отношения!
   Fram
 
21 - 16.11.18 - 08:33
(17) + VMWare ?
   dmpl
 
22 - 16.11.18 - 08:33
(16) Еще и энергосбережение может включено...
   MaxRAF
 
23 - 16.11.18 - 08:34
(21) нет. Один сервер - одна роль
   dmpl
 
24 - 16.11.18 - 08:34
(18) Можно, однопоточный тест спокойно переносит пользователей.
   MaxRAF
 
25 - 16.11.18 - 08:35
(22) всё по рекомендациям Гилева, то есть всякие энергосберегалки отключены и все ядра всегда дают макс своих Ghz.
   xXeNoNx
 
26 - 16.11.18 - 08:35
(15) счетчики настроены? Время проведения при работе юзеров одинаково и без них?
   dmpl
 
27 - 16.11.18 - 08:36
(20) Для начала надо убедиться, что нет проблем с настройкой сервера. До этого бесполезно к базам переходить.
   MaxRAF
 
28 - 16.11.18 - 08:36
(19) на выходных и будут запускать перепроведение и надо за выходыне перепровести все 300 тыс документов.
   d4rkmesa
 
29 - 16.11.18 - 08:37
(15) 300 000 документов да, могут и не провестись. А чего гадать? Нужно запускать обработку и двигать последовательность. Если не успевает провестись, то продолжить. Ваши танцы с бубном тут мало помогут.
   1c-kind
 
30 - 16.11.18 - 08:37
Перед перепроведением обязательно итоги пересчитайте.
   xXeNoNx
 
31 - 16.11.18 - 08:38
(27) чем тест гилева поможет узнать что сервер настроен?
   xXeNoNx
 
32 - 16.11.18 - 08:38
(30) яб тож с итогов начал
   Мелифаро
 
33 - 16.11.18 - 08:39
Узкое место нужно замером производительности выявлять.
Иногда бывает, что оптимизации какого-нибудь тупорылого запроса достаточно, чтобы многократно ускорить процесс.
 
 
   MaxRAF
 
34 - 16.11.18 - 08:39
(29) да я бы с удовольствием, но не мне решать. Мне надо какой-то ответ дать генеральному, почему так долго проводятся 300 тыс документов
   dmpl
 
35 - 16.11.18 - 08:40
(31) Там есть база результатов - берем и сравниваем свой результат с другими (точнее, достаточно просто посмотреть сколько выдают процессоры Intel на аналогичной частоте). Если сильно ниже - значит есть проблемы с настройкой.
   Мелифаро
 
36 - 16.11.18 - 08:41
Видел эпичную "фичу" с засунутым внутрь "ПриВыводеСтроки" расчётом себестоимости номенклатуры ТЧ. Заказчик очень удивился, как быстро можно, оказывается, приходовать товары...
   Мелифаро
 
37 - 16.11.18 - 08:42
(34) У генерального достаточно компетенции, чтобы понять ваши объяснения?
   dmpl
 
38 - 16.11.18 - 08:42
+(35) В частности, для указанного процессора можно ожидать примерно 40 попугаев при правильной настройке. А я встречался, когда всего 10 было на аналогичном железе.
   xXeNoNx
 
39 - 16.11.18 - 08:42
(33) ой ли, а если проблема в очереди к диску?
   catena
 
40 - 16.11.18 - 08:42
(34)Что за детский сад? Отвечай тогда, что 1С шлет овер-дофуя запросов на сервер во время проведения. Пусть внедренцы оправдываются, почему они за такие деньги так неоптимально пишут.
   Мелифаро
 
41 - 16.11.18 - 08:43
(39) Это тоже выявится замером производительности, когда запрос будет неоправданно долго тупить.
   dmpl
 
42 - 16.11.18 - 08:43
(39) Скорее всего затык будет в производительности на 1 ядро. SSD чаще всего смещает ограничение с дисковой подсистемы на частоту процессора.
   Мелифаро
 
43 - 16.11.18 - 08:43
+(41) Ну и очередь можно куда проще проверить.
   MaxRAF
 
44 - 16.11.18 - 08:44
(37) да, компетенции у него достаточно
   dmpl
 
45 - 16.11.18 - 08:44
(34) Лучшее объяснение - потому что 300 000 документов.
   xXeNoNx
 
46 - 16.11.18 - 08:45
(41) да? а нерассчитанные итоги не дадут такого эффекта?
   d4rkmesa
 
47 - 16.11.18 - 08:45
(34) Запусти тест Гилева. Сам. Когда никто в базе не работает. И начинай писать отчет директору, со всеми выкладками. 300k документов будут проводиться не один час, это аксиома, и ни один специалист не будет вертеться ужом, доказывая что не верблюд. Нужно задать вопрос, а почему такая необходимость возникла, ведь фирма 1С делает все, чтобы в актуальных конфах такой потребности не было, как раньше? Доказывать свою компетенцию - если уж дошло до такого, все средства хороши. Как напишешь отчет, отправляй на email директору с копией внедренцам и будь готов держать удар.
   Мелифаро
 
48 - 16.11.18 - 08:45
(44) Тогда дай ему результаты замера производительности при проведении документа, ткни в самый долгий участок и рядом выведи время проведения, помноженное на 300 тысяч.
   dmpl
 
49 - 16.11.18 - 08:46
(46) С итогами все не так однозначно. Ведь чем дальше они рассчитаны - тем больше строк надо обновить при записи движений. Поэтому вполне может быть оптимальным разбить задачу по 1 месяцу, и передвигать границу итогов в соответствии с обрабатываемым месяцем.
 
 Рекламное место пустует
   MaxRAF
 
50 - 16.11.18 - 08:46
(47) сам не могу. Везде имею доступы, а вот 1С исключение.
   MaxRAF
 
51 - 16.11.18 - 08:47
(47) через внедренцев только запущу вечером
   МимохожийОднако
 
52 - 16.11.18 - 08:47
Если возникают ситуации, что надо проводить документы за 4 месяца назад, то надо озадачить внедренцев на создании регламентного задания, которое двигает документы. Кроме этого важно определиться по пользователям и закрыть возможность проводить задним числом без необходимости
   dmpl
 
53 - 16.11.18 - 08:49
(50) Тогда как ты можешь узнать причины тормозов? Пусть внедренцы и объясняют.
   MaxRAF
 
54 - 16.11.18 - 08:49
(52) в прошлый раз внедренцы запустили перепроводку документво и в итоге смешались кони и мухи. Теперь как я понял они что-то переделали спустя несколько месяцев и хотят снова запустить перепроводку
   xXeNoNx
 
55 - 16.11.18 - 08:49
(47) где тест гилева показывает зависимость проведения некоторого количества доков?
   MaxRAF
 
56 - 16.11.18 - 08:52
(53) всё, что я могу им показать, что во время запуска перепроводки счетчик производительности показывает, что дисковая подсистема нагружена на столько процентов, а процы на столько. Мой, смотрите, уважаемый генеральный директор. Диски нагружены на 10%, а процы на 30%. Но он спросит: а почему тогда так долго проводятся документы?

Но я сам не уверен, а может дело не в конфе, а дело в железе. Но чтобы это понять я и пытаюсь разобраться хотя бы поверзностно в работе перероведения документов.
   dmpl
 
57 - 16.11.18 - 08:52
(54) Пусть делают на тестовой базе сначала.
   xXeNoNx
 
58 - 16.11.18 - 08:53
(51) вот и посмотрим на сколько начальник компетентен: если пошлет с гилевскими попугаями далеко, значит действительно так
   MaxRAF
 
59 - 16.11.18 - 08:53
(57) тестовый запуск проводок будет на тестовой базе, точней на копии актуальной
   d4rkmesa
 
60 - 16.11.18 - 08:53
(55) Тест Гилева доказывает, что железо не говно. К автору могут быть вопросы плана, мол зачем купил все это, если все равно результаты посредственные?
   Мелифаро
 
61 - 16.11.18 - 08:54
Дичь какая-то.
Правильно выше сказали, в твоём случае единственно верный ответ - "потому что это 300000 документов за четыре месяца". Больше никакой вменяемой информации ты дать не сможешь по этому вопросу.
   MaxRAF
 
62 - 16.11.18 - 08:55
(60) этого слава богу не будет, потому что по факту после замены частей железа все же производительность улучшилась.

Просто генеральный считает (ведь на домашнем компе у него так), что раз диски SSD, то всё должно как минимум за минуту выполниться. А почему это не так, как он думает, я не могу доказать, потому что как уже говорил в 1С темный лес
   xXeNoNx
 
63 - 16.11.18 - 08:56
(60) тест гилева показывает различие двух систем, не факт там, где показало больше попугаев будет эффективнее работать с определенным прикладным решением!
   Borteg
 
64 - 16.11.18 - 08:56
(15)  вакуумный расчет:
300000/86400 =3.5 дня(в вакууме, не верю что будет быстрее 1 документа в секунду)
   MaxRAF
 
65 - 16.11.18 - 08:57
Когда у нас HDD 15k RPM стояли, то очень часто нагрузка по счетчикам была 100%. После замены на SSD + рейд-контроллер, нагрузка в пике 70%
   МимохожийОднако
 
66 - 16.11.18 - 08:57
Дай своему генеральному ссылку на эту ветку. Пусть видит, как у тебя болит душа о работе и серверах.
   xXeNoNx
 
67 - 16.11.18 - 08:57
(62) это самый простой и быстрый способ увеличить производительность. Что будете делать через год-два?
   unregistered
 
68 - 16.11.18 - 08:58
(34) > Мне надо какой-то ответ дать генеральному, почему так долго проводятся 300 тыс документов

Ты хоть сам то понимаешь, что это вопрос не к тебе? Ты на него в принципе ответить не сможешь. Никогда. Чтобы тебе тут не насоветовали.
Максимум что ты можешь сделать - это оценить нагруженность железа в момент проведения. Но для этого нужно как минимум запустить проведение документов (хотя бы один целый месяц, чтобы в выборку попали помимо первичных документов ещё и все регламенты с расчетами себестоимости и т.п.), включить сбор счетчиков и только потом собранные данные проанализировать. На основе такого анализа можно будет сделать хоть какие-то выводы об узких местах железок.
И это буде только началом. Потому что следующим шагом необходимо будет выяснить кто именно (какой алгоритм) нагружает железо.
В самом лучшем случае выяснится, что появились какие-то проблемы, например, с дисками (условно дисковый массив начал сыпаться, тупить и глючить), которые можно быстро исправить и всё залетает.

А вообще 300тыс за двое суток - это как-то слишком. Какая хоть конфигурация?
   Borteg
 
69 - 16.11.18 - 08:58
(64) добавляем время регламентных операций и прочей хни = 4 дня минимум. я бы так закладывал.
Делаем проведение разных дкоументов в несколько потоков, в одной транзакции по 1000 элементов, ну может быть вернемся к 3 дням. Это если так сходу в лоб.
   xXeNoNx
 
70 - 16.11.18 - 08:59
(65) ответь: проведение работает быстрее когда в базе никого нет или так же?
   MaxRAF
 
71 - 16.11.18 - 09:00
(70) разницы совершенно никакой
   d4rkmesa
 
72 - 16.11.18 - 09:01
(63) Для автора это хоть что-то, чем можно оперировать при такой постановке вопроса. Статистику собирать, тот же Apdex, надо было заранее.
   xXeNoNx
 
73 - 16.11.18 - 09:01
(71) а теперь бери конфигуратор, включай замер, сделай отбор доков ща сутки и проведи
   Мелифаро
 
74 - 16.11.18 - 09:01
(71) Вообще можешь сказать диру, что это ещё очень быстро. Ибо меньше секунды на документ довольно неплохой результат.
   piter3
 
75 - 16.11.18 - 09:02
(28) Ну возьми копию и запусти там,заоодно узнаешь сколько занимает
   xXeNoNx
 
76 - 16.11.18 - 09:04
(72) проводится одинаково с юзерами и без них. Зачем apdex?  Что бы сейчас сказать что месяц наЗаД док проводился на секунду меньше, apdex  нужен для сравнения с исходным состоянием, до оптимизации, ну или для отслеживания. На вопрос ПОЧЕМУ, оно не оиветит
   piter3
 
77 - 16.11.18 - 09:05
Можно как делал у одних товарищей.Взяли в аренду на выходные хороший сервак с софтом уже настроенным и запустили.После этого сказали сколько будет стоить если хотите за такой промежуток времени.Быстро заткнулись и все стало устраивать
   xXeNoNx
 
78 - 16.11.18 - 09:06
+ (73) смотри топ запросов по времени, а так же по количеству их выполнения, с этим уже можно идти к руководителю, проанализировав конеш
   1sanekmaloi1
 
79 - 16.11.18 - 09:06
Перед проведением такого количества итоги нужно совсем отключить.Имхо дешевле будет их в конце посчитать.
   catena
 
80 - 16.11.18 - 09:07
(62)У него на домашнем компе 300000 документов проводятся за минуту?
   Borteg
 
81 - 16.11.18 - 09:07
(78) (79) Вы пишите системному администратору сейчас  о итогах, запросах и прочем)
   d4rkmesa
 
82 - 16.11.18 - 09:13
(76) По Apdex можно примерно прикинуть время на проведение пресловутых 300k документ. Да и динамика тоже была бы любопытной. Конечно, это не дает ответ на вопрос "Почему", но тем не менее. Была бы основа для дальнейшего анализа. А там можно и ТЖ ковырять, и топ запросов.
   MaxRAF
 
83 - 16.11.18 - 09:13
(80) это образно я выразился. Я имею ввиду SSD панацея )
   dmpl
 
84 - 16.11.18 - 09:13
(56) Процессор будет нагружен на 4-8%. И?
   MaxRAF
 
85 - 16.11.18 - 09:14
(84) саммарно по ядрам? Или какие-то ядра на 100% будут нагружены?
   catena
 
86 - 16.11.18 - 09:14
(83)Вы все еще считаете его компетентным?
   dmpl
 
87 - 16.11.18 - 09:14
(63) При правильной настройке однопоточный тест Гилева зависит только от частоты и используемых версий ПО. Именно в частоту процессора и будет упор при проведении.
   dmpl
 
88 - 16.11.18 - 09:16
(69) Тут надо грамотно план составить, чтобы в взаимоблокировки не упереться.
   MaxRAF
 
89 - 16.11.18 - 09:17
(86) да нет конечно. У него инженерное образование и все же ему легче намного объяснять те или иные нюансы.
   piter3
 
90 - 16.11.18 - 09:18
А конфа хоть какая?Переписана?
   MaxRAF
 
91 - 16.11.18 - 09:18
(90) Типовая, была, Торговля. Переписана вдоль и поперёк )
   dmpl
 
92 - 16.11.18 - 09:19
(71) Классика жанра - упор в частоту 1 ядра.

(85) Суммарно. Но так, что 1 ядро будет загружено на 100% - скорее всего не будет, ОС может перекидывать потоки с ядра на ядро. Будет характерная ровная линия загрузки на 4%, иногда подскакивающая до 8%. Это если в другие подсистемы упора нет.
   piter3
 
93 - 16.11.18 - 09:20
(91)Ну а чего хотеть-то)))))
   dmpl
 
94 - 16.11.18 - 09:21
(91) Франчами?
   MaxRAF
 
95 - 16.11.18 - 09:22
(94) не знаю, что имеете ввиду. Переписана этими внедренцами.
   dmpl
 
96 - 16.11.18 - 09:23
(95) Откройте договор, там наверняка есть пункт типа что оптимизация за отдельные деньги. Смысл им писать так, чтобы не тормозило?
   xXeNoNx
 
97 - 16.11.18 - 09:24
(82) Более 3х суток. Сейчас можно отследить код, который самый тормозной
   MaxRAF
 
98 - 16.11.18 - 09:25
(64) сейчас спросил внедренца. За 2-е суток в прошлый раз провели 200 тыс. документов.
   dmpl
 
99 - 16.11.18 - 09:25
(97) Для этого надо иметь доступ в Конфигуратор и включенную отладку на сервере.
   dmpl
 
100 - 16.11.18 - 09:26
(98) Т.е. они лажанулись один раз, затем второй раз, и совсем не факт что не лажанутся опять... может им деньги не платить?
  1  2   

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Рекламное место пустует