Вход | Регистрация


1С:Предприятие ::

Метки: 

Огромное количество номенклатуры

Я
   pavelm63
 
15.08.18 - 15:01
Всем привет!
1С сервер 8.3 в связке с MS SQL 17
База УТ 10.3

Подскажите реально ли хранить 4,5 млн номенклатуры и регулярно переписывать цены на все позиции?

И соответственно периодически формировать прайс на все позиции из базы?
 
 
   Aleksey
 
1 - 15.08.18 - 15:22
Реально, правда при условии что не чаще раз в 2 недели. Быстрее я думаю не получиться.

По моим прикидкам в секунду он будет писать 3-5 позиций не больше (без учета деградации по скорости из-за большого объема данных). Соотвественно 4,5 млн он будет писать порядка 900 тысяч секунд. Или 250 часов (почти 10,5 дней).

Конкретные цифры уже нужно смотреть на вашем железе. Возможно вы будете напрямую в скуль писать и достигните скорости записи до 100 000 позиций в секунду
   Cool_Profi
 
2 - 15.08.18 - 15:32
(0) Хвораете?
   Casey1984
 
3 - 15.08.18 - 15:33
(0) Переписывать = вводить документ "Установка цен номенклатуры"?
   Numerus Mikhail
 
4 - 15.08.18 - 15:34
(0) Зачем вам 4.5 миллиона номенклатуры?
   Базис
 
5 - 15.08.18 - 15:34
(1) Обоснуйте эту цифру, пожалуйста.
Документ в 1000 строк будет проводиться по 1 (ЕМНИП) регистру в течение 3-5 минут?
   Малыш Джон
 
6 - 15.08.18 - 15:36
(4) "почему кот я..ца лижет? потому что может"
если хранят столько - значит нужно
   МихаилМ
 
7 - 15.08.18 - 15:37
(1)
на современном железе писать будет 20-50 т строк в секунду в регистр.
(0)
в 2012 типовой механизм ут 10.3 не потянул  работу на чтение  1 млн - активной номенклатуры , 30 типов цен, 150 операторов.
   Cool_Profi
 
8 - 15.08.18 - 15:43
Извините...
Десятки миллионов номенклатур... Вы там не Госплан пишете?
   Вафель
 
9 - 15.08.18 - 15:46
(7) а пересчет итогов по регистру?
   Карст
 
10 - 15.08.18 - 15:47
видать партии засунули в номенклатуру  - да еще за несколько лет, хотя имхо и это перебор
 
 Рекламное место пустует
   Buster007
 
11 - 15.08.18 - 15:49
4.5 млн ни о чем
   Базис
 
12 - 15.08.18 - 15:50
(8) Автозапчасти, любой агрегатор "ничего на складе, но знаю у кого купить".
   Buster007
 
13 - 15.08.18 - 15:51
(1) ты на калькуляторе запускаешь 1С что ли?
   hhhh
 
14 - 15.08.18 - 15:56
(1) да, чего-то хрень какую-то пишешь. Вот у меня обработка, загружает 5000 позиций номенклатуры с ценами. База файловая. Работает где-то как раз 3-5 секунд. Откуда такие цифры про 3-5  позиций в секунду?
   Aleksey
 
15 - 15.08.18 - 15:59
(14) потому что у тебя файловая на крутом проце и на ссд
а в продакшен будет древний сервер с опертронами/ксоенами с базовой частотой 2.0. причем на скуле, причем скуль и сервер на разных машинах. или на одной но на сервере всего 16 гтглв памяти и там еще 40 рыл работают


Короче я когда дома у себя пишут код он тоже за полсекунды отрабатыва, а вот в продакшене, когда 100 рыл сидят этот же код уже работает секунды 3-5
   Cyberhawk
 
16 - 15.08.18 - 15:59
(9) Итоги отключаются на время массированной записи, всякими доп. свойствами тоже рулится, чтоб ничего подписочного-БСПшного не выполнялось, ну и в режиме загрузки. Потом итоги включаются.
   Cyberhawk
 
17 - 15.08.18 - 16:00
Ну и в режиме без замещения еще, да
   Buster007
 
18 - 15.08.18 - 16:00
(15) не повезло тебе... )
   Cyberhawk
 
19 - 15.08.18 - 16:00
(могу подзабыть, но вроде там самое быстрое - чистый инсерт без всяких сравнений)
   Aleksey
 
20 - 15.08.18 - 16:01
(13) ну просто грузил недавно номенклатуру из 7-ки в 8-ку и примерные цифры оттуда.

плюс кроме проведения есть еще поиск номенклатуры, сопоставления и куча других нюансов влияющие на скорость
   Aleksey
 
21 - 15.08.18 - 16:03
(16) вот именно, а в реале выясниться что там работают люди и итоги нельзя отключать и они еще должны работать, пока в фоне грузиться, что не добавляет скорость.


Короче мы берем лабораторные условие (разогнаный проц, память с частотой 4400, база файловая и вся в памяти и крутые SSD) или продакшен?
   Aleksey
 
22 - 15.08.18 - 16:07
Ну и есть разница самописка, где сразу пишется в регистр без промежуточных документов, или использование типовых механизмов
   hhhh
 
23 - 15.08.18 - 16:07
(15) ни на каком у меня ссд. Самый обычный комп. Ниже среднего.
   Aleksey
 
24 - 15.08.18 - 16:08
(23) я же написал "Конкретные цифры уже нужно смотреть на вашем железе. "
   hhhh
 
25 - 15.08.18 - 16:14
(24) ну это совсем другое. ты там создавал это справочник номенклатура с нуля. А здесь совсем другое. Один регистр сведений фактически. Думаю корректировка прайса у него займет несколько минут максимум.
   Aleksey
 
26 - 15.08.18 - 16:19
(25) ну только если мы говорим про типовую, то писать он будет в документы. Причем нужно будет разбивать по 100 000 строк, иначе попа со скростью может быть. После этого нужно записать документы и они уже запишут движения
   Михаил Козлов
 
27 - 15.08.18 - 16:21
(26) 1С, вроде бы не умеет таб. часть со 100 000 строк?
   Aleksey
 
28 - 15.08.18 - 16:21
Короче ждем маньяка он на загрузку таких объемах в типовые на 8-ке собаку съел
   Cyberhawk
 
29 - 15.08.18 - 16:22
(26) "разбивать по 100 000 строк, иначе попа со скростью может быть" // Ограничение платформы - 99 999 строк. Так что твоя ветка "иначе" неуместна :)
   Aleksey
 
30 - 15.08.18 - 16:23
(27) умеет, но наблюдается очень сильная деградация. Т.е. скорость проведения 2-х документов по 100 тысяч сильно меньше чем скорость проведения одного документа на 200 000

p.s. Цифры условные служат лишь ориентиром, поэтому не надо с секундомером бегать и доказывать что нет разницы между проведением 100 000 строк и 100 001 строка
   hhhh
 
31 - 15.08.18 - 16:27
(30) можно по 1000 строк на документ. Так в 100 раз быстрее будет, чем 100000. Теперь понятно, почему у тебя тормозит. У тебя один документ на всю номенклатуру, 100000 строк. И если пользователю нужно подправить в нем одну строчку, то этот документ целиком переписываешь.
   МихаилМ
 
32 - 15.08.18 - 16:31
(9)  прямым запросом. и на копии.
   Aleksey
 
33 - 15.08.18 - 16:37
(31) у меня нет такой задачи (загрузить 4,5 млн цен), поэтому у меня не может тормозить то, чего нет
 
 
   Aleksey
 
34 - 15.08.18 - 16:39
но со скоростью проведения отчетов по комиссии в типовой БП 3.0 на 15-20 тысяч строк я намучался. Нажимаешь провести и идешь курить бамбук, пока он все проверки сделает и сформирует движения, попутно блокирую базу.
   hhhh
 
35 - 15.08.18 - 17:23
(34) в бух 3.0 надо регламентные задания все отключить. там по умолчанию всё включено.
   Aleksey
 
36 - 15.08.18 - 17:31
(35) мусор отключил, остальные раскидал по времени когда все спят
   wt
 
37 - 15.08.18 - 18:42
Ещё на 1с77, торговля и склад, было несколько складов, несколько млн ед хранения, это металлы, покупные изделия, типа резисторы, транзисторы. Номенклатуру разбивал на группы, делал контекстный поиск. Как сейчас, на 1с8 не знаю.
   pavelm63
 
38 - 17.08.18 - 15:50
(3) Да именно
   pavelm63
 
39 - 17.08.18 - 15:53
(22) Использую механизм создания документов установка цен, через обработку. по 25 тыс строк в документ
   Maniac
 
40 - 17.08.18 - 15:55
1С на такие обьемы не расчитана. И вопрос тут даже не только в загрузке но и обычной работе.
Крутить отчеты и тп и тд.
Даже тупо что то искать в справочнике через поиск.
   Maniac
 
41 - 17.08.18 - 15:56
Обычно автозапчастники держат базы данных напрямую на сайтах на спецдвижках и мощностях.
А в 1С попадает только рабочая номенклатура, т.е конкретная по которой прошел заказ/продажа и тд.
   pavelm63
 
42 - 17.08.18 - 15:57
(41) Спасибо, очень важный комментарий
   Maniac
 
43 - 17.08.18 - 15:57
Все грузить в 1С абы было - нереально.
Ни при каких раскладах.
Ни при создании позиций, ни при синхронизации (а ведь чтобы загрузить цену, нужно найти ссылку... и уже так далее заполнять документы или регистры)...
   pavelm63
 
44 - 17.08.18 - 15:57
(40) поиск на 2 млн номеклатур уже подтормаживает
   Maniac
 
45 - 17.08.18 - 16:00
К тому же автозапчастей даже не 5 миллионов, а кабы не 50-80

И все что продается зачастую разовое.

Крутили отчеты в базе по 500 000 позиций которые проходили по продажам за несколько лет, ставили условие - выкпутить позиции которые продаются в каждом месяце.

Выходил отчет на 2 000 позиций всего.

в 1С имеет смысл для анализа грузить только какие то масла и тп, то что продается с регулярной периодичностью и в постоянном обороте.
   Maniac
 
46 - 17.08.18 - 16:00
(44) семерка будет работать быстрее, чем восьмерка на миллионах записей. естественно с прямыми запросами.
   Maniac
 
47 - 17.08.18 - 16:02
Все остальное, имеет смысл грузить только напрямую на сайт.
И работать с АПИ-шками поставщиков, в автозапчастях практически все они с веб-сервисами.
   Casey1984
 
48 - 17.08.18 - 16:02
(40) Может не 1С, а типовые конфигурации? Все в итоге в запросы к СУБД приходит и надо просто грамотно настроить?
   pavelm63
 
49 - 17.08.18 - 16:03
(45) у нас специфика такая, что более 5 млн не будет
 
 Рекламное место пустует
   Maniac
 
50 - 17.08.18 - 16:05
+(45) и то грузили такие прайсы исключительно для анализа цен поставщиков и закупки на склад.
Плюс наиболее ходовые позиции. По которым можно пополнить склад по самым выгодным ценам.
Все остальное что под заказ . 1С лопнет.

(48) да пофигу. создай хоть справочник с двумя реквизитами.
Справочник Номенклатура постоянно открываемый справочник. Подборы, цены, остатки и прочее.
   Maniac
 
51 - 17.08.18 - 16:05
(49) ну и явно это не 1 поставщик, а десятки. В которых наверняка по 20-50 тыщ позиций. а не все 5 миллионов.
   Maniac
 
52 - 17.08.18 - 16:07
один фуй. остатки постоянно меняются.
Загружать одно, потом еще на сайт выгружать это все. Даже если не цены, так остатки плясать могут каждую минуту.
   Maniac
 
53 - 17.08.18 - 16:10
постоянное изменение цен, остатков. регистрация этого всего. перегруз и обмен с сайтом.
От типового обмена наверное нафиг сразу придется отказаться.

Делать текстовые файлы обмена, csv или еще что то облегченное.
Самописные обмены и прочее.
в XML это просто нафиг выйдет в нехватку памяти.

Прайс в 800 000 строк при загрузке в 1С жрет 5 гигабайт памяти и проц на 4.5 долбит.
   pavelm63
 
54 - 17.08.18 - 16:12
(53) Понял, спасибо
   Maniac
 
55 - 17.08.18 - 16:12
переоценку делать только фоном с автоматическими правилами.
никаких интерактивных действий ни с чем.
   Tonik992
 
56 - 17.08.18 - 16:13
(44) притормаживает - это в секундах сколько, интересно?
   Maniac
 
57 - 17.08.18 - 16:13
подбор переписать на форм где только поисковая строка и пустая таблица. никакого списка.
по поиску запрос и выкатка в ТЗ то что попало с остатками и ценами.
   Maniac
 
58 - 17.08.18 - 16:14
я уже давно хотел написать такое рабочее место. где никаких списков. а поисковая строка и ниже таблица.

получаем по поиску запросом найденные товары, уже отдельно потом по ним цены и остатки и показываем таблицу только по найденному.
   Maniac
 
59 - 17.08.18 - 16:17
вот хорошо что вспомнил! ща его и начну делать
   Casey1984
 
60 - 17.08.18 - 16:18
(50) (57) (58) - вот это я и назвал "просто грамотно настроить".
   Базис
 
61 - 17.08.18 - 16:18
(58) Мы такое делали на 77. Быстро, но главная задача была - лишить ушлых менеджеров возможности видеть лишнее. Ни один справочник был им недоступен.
   pavelm63
 
62 - 17.08.18 - 16:23
(56) примерно 30
   CepeLLlka
 
63 - 17.08.18 - 16:24
Маня пришёл, расставил все точки над и :) Крутыш такой, в теме :)
   Tonik992
 
64 - 17.08.18 - 16:34
(63) Надо, чтобы в его обработке по загрузке цен можно было указать пути к базам.. Пусть Маня помимо самой обработки предоставляет еще и собственные ресурсы по чтению и обработки файла.
   Maniac
 
65 - 17.08.18 - 16:54
(64) это не оправдается, так как таких жирных клиентов с такими обьемами раз-два......
   Maniac
 
66 - 17.08.18 - 16:54
трудозатраты на усложнение массового продукта которые охватят лишь разовых клиентов. не эффективны.



Список тем форума
Рекламное место пустует Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует