Вход | Регистрация


1С:Предприятие :: 1С:Предприятие 8 общая

Свертка базы

Свертка базы
Я
   vfire1000
 
07.09.18 - 22:59
Добрый вечер
Есть база 1С: УПП 8.3.4 SQL 20ХХ
База подошла к отметке в 1ТБ. Руководство приняло решение о свертке. Цель: уменьшить размер, для облегчения обслуживания.

Я предложил сворачиваться на "живую". Алгоритм:

Пункт 1. Свертка
1. Определяем регистры, которые необходимо свренуть.
2. Ставим в модуле регистра запрет на запись до даты свертки - чтобы убрать возможность изменения/корректировки движений до даты свертки.
3. Копируем выбранный регистр (создаем полныю копию структуры).
4. В течении рабочего времени
    4.1 Грузим остатки на дату свертки (средствами 1С)
    4.2 В период регламентных работ базы догружаем движения от даты свертки до текущего момента (средствами 1С)
5. На SQL переименовываем таблицы.
6. Проверяем что все ок.
7. Дропаем старую таблицу

Сказали, что так делать нельзя. Не православно. Надо все делать средствами 1С. Распрводить документы и т.д.

Где тут подводные камни или мне вообще надо в дворники идти? )
 
 
   vfire1000
 
1 - 07.09.18 - 23:10
К вопросу о нарастить железа. Админы выкатили ценник = 10млн. Бизненс не согласился.
   RomanYS
 
2 - 08.09.18 - 00:13
1. Убедиться, что свёртка хоть что-то даст. Если место занимают не регистры или причина в кривизне содержимого регистров, то эффект не будет вообще.

2. Распроводить не надо, можно убивать/выключать движения по конкретным регистрам. Если отключать итоги по регистру, то можно делать достаточно быстро средствами 1с. Отключение (на время свертки) тоже может дать небольшой прирост.
   vfire1000
 
3 - 08.09.18 - 00:31
1. Вообще проблема в индексах (размеры)
2. Распроводить не собирался. Отключить итоги в рабочее время нет возможности
   unregistered
 
4 - 08.09.18 - 00:43
Мало входящих данных.
За какой период хранятся данные (с какого года ведётся в ней учёт)?
Какой период предполагается сворачивать?

Учтите, что для свёртки уменьшение базы на 20% считается уже очень хорошим результатом. 30% - почти недостижимый.
Ближе чем за 3 последних года лучше не сворачивать. Иначе пользователям придётся слишком часто лазить в копию, где лежат данные до свёртки. Пропадёт возможность оценивать данные в динамике, в сравнении с прошлыми периодами.

Даст ли такое сокращение ожидаемый результат? Сомневаюсь.

Вообще сама постановка вопроса "для облегчения обслуживания" звучит весьма странно. Какие проблемы с обслуживанием?

> проблема в индексах (размеры)
Какого рода проблема? Вы не умеете делать частичное перестроение индексов и обновление статистик - только тех данных, где это нужно?

> Админы выкатили ценник = 10млн
Торгуйтесь. Объявите реалистичный бюджет - пусть напрягутся, проведут оценку узких мест и возможные варианты решения наиболее острых проблем в рамках этого бюджета и ожидаемый эффект.
Может руководству можно предложить вариант потратить эти деньги (10млн) не одноразово, а постепенно, составив план поэтапного апгрейда, рассчитанный быть может не на один год?
   tesseract
 
6 - 08.09.18 - 17:18
Может сначала попробовать сжать и кластеризовать таблички? Посмотри какая имеет самый большой размер. Возможно дело-то и не в регистрах вовсе, и сворачивать смысла особого нет.

(1) Они себе решили купить по октавии? Или что-то вразумительное выкатили?
   echo77
 
7 - 08.09.18 - 17:27
(0) Сначала посмотрите, что вы собираетесь сжимать, например этой обработкой http://catalog.mista.ru/public/95193/

Если нет $m - пишите мне, что-нибудь придумаем
   d4rkmesa
 
8 - 08.09.18 - 17:58
(0) Какие таблицы самые большие? У вас партионный учет и взаиморасчеты по документам включены? Боюсь, стандартная свертка, даже "улучшенная", во-первых, мало чем поможет в плане производительности или даже высвобождения свободного места, во-вторых, даже со всеми твиками это будет длиться неделю, скорее всего, если не больше, это если все делать средствами 1С. На Инфостарте есть обработки для генерации скриптов в SQL для удаления данных, я бы смотрел в эту сторону. Ну или ваш вариант. Стандартная свертка - вообще непредсказуема, вернее - предсказуемо медленная. Тут как то на 200 гигов свертку и заливку остатков почти неделю делали, с помощью КД2 и стандартного сценария. Правда, без твиков особо.
   Franchiser
 
9 - 08.09.18 - 21:55
Я бы свернул остатки и перенес бы в чистую  базу через универсальный обмен между идентичным.
   AnisaL
 
10 - 08.09.18 - 22:01
(7) поделитесь обработкой )
 
 Рекламное место пустует
   Лефмихалыч
 
11 - 08.09.18 - 22:03
(0) да всё норм, не очкуй. Дохрена это работы, но криминала никакого. Апдэйт всякий там статистикс после переименований не забудьте.
   Wern
 
12 - 08.09.18 - 22:36
Делают через планы обмена. Делают периферийную базу с выгрузкой в одну сторону. На периферийной сворачивают остатки и все другие подготовительные вещи, после того как все готово периферийную превращают в рабочую.
   tesseract
 
13 - 09.09.18 - 10:01
(12) Так можно через COM/XML обмен пофайлово  и не напрягать основную базу. После свертки/переноса просто довыгрузить документы за прошедший период.
   vis_tmp
 
14 - 09.09.18 - 12:03
(12)А как делают "В одну сторону"?
   Лефмихалыч
 
15 - 09.09.18 - 12:59
(14) да ответы не выгружают и всё. Или не загружают
   Лефмихалыч
 
16 - 09.09.18 - 13:00
еще можно с правилами регистрации в приемнике нахимичить, чтобы не регалось. Но проще тупо не выгружать и периодически чистить регистрацию
   mistеr
 
17 - 09.09.18 - 18:16
(16) Можно загружать пустой файлик ответов, подправляя в нем номер сообщения.
   ILM
 
18 - 09.09.18 - 21:07
пиши в личку, опыт есть
   ILM
 
19 - 10.09.18 - 04:55
(0) делаешь документ ввода остатков, потом удаляешься документы и движения, можешь отдельно движения. Работы на пару дней вдумчиво. Но можно постараться сделать и за неделю.
   timurhv
 
20 - 10.09.18 - 10:28
(19) Работы на пару дней, а штатными средствами будет сворачиваться уйму времени, можно сразу крест поставить на этой затее.
Если руководство хочет именно средствами 1С, то проще будет:
1. Запрет редактирования в рабочей
2. Формирование остатков в рабочей базе (создание документов корректировки записей регистров на дату 01.01.2018 с неактивными записями)
3. Включение полного плана обмена
4. Выгрузка всех документов за 2018 год и справочников + анализ независимых РСВ (штатная обработка).
5. Выгрузка из п.2 в новую базу.
6. Активация движений, изменение даты документов (необходимо обратить внимание на комментарий, там формируются корректировки также по неактивным изначально записям).
7. Повторная выгрузка изменений по плану обмена.
8. Подмена базы у пользователей.
   ptiz
 
21 - 10.09.18 - 10:34
(0)
Делается так:
- штатной обработкой создаем начальные остатки и записываем документ ввода остатков их на 1 число
- грохаем регистр до 1 числа (либо тупой delete, либо SELECT * INTO #temptable from регистр потом truncate потом INSERT INTO регистр from #temptable, в зависимости от соотношения удаляемых и остающихся записей)
- переводим документ ввода остатков на 31 число
- пересчитываем итоги
   ptiz
 
22 - 10.09.18 - 10:37
Пометка на удаление и удаление документов - отдельная нудная песня: нужно перед пометкой и удалением проверять, все ли движения по ним удалены.
   ILM
 
23 - 10.09.18 - 10:56
(21) Удалять нужно блоками по 30 000 записей чтобы не тормозило.
   timurhv
 
24 - 10.09.18 - 10:58
(23) Вы про прямые запросы? Быстрее будет скопировать в новую таблицу с отбором, грохнуть исходную и переименовать новую.
   ptiz
 
25 - 10.09.18 - 11:08
(23) Заколебешься так ждать удаления 200 млн записей
   ILM
 
26 - 10.09.18 - 13:56
Удалял же, 4 часа работы по всем докам и регистрам.
   timurhv
 
27 - 10.09.18 - 22:18
(26) Это у вас без контроля целостности получается. Если проверять, то + дня 2.
   Naumov
 
28 - 11.09.18 - 00:36
(27) Целостность чего ты там в регистре собрался проверять?
   timurhv
 
29 - 11.09.18 - 11:33
(28) Я как понял, документы тоже прямыми запросами удаляли?!
   1Снег
 
30 - 11.09.18 - 12:11
(0) (20) Ежегодно пользуемся http://catalog.mista.ru/public/139651/
База ~700Gb ужимается до ~50Gb.
Время работы ~16 часов из них большую часть поиск ссылок и удаление помеченных объектов
Стандартной обработкой свертка бы делалась несколько недель
Все в режиме 1 кнопки, а не танцев с бубнами как написали выше
   vis_tmp
 
31 - 11.09.18 - 16:12
(30)Забыл написать, что она платная
   timurhv
 
32 - 11.09.18 - 16:35
(30) Про несколько недель - слишком оптимистично :)
У данной обработки есть недостаток: не переносятся обороты по регистрам в документ корректировки.
Но тех.поддержка вполне адекватна.

(31) Можно свои прямые запросы написать в типовой обработке 1С (по пометке на удаление документов, очистке регистров), а в обработке по ссылке скачать бесплатную версию для более быстрого удаления документов.


Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Рекламное место пустует