![]() |
![]() |
![]() |
|
Проблема при переходе на SQL Ø |
☑ | ||
---|---|---|---|---|
0
khomen
26.08.06
✎
22:10
|
Большая база 4.6 Гб только dbf-ков.
При выгрузке данных получаю сообщение "Ошибка при чтении из архива". Я так понял, что 1С просто не может запаковать 1Cv77.dat(2.4 Гб). Избавился следующим образом. Просто скопировал файл 1Cv77.dat пока 1С-ка его не успела удалить и запаковал его зипом вместе с md-ком. После этого при загрузке в SQL получаю "Ошибка поиска в файле безымянный файл". 1C базу поднимает, но нет всех документов. Win2000, 1C 7.70.025 У кого есть мысли, поделитесь. |
|||
1
alxarz
26.08.06
✎
22:41
|
попробуй в службу поддержки написать...
|
|||
3
bushd
27.08.06
✎
08:20
|
В качестве идеи. Ведь 1С где-то zip берет, и наверное есть zip с поддержкой более 1Гб(не знаю). Может подоткнуть...
|
|||
5
USSR
27.08.06
✎
19:42
|
Да фигня, должна выгружать и загружать, и делает это
|
|||
6
khomen
27.08.06
✎
19:49
|
Должна, но не выгружает. Проблема уже описана, но решение мне не подходит.
http://www.kuban.ru/forum_new/forum9/arhiv/235555.html Посему остается вопрос, как снизить объем 1Cv77.dat(2.4 Гб) до 2 Гб. За счет чего? |
|||
7
Любитель XML
27.08.06
✎
19:50
|
(6) резать базу...
|
|||
8
trdm
27.08.06
✎
19:54
|
(0) Как на счет OLE - экспорта-импорта? Хотя думаю, что по времени это будет просто невозможно, хотя, стоит попробовать....
|
|||
9
trdm
27.08.06
✎
19:55
|
(+7) Устранить дубли справочников, дубли периодики, попробовать убить регистры и перепрвести в скуле (опять облом.....)
|
|||
10
101
27.08.06
✎
19:56
|
перед выгрузкой грохнуть движения регистров (КОПИЮ)
|
|||
11
USSR
27.08.06
✎
19:58
|
(10)Только не движения, а итоги:) они все равно пересчитаются
|
|||
12
Ахмед ибн Фадлан
27.08.06
✎
20:02
|
2(11) А они (итоги) - точно выгружаются?
|
|||
13
USSR
27.08.06
✎
20:04
|
(12)А фиг их знает:)
|
|||
14
khomen
27.08.06
✎
20:05
|
(7) если имеется ввиду архивирование периода, то к сожалению не подходит.
В базе используют планирование на основании прошлых данных. Если бы мог архивировать, не переходил бы на SQL. :( Могу свернуть проводки, но как убрать из документа проводки и оставить движения по регистрам при этом не перепроводя документ? |
|||
15
Любитель XML
27.08.06
✎
20:05
|
Итоги пересчитавыются при загрузке... Так что скорее всего они не выгружаются...
|
|||
16
USSR
27.08.06
✎
20:11
|
(15)Все возможно, но им проще то все выгружать.
Остается написать скрипты и закачать из DBF в скуль, с учетом небольшого различия таблиц:) |
|||
17
Любитель XML
27.08.06
✎
20:13
|
(16) интересно, зачем пересчитывать если итоги выгружаются? Ага, совсем простенький скрипт ;)
|
|||
18
USSR
27.08.06
✎
20:15
|
(17)Ты просто рассуждаешь логично:) я щас проверю:)
|
|||
19
khomen
27.08.06
✎
20:21
|
В какой таблице итоги? 1SBKTTL? Тогда 76 Метров меня не спасет :)
|
|||
20
101
27.08.06
✎
20:32
|
(19) бухия , читай архив , деятель
|
|||
21
USSR
27.08.06
✎
20:42
|
Проверил, итоги регистров не выгружаются, файлы zip байт в байт. Думаю, что и с бухитогами такая же картина. Но при выгрузке после создания dat файла конкретно выдается сообщение "упаковка архива", у тебя доходит до него или раньше слетает?
|
|||
22
khomen
27.08.06
✎
20:47
|
(21) Да, создается zip, в нем md и dat c нулевым размером(пока кнопку не нажмешь :).
|
|||
23
USSR
27.08.06
✎
20:56
|
Как вариант конечно можно убить все документы, перенести без них, чтобы справочники переехали, а потом по OLE доки перести, но это уснуть можно будет. А если чистую базу перенести и поискать скрипты, должны быть, я кажется даже где-то встречал, и залить ими
|
|||
24
trdm
27.08.06
✎
20:57
|
что за конфа? какой докуметооборот?
(16) может прокатить, да получше чем все остальное.... причем генерацию скиптов можно сделать программно... |
|||
25
trdm
27.08.06
✎
20:58
|
(+24) я бы взялся гринов за 400 ))
|
|||
26
DeiMos
27.08.06
✎
21:00
|
Давно бы уже через OLE всё загрузил...
|
|||
27
USSR
27.08.06
✎
21:04
|
(25)За 400 бы и я взялся:)
|
|||
28
trdm
27.08.06
✎
21:12
|
+ на сколько я понимаю база оперативная и переползти надо с 19-00 вчера по 07-00 сегодня. + объем. Хляет только 2 варианта (по времени):
1. подгрузка оперативных остатков для работы (соотв-но их калькуляция в раб база) с ест-но переносом справочников и т.п. + догрузка остальных данных. 2. вариант с переносом токо справочников а потом прямые переброски из таблиц в таблицу. + ну и как вариан попробовать олю + перепроведение. (что отожрет времени немеренно) - этот вариант для выходных.... ++ тестинг совместимости алгоритмов dbf-sql - пройден? все участки адекватно работают??? (27) это прикидка на пальцах. конфу всетаки надо "знать" что-бы цену пристрелять в нормальном режиме.. (26) я лично не уверен что при таком объеме они по оле справятся даже за выходные, хотя могу быть неправ... |
|||
29
USSR
27.08.06
✎
21:26
|
(28)Да еще при проведении могут косяки вылезти, если конфа нетиповая, расползется все на фиг, если логика проведения менялась и от дат не прописана
|
|||
30
khomen
27.08.06
✎
21:57
|
(28) Перепроведение не катит. Месяц - 3 дня, 2 года - считайте.
OLE по той же причине + распределенка, новые базы выгружать? >++ тестинг совместимости алгоритмов dbf-sql - пройден? Что имеется ввиду и как это может повлиять на выгрузку-загрузку? |
|||
31
DeiMos
27.08.06
✎
22:05
|
(30): Имеется в виду то, что запросы (если их писать, как написано в ЖКК и в типовых, а не так, как знаешь по опыту своему...) в 1С-SQL работают не правильно, либо вообще не работают.
|
|||
32
khomen
27.08.06
✎
22:17
|
(30) я выгружаю центральную базу распределенки. В ней практически не работают, так что у меня будет время все проверить. А пока хотя-бы в SQL загрузится.
|
|||
33
trdm
27.08.06
✎
22:36
|
(30)"Перепроведение не катит."
/1С++/ + обработка для перепроведения + реконнектнативе????? |
|||
34
USSR
28.08.06
✎
03:49
|
(30)Всего то 72 дня:) А под SQL еще раз в 5-6 медленнее.
Перенеси базу со справочниками и попробуй залить остальные таблицы с помощью DTS(Data Transformation Services), я правда сам ни разу не пользовался, но по идее должно быть просто. Таблиц конечно много, но за день-два мне кажется можно управиться |
|||
35
Valery
28.08.06
✎
04:07
|
Возможно, бред.
А если попробовать в скуле создать из мд пустую центральную базу. Периферийки по отдельности перевести на скуль. После этого сделать полную выгрузку перифериек. Таким образом можно будет распараллелить процесс (если "железо" позволяет). А не пробовал (0) проверить наличие дискового пространства под временный файл зипа? Может быть он просто не помещается в отведенном месте? |
|||
36
smv
28.08.06
✎
09:38
|
Я переводил на SQL базу размером 8 Гб. Были такие же проблемы.
Переносил комплексную конфигурацию (использовались оперучет и бухгалтерия) на SQL по частям. Делал несколько выгрузок средствами 1С, загружал в разные базы SQL, а потом через DTS объединял в одну базу. Перевод занял 10 часов + 1 день на тестирование. |
|||
37
USSR
28.08.06
✎
09:41
|
(36)Вот думаю примерно так автору и надо поступить, работа кропотливая, но нехитрая
|
|||
38
trdm
28.08.06
✎
11:21
|
(36) А можно подробности узнать?
|
|||
39
USSR
28.08.06
✎
11:25
|
(38)Дык надо просто DTS смотреть, получается просто, несколько баз, структуры таблиц одинаковые, но в каждой что-то есть для общнй. DTS настраивается один в один при одинаковых структурах
|
|||
40
trdm
28.08.06
✎
11:36
|
Да вот как раз к DTS-у у меня пока вопросов нет, там мастер подскажет чего да как. "загружал в разные базы SQL" - вот чего меня смуЩАИТЬ.
|
|||
41
smv
28.08.06
✎
14:46
|
Тестирование показало, что можно без потери данных выгружать базу по частям. Для этого все объекты конфигурации разбил на несколько частей:
1. Эти объекты выгружаются всегда - константы, журналы, справочники, документы (шапки и табличные части); 2. Эти объекты выгружаются по очереди в паре с объектами п.1: 2.1 Проводки 2.2 Регистры Если объем регистров большой, то можно сначала выгрузить одни регистры, затем вторые и т.д., главное, чтобы выгружаемый файл нормально записывался (без сообщений об ошибке). При выгрузке файлы RG*.* не нужны. Я их просто удалял, запускал 1С в монопольном режиме, и программа заново создавала их, но уже пустыми. Чтобы сделать выгрузку отдельных регистров, я удалял ненужные для этой выгрузки файлы RA, нужные оставлял, удалял таблицу проводок. Далее запуск в монопольном режиме -> нужные файлы создаются системой, но уже пустые -> выгрузка из 1С. Подобным образом создается необходимое количество выгрузок. А потом уже загрузка в базы SQL и объединение через DTS. Конечно, сначала надо все оттестировать. |
|||
42
trdm
28.08.06
✎
15:08
|
Ага, идею я ужватил..
Сколько ТИИ времени заняло не помнишь? |
|||
43
smv
28.08.06
✎
15:24
|
Предварительное тестирование - 1 день, дольше придумывал, как все это сделать. После переноса на SQL сверил оборотку, остатки по все регистрам на ТА в развернутом виде (по измерениям). Проверил, проводятся ли документы, нет ли где ошибок при проведении. Вот и все. Это заняло около 2-3 часов.
|
|||
44
trdm
28.08.06
✎
15:27
|
Глазками сверял или обрабатывал чем-то, если чем-то интересует чем...
|
|||
45
smv
28.08.06
✎
15:36
|
ОСВ выгружал в Excel и там сверял по каждой ячейке средствами Excel.
Для регистров написал обработки, выводящие остатки в разрезе измерений на ТА. Аналогично ОСВ, выгружал в Excel и сверял. Только вот сохранение лучше делать в формате HTML, а потом открывать в Excel. Для больших отчетов этот метод самый подходящий. Прямое сохранение отчетов с количеством строк более 1000 в XLS грозит непредвиденным временем окончания сохранения (можешь не дождаться :)). |
|||
46
smv
28.08.06
✎
16:12
|
(42) Время ТИИ не помню точно, за сутки уложился.
|
|||
47
zzz
28.08.06
✎
16:13
|
2(45) http://v8.1c.ru/metod/fileworkshopdownload.htm
втягиваешь mxl сохраняешь как xls 40000 строк примерно за минуту (сегодня ковырялся). |
|||
48
smv
28.08.06
✎
16:24
|
2(47) Спасибо. Полезная вещь.
|
|||
49
zzz
28.08.06
✎
16:26
|
2(48) да уж, freeware от 1С, это почти как анекдот - пока не попробовал, сам не верил :)
|
|||
50
khomen
28.08.06
✎
17:01
|
(35) места достаточно, я готовился :), 1C слетает, если архивный файл(dat) болье 2Гб, проверено не мной
(36)(41) Спасибо за идею. Пока попробую ужаться, не получится - буду пробовать Ваш вариант. |
|||
51
zzz
28.08.06
✎
17:06
|
А проблемы именно при загрузке?
В какой момент? |
|||
52
khomen
28.08.06
✎
17:30
|
(51) проблемы и при выгрузке и при загрузке
При выгрузке не архивируется, избавился как описано в (0), но опять же вопрос, к тому моменту как я скопировал dat он уже полностью сформирован или нет? Дальше проблема при загрузке, загружаются документы Расходная накладная, на 2700 "Ошибка поиска в файле безымянный файл" - очень информативно :) |
|||
53
Светлый
28.08.06
✎
17:44
|
(52) А какой размер у файла DAT в тот самый момент, когда ты его попытался перехватить? Я так донгадываюсь что не возможностях архиватора трабл а в размере текстового файла выгрузки трабл. Ведь из сиквела в офигенным объемом никто даже и не пытается выгружать, а потому и не знамечают этого, имхо. Я тоже не пытался
|
|||
54
Светлый
28.08.06
✎
17:46
|
(+53) что-то совсем коряво текст написал... но смысл, я надеюсь, можно понять :)
|
|||
55
zzz
28.08.06
✎
17:48
|
2(52) ошибка похожа на "битый поток". А в какой момент DAT-файл забираете у выгрузки?
|
|||
56
zzz
28.08.06
✎
17:54
|
55+ и на каком компе идёт загрузка? (ОС, релиз 1С) тот же?
|
|||
57
khomen
28.08.06
✎
18:05
|
Размер у файла 2.4 Гб.
Сообщение "Ошибка при чтении из архива" не закрываю и копирую файл. Судя по строке состояния(ничего там не написано) на этот момент уже все выгружено, но не факт. |
|||
58
khomen
28.08.06
✎
18:13
|
(56) 2xXeon 2.6 2Гб мозгов, Вынь2000, 7.70.025, MS SQL2000
Пробовал и на своей P4 3 1Гб мозгов. А что может из этих параметров влиять на загрузку? |
|||
59
khomen
28.08.06
✎
18:40
|
(57+) Хм,обшибочка, в строке состояния как раз четко написано "Упаковка файла переноса данных"
|
|||
60
zzz
29.08.06
✎
09:45
|
даже и не знаю..
1. а файловая система везде NTFS? может где FAT32 завалялся? Пути без русских букв (в том числе и к TMP)? Короткие? Свободное место (сколько) на системном диске и диске с базой? 2. отключить антивирусняки 3. Может попробовать выгрузить ещё раз? 4. Поверку (ТИИ) DBF база проходит? Другого ничё в голову не приходит, надо руками пробовать. Тут проблемы именно с временным файлом. Надо как-то попытаться уменьшить DAT-файл. А вот ответ тех. поддержки (2 года назад): http://1c.proclub.ru/modules/newbb/viewtopic.php?topic_id=266109&forum=2 |
|||
61
Musette
29.08.06
✎
12:55
|
Для тех, кто в танке (60):
Проблема в размере файла выгрузки 1Cv77.dat. Если этот файл больше 2 Гб, то 1С-кий архиватор не может его запаковать (и распаковать тоже). Ограничение у него такое. Человек в (50) все понял, не сбивайте его с правильного пути! |
|||
62
zzz
29.08.06
✎
13:03
|
2(61) Вау! Истина в последней инстанции! А вы в курсе что 1с МОЖЕТ распаковать и в папке "Uчётотам00000" сначала появляется распакованный файл, потом уже идёт его обработка/загрузка.
Для тех кто бежит рядом с танком процитирую то что в ссылке: --------- если 1Cv77.dat менее 4 Гб, и 1cv7.zip менее 2 Гб, то проблем быть не должно. Если больше, то --------- 2(khomen) Кстати, а в папочке "Uчётотам00000" после разархивирования файл какого размера? Попробуй его подменить перед загрузкой! (база останавливается с вопросом). |
|||
63
Musette
29.08.06
✎
13:15
|
Ага. И в той же ссылке нет ни одного примера удачной загрузки .dat-файла объемом больше 2 Гб (не смотря на официальный ответ хот-лайна о том, что макс. размер 4 Гб).
Допустим, разархивировать может. Но загрузить не сможет, судя по той же ссылке. Так что подмена не подходит. |
|||
64
khomen
29.08.06
✎
20:07
|
(60) Ссылочка интересная, жаль шаманство ни к чему не привело.
(62) Действительно останавливается и в папку UZ000000 распаковывает содержимое zip-a. Но поскольку я предварительно сам-же dat с md и запаковал в zip, то в нем лежит мой dat. :) Менять смысла нет - они идентичны. Отсюда вывод - в (55) Вы правы - dat битый. (61) спасибо за поддержку, не сбиваемся, идем намеченным путем :) |
|||
65
БелСан
29.08.06
✎
21:29
|
(0,32)Используй возможности УРБД!!!
1)Тренироваться на копии 2)Везде ставишь миграция - Место создания 3)Создаешь переферийку 4)Обмен 5)Добавляешь у справочников миграцию - Все ИБ 6)Обмен 7)п.5 для документов 8)Обмен 9)Восстанавливаешь миграцию как в оригинале 10)п.5,7 можно по кусочкам |
|||
66
БелСан
29.08.06
✎
21:31
|
65+Правда придется потом подправить таблички УРБД...
|
|||
67
khomen
29.08.06
✎
21:57
|
(65) с этим способом я уже ознакомился, пригодится потом если нужно периферийку выгрузить, только как его применить в моей ситуации. Мне же центральную надо перенести.
|
|||
68
DeiMos
29.08.06
✎
22:30
|
Через месяц (или на сколько у тебя ещё времени хватит обсуждать эту тему?), когда остановишься на варианте (26) - подними ветку...
"Уходит, тихо офигевая..." ©pit |
|||
69
БелСан
30.08.06
✎
17:55
|
(67) в (66) я имел ввиду сделать из периферийной базы центральную
(в качестве п.11)... |
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |