Имя: Пароль:
1C
 
Проблема при переходе на SQL
Ø
0 khomen
 
26.08.06
22:10
Большая база 4.6 Гб только dbf-ков.
При выгрузке данных получаю сообщение "Ошибка при чтении из архива".
Я так понял, что 1С просто не может запаковать 1Cv77.dat(2.4 Гб).
Избавился следующим образом. Просто скопировал файл 1Cv77.dat пока 1С-ка его не успела удалить и запаковал его зипом вместе с md-ком.
После этого при загрузке в SQL получаю "Ошибка поиска в файле безымянный файл". 1C базу поднимает, но нет всех документов.
Win2000, 1C 7.70.025
У кого есть мысли, поделитесь.
1 alxarz
 
26.08.06
22:41
попробуй в службу поддержки написать...
3 bushd
 
27.08.06
08:20
В качестве идеи. Ведь 1С где-то zip берет, и наверное есть zip с поддержкой более 1Гб(не знаю). Может подоткнуть...
5 USSR
 
27.08.06
19:42
Да фигня, должна выгружать и загружать, и делает это
6 khomen
 
27.08.06
19:49
Должна, но не выгружает. Проблема уже описана, но решение мне не подходит.
http://www.kuban.ru/forum_new/forum9/arhiv/235555.html
Посему остается вопрос, как снизить объем 1Cv77.dat(2.4 Гб) до 2 Гб. За счет чего?
7 Любитель XML
 
27.08.06
19:50
(6) резать базу...
8 trdm
 
27.08.06
19:54
(0) Как на счет OLE - экспорта-импорта? Хотя думаю, что по времени это будет просто невозможно, хотя, стоит попробовать....
9 trdm
 
27.08.06
19:55
(+7) Устранить дубли справочников, дубли периодики, попробовать убить регистры и перепрвести в скуле (опять облом.....)
10 101
 
27.08.06
19:56
перед выгрузкой грохнуть движения регистров (КОПИЮ)
11 USSR
 
27.08.06
19:58
(10)Только не движения, а итоги:) они все равно пересчитаются
12 Ахмед ибн Фадлан
 
27.08.06
20:02
2(11) А они (итоги) - точно выгружаются?
13 USSR
 
27.08.06
20:04
(12)А фиг их знает:)
14 khomen
 
27.08.06
20:05
(7) если имеется ввиду архивирование периода, то к сожалению не подходит.
В базе используют планирование на основании прошлых данных. Если бы мог архивировать, не переходил бы на SQL. :(
Могу свернуть проводки, но как убрать из документа проводки и оставить движения по регистрам при этом не перепроводя документ?
15 Любитель XML
 
27.08.06
20:05
Итоги пересчитавыются при загрузке... Так что скорее всего они не выгружаются...
16 USSR
 
27.08.06
20:11
(15)Все возможно, но им проще то все выгружать.
Остается написать скрипты и закачать из DBF в скуль, с учетом небольшого различия таблиц:)
17 Любитель XML
 
27.08.06
20:13
(16) интересно, зачем пересчитывать если итоги выгружаются? Ага, совсем простенький скрипт ;)
18 USSR
 
27.08.06
20:15
(17)Ты просто рассуждаешь логично:) я щас проверю:)
19 khomen
 
27.08.06
20:21
В какой таблице итоги? 1SBKTTL? Тогда 76 Метров меня не спасет :)
20 101
 
27.08.06
20:32
(19) бухия , читай архив , деятель
21 USSR
 
27.08.06
20:42
Проверил, итоги регистров не выгружаются, файлы zip байт в байт. Думаю, что и с бухитогами такая же картина. Но при выгрузке после создания dat файла конкретно выдается сообщение "упаковка архива", у тебя доходит до него или раньше слетает?
22 khomen
 
27.08.06
20:47
(21) Да, создается zip, в нем md и dat c нулевым размером(пока кнопку не нажмешь :).
23 USSR
 
27.08.06
20:56
Как вариант конечно можно убить все документы, перенести без них, чтобы справочники переехали, а потом по OLE доки перести, но это уснуть можно будет. А если чистую базу перенести и поискать скрипты, должны быть, я кажется даже где-то встречал, и залить ими
24 trdm
 
27.08.06
20:57
что за конфа? какой докуметооборот?
(16) может прокатить, да получше чем все остальное....
причем генерацию скиптов можно сделать программно...
25 trdm
 
27.08.06
20:58
(+24) я бы взялся гринов за 400 ))
26 DeiMos
 
27.08.06
21:00
Давно бы уже через OLE всё загрузил...
27 USSR
 
27.08.06
21:04
(25)За 400 бы и я взялся:)
28 trdm
 
27.08.06
21:12
+ на сколько я понимаю база оперативная и переползти надо с 19-00 вчера по 07-00 сегодня. + объем. Хляет только 2 варианта (по времени):
1. подгрузка оперативных остатков для работы (соотв-но их калькуляция в раб база) с ест-но переносом справочников и т.п. + догрузка остальных данных.
2. вариант с переносом токо справочников а потом прямые переброски из таблиц в таблицу.
+ ну и как вариан попробовать олю + перепроведение. (что отожрет времени немеренно) - этот вариант для выходных....
++ тестинг совместимости алгоритмов dbf-sql - пройден? все участки адекватно работают???
(27) это прикидка на пальцах. конфу всетаки надо "знать" что-бы цену пристрелять в нормальном режиме..
(26) я лично не уверен что при таком объеме они по оле справятся даже за выходные, хотя могу быть неправ...
29 USSR
 
27.08.06
21:26
(28)Да еще при проведении могут косяки вылезти, если конфа нетиповая, расползется все на фиг, если логика проведения менялась и от дат не прописана
30 khomen
 
27.08.06
21:57
(28) Перепроведение не катит. Месяц - 3 дня, 2 года - считайте.
OLE по той же причине + распределенка, новые базы выгружать?
>++ тестинг совместимости алгоритмов dbf-sql - пройден?
Что имеется ввиду и как это может повлиять на выгрузку-загрузку?
31 DeiMos
 
27.08.06
22:05
(30): Имеется в виду то, что запросы (если их писать, как написано в ЖКК и в типовых, а не так, как знаешь по опыту своему...) в 1С-SQL работают не правильно, либо вообще не работают.
32 khomen
 
27.08.06
22:17
(30) я выгружаю центральную базу распределенки. В ней практически не работают, так что у меня будет время все проверить. А пока хотя-бы в SQL загрузится.
33 trdm
 
27.08.06
22:36
(30)"Перепроведение не катит."
/1С++/ + обработка для перепроведения + реконнектнативе?????
34 USSR
 
28.08.06
03:49
(30)Всего то 72 дня:) А под SQL еще раз в 5-6 медленнее.
Перенеси базу со справочниками и попробуй залить остальные таблицы с помощью DTS(Data Transformation Services), я правда сам ни разу не пользовался, но по идее должно быть просто. Таблиц конечно много, но за день-два мне кажется можно управиться
35 Valery
 
28.08.06
04:07
Возможно, бред.
А если попробовать в скуле создать из мд пустую центральную базу. Периферийки по отдельности перевести на скуль. После этого сделать полную выгрузку перифериек. Таким образом можно будет распараллелить процесс (если "железо" позволяет).
А не пробовал (0) проверить наличие дискового пространства под временный файл зипа? Может быть он просто не помещается в отведенном месте?
36 smv
 
28.08.06
09:38
Я переводил на SQL базу размером 8 Гб. Были такие же проблемы.
Переносил комплексную конфигурацию (использовались оперучет и бухгалтерия) на SQL по частям. Делал несколько выгрузок средствами 1С, загружал в разные базы SQL, а потом через DTS объединял в одну базу. Перевод занял 10 часов + 1 день на тестирование.
37 USSR
 
28.08.06
09:41
(36)Вот думаю примерно так автору и надо поступить, работа кропотливая, но нехитрая
38 trdm
 
28.08.06
11:21
(36) А можно подробности узнать?
39 USSR
 
28.08.06
11:25
(38)Дык надо просто DTS смотреть, получается просто, несколько баз, структуры таблиц одинаковые, но в каждой что-то есть для общнй. DTS настраивается один в один при одинаковых структурах
40 trdm
 
28.08.06
11:36
Да вот как раз к DTS-у у меня пока вопросов нет, там мастер подскажет чего да как. "загружал в разные базы SQL" - вот чего меня смуЩАИТЬ.
41 smv
 
28.08.06
14:46
Тестирование показало, что можно без потери данных выгружать базу по частям. Для этого все объекты конфигурации разбил на несколько частей:
1. Эти объекты выгружаются всегда - константы, журналы, справочники, документы (шапки и табличные части);
2. Эти объекты выгружаются по очереди в паре с объектами п.1:
  2.1 Проводки
  2.2 Регистры
Если объем регистров большой, то можно сначала выгрузить одни регистры, затем вторые и т.д., главное, чтобы выгружаемый файл нормально записывался (без сообщений об ошибке). При выгрузке файлы RG*.* не нужны. Я их просто удалял, запускал 1С в монопольном режиме, и программа заново создавала их, но уже пустыми. Чтобы сделать выгрузку отдельных регистров, я удалял ненужные для этой выгрузки файлы RA, нужные оставлял, удалял таблицу проводок. Далее запуск в монопольном режиме -> нужные файлы создаются системой, но уже пустые -> выгрузка из 1С. Подобным образом создается необходимое количество выгрузок. А потом уже загрузка в базы SQL и объединение через DTS.
Конечно, сначала надо все оттестировать.
42 trdm
 
28.08.06
15:08
Ага, идею я ужватил..
Сколько ТИИ времени заняло не помнишь?
43 smv
 
28.08.06
15:24
Предварительное тестирование - 1 день, дольше придумывал, как все это сделать. После переноса на SQL сверил оборотку, остатки по все регистрам на ТА в развернутом виде (по измерениям). Проверил, проводятся ли документы, нет ли где ошибок при проведении. Вот и все. Это заняло около 2-3 часов.
44 trdm
 
28.08.06
15:27
Глазками сверял или обрабатывал чем-то, если чем-то интересует чем...
45 smv
 
28.08.06
15:36
ОСВ выгружал в Excel и там сверял по каждой ячейке средствами Excel.
Для регистров написал обработки, выводящие остатки в разрезе измерений на ТА. Аналогично ОСВ, выгружал в Excel и сверял. Только вот сохранение лучше делать в формате HTML, а потом открывать в Excel. Для больших отчетов этот метод самый подходящий. Прямое сохранение отчетов с количеством строк более 1000 в XLS грозит непредвиденным временем окончания сохранения (можешь не дождаться :)).
46 smv
 
28.08.06
16:12
(42) Время ТИИ не помню точно, за сутки уложился.
47 zzz
 
28.08.06
16:13
2(45) http://v8.1c.ru/metod/fileworkshopdownload.htm
втягиваешь mxl сохраняешь как xls
40000 строк примерно за минуту (сегодня ковырялся).
48 smv
 
28.08.06
16:24
2(47) Спасибо. Полезная вещь.
49 zzz
 
28.08.06
16:26
2(48) да уж, freeware от 1С, это почти как анекдот - пока не попробовал, сам не верил :)
50 khomen
 
28.08.06
17:01
(35) места достаточно, я готовился :), 1C слетает, если архивный файл(dat) болье 2Гб, проверено не мной
(36)(41) Спасибо за идею. Пока попробую ужаться, не получится - буду пробовать Ваш вариант.
51 zzz
 
28.08.06
17:06
А проблемы именно при загрузке?
В какой момент?
52 khomen
 
28.08.06
17:30
(51) проблемы и при выгрузке и при загрузке
При выгрузке не архивируется, избавился как описано в (0), но опять же вопрос, к тому моменту как я скопировал dat он уже полностью сформирован или нет?
Дальше проблема при загрузке, загружаются документы Расходная накладная, на 2700 "Ошибка поиска в файле безымянный файл" - очень информативно :)
53 Светлый
 
28.08.06
17:44
(52) А какой размер у файла DAT в тот самый момент, когда ты его попытался перехватить? Я так донгадываюсь что не возможностях архиватора трабл а в размере текстового файла выгрузки трабл. Ведь из сиквела в офигенным объемом никто даже и не пытается выгружать, а потому и не знамечают этого, имхо. Я тоже не пытался
54 Светлый
 
28.08.06
17:46
(+53) что-то совсем коряво текст написал... но смысл, я надеюсь, можно понять :)
55 zzz
 
28.08.06
17:48
2(52) ошибка похожа на "битый поток". А в какой момент DAT-файл забираете у выгрузки?
56 zzz
 
28.08.06
17:54
55+ и на каком компе идёт загрузка? (ОС, релиз 1С) тот же?
57 khomen
 
28.08.06
18:05
Размер у файла 2.4 Гб.
Сообщение "Ошибка при чтении из архива" не закрываю и копирую файл. Судя по строке состояния(ничего там не написано) на этот момент уже все выгружено, но не факт.
58 khomen
 
28.08.06
18:13
(56) 2xXeon 2.6 2Гб мозгов, Вынь2000, 7.70.025, MS SQL2000
Пробовал и на своей P4 3 1Гб мозгов.
А что может из этих параметров влиять на загрузку?
59 khomen
 
28.08.06
18:40
(57+) Хм,обшибочка, в строке состояния как раз четко написано "Упаковка файла переноса данных"
60 zzz
 
29.08.06
09:45
даже и не знаю..
1. а файловая система везде NTFS? может где FAT32 завалялся? Пути без русских букв (в том числе и к TMP)? Короткие? Свободное место (сколько) на системном диске и диске с базой?
2. отключить антивирусняки
3. Может попробовать выгрузить ещё раз?
4. Поверку (ТИИ) DBF база проходит?
Другого ничё в голову не приходит, надо руками пробовать. Тут проблемы именно с временным файлом. Надо как-то попытаться уменьшить DAT-файл.
 
А вот ответ тех. поддержки (2 года назад):
http://1c.proclub.ru/modules/newbb/viewtopic.php?topic_id=266109&forum=2
61 Musette
 
29.08.06
12:55
Для тех, кто в танке (60):
Проблема в размере файла выгрузки 1Cv77.dat. Если этот файл больше 2 Гб, то 1С-кий архиватор не может его запаковать (и распаковать тоже). Ограничение у него такое.
Человек в (50) все понял, не сбивайте его с правильного пути!
62 zzz
 
29.08.06
13:03
2(61) Вау! Истина в последней инстанции! А вы в курсе что 1с МОЖЕТ распаковать и в папке "Uчётотам00000" сначала появляется распакованный файл, потом уже идёт его обработка/загрузка.
Для тех кто бежит рядом с танком процитирую то что в ссылке:
---------
 если 1Cv77.dat менее 4 Гб, и 1cv7.zip менее 2 Гб, то проблем быть не должно. Если больше, то
---------
 
2(khomen) Кстати, а в папочке "Uчётотам00000" после разархивирования файл какого размера? Попробуй его подменить перед загрузкой! (база останавливается с вопросом).
63 Musette
 
29.08.06
13:15
Ага. И в той же ссылке нет ни одного примера удачной загрузки .dat-файла объемом больше 2 Гб (не смотря на официальный ответ хот-лайна о том, что макс. размер 4 Гб).
Допустим, разархивировать может. Но загрузить не сможет, судя по той же ссылке. Так что подмена не подходит.
64 khomen
 
29.08.06
20:07
(60) Ссылочка интересная, жаль шаманство ни к чему не привело.
(62) Действительно останавливается и в папку UZ000000 распаковывает содержимое zip-a. Но поскольку я предварительно сам-же dat с md и запаковал в zip, то в нем лежит мой dat. :) Менять смысла нет - они идентичны.
Отсюда вывод - в (55) Вы правы - dat битый.
(61) спасибо за поддержку, не сбиваемся, идем намеченным путем :)
65 БелСан
 
29.08.06
21:29
(0,32)Используй возможности УРБД!!!
1)Тренироваться на копии
2)Везде ставишь миграция - Место создания
3)Создаешь переферийку
4)Обмен
5)Добавляешь у справочников миграцию - Все ИБ
6)Обмен
7)п.5 для документов
8)Обмен
9)Восстанавливаешь миграцию как в оригинале
10)п.5,7 можно по кусочкам
66 БелСан
 
29.08.06
21:31
65+Правда придется потом подправить таблички УРБД...
67 khomen
 
29.08.06
21:57
(65) с этим способом я уже ознакомился, пригодится потом если нужно периферийку выгрузить, только как его применить в моей ситуации. Мне же центральную надо перенести.
68 DeiMos
 
29.08.06
22:30
Через месяц (или на сколько у тебя ещё времени хватит обсуждать эту тему?), когда остановишься на варианте (26) - подними ветку...
 
"Уходит, тихо офигевая..." ©pit
69 БелСан
 
30.08.06
17:55
(67) в (66) я имел ввиду сделать из периферийной базы центральную
(в качестве п.11)...
Независимо от того, куда вы едете — это в гору и против ветра!