Механизмы платформенной сериализации

​Коллеги, всем привет! Это будет пост для размышления и обсуждения следующей проблемы. Мне не нравятся существующий стек технологий интеграции между 1С. Ни XML/JSON/свойTXT. Ни COM не нравится. Разве что веб-сервисы. Но интересуют именно коробочные, нативные решения. А вот почему. Я являюсь разработчиком на J2EE в нагрузку к 1С и там есть такая технология - встроенная сериализация в binary-формате. Почему 1С не сделает такой? Вот ежли брать классические текстовые форматы - они очень много весят. До упаковки в zip. И долго разбираются парсером. Каждый день ввиду специфики приходится грузить в базу 80Гб xml. Он грузится в 16 фоновых заданий и занимает процесс все равно около 1-1,5 часа. А вот такая проблема - я использую свою систему версионирования. Для хранения ссылок используется метод ЗначениеВСтрокуВнутр(); так как это поле нужно для поиска - оно индексируемое, а лимит на строковый индекс - 442 символа, а бывают отборы на 900 и более строк. Ок, для быстрого поиска я юзаю хэш-ключи, удобно многомерные сущности создавать, эти механизмы ускорили проведение расчета себестоимости с 30 до 5 минут. Но у хэша есть обратная проблема - из жэша нельзя получить искомые сущности. Так вот вопрос: как придумать свою компактную систему сериализации, чтобы быстро работала и весила не много. Может есть готовые советы. FastInfoSet не предлагать. Делал через поток в памяти скрестить с zip архиватором, но там не обойтись без вывода в файл, а нужен быстрый способ чтения/записи, без временных файлов. Какие есть варианты?

Сериализация в binary-формате - это обертка объктная на дамп из оперативной памяти.

Хочу шаред мемори в 1С. Или именованные каналы:)

(4) Да-к и об чем речь. Какими костылями это можно исправить?)

(5) Это нормальная механизма, но она не бинарная. И тяжеловесная...

(5) Я актвино сериализацию xdto юзаю. Нужен формат - типа вот такой текст, но в зип-обертке. Чтобы весил в раза три меньше. И быстро платформой отрабатывался.

(8) Как ты понимаешь
"Так время уходит на передачу этих гигов платйорме 1С, на собственно парсинг платформой строки XML или же, все-таки, на применение полученной из XML информации?" на все вместе вязтое. Но передача файлов и их запись сущий пустяк, потому что передача идет по Тб каналу, временные файлы распаковываются в ZIP, а на период записи выключаются итоги. Вот именно сам парсинг - слабое место.

(11) Не надо меня учить:) И умничать тоже не прошу:) А это уже тонкий намек на то, что кто-то где-то не прав.

(13) Я бы с вами поспорил на месте и послушал ваши аргументы, но сейчас дело не в этом. Хотя я бы не прочь ускорить эти процедуры. А предваряя все вопросы - у нас ФИФО и каждый день база проводится за целый квартал, а это порядка 30000 документов. Как ты понимаешь, база каждый день в идеальном состоянии и не мешает никому работать. Так как в рабочем режиме ты базу не восстановишь по партиям. Ваши аргументы?

(14) В этом месте я его не юзаю. Да и практической пользы никакой, ибо при конвертации HEX строку UTF становится больше раза в 1.5-2

(16) Это очень тонкие правила обмена, мсье.

(18) На нем много уже что реализовано, именно ищется что-то на уровне платформы. Идеальный вариант - это двоичные данные из ЗИП, но перегонка туда-сюда жрет много ЦП.

(20) Низя не проводить:) Я бы рад, но задача поставлена и она решена. И очень я считаю красиво.

(23) О, хэджехог. Дай плиз ссыль на свою поделку, что у окна конфигуратора имя меняет. Все хотел спросить. Я сделал, но на коленке, у тебя лучше)

(24) Это ад-хок решение будет, а нужны универсальные костыли.

(25) У тебя какая-то ферма, а не сервер для 1С:) А если его в ДОМ-развернуть?) Управится за 2-3 минуты?

(30) ХранилищеЗначения в запросах не работает. Хотя в новой платформе уже что-то реализовали. Нужна именно приведенная к HEX-строке вида 0x1234567890ABCDEF

(29) Сорян, обознался.

(36) А мне и не нужно чтобы работало. Как хранить ключ записи в котором 10 регистров и длина более 900 символов? И при этом индексируемое чтобы было. Не, оно хранится без проблем. Да только места жрет. Идеально в виде бинарной строки фиксированного размера, как хэш-сумма.

(38) *10 измерений на отборе

(37) Задача этот бинарник привести к HEX строке. Но после HEXСтрокаИзДвиочныхДанных эта строка становится еще больше. Нужен сжатый формат хранения строк, которые потмо можно десериализовать.

(42) Все верно, но не лучше ли заставить работать zip архиватор? Короче, переформулирую: как строку закодировать в строку, чтобы она была короче исходной и подвергалась десериализации?

(44) Не вопрос. Есть предположение, что это будет работать очень универсально и быстро?

(41) Вот, у меня такая функция есть для кодирования в хэш

Функция ПолучитьХэш(МассивОбъектов, Знач Метод = "ХешФункция.SHA256", Знач БинарныйФормат = Истина) Экспорт
    Перем ДД, ДДСтрокой;
    Ф = ?(ТипЗнч(Метод) = Тип("Строка"), ПредопределенноеЗначение(Метод), Метод);
    
    Если Не ТипЗнч(МассивОбъектов) = Тип("Массив") Тогда
        ЛокМассив = Новый Массив;
        ЛокМассив.Добавить(МассивОбъектов);
    КонецЕсли;
    ФОбъекты = Новый ФиксированныйМассив(МассивОбъектов);
    
    ПростыеТипы = Новый ОписаниеТипов("Строка,Число,Булево,Дата");
    
    СсылочныеТипы = Новый ОписаниеТипов(Документы.ТипВсеСсылки(), Справочники.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, Перечисления.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, ПланыВидовХарактеристик.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, ПланыСчетов.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, ПланыВидовРасчета.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, БизнесПроцессы.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, БизнесПроцессы.ТипВсеСсылкиТочекМаршрутаБизнесПроцессов().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, Задачи.ТипВсеСсылки().Типы());
    СсылочныеТипы = Новый ОписаниеТипов(СсылочныеТипы, ПланыОбмена.ТипВсеСсылки().Типы());
    
    Хеширование = Новый ХешированиеДанных(Ф);
    
    Получатели = Новый Массив;
    Получатели.Добавить("XMLСтрока(Эл)");
    Получатели.Добавить("СокращенноДанныеИнформационнойБазыСтрокой(Эл)");
    Получатели.Добавить("ДанныеИнформационнойБазыСтрокой(Эл)");
    Кейс = Новый ФиксированныйМассив(Получатели);
    
    Для Каждого Эл Из ФОбъекты Цикл
        
        Флаг = ЧислоИзДвоичнойСтроки("0b" + ПолучитьФлаг(Не ПростыеТипы.СодержитТип(ТипЗнч(Эл))) + 
                ПолучитьФлаг(Не СсылочныеТипы.СодержитТип(ТипЗнч(Эл))))-1;
                
        ТекстовыйИД = Вычислить(Получатели[Флаг]);
        
        Хеширование.Добавить(ТекстовыйИД);            
                
    КонецЦикла;
    
    Если Ф = ХешФункция.CRC32 Тогда
        Буф = Новый БуферДвоичныхДанных(8);
        Буф.ЗаписатьЦелое64(0, Хеширование.ХешСумма);
        ДД = ПолучитьДвоичныеДанныеИзБуфераДвоичныхДанных(Буф);
    Иначе
        ДД = Хеширование.ХешСумма;
    КонецЕсли;
    
    Если Не БинарныйФормат Тогда
        ДДСтрокой = ПолучитьHexСтрокуИзДвоичныхДанных(ДД);
    КонецЕсли;
    
    Возврат ?(БинарныйФормат, ДД, ДДСтрокой);
    
КонецФункции

(51) Только начиная с 16 поддержка UTF реализована

(53) Смотри, есть такой пример. Ключ регистра в значении стр внутр:
{"#",767bf336-1fa8-4283-be31-fee83ee3c286,{2,{"D",00010101000000},0:00000000000000000000000000000000,2,{"#",a86305d7-b8a1-4312-901f-2ade3efdb351,135:911aee3a33f0f6be4ac5d0f44f4481f9},{"#",39cb59ea-9735-433b-bf1d-8eb9e4b96cc0,153:8ad2005056920edd11deebd9d3a8033e},0,0}}

270 символов

потом его переводим в бин-данные:

ДД = ПолучитьДвоичныеДанныеИзСтроки(СтрокаКлючи);
Выход = Base64Строка(ДД)

На выходе вот это

eyIjIiw3NjdiZjMzNi0xZmE4LTQyODMtYmUzMS1mZWU4M2VlM2MyODYsezIseyJE
IiwwMDAxMDEwMTAwMDAwMH0sMDowMDAwMDAwMDAwMDAwMDAwMDAwMDAwMDAwMDAw
MDAwMCwyLHsiIyIsYTg2MzA1ZDctYjhhMS00MzEyLTkwMWYtMmFkZTNlZmRiMzUx
LDEzNTo5MTFhZWUzYTMzZjBmNmJlNGFjNWQwZjQ0ZjQ0ODFmOX0seyIjIiwzOWNi
NTllYS05NzM1LTQzM2ItYmYxZC04ZWI5ZTRiOTZjYzAsMTUzOjhhZDIwMDUwNTY5
MjBlZGQxMWRlZWJkOWQzYTgwMzNlfSwwLDB9fQoK

(370 символов) еще больше стало... Но идея у меня была такая же, надо отсюда копать.

(55) Как, расскажи. Вот ищу тебя, друг!

(57)

Хранилище = Новый ХранилищеЗначения(Стр, Новый СжатиеДанных(9)); 

Выход = ТиповыеОтчеты.СериализоватьОбъектXDTO(Хранилище);

Возвращает еще больше строк чем было)) Уж лучше не сериализовать, ибо это тот же бейс64
<ValueStorage xmlns="http://v8.1c.ru/8.1/data/core"; xmlns:xs="http://www.w3.org/2001/XMLSchema"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">AgFTS2/0iI3BTqDV67a9oKcN7ZDBTQUxDEQRxy/9JsI1luw4ycbLlQ6oII6dJlZb
GYdfEi0QVuKGRAM8+ziekef1+eni8+NxhPcQwxHCSwhxq5tO5go0e4OcGoM6E0z3
xu48UqvxSHHJ35YcEemaizPijn8Qr9vvqN4qY7ENtHWCzJRAkCakbs4+TblQJC67
EPUV3Zknzqqe+yiGM+e1jaacP44sQ4t4B9m4LEdW0EkGzVU8q9QxMFLhvXVLiAVL
lYRuRmTuamLcGzL7eiTied5v99t/L7/3Es4v</ValueStorage>

(56) Представляю теперь потери на запуск стороннего процесса чтобы 100 символов засунуть в архив.

Уж проще переписать функцию архивирования на 1С:)))

(61) Да, идеальный вариант - это хэширование. Но это процесс одностороний... Почему я про зип заговорил, потому как 80Гб файл текста превращается в 100Мб, так как тест очень сильно архивируется. У него избыточность большая.

(62) Я говорил о сериализации и десериализации.

(65) Не знаю как там у них, а у меня вопрос вполне понятен.
Как сжимать строки не теряя строковой сути?

(66) Смотри, есть специальный регистр по версиям. Он в отдельной базе. Он умеет хранить спарвочники, документы и независимые регистры сведений, всю историю. У необъектных сущностей используются ключи, которые состоят из отборов. При сериализации ключ может занимать очень много места, более 900 символов. Хочу сократить это (сейчас строка дробится на две части, 442 символа и все остальное).
И вторая цель - небольшие кусочки данных в прикладном коде использовать в своем формате. Для большого файла это удобно, а для маленьких операций очень затратно открывать zip архиватор.

(69) Нет, так как там сделано все на третьей нормальной форме на уровне SQL-я.

(71) Да, я пользуюсь его инструментами разработчика, крутая штукенция. Там внутри можно хватить удар:) Но сериализация там у него стандартная. Зип+XDTO

(73) ДА!

(73) Почему я так хочу - да потому что zip даже на 400 символов потом весит в пять раз меньше. Но файловую систему использовать для этого кощунственно - у меня кластер по 64Кб. Каждый файл на 10 байт - это минус 64Кб.

(75) Да это я взял лимит на индекс в байтах в SQL. В идеале нужна другая сериализация. Самый простой вариант - упакованная XML строка в двоичный данные и потом в виде HEX строки хранимая)

(78) Ну zip же может текст и без потерь сжимать. По крайней мере на практике не разу не бывало чтоб xml из zip не прочитался.

(82) Да.

(82) Я пытался потоки прикрутить 1С, но там на выход только можно поток, на вход нельзя.

(82) ЗаписьZipФайла (ZipFileWriter)
Методы:

Добавить (Add)

Записать (Write)
Открыть (Open)
ПолучитьДвоичныеДанные (GetBinaryData) <================= вот это

Конструкторы:

На основании имени файла

На основании потока
Формирование неинициализированного объекта

Описание:

Предназначен для записи в ZIP-архив.

Доступность:

Тонкий клиент, сервер, толстый клиент, внешнее соединение.

-----------------

Можно кончено и через средства ОС запускать zip, но это не принесет особого эффекта на небольших операциях, очевидно.

(88) Тут есть подвох:

ПолучитьДвоичныеДанные(<Пароль>, <Комментарий>, <МетодСжатия>, <УровеньСжатия>, <МетодШифрования>)
Параметры:

<Пароль> (необязательный)

Тип: Строка.
Пароль, который будет назначен архиву.
Если пароль не назначен или является пустой строкой, то шифрование не происходит.

<Комментарий> (необязательный)

Тип: Строка. 
Комментарий, описывающий ZIP-файл. 
<МетодСжатия> (необязательный)

Тип: МетодСжатияZIP. 

Метод сжатия, которым будет сжиматься архив.

Значение по умолчанию: Сжатие. 
<УровеньСжатия> (необязательный)

Тип: УровеньСжатияZIP. 

Уровень сжатия данных.

Значение по умолчанию: Оптимальный. 
<МетодШифрования> (необязательный)

Тип: МетодШифрованияZIP. 

Метод шифрования, которым будет зашифрован архив.
Значение по умолчанию: Zip20.
Возвращаемое значение:

Тип: ДвоичныеДанные.

Описание:

Получает ZIP-архив в виде двоичных данных и закрывает файл.
При использовании данного метода объект ЗаписьZipФайла должен быть создан с помощью конструктора без параметров. <=========================
При этом открывать архив явно с помощью метода Открыть не требуется.
При завершении работы данный метод закрывает архив, аналогично методу Записать.

(89) Да, я.

(91) А как ты историю по регистру будешь смотреть? Час сидеть, ждать SEEk LOOP когда выполнится? Напоминаю, база с версионированием - одна таблица более 100Гб. Там миллиард строк.

(91) Можно и не писать, для этого есть хэширование. Но хэш ты потом не загрузишь в другую базу.

(94) Очень. Все этим пользуются, без него никак. А на ссылку там стоит строка или ЗначениеВСтрокуВнутр()

(95) на миллиарде записей нужно полминуты иногда ждать отклика. Но отчет точечный работает быстро. Только по ссылочной сущности.

Почему я хочу такое - да потому что у JVM есть и работает это круто. .bin выгрузка занимает десяток-другой байт. Это не прожорливый xml. И потом его можно на другой виртуальной машине распаковать.