Вход | Регистрация

  1  2  3  4  5   

Загрузить в 1С файл 15 000 000 товаров CSV

Загрузить в 1С файл 15 000 000 товаров CSV
Я
   Maniac
 
13.11.18 - 20:12
Как думаете возможно?
Размер файла 1 гигабайт.
Клиенту очень нужно.....
 
 
   МаленькийВопросик
 
101 - 13.11.18 - 21:14
(99) по-моему не влезет - хотя не знаю точно
   МаленькийВопросик
 
102 - 13.11.18 - 21:16
(100) там нет bulk, нужно делать COMMIT
   d4rkmesa
 
103 - 13.11.18 - 21:18
(100) SQL-lite довольно шустро импортирует csv. По крайней мере база недействительных паспортов где-то минут за 10 примерно зашла туда. Примерно столько же индекс создавался.
   d4rkmesa
 
104 - 13.11.18 - 21:22
А так, я бы, наверное, решил вопрос в ms sql(если клиент-сервер) через bcp и регистр сведений. Если лениво, можно посмотреть конкретную реализацию:
http://catalog.mista.ru/public/238160/
   Maniac
 
105 - 13.11.18 - 21:30
я отказал заказчику даже не только по причине загона в 1С это было бы очень примитивно.... но я потом подумал как он будет там цены ставить.... запросы крутить... документы переоценок делать... дад тупо цены поставщика загонять....

короче простотоценил дальнейшую даже примитивную работу... и понял что если я даже загоню ему жтов 1С и даже создам и дальнейшую синхронизацию обеспечу.... и он конечно же заплатит деньжат....

но потом любая дальнейшая работа с  этим просто ляжет.....
и вот именно пожтому я ему сразу написал...сори но яне продам вам мой продукт... я слишком тупой.
   Maniac
 
106 - 13.11.18 - 21:30
1С ник....
   Кирпич
 
107 - 13.11.18 - 21:32
(105) Так база на sql или нет?
   МаленькийВопросик
 
108 - 13.11.18 - 21:32
(106) ну раз отказал, выкладывай справочник здесь - посмотрим
   МаленькийВопросик
 
109 - 13.11.18 - 21:33
(107) я думаю, если заказчик обращается на аутсорс с подобными вопросами врятли у него скл база.... для него 1с - это программа - как ворд скорее всего
   Кирпич
 
110 - 13.11.18 - 21:33
(105) "я слишком тупой."
эта ветка выдает тебя с потрохами :))
 
 Рекламное место пустует
   Злопчинский
 
111 - 13.11.18 - 21:34
(81) Гиг данных это вроде в старыъ экспрессах было. В последних вроде 4Г
   tesseract
 
112 - 13.11.18 - 21:36
(105) Правильно - не фиг иметь дело с людьми, которые хотят странного. Задача-то решабельная, просто без задатка в 2М смысла нет конопатиться.
   Maniac
 
113 - 13.11.18 - 21:36
(107) нет еще никакой базы. чел тока хочет на 1С подсесть
   Кирпич
 
114 - 13.11.18 - 21:36
(105) Тупым быть выгодно. Умный давно бы всё сделал, взял свои 10 тыр и забыл. Зато тупой будет два месяца тупить и клиент ему будет два месяца платить.
   Кирпич
 
115 - 13.11.18 - 21:37
(113) Ну так скажи клиенту, что надо сервер покупать, мол на файловой не потянет и сё такое.
   Maniac
 
116 - 13.11.18 - 21:38
(110) не каждый умный это сделает
https://youtu.be/IxBhmTTky3g
   Maniac
 
117 - 13.11.18 - 21:38
(112)) в точку!!!!! приходят всякие думают что за 15тыщ....
   Кирпич
 
118 - 13.11.18 - 21:40
(116) Умным такое не интересно.
   Maniac
 
119 - 13.11.18 - 21:41
(118) ну и слава богу!
   Кирпич
 
120 - 13.11.18 - 21:44
В 1с конечно тоже артисты. Давно бы уже какой нибудь BULK придумали. Это же совершенно необходимая вещь.
   Кирпич
 
121 - 13.11.18 - 21:46
+(120) Когда нибудь сделают и маньякины прайсы начнут загружаться в 100 раз быстрее. Вот деньги потекут то.
   tesseract
 
122 - 13.11.18 - 21:46
(116) Ну да чего с каждого по 10к. Один раз внедрил консолидацию и свободен на квартал.  А то еще узнает каждый, что такая обработка в комплекте с УТ идет.

(120) Сейчас набегут апологеты ACID и постучат тебе тяжелыми книжками по голове.
   Aleksey
 
123 - 13.11.18 - 21:47
(120) они не осилили выгрузку в типовых в csv из коробки. А что ты от них хочешь это вообще космос для них
   Maniac
 
124 - 13.11.18 - 21:48
(121) надеюсь жто произойдет до того как я стану старым пенсионером....
   Maniac
 
125 - 13.11.18 - 21:50
(123) в 1С тоже все стареют и когда то сменятся все. скорее всего продукт полностью изменится также.
   Кирпич
 
126 - 13.11.18 - 21:53
(103) У меня, помню,  на дохлом ноуте 8 летнем за 7 минут загружался этот файлик в SQLite. Главное отключить журналирование и ещё там чота и индекс создавать после загрузки, а не сразу вместе с созданием таблицы.
   Maniac
 
127 - 13.11.18 - 21:54
по теме есть какая то софтина готовая которая пилит файл на части?
   tesseract
 
128 - 13.11.18 - 21:55
(123) С 7.7 есть все, это ты доки не читаешь.
   Maniac
 
129 - 13.11.18 - 21:55
мее кажется это самый простой вариант без мозгов. распилить файл и уде дальше порциями чо угодно делать.
есть такая? в закладки добавить.
   tesseract
 
130 - 13.11.18 - 21:56
(127) Зачем? Грузишь через поток. Ему поборту сколько файл размером - он его не грузит в RAM.
   Кирпич
 
131 - 13.11.18 - 21:57
(137) Сам распили. Тыж программист. Заодно узнаешь как в 1с с файлами работать.
   Aleksey
 
132 - 13.11.18 - 21:57
(128) Мы же про 8-ку?
   Maniac
 
133 - 13.11.18 - 21:58
затем что я не планирую изобретать новый продукт а хочу если даже будет 2 миллиона подстроить под свой.
мне не нужно чтобы у меня было вагоны собственного софта и особенное для совсем единичных клиентов.
 
 
   Maniac
 
134 - 13.11.18 - 21:59
(131) ок!
   Maniac
 
135 - 13.11.18 - 22:02
но кстати  я бы дружил с человеком который специализируется на подобных клиентах. даже просто передавать их.
   Кирпич
 
136 - 13.11.18 - 22:05
(135) https://1c-programmer-blog.ru/yazyk-1s/tipy-dannyh/rabota-s-dvoichnymi-dannymi-v-1s-8-2-i-8-3.html

на вот почитай и не позорься больше с 25 гигами оперативы
   tesseract
 
137 - 13.11.18 - 22:09
(136) А на итс послать вместо левых сайтов?
   Кирпич
 
138 - 13.11.18 - 22:10
(137) ну уж чо в гугле первое попалось
   Кирпич
 
139 - 13.11.18 - 22:11
+(136) Не забудь потом прорекламировать свой прайсопульт словами "Новая версия использует революционные технологию обработки данных с помощью BigData-потоков и BIockchain-двоичных преобразователей позиций номенклатуры"
   Maniac
 
140 - 13.11.18 - 22:13
(136) давай завтра (добавь в скайп) я тебе дам задачу на которую времени нет. готов оплатить работу.

Тупо нужно допилить чтобы файлы картинок массово по ссылкам на клиенте - на сервер пихались и там грузились. потоком.
   Кирпич
 
141 - 13.11.18 - 22:15
(140) нафиг мне твои задачи. мне и так не скучно.
   Maniac
 
142 - 13.11.18 - 22:16
(139) блин чувак... у меня стока и так тут рааботы со всем на свете.. что еще не до этого.
передавать через адрес храанилищ... меня можно не учить.
Я на третий день выхода УТ уже выпустил релиз обработки.
И еще сотне программистов потом на вопросы отвечал как это делать.
Сейчас есть мелкие задачи в который погряз. и планов и работы вагон и тележка. Руки даже до картинок не доходят.
Готов оплатить допилку ))))
   tesseract
 
143 - 13.11.18 - 22:16
(140)>> Тупо нужно допилить чтобы файлы картинок массово по ссылкам на клиенте

А типо с каталога загрузить никак?
   Maniac
 
144 - 13.11.18 - 22:17
(141) а вдруг ты умный окажешся и меня носом пихнешь что я прозрею и выкачу продукт будущего.
Я тебе сразу 49 процентов дам своих акций и ты разбогатеешь рядом со мной!
   Maniac
 
145 - 13.11.18 - 22:19
(143) у тебя есть хорошая обработка загрузки картинок? приму в каталог.
   Fram
 
146 - 13.11.18 - 22:19
(127) нафига пилить csv ?! ЧтениеТекста же есть
   Maniac
 
147 - 13.11.18 - 22:21
(146) эээ... пилить файл - значит чтобы он стал не один в 15 000 000 а 15 по 1 000 000.
Нажатием кнопки. Желательно мгновенно (или максимум минута)
Мне пофиг на чем это будет. Главное чтобы ну очень быстро.
   Кирпич
 
148 - 13.11.18 - 22:23
(147) тебе же долдонили уже, что пилить не надо. или до тебя не дошло?
   Maniac
 
149 - 13.11.18 - 22:24
А еще лучше с настройкой. Задаем количество и режет на кучу файлов.

Это идея для программы которую будут покупать!
И не нужно будет изобретать какие то другие загрузки.
 
 Рекламное место пустует
   Maniac
 
150 - 13.11.18 - 22:26
(148) я как идеальный маркетолог и человек понимающий что всем есть цена и время, понимаю что болтать одно - садится делать ДРУГОЕ!

И каждой вещи есть своя цена, с другой стороны заказчик который рассчитывает на определенные траты.

Нужны простые решения! а не суперсложные где сейчас засесть и на месяцы застрять.
   Кирпич
 
151 - 13.11.18 - 22:26
(149) займись этим. у тебя талант из ничего делать деньги.
   Кирпич
 
152 - 13.11.18 - 22:27
(150) Пять строчек кода это не простое решение?
   Maniac
 
153 - 13.11.18 - 22:27
Если все просто - то чего вы меня загоняете в работу!
Давайте тендер. я свои личные заплачу за самое крутое решение! Судей назначим. Победителю 10 000 рублей.
Готовы?
   Кирпич
 
154 - 13.11.18 - 22:28
(153) Ты сначала клиенту расскажи, что ему нужно сервер купить
   Maniac
 
155 - 13.11.18 - 22:29
(152) пять строк кода за софтину которая сейчас загонит в 1С - 15 000 000 строк? одновременно синхронизирую с 1С? и дописывая чего нет плюс с обновлениями цен и тому подобное????
Ты что то гонишь.

Ты думаешь справка из синтааксис помощника - и все дело в шляпе?
   Кирпич
 
156 - 13.11.18 - 22:31
(155) я говорю про разделение файла на части (147)
15 000 000 записей это другой вопрос
   Maniac
 
157 - 13.11.18 - 22:31
(154) забудь про клиента. Абстрагируемся от него, а еще лучше я становлюсь клиентом!
Вот с этого момента меня считайте заказчиком.
Ок я потом куплю серваки и прочее.. все что скажете..
Вы сначала сделайте что нужно - у себя. покажите.
А то что мне нужно будет это уже дело второстепенное. Я заплачу и без этого!
   palsergeich
 
158 - 13.11.18 - 22:32
Я сейчас делаю тоже что то похожее.
Только с логами ТЖ, лежит у меня за день 100+ гб логов.
Чисто интереса ради.
Взял 1с - построчное чтение 30 гб в один потом около 5 минут.
Взял питон - то же самое за 3 минуты.
Взял GO - Еще быстрее.
Дальше к этому файлу применяю всяки регулярки и пост обработку что бы на выходе был нормализованный csv для загрузки.
Один Эс на строковых функциях осилило 5 потоков и после пары часов я просто погасил.
Питон - 40 минут в один поток.
И Внимание - запустил сразу 100 шут батником и не поверил - 30 гб логов с пост обработкой ТЖ скушалось за 5 минут. Сделал несколько тестов 5-10 минут в зависимости от нагрузки на диск.
Конкретно Вам бы посоветовал - взять питон, он такой 1с только во взрослых языках, разрезать на файлы по 100 000 записей и скормить одинэске
   Garykom
 
159 - 13.11.18 - 22:32
(157) Исторический момент когда Программист Маня превратился в Бизнесмена Маню...
   Maniac
 
160 - 13.11.18 - 22:32
(156) ааа... ну напиши - заплачу. я хоть тресни не понимаю какие 5 строк кода это решают.
И сколько времени это будет работать.
   Garykom
 
161 - 13.11.18 - 22:32
(159)+ Но до Доржи еще далеко ))
   Кирпич
 
162 - 13.11.18 - 22:33
(157) вот тебе специалист нашелся (158)
   Maniac
 
163 - 13.11.18 - 22:33
Те для деления фаайла мне еще и серваак нужен?!!! опупеть.
А без него что совсем никак?
   Кирпич
 
164 - 13.11.18 - 22:34
(163) ты точно тупой
   Кирпич
 
165 - 13.11.18 - 22:34
(163) у вас в школе информатика была?
   palsergeich
 
166 - 13.11.18 - 22:34
(163) разделить файл быстро и 1с может
   Garykom
 
167 - 13.11.18 - 22:34
(160) Запускаем счетчик внутри цикла по строкам, пишем в первый файл, как достигли счетчиком 1 000 000, пишем следующий файл, второй счетчик +1 (отвечающий за имя файла), первый =1 и т.д.
   palsergeich
 
168 - 13.11.18 - 22:35
В один поток без строковых преобразований скорость не фатально отличается
   palsergeich
 
169 - 13.11.18 - 22:36
Но скорость работы именно чтения большого текстового файла 1ской меня порадовала, если в 82 это было просто дно, то сейчас уже не так печально
   Maniac
 
170 - 13.11.18 - 22:36
(158) у меня компонента на питоне.
Вначале темы я писал в реальном времени что происходит.
На конце ее отработки - когда она выплюхнула в 1С ТЗ - 1С умерла.

Правда у меня есть уже тоже на питоне сервис который пилит все по указаанному количеству строк. Но я не запускал обрааботку в веб-сервис (потому что он в интернете) так как 1 гиг файл бы тока лился хз сколько....
   Maniac
 
171 - 13.11.18 - 22:37
Мой кодер на питоне отлиичный чувак... но сильно занятой!!!! его надо воодушевить работой!
   Maniac
 
172 - 13.11.18 - 22:37
Компоненту если допиликает то задача будет решена, но я его уже боюсь дергать.
   Кирпич
 
173 - 13.11.18 - 22:38
(171) ему файл разделить 5 минут
   palsergeich
 
174 - 13.11.18 - 22:38
(172) Читайте файл построчно!!!! а не целиком в память
   Maniac
 
175 - 13.11.18 - 22:39
Я время не засекал. но компонента минут 15 отработала и я сто процентов уверен она все сделала.
   palsergeich
 
176 - 13.11.18 - 22:39
я не далее как в пятницу читал монолитные файлы в разы большие чем 1 ГБ
   Кирпич
 
177 - 13.11.18 - 22:40
(167) построчно долго будет. нужно гигами читать, дочитывать побайтно до конца строки и выплёвывать.
   Maniac
 
178 - 13.11.18 - 22:41
(173) да есть уже деление. но мы это в веб-сервис пихнули.
Компонента старая уже.
Но придется ее обновлять.
Мой спец занятой ужас.
   palsergeich
 
179 - 13.11.18 - 22:42
ФайловыйПоток = Новый ФайловыйПоток(ИмяФайла,РежимОткрытияФайла.Открыть);
    ЧтениеТекста = новый ЧтениеТекста(ФайловыйПоток); 
    Стр = ЧтениеТекста.ПрочитатьСтроку();
    МассивПодстрок = новый Массив;
    Пока Стр <> Неопределено Цикл// строки читаются до символа перевода строки

        
        Стр = ЧтениеТекста.ПрочитатьСтроку();
        
            
        КонецЕсли;
    КонецЦикла;
Это работает и на удивление быстро
   Maniac
 
180 - 13.11.18 - 22:43
(179) давай я тебе дам файл. пофиг напиши обработку на 1С где я выбираю файл и он делится.
Готов заплатить! зачем вы настоячиво мне предлагаете сейчас самому кодить!!! не понимаю! прошу же - напишите! заплачу.
Больше времени тратим.
   tesseract
 
181 - 13.11.18 - 22:44
(174) Построчно как-бы файл читать проблематично. CRLF искать надо.

(180) Мало платишь походу.
   Maniac
 
182 - 13.11.18 - 22:45
Главное чтобы это было минуты. 10-20-40 не устраивает!
1-2 минуты.
   Кирпич
 
183 - 13.11.18 - 22:45
(180) Спать пора уже
   tesseract
 
184 - 13.11.18 - 22:46
(182) Буха-ха . Я знаю оборудование на котором такое за час прокатит :-) Только там 5-тонный грузовичок для него понадобиться.
   palsergeich
 
185 - 13.11.18 - 22:47
(180) 15 мин
   Кирпич
 
186 - 13.11.18 - 22:47
(184) Да не. У него идея фикс - файл разделить на части.
   Aleksey
 
187 - 13.11.18 - 22:48
   Кирпич
 
188 - 13.11.18 - 22:50
(187) А маниак бы на твоем месте, разделил бы файлик этой прогой и с тебя деньги взял.
   Maniac
 
189 - 13.11.18 - 22:50
(186) и это правильное решение!! потому что по в 1С даже если мы все будем грузить документы сдохнут тупо регистрирующие цены.
К тому же там 99 999 ограничения!!!!!!!!!!!!

Истинный вариант . это по 99 999 получать фаайлы. их прогонять синхронизировать единым заапросом в 1С и тут же грузить в 1С.
   tesseract
 
190 - 13.11.18 - 22:50
(186) Даже если принять производительность дисков в 150 Мбайт/сек и учитывать только это горлышко выйдет только на запись 67 секунд. Это только для разделения.
   Maniac
 
191 - 13.11.18 - 22:52
Ну вот! уже что то! а еще лучше все таки что то на 1С!
Так сказать чтобы можно было управлять этим.

например регламентным заданием потом заливать файл, делить, грузить.

Полная автоматизация действий. Человек вообще не должен учавствовать ни в чем.
   Кирпич
 
192 - 13.11.18 - 22:52
(189) Маньяк, а ну давай раздели ка файлик (187). Посмотрим сколько уйдет времени.
   Кирпич
 
193 - 13.11.18 - 22:53
(191) Так это же разово. Нафиг париться.
   tesseract
 
194 - 13.11.18 - 22:53
(189) А зачем грузить документы цен? Можно по записи добавлять и транзакциями. Я еще удивляюсь какого черта ни один POS нормально не грузит данные транзакционно - а тупо чертовеми файлами :-)

(191) Это бред. Я вообще это как шутку написал.
   Maniac
 
195 - 13.11.18 - 22:53
Он просто взял настроил. поставил галку ушел... а 1С сама берет и все делает полностью от начала до конца.
даже сама заказывает товар поставщикам.

чел поставил 1С. настроил загрузку. включил сайт. и уехал на Мальдивы.
А 1С+ сайт сами все торгуют, закупают.. деньги принимают. вообще все делают!
   Кирпич
 
196 - 13.11.18 - 22:55
(195) Опять нажрался, скотиняка
   tesseract
 
197 - 13.11.18 - 22:55
(158) Питон опасный язык. Он чем-то куда-то и что-то но контроля нет. Чем-то похож на 1с - видели многие, но потроха знают единицы.
   tesseract
 
198 - 13.11.18 - 22:56
(196) Думает как нам обустроить 1С.
   Maniac
 
199 - 13.11.18 - 22:56
Лана) Мой корефан вышел на связь сказал подумает!
Мож даже с клиента этого чего то заработаем.
   palsergeich
 
200 - 13.11.18 - 23:25
(199) 517 мб за минуту с копейками
  1  2  3  4  5   

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Рекламное место пустует