Вход | Регистрация


1С:Предприятие ::

Метки:

Сборщик файлов с ftp - решение...?

Я
   Злопчинский
 
18.11.15 - 03:02
.. у меня есть мысль и я ее - думаю!
Есть сборщики почты. И это понятно/хорошо.

У мну есть потребность в "сборщике ftp"

Как я это себе представляю:
- некая программулина;
- в которой прописываются адреса фтп с логинами и паролями;
- для каждого фтп - назначается папка на локальном компе;
- с фтп идет загрузка файлов в указанные папки;
- из указанных папок идет выгрузка на фтп;
- то есть грубо говоря некая "синхронизация" фтп и локального компа;
- с фтп - при указании папки/адреса на фтп - на комп сливается все вложенные папки с фтп адреса (возможно хорошо бы настраивать исключения);
- нужно чтобы было возможность после успешного слива файлов с фтп на комп - на фтп их удалять (опциональная настройка);
- аналогично - при выгрузке с локального компа на фтп - при успешной выгрузке файлы с локального компа удалять (опционально - сливать в локальный архив);
- если файлы на локальном компе "открыт" для чтения или записи - фтп-сборщик их пропускает/не синхронизирует до следующего цикла синхронизациии.
- возможность опционально включать письма-уведомленяи на почту для событий синхронизации/выгрузки/загрузки файлов (т.е. некие семафоры)
- прога должна (желательно) уметь крутиться как сервис и иметь интерйес для просмотрк/управления. Что-то по концепции похожее на Cobian Backup

Как-то вот так я себе примерно представляю..
Есть что-либо подобное?

Юзал кто-то такое/аналогичное?
Как решали такую задачу?

Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами - если все "плохо" то смайстярчими такое - смысл в быстром и удобно управлении/настройке всего этого.

???

Спсб
 
 
   Злопчинский
 
1 - 18.11.15 - 03:04
Может такой функционал FileZilla как-то может обеспечить?
   Aleksey
 
2 - 18.11.15 - 04:51
так большинство FTP клиентов это умеют
   Aleksey
 
3 - 18.11.15 - 04:58
лично мне для таких действий хватает обычного cmd файла и встроенного фтп клиента в винду
   Web00001
 
4 - 18.11.15 - 05:14
(1)>>Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами

>>Может такой функционал FileZilla как-то может обеспечить?

Ты либо готов писать скрипты, либо не готов использовать фтп клиенты в стоке :) а так это взаимоисключающие параграфы.
   Злопчинский
 
5 - 18.11.15 - 06:33
(3) это как набор отверток и гаечных ключей в гараже. они есть, иможет даже в порядке лежат - но "далеко", а надо под рукой и чтобы удобно управлять
   Злопчинский
 
6 - 18.11.15 - 06:34
(2) например. который побогаче функциями ближе к описанным?
   Fedor-1971
 
7 - 18.11.15 - 08:53
(0) описан функционал не клиента FTP, а сервера!!!
Начни с простенького TFPPD32, если функционала пкажется маловато, то ищи какой-то другой. Можешь и сразу поинтересоваться более навёрнутыми серверами.
   Лефмихалыч
 
8 - 18.11.15 - 09:01
(0) во-первых, ни чего сложного, вариантов это сделать ахулиард.
Во-вторых, ты по сути описал дропбокс
   ДенисЧ
 
9 - 18.11.15 - 09:04
написать на 1с - как два байта об асфальт...
   vde69
 
10 - 18.11.15 - 09:13
(0) задача имеет одну большую проблему:

при чтении с фтп невозможно определить что файл целый, а не с прерванной заливкой. (а вот с почтой таких проблем нет)

по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа....

если ты распишешь зачем тебе это нужно, может быть что лучше подскажем....
 
  Рекламное место пустует
   Злопчинский
 
11 - 18.11.15 - 13:19
(10) Нужно это (пока что) для простых целей.
У мну склад.
Клиенты.
Хочу С ИХ ФТП-серверов забирать заявки на отгрузку, заявки на приемку и воощем меняться всякой информацией.
   Лефмихалыч
 
12 - 18.11.15 - 13:20
(11) вебсервисы для этого придуманы. Но ты можешь, конечно, использовать и ftp. Реши только проблему контроля целостности
   Злопчинский
 
13 - 18.11.15 - 13:21
(10) "по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа.... "- то есть на фтп-держать еще файлики с контрольными суммами к большим файлам..?

а как понять что файлик с контрольной суммой - тоже целиком скачался?
   Злопчинский
 
14 - 18.11.15 - 13:22
(12) Проблема целостности не так страшна. Файлики маленькие совсем. Вдобавок это иксемели, если вдруг при загрузке иксемель "сбойнул" - а это я смогу отследить - то просто повторная перекачка файла и все...
   Лефмихалыч
 
15 - 18.11.15 - 13:22
(13) если тебе так повезло, что файл битый, и его КС битая, но при этом КС совпала с битым файлом, значит ты неудачник и тебе вообще больше ни чего не поможет, сдавайся.
   Лефмихалыч
 
16 - 18.11.15 - 13:22
ну, или лотерейный билет купи - тут могут быть варианты...
   2S
 
17 - 18.11.15 - 13:22
(11) дропбокс юзай
   Гёдза
 
18 - 18.11.15 - 13:23
rsync
   0xFFFFFF
 
19 - 18.11.15 - 13:24
(10)
1. Копируем файл с ФТП в локальный каталог
2. Сравниваем размер (в байтах) в лок. каталоге и на ФТП
3. Если размеры сошлись, удаляем с ФТП
вот и вся проблема.
   Лефмихалыч
 
20 - 18.11.15 - 13:24
(14) таки в чем ваша проблема тогда?
   Лефмихалыч
 
21 - 18.11.15 - 13:25
(19) он на ФТП может лежать не весь. да и "000" и "999" - это одно и то же количество байт.
   0xFFFFFF
 
22 - 18.11.15 - 13:25
(0) у меня это все 1С делает.
ФТП используется именно как "буфер" для передачи.
В остальном локальный каталог, файлы забираются по принципу (19)
   0xFFFFFF
 
23 - 18.11.15 - 13:27
(21) для этого - тот кто выкладывает делает ту же проверку.
Собственно то же самое делаю и я, когда выкладываю на ФТП.
Есть локальный каталог "Отправляемые", есть "Отправленные". Если размер в "Отправляемых" сошелся с размером на ФТП, то он переносится из "Отправляемых" в "Отправленные".
   0xFFFFFF
 
24 - 18.11.15 - 13:28
Если же получатель "схавал" файл с ФТП в процессе того, как я его туда копировал, то он у него не загрузится. Мой регламент выгрузит его повторно следующим сеансом обмена и получатель его получит в полном объеме.
   vde69
 
25 - 18.11.15 - 13:29
(13) есть транзакционные механизмы обмена, например мой транспорт http://catalog.mista.ru/public/16687/
   Злопчинский
 
26 - 18.11.15 - 13:31
(20) Проблема - хочу программулину примерно как написал в (0).
   Лефмихалыч
 
27 - 18.11.15 - 13:31
вообще, вот такая хреновина, которая собирает сообщения между ИС, строит их в очередь, гарантирует доставку и целостность между отправителями и получателями, называется ESB - Enterprise Service Bus. Их готовых до едрени фени. Fuse ESB, Zato ESB, ещемногоразных ESB.
Но это для задротов. Нормальные пацаны своё с нуля стругают.
   Злопчинский
 
28 - 18.11.15 - 13:33
(22) Не, это не наш путь. Свой велосипедя изобрету когда не найду подходящего или не понравится то что есть - здесь я проблемы не вижу. Тот же ncftp позволяет похожую штуку как в (0) делать - у него можно запустить процесс который крутится и подсовывать ему .

Но это имеет смысл делать если другого ничего нет/не найду.
Фигли велосипед изобретать?
   sapphire
 
29 - 18.11.15 - 13:34
(27) именно
   sapphire
 
30 - 18.11.15 - 13:36
(27) правда, не едрени фени, и их исчо надоть  уметь готовить, что не всяк могет, исчо и понимать надоть для чаво оне сделаны. Да. И где их надо применять.
И кстати, применение этого добра в наших целях вовсе не Лустин придумал.
   Aleksey
 
31 - 18.11.15 - 13:37
(28) потому что в данном случае велосипед быстрее изобрести чем опробовать пару десятков программ, разочароваться в них и изобрести свой велосипед
   Garykom
 
32 - 18.11.15 - 13:40
(26) мы такую программулину юзали еще в далеком 2005, но глючила она сильно

вроде WebSynchronizer но не уверен

еще есть http://www.goodsync.com/how-to-sync-ftp-server
   Лефмихалыч
 
33 - 18.11.15 - 13:40
(30) я же говорю - для задротов :)
А Лустин это кто?
 
 
   vde69
 
34 - 18.11.15 - 13:42
(32) моя прога из 25 работала 2 года в большом холдинге, ни одной ошибки за все время :)
   Сержант 1С
 
35 - 18.11.15 - 13:43
   sapphire
 
36 - 18.11.15 - 13:44
(33) Есть такой персонаж на нимбостарте
   Garykom
 
37 - 18.11.15 - 13:49
(35) а если сервер 1с на линуксе?
   Лефмихалыч
 
38 - 18.11.15 - 13:50
(36) а! В очочках такой и с бородой. Вспомнил. А он еще и ESB в массы двигает?
   Jump
 
39 - 18.11.15 - 13:57
Загрузка всегда делаю c помощью wget или aria2
А вот на фтп заливать - это наверное ftp.exe встроенный мучать надо, консольных я не знаю.
   Злопчинский
 
40 - 18.11.15 - 14:10
(22) А посмотреть хотя бы визуально на скриншоты (поделиться? купить если понравится?)
   gorakh
 
41 - 18.11.15 - 14:41
(0) 1c встроенными средствами почти со всем из вышеперечисленого хорошо справляется. У нас так работает интеграция с мобильным клиентом сборшиком заказов. Но в самом ФТП проблемма. Не все операторы мобильной связи поддерживают фиксированный IP адрес в течении всего сеанса связи, ФТП такое не понимает.
   Злопчинский
 
42 - 18.11.15 - 15:02
(41) на данном этапе это мало волнует. Сбор планируется со "стационарных" мест/ресурсов, где с инетом все хорошо
   Злопчинский
 
43 - 18.11.15 - 15:02
(41) Не хочу на 1С...
   arsik
 
44 - 18.11.15 - 15:09
(0) У нас работает Binkd, но для него нужно клиента на той стороне.
Тебе же подойдет lftp. Правда она только вроде под линуксом заводится.
Вытянуть каталог с удалённого сервера (синхронизировать локальный каталог с удалённым):
$ lftp -e 'mirror -e каталог-на-сервере локальный-каталог; bye;' -u логин,пароль удалённый.хост

И наоборот, выложить локальный каталог на удалённый сервер:
$ lftp -e 'mirror -R локальный-каталог каталог-на-сервере; bye;' -u логин,пароль удалённый.хост
   Злопчинский
 
45 - 18.11.15 - 15:15
(44) скриптов - если надо будет - мы и сами с админом понапишем.
хочется нормальный гуевый фейс.
чтобы если что - не дергать админа - а самому добавить/удалить/изменить.
   Гёдза
 
46 - 18.11.15 - 15:19
   Strogg
 
47 - 18.11.15 - 15:21
(0) - ncftpget. У нас так документооборот внутри группы работает. Запускается скрипт по расписанию, который сканирует определенные папки на фтп и выкачивает все на локальный комп. Затем, одноэс формирует определенные папки на локальном компе с файлами выгрузки. И вот потом эти папки полностю улетают в соответствующие папки на фтп.
   arsik
 
48 - 18.11.15 - 15:21
(46) опередил
   Гёдза
 
49 - 18.11.15 - 15:23
Да и вообще
https://www.google.ru/search?q=app for automatic download from ftp
 
  Рекламное место пустует
   Злопчинский
 
50 - 18.11.15 - 15:23
(47) у меня тоже работает ncftp - но вот хочется чтобы сверху типа какая-то обертка удобная была...
   Злопчинский
 
51 - 18.11.15 - 15:24
(49) мне не только загружать, мне еще и выгружать и прочая...
   arsik
 
52 - 18.11.15 - 15:25
Handy Backup
   kauksi
 
53 - 18.11.15 - 15:28
Есть такая штука Ftp Performer - уже лет 15 работает на обменах РИБ 7.7 Имеет мощный скриптовый язык, которые компилируется в независимые exe-Файлы
   tixis
 
54 - 18.11.15 - 15:33
(0) http://www.goodsync.com/ru смотри или готовые проги, или пиши на 1с
   tixis
 
55 - 18.11.15 - 15:36
Не увидел(43), тогда выбирай из готовых
   Chieftain
 
56 - 18.11.15 - 15:46
WinSCP + sync.cmd
у меня прикручен через COM-объект в базе 1С8 - тоже своеобразный велосипед
   Лефмихалыч
 
57 - 18.11.15 - 15:49
можно, кстати я щас вспомнил, использовать Apache Ant
http://ant.apache.org/manual/Tasks/ftp.html
годная штуковина. Просто берет и работает. Только одно небольшое неудобство - config.xml. Хотя кому как
   Лефмихалыч
 
58 - 18.11.15 - 15:49
или grunt.js, но к нему инфраструктуры поболе надо будет И Ант в нее входит, кажись :)
   Лефмихалыч
 
59 - 18.11.15 - 15:50
такого рода софта тоже ахулиард
   Злопчинский
 
60 - 18.11.15 - 16:16
(57) ну блин
Unix, NT, OS2, VMS, and OS400.
   Лефмихалыч
 
61 - 18.11.15 - 16:31
(60) http://ant.apache.org/manual/install.html
под винду тоже есть. У меня на домашнем ноуте работает, который под win7, значит и у тебя заведется.
   Гёдза
 
62 - 18.11.15 - 16:50
кстати, многие фтп сервера поддерживат проверку crc
   Злопчинский
 
63 - 18.11.15 - 18:43
Админ посмотрел вроде можно с WinSCP такое сделать
   arsik
 
64 - 19.11.15 - 09:41
(63) Чем WinSCP от консольной отличается? Где там удобное гуи для настроек синхронизации? Уж лучше lftp + файл со списком серверов для синхронизации.
   Остап Сулейманович
 
65 - 19.11.15 - 09:54
Лет десять назад пользовали вот это чудо : http://www.emtec.com/pyrobatchftp/index.html
В принципе есть все, что прописано в (0) и даже чуть больше. Имеет ГУИ, планировщик с КРОН и достаточно внятный язык скриптов.
   Злопчинский
 
66 - 21.11.15 - 07:29
(64) не потянет, юниксы не юзаем
   Злопчинский
 
67 - 21.11.15 - 07:30
(65) Спасибо, учтем.
   Злопчинский
 
68 - 21.11.15 - 07:31
Ftp Performer вроде интересная штука, но платный блин
   Злопчинский
 
69 - 21.11.15 - 09:58
(65) платная блин... ;-)
   Злопчинский
 
70 - 21.11.15 - 09:58
Кстати, просветите неграмотного: в снеговике есть штатно методы работы с фтп? наскольо это работсопособно?
   ДенисЧ
 
71 - 21.11.15 - 10:07
(70) Есть. Работают.
Но не всегда
   Провинциальный 1сник
 
72 - 21.11.15 - 10:08
(19) (21) Если соединение не рвалось (а это легко отследить) - то считаем, что файлы идентичны, доверяя протоколу tcp/ip. Если рвалось - производим попытку возобновить закачку с позиции ранее места закачки, скачиваем фрагмент в несколько килобайт и определяем место разрыва поиском фрагмента в буфере. Далее качаем с найденного места и до конца. Так всякие Regetы работают.
   Maniac
 
73 - 21.11.15 - 10:14
(0) лучше нет http://www.xstarter.com/rus/
   Maniac
 
74 - 21.11.15 - 10:15
+(73) РЕАЛЬНО лучше нет.
   Злопчинский
 
75 - 21.11.15 - 11:53
(74) спсб, посмотрим
   Kvant1C
 
76 - 21.11.15 - 11:58
   Jump
 
77 - 21.11.15 - 14:16
(0) Вообще по описанию вам нужен сервис синхронизации.
А FTP не предназначен для синхронизации.

Может вам не нужен фтп?
Просто взять нормальный сервис синхронизации вроде BTSync?
   Злопчинский
 
78 - 21.11.15 - 14:28
(77)  и как им забрать файлы лежащие на чужом фтп...?
   Jump
 
79 - 21.11.15 - 14:57
(78) Т.е именно фтп.
Я думал возможно нужна просто синхронизация между компьютерами.
   Повелитель
 
80 - 21.11.15 - 16:36
(0) Использую для подобных задач
http://allwaysync.com/ru/index.html
Правда платная, но есть и таблетки от жадности ))

Конкретно для синхронизации картинок, для 2 наших сайтов. (73) xStarter хорошо, пользуюсь около 10 лет, но он такого не может.
   Злопчинский
 
81 - 23.11.15 - 16:39
Админ наваял караван.
Синхронизируется.



Список тем форума
Рекламное место пустует  
Пользователь не знает, чего он хочет, пока не увидит то, что он получил.
Э. Йодан
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует