Вход | Регистрация


1С:Предприятие ::

Метки:

Сборщик файлов с ftp - решение...?

Я
   Злопчинский
 
18.11.15 - 03:02
.. у меня есть мысль и я ее - думаю!
Есть сборщики почты. И это понятно/хорошо.

У мну есть потребность в "сборщике ftp"

Как я это себе представляю:
- некая программулина;
- в которой прописываются адреса фтп с логинами и паролями;
- для каждого фтп - назначается папка на локальном компе;
- с фтп идет загрузка файлов в указанные папки;
- из указанных папок идет выгрузка на фтп;
- то есть грубо говоря некая "синхронизация" фтп и локального компа;
- с фтп - при указании папки/адреса на фтп - на комп сливается все вложенные папки с фтп адреса (возможно хорошо бы настраивать исключения);
- нужно чтобы было возможность после успешного слива файлов с фтп на комп - на фтп их удалять (опциональная настройка);
- аналогично - при выгрузке с локального компа на фтп - при успешной выгрузке файлы с локального компа удалять (опционально - сливать в локальный архив);
- если файлы на локальном компе "открыт" для чтения или записи - фтп-сборщик их пропускает/не синхронизирует до следующего цикла синхронизациии.
- возможность опционально включать письма-уведомленяи на почту для событий синхронизации/выгрузки/загрузки файлов (т.е. некие семафоры)
- прога должна (желательно) уметь крутиться как сервис и иметь интерйес для просмотрк/управления. Что-то по концепции похожее на Cobian Backup

Как-то вот так я себе примерно представляю..
Есть что-либо подобное?

Юзал кто-то такое/аналогичное?
Как решали такую задачу?

Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами - если все "плохо" то смайстярчими такое - смысл в быстром и удобно управлении/настройке всего этого.

???

Спсб
 
 
   Злопчинский
 
1 - 18.11.15 - 03:04
Может такой функционал FileZilla как-то может обеспечить?
   Aleksey
 
2 - 18.11.15 - 04:51
так большинство FTP клиентов это умеют
   Aleksey
 
3 - 18.11.15 - 04:58
лично мне для таких действий хватает обычного cmd файла и встроенного фтп клиента в винду
   Web00001
 
4 - 18.11.15 - 05:14
(1)>>Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами

>>Может такой функционал FileZilla как-то может обеспечить?

Ты либо готов писать скрипты, либо не готов использовать фтп клиенты в стоке :) а так это взаимоисключающие параграфы.
   Злопчинский
 
5 - 18.11.15 - 06:33
(3) это как набор отверток и гаечных ключей в гараже. они есть, иможет даже в порядке лежат - но "далеко", а надо под рукой и чтобы удобно управлять
   Злопчинский
 
6 - 18.11.15 - 06:34
(2) например. который побогаче функциями ближе к описанным?
   Fedor-1971
 
7 - 18.11.15 - 08:53
(0) описан функционал не клиента FTP, а сервера!!!
Начни с простенького TFPPD32, если функционала пкажется маловато, то ищи какой-то другой. Можешь и сразу поинтересоваться более навёрнутыми серверами.
   Лефмихалыч
 
8 - 18.11.15 - 09:01
(0) во-первых, ни чего сложного, вариантов это сделать ахулиард.
Во-вторых, ты по сути описал дропбокс
   ДенисЧ
 
9 - 18.11.15 - 09:04
написать на 1с - как два байта об асфальт...
   vde69
 
10 - 18.11.15 - 09:13
(0) задача имеет одну большую проблему:

при чтении с фтп невозможно определить что файл целый, а не с прерванной заливкой. (а вот с почтой таких проблем нет)

по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа....

если ты распишешь зачем тебе это нужно, может быть что лучше подскажем....
 
  Рекламное место пустует
   Злопчинский
 
11 - 18.11.15 - 13:19
(10) Нужно это (пока что) для простых целей.
У мну склад.
Клиенты.
Хочу С ИХ ФТП-серверов забирать заявки на отгрузку, заявки на приемку и воощем меняться всякой информацией.
   Лефмихалыч
 
12 - 18.11.15 - 13:20
(11) вебсервисы для этого придуманы. Но ты можешь, конечно, использовать и ftp. Реши только проблему контроля целостности
   Злопчинский
 
13 - 18.11.15 - 13:21
(10) "по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа.... "- то есть на фтп-держать еще файлики с контрольными суммами к большим файлам..?

а как понять что файлик с контрольной суммой - тоже целиком скачался?
   Злопчинский
 
14 - 18.11.15 - 13:22
(12) Проблема целостности не так страшна. Файлики маленькие совсем. Вдобавок это иксемели, если вдруг при загрузке иксемель "сбойнул" - а это я смогу отследить - то просто повторная перекачка файла и все...
   Лефмихалыч
 
15 - 18.11.15 - 13:22
(13) если тебе так повезло, что файл битый, и его КС битая, но при этом КС совпала с битым файлом, значит ты неудачник и тебе вообще больше ни чего не поможет, сдавайся.
   Лефмихалыч
 
16 - 18.11.15 - 13:22
ну, или лотерейный билет купи - тут могут быть варианты...
   2S
 
17 - 18.11.15 - 13:22
(11) дропбокс юзай
   Гёдза
 
18 - 18.11.15 - 13:23
rsync
   0xFFFFFF
 
19 - 18.11.15 - 13:24
(10)
1. Копируем файл с ФТП в локальный каталог
2. Сравниваем размер (в байтах) в лок. каталоге и на ФТП
3. Если размеры сошлись, удаляем с ФТП
вот и вся проблема.
   Лефмихалыч
 
20 - 18.11.15 - 13:24
(14) таки в чем ваша проблема тогда?
   Лефмихалыч
 
21 - 18.11.15 - 13:25
(19) он на ФТП может лежать не весь. да и "000" и "999" - это одно и то же количество байт.
   0xFFFFFF
 
22 - 18.11.15 - 13:25
(0) у меня это все 1С делает.
ФТП используется именно как "буфер" для передачи.
В остальном локальный каталог, файлы забираются по принципу (19)
   0xFFFFFF
 
23 - 18.11.15 - 13:27
(21) для этого - тот кто выкладывает делает ту же проверку.
Собственно то же самое делаю и я, когда выкладываю на ФТП.
Есть локальный каталог "Отправляемые", есть "Отправленные". Если размер в "Отправляемых" сошелся с размером на ФТП, то он переносится из "Отправляемых" в "Отправленные".
   0xFFFFFF
 
24 - 18.11.15 - 13:28
Если же получатель "схавал" файл с ФТП в процессе того, как я его туда копировал, то он у него не загрузится. Мой регламент выгрузит его повторно следующим сеансом обмена и получатель его получит в полном объеме.
   vde69
 
25 - 18.11.15 - 13:29
(13) есть транзакционные механизмы обмена, например мой транспорт http://catalog.mista.ru/public/16687/
   Злопчинский
 
26 - 18.11.15 - 13:31
(20) Проблема - хочу программулину примерно как написал в (0).
   Лефмихалыч
 
27 - 18.11.15 - 13:31
вообще, вот такая хреновина, которая собирает сообщения между ИС, строит их в очередь, гарантирует доставку и целостность между отправителями и получателями, называется ESB - Enterprise Service Bus. Их готовых до едрени фени. Fuse ESB, Zato ESB, ещемногоразных ESB.
Но это для задротов. Нормальные пацаны своё с нуля стругают.
   Злопчинский
 
28 - 18.11.15 - 13:33
(22) Не, это не наш путь. Свой велосипедя изобрету когда не найду подходящего или не понравится то что есть - здесь я проблемы не вижу. Тот же ncftp позволяет похожую штуку как в (0) делать - у него можно запустить процесс который крутится и подсовывать ему .

Но это имеет смысл делать если другого ничего нет/не найду.
Фигли велосипед изобретать?
   sapphire
 
29 - 18.11.15 - 13:34
(27) именно
   sapphire
 
30 - 18.11.15 - 13:36
(27) правда, не едрени фени, и их исчо надоть  уметь готовить, что не всяк могет, исчо и понимать надоть для чаво оне сделаны. Да. И где их надо применять.
И кстати, применение этого добра в наших целях вовсе не Лустин придумал.
   Aleksey
 
31 - 18.11.15 - 13:37
(28) потому что в данном случае велосипед быстрее изобрести чем опробовать пару десятков программ, разочароваться в них и изобрести свой велосипед
   Garykom
 
32 - 18.11.15 - 13:40
(26) мы такую программулину юзали еще в далеком 2005, но глючила она сильно

вроде WebSynchronizer но не уверен

еще есть http://www.goodsync.com/how-to-sync-ftp-server
   Лефмихалыч
 
33 - 18.11.15 - 13:40
(30) я же говорю - для задротов :)
А Лустин это кто?
 
 
   vde69
 
34 - 18.11.15 - 13:42
(32) моя прога из 25 работала 2 года в большом холдинге, ни одной ошибки за все время :)
   Сержант 1С
 
35 - 18.11.15 - 13:43
   sapphire
 
36 - 18.11.15 - 13:44
(33) Есть такой персонаж на нимбостарте
   Garykom
 
37 - 18.11.15 - 13:49
(35) а если сервер 1с на линуксе?
   Лефмихалыч
 
38 - 18.11.15 - 13:50
(36) а! В очочках такой и с бородой. Вспомнил. А он еще и ESB в массы двигает?
   Jump
 
39 - 18.11.15 - 13:57
Загрузка всегда делаю c помощью wget или aria2
А вот на фтп заливать - это наверное ftp.exe встроенный мучать надо, консольных я не знаю.
   Злопчинский
 
40 - 18.11.15 - 14:10
(22) А посмотреть хотя бы визуально на скриншоты (поделиться? купить если понравится?)
   gorakh
 
41 - 18.11.15 - 14:41
(0) 1c встроенными средствами почти со всем из вышеперечисленого хорошо справляется. У нас так работает интеграция с мобильным клиентом сборшиком заказов. Но в самом ФТП проблемма. Не все операторы мобильной связи поддерживают фиксированный IP адрес в течении всего сеанса связи, ФТП такое не понимает.
   Злопчинский
 
42 - 18.11.15 - 15:02
(41) на данном этапе это мало волнует. Сбор планируется со "стационарных" мест/ресурсов, где с инетом все хорошо
   Злопчинский
 
43 - 18.11.15 - 15:02
(41) Не хочу на 1С...
   arsik
 
44 - 18.11.15 - 15:09
(0) У нас работает Binkd, но для него нужно клиента на той стороне.
Тебе же подойдет lftp. Правда она только вроде под линуксом заводится.
Вытянуть каталог с удалённого сервера (синхронизировать локальный каталог с удалённым):
$ lftp -e 'mirror -e каталог-на-сервере локальный-каталог; bye;' -u логин,пароль удалённый.хост

И наоборот, выложить локальный каталог на удалённый сервер:
$ lftp -e 'mirror -R локальный-каталог каталог-на-сервере; bye;' -u логин,пароль удалённый.хост
   Злопчинский
 
45 - 18.11.15 - 15:15
(44) скриптов - если надо будет - мы и сами с админом понапишем.
хочется нормальный гуевый фейс.
чтобы если что - не дергать админа - а самому добавить/удалить/изменить.
   Гёдза
 
46 - 18.11.15 - 15:19
   Strogg
 
47 - 18.11.15 - 15:21
(0) - ncftpget. У нас так документооборот внутри группы работает. Запускается скрипт по расписанию, который сканирует определенные папки на фтп и выкачивает все на локальный комп. Затем, одноэс формирует определенные папки на локальном компе с файлами выгрузки. И вот потом эти папки полностю улетают в соответствующие папки на фтп.
   arsik
 
48 - 18.11.15 - 15:21
(46) опередил
   Гёдза
 
49 - 18.11.15 - 15:23
Да и вообще
https://www.google.ru/search?q=app for automatic download from ftp
 
  Рекламное место пустует
   Злопчинский
 
50 - 18.11.15 - 15:23
(47) у меня тоже работает ncftp - но вот хочется чтобы сверху типа какая-то обертка удобная была...
   Злопчинский
 
51 - 18.11.15 - 15:24
(49) мне не только загружать, мне еще и выгружать и прочая...
   arsik
 
52 - 18.11.15 - 15:25
Handy Backup
   kauksi
 
53 - 18.11.15 - 15:28
Есть такая штука Ftp Performer - уже лет 15 работает на обменах РИБ 7.7 Имеет мощный скриптовый язык, которые компилируется в независимые exe-Файлы
   tixis
 
54 - 18.11.15 - 15:33
(0) http://www.goodsync.com/ru смотри или готовые проги, или пиши на 1с
   tixis
 
55 - 18.11.15 - 15:36
Не увидел(43), тогда выбирай из готовых
   Chieftain
 
56 - 18.11.15 - 15:46
WinSCP + sync.cmd
у меня прикручен через COM-объект в базе 1С8 - тоже своеобразный велосипед
   Лефмихалыч
 
57 - 18.11.15 - 15:49
можно, кстати я щас вспомнил, использовать Apache Ant
http://ant.apache.org/manual/Tasks/ftp.html
годная штуковина. Просто берет и работает. Только одно небольшое неудобство - config.xml. Хотя кому как
   Лефмихалыч
 
58 - 18.11.15 - 15:49
или grunt.js, но к нему инфраструктуры поболе надо будет И Ант в нее входит, кажись :)
   Лефмихалыч
 
59 - 18.11.15 - 15:50
такого рода софта тоже ахулиард
   Злопчинский
 
60 - 18.11.15 - 16:16
(57) ну блин
Unix, NT, OS2, VMS, and OS400.
   Лефмихалыч
 
61 - 18.11.15 - 16:31
(60) http://ant.apache.org/manual/install.html
под винду тоже есть. У меня на домашнем ноуте работает, который под win7, значит и у тебя заведется.
   Гёдза
 
62 - 18.11.15 - 16:50
кстати, многие фтп сервера поддерживат проверку crc
   Злопчинский
 
63 - 18.11.15 - 18:43
Админ посмотрел вроде можно с WinSCP такое сделать
   arsik
 
64 - 19.11.15 - 09:41
(63) Чем WinSCP от консольной отличается? Где там удобное гуи для настроек синхронизации? Уж лучше lftp + файл со списком серверов для синхронизации.
   Остап Сулейманович
 
65 - 19.11.15 - 09:54
Лет десять назад пользовали вот это чудо : http://www.emtec.com/pyrobatchftp/index.html
В принципе есть все, что прописано в (0) и даже чуть больше. Имеет ГУИ, планировщик с КРОН и достаточно внятный язык скриптов.
   Злопчинский
 
66 - 21.11.15 - 07:29
(64) не потянет, юниксы не юзаем
   Злопчинский
 
67 - 21.11.15 - 07:30
(65) Спасибо, учтем.
   Злопчинский
 
68 - 21.11.15 - 07:31
Ftp Performer вроде интересная штука, но платный блин
   Злопчинский
 
69 - 21.11.15 - 09:58
(65) платная блин... ;-)
   Злопчинский
 
70 - 21.11.15 - 09:58
Кстати, просветите неграмотного: в снеговике есть штатно методы работы с фтп? наскольо это работсопособно?
   ДенисЧ
 
71 - 21.11.15 - 10:07
(70) Есть. Работают.
Но не всегда
   Провинциальный 1сник
 
72 - 21.11.15 - 10:08
(19) (21) Если соединение не рвалось (а это легко отследить) - то считаем, что файлы идентичны, доверяя протоколу tcp/ip. Если рвалось - производим попытку возобновить закачку с позиции ранее места закачки, скачиваем фрагмент в несколько килобайт и определяем место разрыва поиском фрагмента в буфере. Далее качаем с найденного места и до конца. Так всякие Regetы работают.
   Maniac
 
73 - 21.11.15 - 10:14
(0) лучше нет http://www.xstarter.com/rus/
   Maniac
 
74 - 21.11.15 - 10:15
+(73) РЕАЛЬНО лучше нет.
   Злопчинский
 
75 - 21.11.15 - 11:53
(74) спсб, посмотрим
   Kvant1C
 
76 - 21.11.15 - 11:58
   Jump
 
77 - 21.11.15 - 14:16
(0) Вообще по описанию вам нужен сервис синхронизации.
А FTP не предназначен для синхронизации.

Может вам не нужен фтп?
Просто взять нормальный сервис синхронизации вроде BTSync?
   Злопчинский
 
78 - 21.11.15 - 14:28
(77)  и как им забрать файлы лежащие на чужом фтп...?
   Jump
 
79 - 21.11.15 - 14:57
(78) Т.е именно фтп.
Я думал возможно нужна просто синхронизация между компьютерами.
   Повелитель
 
80 - 21.11.15 - 16:36
(0) Использую для подобных задач
http://allwaysync.com/ru/index.html
Правда платная, но есть и таблетки от жадности ))

Конкретно для синхронизации картинок, для 2 наших сайтов. (73) xStarter хорошо, пользуюсь около 10 лет, но он такого не может.
   Злопчинский
 
81 - 23.11.15 - 16:39
Админ наваял караван.
Синхронизируется.



Список тем форума
  Рекламное место пустует
Прочитай, хотя бы, Митичкина "Разработка в системе 1С:Предприятие 8". Волшебник
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует