Добрый день пишу обработку для парсинга сайта, не получается реализовать многопоточность, нашел одну статью на ифостарте, но не совсем понял код приведенный там.
Рассмотрим процедуру проверки списка прокси-серверов (ее тоже хочу сделать многопоточной):

1) Есть:
ТЗ тзПрокси - состоит из колонок: "Сервер", "Порт", "Использовать"
ПроверитьПрокси() - возвращает истина если прокси рабочий и анонимный

Необходимо в несколько потоков запусить процедуру проверки прокси по тзПрокси и заполнить результатами колонку "Использовать", подскажите как сие реализовать?

ЧислоПараллельныхПотоков = 10;
МассивЗаданий = Новый Массив;

Для каждого Стр из тзПрокси Цикл

        МассивПараметров = Новый Массив;
        МассивПараметров.Добавить(Стр.Сервер);
        МассивПараметров.Добавить(Стр.Порт);
        МассивПараметров.Добавить(Стр.Использовать);

Задание = ФоновыеЗадания.Выполнить("Многопоточность.ПроверитьПрокси", МассивПараметров);

        МассивЗаданий.Добавить(Задание);

        Если МассивЗаданий.Количество() >= ЧислоПараллельныхПотоков Тогда
            Попытка
                ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);
            Исключение
            КонецПопытки;
            МассивЗаданий.Очистить();
        КонецЕсли;

    КонецЦикла;

    Если МассивЗаданий.Количество() > 0 Тогда
        Попытка
            ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий);
        Исключение
        КонецПопытки;
        МассивЗаданий.Очистить();
    КонецЕсли;

КонецПроцедуры

создаёшь пул фоновых заданий, в каждом проверяешь конкретный прокси.
Проблема с получением результата выполнения фоновых, погугли, описано в статьях

(1) вот примерно так должно быть если делать по статье... вопрос, как из фонового задания получить результат и собственно пометить его в тзПрокси?

(3) http://kb.mista.ru/article.php?id=696

(4) спасибо, хм, а со времен 8.1 ничего не поменялось? толко писать в базу/вызывать исключение?

(5) в 8.2 не поменялось епним, а в 8.3 незнаю

(6) Нашел способ для 8.2 через ПоместитьВоВременноеХранилище, хотя по сути те же костыли, но можно добавить в книгу знаний:
http://danila.org.ua/parallelnaya-zagruzka-zagruzitbyis/

(7) да те же йайца, только сбоку

(8) благодарю, вроде бы все получилось...
Еще бы теперь понять сколько будет кушать ресурсов каждый поток и определить их оптимальное число...

Еще вопрос, как задать время жизни рег. заданию, чтоб оно убивалось если не успело отработать за этот промежуток времени?

ИЗ СП так и не понял этом коде задания грохнутся через 20 сек или нет??:
ФоновыеЗадания.ОжидатьЗавершения(МассивЗаданий, 20);

что-то у меня висят фоновые задания и не удаляются даже через консоль кластера :(.

Внешние процессы можно запускать.
А по приходу файла-результата его ловить и считывать.

смирись

(13) с чем?
(12) я над этим вариантом параллельно работаю, там как свои плюсы (меньше памяти кушает, быстрей отрабатывает..) так и свои минусы есть...

А не проще использовать любые языки поддерживающие многопоточность и написать СОМ сервер?

(15) смотри (14)

(14) А в чем минусы?

Если тебе нужно запустить несколько потоков а потом дождаться выполнения и выдать результат то достаточно и обычного СОМ. Если нужно возвращать результат из отличного от потока приложения, тогда нужна ВК. Которая просто делается например http://1c.proclub.ru/modules/mydownloads/personal.php?cid=115&lid=2019

Исходник ВК которая загружает Объект Автоматизации поддерживающий ITypeInfo и выполняет все его свойства и методы через IlanguageExtender.

(18) COM не больше ресурсов будет жрать чем рег. задачи?

(17) Надо что-то учить, кроме 1С

Рег задачи выполняются на сервере. Да и парсинг на 1С не сильно быстрая операция. На компилируемом языке все можно решить намного проще и быстрее. Хоть на том же C#.
А почему СОМ должен жрать больше?

(17) переносимость решения например

(11)

Добавил на форму обработчик ожидания который проверяет сколько времени выполняется фоновая задача и если больше указанного интервала то убивает фоновую задачу, правда уже запущенные задания не завершаются :( ни программно ни через консоль сервера, в чем может быть проблема?

(23) прежде, чем продолжить эксперименты, рестартани сервер 1с

(24) еще нельзя =)

А чем проблема переносимости?

(26) ну написал я парсер на php, работает он то быстрей, 600 потоков и памяти не много жрет, но серверная часть должна на хостинге стоять + определенные параметры сервера нужны как то cURL, ну и реализовывать обмен между скриптом на php и 1С надо + еще реализовывать оповещение о ходе выполнения парсинга.

(27) Вот 600 потоков как раз и жрут ресурсы. Обычно используют пул потоков в 2 раза больше чем ядер, а то и по количеству ядер.
Про опвещение как в (1) Ты наример на C# можешь запустить потоки, дождаться их выполнения и возвратить результат. Если нужны ассинхронные сообщения то ВК

(28) ну в данном случае на потоки разбивается процесс получения страниц через прокси, и в парсере на пхп для запуска 600 потоков с головой хватает 200 Мб оперативной памяти и одного проца, в 1С не знаю как замерить, но думаю что надо намного больше ресурсов, но пусть даже в 30-100 потоков хочу попробовать.
C# у меня на уровне лабораторок университетских, но надо будет попробовать разобраться, думаю что использовать ВК удобней чем веб-сервис на пхп.

(29) есть http://infostart.ru/public/173394/

еще буквально вчера появился http://www.gilev.ru/testg1c/ , сильно давит на диск