Вход | Регистрация

  1  2   
Информационные технологии ::

Метки: 

ERP + SQL = тормоза

Я
   Hazer79
 
02.11.17 - 15:25
Доброго времени суток, уважаемые 1С-ники и админы.
Есть проблема, с которой никак не могу справиться, нужна помощь коллективного разума.

Итак, дано:
1. Сервер: Dell PowerEdge R815 (AMD Opteron 6276 2.3GHz, 4 процессора, 128 ГБ ОЗУ). SAS диски 10000 об/мин.
2. ОС: Windows Server 2008 R2 x64
3. СУБД: MS SQL Server 2012
4. Там же установлен сервер приложений 1С (8.3.10.2466). С SQL-сервером общаются в режиме Shared memory. Количество ИБ на процесс = 1.
5. Клиента 1С ERP пользователи (их на данный момент не более 10) запускают с сервера терминалов. Сеть между терминалкой и сервером БД - 1Гбит через коммутатор.
6. SQL-серверу выделено 90 ГБ ОЗУ (причём, что интересно, раньше он выедал классически всю выделенную ему память. Сейчас же, после последней перезагрузки, не более 500МБ). Параметр Maxdop = 1. Cost threshhold of parallelism=15. Maximum worker threads-2048. Модель восстановления БД Simple.
7. Мониторинг производительности показал что дисковых очередей значительных нет. Блокировок нет. Buffer Cache Hit Ratio стабильно в районе 100%.
8. Тест Гилёва в попугаях показал 18 пернатых (если кому интересно).

Собственно проблема заключается в том, что при открытии списков и проведении документов приходится ждать по 10-30 секунд. При этом единственное, что я заметил, резко возрастает в мониторинге значение параметра Batch requests/sec и вместе с ним SQL Re-Compilations/sec.
Развернул из выгруженного DT-шника БД у себя на рабочей машине (совсем офисная станция) в файловый вариант - всё летает. Мгновенно любые операции выполняются.

Подскажите, пожалуйста, что где подкрутить/посмотреть чтобы исправить ситуацию. Выслушаю любые рекомендации, т.к. устал уже в стенку вторую неделю долбиться.
 
 
   yzimin
 
1 - 02.11.17 - 15:41
Уточните точный релиз ERP и наличие RLS
   arsik
 
2 - 02.11.17 - 15:41
(0) Обслуживание MS SQL настроено?
   ИТ директор
 
3 - 02.11.17 - 15:57
А насколько показательны вот эти вещи?

"Batch requests/sec и вместе с ним SQL Re-Compilations/sec"

Какие по ним можно сделать выводы?
   Alexor
 
4 - 02.11.17 - 16:05
Кэш и темпы почистить и на отдельный ssd настроить.
Регламентные задания сделаны в скуле?
   Alexor
 
5 - 02.11.17 - 16:06
Клиента 1С ERP пользователи (их на данный момент не более 10) запускают с сервера терминалов.

Тут еще проблема может быть.
Настрой 1с с локального компа.
   Hazer79
 
6 - 02.11.17 - 16:21
(1) 2.2.4.31
насчет RLS, к сожалению, не знаю. Где посмотреть?
(2) Да. Переиндексация/ребилд по степени фрагментации, обновление статистики.
(3) Неоптимальные запросы, проблемы с планом выполнения. Если грешить на код.
(4) проблема повторяется даже если кэша вообще нет, с нуля. SSD нет в наличии, поэтому не вариант.
(5) Пробовал с локального - та же история.
   zippygrill
 
7 - 02.11.17 - 16:32
Попробуй обновить до 2.4.1.227
   zippygrill
 
8 - 02.11.17 - 16:32
:)
   Fram
 
9 - 02.11.17 - 16:33
Традиционно - поставьте i7 7700k и самс 960 про
   Cyberhawk
 
10 - 02.11.17 - 16:34
О чем можно говорить без ССД - не ясно
 
 Рекламное место пустует
   Hazer79
 
11 - 02.11.17 - 16:37
(10) УПП на 300+ пользователей работает на в два раза более слабом сервере без SSD и всё летает.
   Hazer79
 
12 - 02.11.17 - 16:38
(11) + Тоже Скуль
   Cyberhawk
 
13 - 02.11.17 - 16:44
(11) Мололец, продолжай мыкаться дальше
   Cyberhawk
 
14 - 02.11.17 - 16:44
Еще бы гордился тем, что у тебя Сапер Windows не тормозит
   Hazer79
 
15 - 02.11.17 - 16:52
(13) Если сказать по делу нечего - зачем вообще что-то говорить? И тем более вещи, которые однозначно неправильные. Я же сказал - дисковых очередей нет. Ни на терминалке, где клиент, ни на сервере. Зачем менять то, что и так работает быстро? Скорость чтения серверных дисков 300МБ/сек по CrystalDiskMark. Может вы ещё порекомендуете к 128 гигам ОЗУ добавить ещё пару десятков? Ну так, чтоб было.
   etc
 
16 - 02.11.17 - 16:53
(0) > дисковых очередей значительных нет
значительных это каких?
   Hazer79
 
17 - 02.11.17 - 16:55
(16) 0.01 максимум
   ИТ директор
 
18 - 02.11.17 - 16:56
(6) А проблемы начались после перезагрузки?
   Hazer79
 
19 - 02.11.17 - 16:57
(18) нет. С самого начала установки ERP.
   etc
 
20 - 02.11.17 - 16:58
(17) база на сервере приложений единственная или соседствует с активно используемыми? сколько рабочих процессов висит в среднем?
   H A D G E H O G s
 
21 - 02.11.17 - 17:01
(0) Большие наборы документов? Если у пользователей сортировки не по индексным полям - SQL будет дико печалиться, пытаясь построить годные планы запросов, если в динсписке не одна таблица.
   H A D G E H O G s
 
22 - 02.11.17 - 17:02
Смотрите фактические планы запросов и количество прочитанных строк. Как раз тот случай, когда все просто и понятно.
   vde69
 
23 - 02.11.17 - 17:05
(1) виртуалка?
(2) чего показывает http://wiki.mista.ru/doku.php?id=it:analiz_sql_block
   ИТ директор
 
24 - 02.11.17 - 17:05
(21) Так у него не только открытие списков тормозит, у него и документы при проведении тормозят.
   H A D G E H O G s
 
25 - 02.11.17 - 17:05
Ну и еще хороший процессор бы вам в SQL сервер.
   H A D G E H O G s
 
26 - 02.11.17 - 17:06
(23) До SQL-ных блокировок еще дожить надо
   vde69
 
27 - 02.11.17 - 17:07
(26) это показывает не только блокировки SQL...
   H A D G E H O G s
 
28 - 02.11.17 - 17:09
(27) И 1С блокировки?
   H A D G E H O G s
 
29 - 02.11.17 - 17:09
Как правило, все ограничивается 1С блокировкой.
   ИТ директор
 
30 - 02.11.17 - 17:11
(0) А сколько памяти остается свободной?
   vde69
 
Модератор
31 - 02.11.17 - 17:13
(28) все блокировки в конечном виде связаны друг с другом, да-же большие потери пакетов на свиче и то видно будет....
   LuciferArh
 
32 - 02.11.17 - 17:25
Я бы посмотрел еще в сторону планов питания. Не выставлен ли "сбалансированный"? Да и 18 попугаев - маловато как-то. Да, RAID какой? Зеркало, страйп, пятерка? Кэш контроллера включен?
   Hazer79
 
33 - 03.11.17 - 08:43
(20) Баз пять штук. Но активно используемых - две. Одна рабочая, другая её копия - тестовая. Рабочих процессов в среднем висит два.
(23) Нет, не виртуалка.
(25) А чем этот процессор плох?
(30) На данный момент свободно 100ГБ ОЗУ.
(32) План электропитания - Максимальная производительность. RAID 10. Кэш включён.
 
 
   LuciferArh
 
34 - 03.11.17 - 08:54
(33) Процессор плох своей невысокой производительностью в однопотоке. Отсюда и общая никакая производительность.
P.S. Что-то в последнее время очень уж много, кто меняет серверное железо, при этом из чувства экономии выбирает недорогие и низкочастотные процы. Через мои только руки в последние полгода уже десяток таких прошло.
   rphosts
 
35 - 03.11.17 - 09:03
> Cost threshhold of parallelism=15

=1 и только так!!!

смотреть нагрузку по сети, застрелить на сервере антивирусы и брэндмауэры, смотреть что там с экономией электричества на сервере (хи-хи), обновить статистику....

Иметь в виду что каждая!!!! каждая форма первый раз на каждой конфе открывается долго (строится кэшь формы на клиенте).

Для начала хватит
   Галахад
 
36 - 03.11.17 - 09:13
(0) Гм. А счетчик SQL Server:Memory \ Target Server Memory чего показывает?
   LuciferArh
 
37 - 03.11.17 - 09:14
(35) > =1 и только так!!!
Ты с MaxDop не путаешь часом? Вот его - точно =1 и без вариантов. А вот Cost надо настраивать под нагрузку.
   kauksi
 
38 - 03.11.17 - 09:17
ну и тормоза только с сервера теримналов? а если открывать с той машины, где сервер стоит?
   LuciferArh
 
39 - 03.11.17 - 09:17
(0) Кстати... Помнится мне, чтоб был как-то релиз сервера SQL, который принципиально не желал отъедать больше полугига оперативы, какие бы настройки у него не стояли. Может, стоит его обновить до последней редакции?
   etc
 
40 - 03.11.17 - 09:20
(33) этот процессор плох даже не тем что частота у него не очень высокая а тем что он 2011 года. Но в любом случае это не основная причина твоих "тормозов".
   kauksi
 
41 - 03.11.17 - 09:21
ну и общие дельные советы тут http://alkosfera.com/blog/o-bystrodejstvii-nastrojke-oborudovaniya-dlya-1s-i-ne-tolko/

Если только 10ть пользователей, можно попробовать перенести сервер 1с и SQL на машину c Core i5/i7 с частотой больше 3,5Ггц и 8Гиг оперативы (если есть конечно )- сиквелу отдать 6 остальное 1с и системе и посмотреть что в этом случае будет. Сильно боюсь что Оптерон не тот выбор для ERP
   Hazer79
 
42 - 03.11.17 - 09:26
(35) Нагрузки по сети нет. Пробовал делать всё локально (клианта запускать на сервере БД) - всё то же. Антивирусов нет там. Экономии электричества нет. Аксимальная производительность в плане электропитания.
(38) Те же тормоза и локально На сервере БД.
(39) Это не тот вариант. Во-первых, до недавнего времени и этот экземпляр SQL-сервера отъедал отведённые ему 90 гигов. Также есть идентичный сервер (железка) с идентичным экземпляром SQL-сервера, с такими же настройками по памяти, он кушает хорошо, 90 гигов.
(40) Согласен
   Dotoshin
 
43 - 03.11.17 - 09:31
(6) Про rls, где настраивается вот тут посмотри: https://youtu.be/s7IPFswRX1I
   END
 
44 - 03.11.17 - 09:33
Попробуйте все настройки сервера приложений поставить по умолчанию. Пускай в одном процессе все работают. Сервер приложений, надеюсь, 64 битный?
   kauksi
 
45 - 03.11.17 - 09:34
Вспомните на каком железе наши пращуры запускали УПП в далеком 2005м (PIII-800 или P4-1800) и как оно тормозило тогда. Вангую что какой-нибудь Core I3-8350K в паре с Samsung 960Evo/Pro уделает этот Оптерон в пух и прах
   Hazer79
 
46 - 03.11.17 - 09:40
(44) В одном процессе они работали сначала, когда я ещё не взялся за проблему. И тогда было всё по умолчанию. Сервер приложений да, 64-х битный.
   vde69
 
Модератор
47 - 03.11.17 - 09:53
запусти (23)
   kauksi
 
48 - 03.11.17 - 10:00
(47) да нет там блокировок раз память не кушает и загрузки процов нет. Просто платформа сервера старая.
   Hazer79
 
49 - 03.11.17 - 10:23
(47)
***total***    963606.0    100.0
LAZYWRITER_SLEEP    303250.0    31.5
SLEEP_TASK    89881.0    9.3
HADR_FILESTREAM_IOMGR_IOCOMPLETI    60230.0    6.3
QDS_PERSIST_TASK_MAIN_LOOP_SLEEP    60012.0    6.2
QDS_CLEANUP_STALE_QUERIES_TASK_M    60012.0    6.2
XE_TIMER_EVENT    60090.0    6.2
LOGMGR_QUEUE    59987.0    6.2
REQUEST_FOR_DEADLOCK_SEARCH    60069.0    6.2
FT_IFTS_SCHEDULER_IDLE_WAIT    60012.0    6.2
DIRTY_PAGE_POLL    60058.0    6.2
SQLTRACE_INCREMENTAL_FLUSH_SLEEP    60136.0    6.2
BROKER_TO_FLUSH    29857.0    3.1

Всё остальное в результирующей таблице по нулям
 
 Рекламное место пустует
   Hazer79
 
50 - 03.11.17 - 10:41
Вот тут, кстати, не раз упоминалась ущербность серверных процессоров AMD и в частности Opteron, для задач 1С.

Хорошо. А как же быть тогда что в файловом варианте на том же AMD Opteron всё работает быстрее некуда? Или тут какие-то другие технологии работают?
   nicxxx
 
51 - 03.11.17 - 10:47
(50) Вроде уже давно известно, что в файловом варианте, но с _одним_ пользователем базы 1С "летают".
   Hazer79
 
52 - 03.11.17 - 10:52
(51) А в SQL с одним?
   nicxxx
 
53 - 03.11.17 - 10:57
(52) Заметно замедляются. Но уже с двумя и более пользователями в базе вы заметите, что люди работают, а не ждут окончания транзакции соседа.
Ну и да, в (41) верная ссылка, стоит задуматься. Процессор i7 7700K стоит 25 000 рублей, поставите туда 64GB RAM и будет вам нормальный сервер приложений. Не такие великие деньги для фирмы.
   Про100Филя
 
54 - 03.11.17 - 10:57
(0) Ограничь потребляемую память скуля. Скуль на одном сервере с 1С?
   nicxxx
 
55 - 03.11.17 - 10:58
(54) Он же написал "6. SQL-серверу выделено 90 ГБ ОЗУ"
   nicxxx
 
56 - 03.11.17 - 10:59
(54) "4. Там же установлен сервер приложений 1С (8.3.10.2466). С SQL-сервером общаются в режиме Shared memory. "
   Про100Филя
 
57 - 03.11.17 - 10:59
(54) Ну чтоб сразу скушал под себя свои ресурсы + приоритет выстави высокий.
ТемпДби на отдельном диске?
(56) в (33) написал что свободно 100
   Hazer79
 
58 - 03.11.17 - 11:05
(57) Да, TempDB На отдельном SAS диске, 8 файлов.
Свободно 100 потому, что не ест SQL-сервер больше 500 мегабайт почему-то
   Про100Филя
 
59 - 03.11.17 - 11:14
(58) Выстави минимум и максимум потребляемой памяти одинаковый, выстави отложенный запуск служб и перезагрузку сделай. Скуль должен сразу свою оперативу забрать
   Hazer79
 
60 - 03.11.17 - 11:14
Ещё + наблюдение. При операциях чтения/записи документов и списков, один из процессов rphost активизируется и грузит почти на полную катушку одно ядро из 64-х. Понятно, что 1С нифига не знает о паралелльности, но всё же.
   LuciferArh
 
61 - 03.11.17 - 11:23
(60) Ищи неоптимальный код. Возможно, что какой-то из запросов в документе читает 100500 никому не нужных данных. Или сами запросы неоптимальны с точки зрения сервера БД.
   kauksi
 
62 - 03.11.17 - 11:36
16ти ядерный 6276 имеет кэш L3 1Мб на ядро. В результате серверу 1с работает именно с этим одним мегабайтом. Найдите этот процессор в однопоточном тесте http://browser.geekbench.com/processor-benchmarks  и убедитесь что процессор медленнее чем Intel Core 2 Quad Q9450. А потом уже ищите неоптимальный код, настройки скуля и т.д.

Не потянет 7ми летний проц сегоднящние приложения даже в мультипоточном тесте, он соответствует примерно Intel Core i7-940
   vde69
 
Модератор
63 - 03.11.17 - 11:37
сколько процов кушает SQL?
   Про100Филя
 
64 - 03.11.17 - 11:58
(62) Кеш третьего уровня один на все ядра. По вашему 1С вместо оперативы использует кеш?
   Фрэнки
 
65 - 03.11.17 - 12:01
(60) распараллеливания поток 1С не делает. Если загрузился в один рпхост, то все так и будет
   oleg_km
 
66 - 03.11.17 - 12:02
(58) Темповые таблицы 1С формирует в бешеном количестве. Нам помогло перенос базы tempdb на RAMDisk размером 50 ГБ. Резко увеличилась скорость работы. Но это было видно по монитору доступа к файлу базы tempdb
   Cyberhawk
 
67 - 03.11.17 - 12:04
Поставь у рабочего сервера (в кластере серверов 1С) по 1 ИБ и по 1 соединению на 1 РП, ядра будут активнее использоваться
   Cyberhawk
 
68 - 03.11.17 - 12:05
+(67) http://3.bp.blogspot.com/-m6HZyM3FSRg/VJLI83mv2DI/AAAAAAAAAHA/LT1fjB0bOYc/s1600/83_2.JPG речь о полях с картинки, где стоят цифры 1 и 25: ставь 1 и 1
   capllary_surgut
 
69 - 03.11.17 - 12:35
Проц в утиль
   Hazer79
 
70 - 03.11.17 - 12:37
(67) (68) Так и сделано было. Вычитал в какой-то статье.
   kauksi
 
71 - 03.11.17 - 13:00
(64) речь про Opteron 6276, а не Core I9
   Seriy_Volk
 
72 - 03.11.17 - 13:11
(0) попробуй прикрутить performance dashboard и глянуть в ней, где тормоза. Понятный и бесплатный инструмент, решили при помощи него массу проблем с производительностью. На 2012 SQL правда не ставил, но вроде поддерживается.
   PCcomCat
 
73 - 03.11.17 - 13:22
УПП на этой же платформе 1С крутится?
   Hazer79
 
74 - 03.11.17 - 13:32
Нет, там что-то постарее. У нас другие админы УПП занимаются, поэтому ничего сказать по этому поводу не могу
   PCcomCat
 
75 - 03.11.17 - 13:34
(74) Может проблема в платформе... Чуть по-новее платформа тоже rphost загружает жутко, а Sql сидит на месте.
   PCcomCat
 
76 - 03.11.17 - 13:38
+(75) Причем загружает rphost так, что потом у пользователя вываливается ошибка о нехватке памяти для выполнения операции. И не освобождается при бездействии.
   mehfk
 
77 - 03.11.17 - 13:41
(67) одно соединение на процесс даст неебические тормоза для отчетов, которые формируются через фоновые задания, т.к. каждый раз будет создаваться новый процесс.
   etc
 
78 - 03.11.17 - 13:55
полностью поддерживаю (77). Процессы будут постоянно создаваться и завершаться. Минимум 10 соединений на процесс.
   etc
 
79 - 03.11.17 - 13:56
(0) а формы списка все тормозят или отдельные? Может они у вас доработаны и там запросы что капец?
   arsik
 
80 - 03.11.17 - 14:01
(72) Не знал про такой инструмент. Пошел смотреть :)
Может мануал готовый есть по использованию?
   vde69
 
81 - 03.11.17 - 14:03
(70) поставь

Количество ИБ - 3
Количество соединений на процесс - 64

и смотри, за регламентными заданиями, что бы они не скапливались все в одном рхосте, если скапливаются - его надо убивать

кроме того в свойствах рхоста мониторь параметр "реакция сервера" если больше 0.8 - то это верный признак проблемм в нем, нормальные показатели 0.1...0.3
   vde69
 
82 - 03.11.17 - 14:04
(81) + методы борьбы с рег заданиями в одном рхосте я знаю только одно - ребут этого процесса
   etc
 
83 - 03.11.17 - 14:05
По поводу нагрузки на процессоры. 1С-ка умеет потоки поэтому даже 1 rphost нормально нагружает разные ядра. Но! 1С-ка не умеет работать с NUMA NODES. Тоесть рабочий процесс работает в рамках ядер одного CPU (точнее группы CPU) а распределением новых rphost между группами CPU занимается система. В итоге имея несколько CPU можно получить картинку когда один нагружен под завязку а другие простаивают.
Детальнее тут: http://its.1c.ru/db/metod8dev#content:5903:hdoc:_top:numa
   etc
 
84 - 03.11.17 - 14:07
(82) лучше фоновые выносить на отдельный сервер, на клиентские сеансы очень благотворно влияет.
   Про100Филя
 
85 - 03.11.17 - 14:12
(71) L3 общий для всех ядер
   Seriy_Volk
 
86 - 03.11.17 - 14:26
   s-n-a-y
 
87 - 03.11.17 - 14:29
(0) > после последней перезагрузки, не более 500МБ
Мне кажется главная причина тормозов в этом. У меня в файловом режиме при хапуске ЕРП кушает 500, когда открываю справочники/документы доходит до гигабайта, и это только 1 человек. проверьте все-таки максимальный объем памяти под mssql, если он не ограничен попробуйте повысить минимальный.
   kauksi
 
88 - 03.11.17 - 19:47
(85)16KB L1 data cache per core.
64KB L1 instruction cache shared per two cores (per module).
2MB L2 cache shared per two cores (per module).
8MB L3 cache shared per eight cores (per die).
14MB total L3 cache available when using HT Assist.
http://www.cpu-world.com/CPUs/Bulldozer/AMD-Opteron%206276.html
   kauksi
 
89 - 03.11.17 - 19:49
даже в далеком 2011 16 ядер Оптерона проигрывали 4м ядрам i7 -940, что говорить 6 лет спустя...
   vde69
 
Модератор
90 - 03.11.17 - 20:22
(89) проигрывали В ЧЕМ???

если Вы посмотрите, то поймете, что есть однотактовые и более большие команды, при чем для этих для процессоров они практически одинаковые, что JMP занимает 1 такт ядра одного, что и другого....

так, что если говоришь А, давай уточняй в чем именно быстрее...
   kauksi
 
91 - 07.11.17 - 08:48
(90) проигрывали в частности в многопоточном процессорном тесте geekbench http://browser.geekbench.com/processor-benchmarks. Проигрывает в однопользовательской работе в ЕРП. Проигрывает потому, что после выхода архитектуры Core в 2006 до появления Райзенов, горячие АМД всегда сливали процам от Интел. Чтобы далее не развивать холивар, оставляю топикстартеру самому решать - что делать менять платформу или крутить настройки SQL, но сам вижу что мой двухядерный I3-8350K +Samsung 960Evo даст 85 попугаев Гилева под SQL, и соответственно ЕРП под одним пользователем летает.
   vde69
 
Модератор
92 - 07.11.17 - 08:59
(91) три раза ХА.... бач ориентирован на 3д (в том числе и на игры), там очень много расчетов с плавающей точкой... в 1с таковых не так и много, а в скуле так вообще почти нет....

разумеется заменой проца например на I7 3.8г увеличишь скорость вычислений, но не в 7 раз а раза в 1.5.... и это на одном потоке, а при 20 рхостах разница будет вообще нулевая...
   Hazer79
 
93 - 07.11.17 - 15:38
Новости с полей.

Перетащил в качестве эксперимента сервер 1С на виртуалку, хост которой на Intel Xeon E5-2640 2.5GHz 2 процессора. Виртуалке выделено 4 ядра и 10ГБ ОЗУ.

Летает.

Теперь вот думаю - оставить там или прописать на ПМЖ на таком же серваке с таким же Intel'ом?
   Фрэнки
 
94 - 07.11.17 - 15:43
(93) а интересно, в этой виртуалке тест Гилева тоже запускался? Просто для сравнения.
   H A D G E H O G s
 
95 - 07.11.17 - 15:45
(92) Вы наверное, просто давно не работали на современных процессорах от Интел :-)
   Hazer79
 
96 - 07.11.17 - 15:46
(94) Кстати, нет. Сейчас попробую
   H A D G E H O G s
 
97 - 07.11.17 - 15:48
(92) "а при 20 рхостах разница будет вообще нулевая..."

Немного не понял, о каких рхостах идет речь. Если о процессах rphost - так их должно быть в количестве одной штуки. Мы же про 8.3 говорим.
   H A D G E H O G s
 
98 - 07.11.17 - 15:49
Представляю, как бы удивился автор, разверни он свое хозяйство на i7-7700.
   mehfk
 
99 - 07.11.17 - 15:57
(95) А какова разница в производительности сервера 1С предприятия при равной частоте процессора Intel 2017 года выпуска и 2011 года выпуска?
   Hazer79
 
100 - 07.11.17 - 16:06
(94) 10.1 набрал. :-)
Я даже не знаю как это расценивать.

  1  2   

Список тем форума
Рекламное место пустует Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует