Организация контроля за деятельностью образовательного учреждения. Термин «мониторинг качества образования» является новым для отечественной педагогики. Его появление связанно с реформированием системы образования России, проникновением рыночных отношений в сферу образования и теми противоречиями, которые возникают на рынке образовательных услуг. Важность социальной защиты потребителя образовательных услуг диктует необходимость государственного контроля за качеством образования. Мониторинг качества образования - понятие ёмкое и многогранное. В масштабах государства мониторинг качества образования представляет собой систему, главными элементами которой выступают государственные образовательные стандарты и другие нормативы (например, санитарно-гигиенические нормы), государственные органы по контролю за качеством образования, экспертные процедуры (лицензирование, аттестация ОУ и педагогических работников, государственная аккредитация ОУ, итоговая аттестация обучающихся и др.). Как видим, мониторинг базируется на стандарте, эталоне, норме. Нормирование - одно из самых необходимых условий и оснований мониторинга, поскольку именно с эталоном сравниваются фактические результаты.
Мониторинг будет эффективен, если нормы и стандарты корректно заданы. По мнению академика РАО, доктора педагогических наук, профессора М.М. Поташника, слабость педагогики в том, что она не может точно назвать параметры, критерии, показатели и т.п., по которым можно было бы определить результаты педагогической деятельности - результаты образования. Это обусловливает одну из сложнейших проблем мониторинга - проблему измеримости его показателей.
Качество образования не всегда поддаётся точному количественному измерению, ведь многие результаты образования связаны с оценкой личностного развития, воспитанности личности, что можно определить только квалиметрически - качественно. Следует подчеркнуть также, что мониторинг - это не только основа отслеживания курса движения к заявленным целям, но и механизм их корректировки и путей достижения. Для повышения качества образования, как правило, нужны нововведения, инновационный процесс.
Объекты, методы и содержание контроля. Измерение качества в современной науке рассматривается с позиции системного подхода. С этой точки зрения качество образования есть качество не только конечных результатов (знаний, умений, навыков), но и всех процессов, влияющих на конечный результат. Поэтому управление качеством образования включает в себя организацию эффективного функционирования всех элементов системы образования, то есть:
· органов управления образованием;
· управления образовательными учреждениями;
Управление качеством образования в образовательном учреждении выражается в организации внешнего и внутреннего контроля. Внешний контроль может включать в себя маркетинговое исследование микрорайона (расположение социально-культурных объектов; социальный статус семей обучающихся, потребности и запросы родителей в видах и качестве образовательных услуг и др.). Осуществление внешнего контроля над социальными процессами позволяет корректировать деятельность коллектива и, в соответствии с ситуацией, прогнозировать развитие образовательного учреждения, обеспечивая ему устойчивое положение на рынке образовательных услуг.
Внутренний контроль включает в себя:
· Контроль содержания социально-психологической, медико-социаль-ной, финансово-хозяйственной, санитарно-эпидемиологической и других видов деятельности;
· Контроль образовательного процесса.
К осуществлению контроля в образовании предъявляются следующие требования:
* создание единой системы контроля всех направлений воспитательно-образовательной работы образовательного учреждения;
* выявление причин, вызывающих недостатки, выработка эффективных мер, предусматривающих их устранение;
* своевременность и регулярность;
* оценка деятельности отдельных педагогических работников и всего коллектива;
* подведение итогов в соответствии с законодательством РФ.
Контроль выявляет достоинство и педагогическую эффективность труда педагогов, работы коллектива образовательного учреждения. Главным объектом контроля в образовательном учреждении выступает учебно-воспитательный процесс. В целом, можно выделить следующие объекты, методы и содержание контроля:
Объекты контроля :
· образовательный процесс;
· документация ОУ;
· методическая работа;
· санитарно - гигиенический режим;
· техника безопасности;
Методы контроля :
· наблюдение за педагогической деятельностью работников ОУ;
· анализ работы кружков, секций, студий;
· изучение и анализ документации ОУ (журналов, планов, образовательных программ, тетрадей и дневников обучающихся);
· анкетирование обучающихся, родителей, педагогических работников;
· анализ информации, полученной в беседах с родителями, учащимися и педагогическими работниками;
· анализ смотров, выставок, мероприятий и т.д.;
· изучение внеклассной работы по конкретным направлениям.
1. Контроль за состоянием методической работы в ОУ и повышением квалификации работников ОУ (работа творческих групп, самообразование, организация методических выставок, работа методического кабинета, аттестация педагогических работников).
2. Контроль за состоянием преподавания в ОУ (соблюдение требований возрастной и педагогической психологии, личностно-ориентированный подход к обучающимся).
3. Контроль за организацией, содержанием и результативностью внеурочной работы (нравственное, эстетическое, экологическое воспитание, физическое развитие, укрепление здоровья обучающихся, организация внеурочных мероприятий и др.).
4. Контроль условий совместной работы ОУ, семьи и общественности (изучение условий жизни и состояния воспитания в семье; совместная деятельность ОУ, семьи и других учреждений по воспитанию детей; качество проведения родительских собраний; участие родителей и воспитателей в деятельности совета ОУ и др.).
5. Контроль над качеством знаний, умений и навыков обучающихся.
6. Контроль за соблюдением прав и обязанностей субъектов образова-тельного процесса.
7. Контроль за организацией условий образования (профилактика заболе-ваний и охрана здоровья, санитарно - гигиенический режим, предупреждение травматизма и пожаров в ОУ и др.).
8. Контроль над выполнением решений вышестоящих органов народного образования.
9. Контроль над состоянием документации образовательного учреждения.
АТТЕСТАЦИЯ И ГОСУДАРСТВЕННАЯ АККРЕДИТАЦИЯ
ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ
Контроль над качеством образовательного процесса позволяет осуществлять аттестация и государственная аккредитация образовательного учреждения. Под аттестацией образовательного учреждения понимается экспертная процедура, направленная на выявление качества образовательного процесса в образовательном учреждении. Аттестация является основной формой государственного и общественного контроля за деятельностью образовательного учреждения. Цель и содержание аттестации – установление соответствия содержания, уровня и качества подготовки выпускников образовательного учреждения требованиям государственных образовательных стандартов. Условием аттестации образовательного учреждения являются положительные результаты итоговой аттестации не менее чем половины его выпускников в течение трёх последовательных лет, предшествующих аттестации. Основными принципами аттестации образовательного учреждения являются объективность, гласность, компетентность, соблюдение норм педагогической этики. Правовое регулирование аттестации образовательных учреждений обеспечивается, главным образом, Законом РФ «Об образовании» (ст. 33) и Положением о порядке аттестации и государственной аккредитации образовательных учреждений (приказ Министерства образования РФ от 22.05.98 № 1327). Основные положения этих документов, касающиеся процедуры аттестации образовательных учреждений, заключаются в следующем:
1). Аттестация образовательного учреждения проводится по его заявлению государственной аттестационной службой либо по её поручению или по её доверенности органами государственной власти, органами управлением образованием и органами местного самоуправления с привлечением ведущих образовательных учреждений, общественности.
2). Аттестация проводится один раз в пять лет, если иное не предусмотрено законом.
3). Затраты на проведение аттестации оплачиваются образовательным учреждением.
4) Для проведения аттестации образовательное учреждение предоставляет в аттестационную комиссию заявление, копию своего устава, копию лицензии на образовательную деятельность, учебный план и другие документы.
5). Форма и процедуры проведения аттестации. аттестационные технологии, критерии аттестации определяются органом (службой), осуществляющим аттестацию.
6). По итогам работы аттестационная комиссия составляет заключение, которое подписывается всеми её членами и доводится до сведения коллектива образовательного учреждения.
7). В двухнедельный срок после заключения аттестационной комиссии аттестующий орган издаёт приказ о признании образовательного учреждения аттестованным или неаттестованным.
8). Отрицательное заключение аттестационной комиссии может быть обжаловано в судебном порядке только в части процедуры аттестации.
9). Положительное заключение аттестационной комиссии является условием для получения образовательным учреждением государственной аккредитации.
10). Повторная аттестация может проводиться по требованию образовательного учреждения не ранее чем через двенадцать месяцев с момента отказа ему в государственной аккредитации.
Таким образом, в содержание аттестации ОУ входят два вида экспертиз. Во-первых, экспертиза учебных планов, образовательных программ, расписания учебных занятий, классных журналов. В ходе этой экспертизы определяют, содержание образования. Второй вид экспертиз, входящих в содержание аттестации ОУ, - проверка качества подготовки выпускников.
На практике в содержание аттестации ОУ иногда включают экспертизу других показателей, например: вопросы управления образовательным учреждением, методической работы, повышения квалификации кадров, осуществления внеклассной (воспитательной) работы, состояния материально-технического, обеспечения образовательного процесса; анализируется проведение уроков и др. Нередко от ОУ требуют проведения и предоставления материалов самообследования. Для учреждения, впервые выходящего на аттестацию, это, как правило, бывает очень полезно, т.к. является толчком к приведению в порядок документов, планов, осмыслению своей работы.
Государственная аккредитация образовательного учреждения проводится по итогам его аттестации. Под государственной аккредитацией образовательного учреждения понимается процедура признания государством в лице его государственных органов управлением образованием государственного статуса образовательного учреждения (типа, вида, категории, определяемых в соответствии с уровнем и направленностью реализуемых образовательных программ).
Образовательное учреждение с момента государственной аккредитации. подтверждённой свидетельством о государственной аккредитации . имеет право на: 1) выдачу своим выпускникам документа государственного образца о соответствующем уровне образования и (или) квалификации; 2) на пользование печатью с изображением Государственного герба Российской Федерации; 3) на включение в схему централизованного государственного финансирования.
Правовое регулирование государственной аккредитации осуществляется, в целом, теми же нормативно-правовыми актами, что и аттестация, а именно – законом РФ «Об образовании» (ст. 33) и Положением о порядке аттестации и государственной аккредитации образовательных учреждений (приказ Министерства образования РФ от 22.05.98 № 1327). Основные положения этих документов, касающиеся процедуры государственной аккредитации образовательных учреждений, заключаются в следующем:
1). Государственная аккредитация проводится Министерством образования и науки РФ, ведомственными государственными органами управления образованием, государственными органами управления образованием субъектов РФ;
2). Для получения государственной аккредитации образовательное учреждение представляет в государственный орган управления образованием следующие документы: заявление, копию заключения аттестационной комиссии, копию приказа о признании образовательного учреждения аттестованным, копию лицензии на право ведения образовательной деятельности, сведения об образовательном учреждении по установленной форме;
3). Для проведения государственной аккредитации образовательного учреждения государственный (ведомственный государственный) орган управления образованием создаёт постоянно действующую аккредитационную комиссию (коллегию), в состав которой включаются представители органа управления образованием субъекта РФ, органов местного самоуправления и (или) местных (муниципальных) органов управления образованием, профессиональных общественных организаций и объединений. а также, при необходимости, представители органа (службы), проводившего аттестацию данного образовательного учреждения;
4). Порядок работы аккредитационной комиссии (коллегии) регламентируется положением, утверждённым государственным (ведомственным государственным) органом управления образованием;
5). При установлении государственного статуса образовательного учреждения аккредитационная комиссия (коллегия) рассматривает следующие показатели:
· уровень реализуемых образовательных программ – на основании заключения аттестационной комиссии;
· направленность реализуемых образовательных программ – на основании анализа структуры учебного плана и содержательной части программ учебных дисциплин;
· структура классов (гимназические, с углублённым изучением ряда предметов и т. п.);
· качество подготовки выпускников – на основе заключения аттестационной комиссии;
· кадровое обеспечение: укомплектованность штатов, уровень квалификации педагогических, инженерно-педагогических. руководящих работников;
· информационно-техническое оснащение образовательного процесса;
· медико-социальные условия пребывания обучающихся. воспитанников, соответствующие целям и содержанию образовательного процесса.
6). Государственный статус образовательного учреждения устанавли-вается с учётом средних показателей для образовательных учреждений соответствующего типа. вида, категории на территории данного субъекта Российской Федерации;
7). Свидетельство о государственной аккредитации или уведомление об отказе в государственной аккредитации с указанием причин отказа выдаётся (высылается) образовательному учреждению в двухнедельный срок после принятия соответствующего решения.
Для того, чтобы процедура аттестации и аккредитации образовательных учреждений имела значимость для педагогических работников было предложено ввести категории образовательных учреждений . Аттестация и аккредитация образовательных учреждений на категорию влечетза собой их дифференцированное финансирование в зависимости от качества образования. Так у работающих в них специалистов появляются стимулы к повышению качества своей деятельности. Для введения в действие механизма аттестации и аккредитации образовательных учреждений на категорию необходимо его нормативно-правовое обеспечение. Именно поэтому, совместно с депутатами Государственной Думы, были подготовлены соответствующие поправки к Закону "Об образовании", которые введены в действие Федеральным законом от 13 января 1996 года № 12-ФЗ "О внесении изменений и дополнений в Закон РФ "Об образовании". Так, в пункте 6 ст. 12 новой редакции Закона РФ "Об образовании" записано: "Государственный статус образовательного учреждения (тип, вид и категория образовательного учреждения), определяемые в соответствии с уровнем и направленностью реализуемых им образовательных программ) устанавливается при его государственной аккредитации". В пункт 2 ст. 41 внесено дополнение: "Финансирование образовательных учреждений осуществляется на основе государственных (в том числе ведомственных) и местных нормативов финансирования, определяемых в расчете на одного обучающегося, воспитанника по каждым типу, виду и категории образовательного учреждения". Указанные поправки к Закону нашли свое отражение также в рассмотренном выше Положении о порядке аттестации и государственной аккредитации образовательных учреждений.
Таким образом, введение категорий делает механизм аттестации и аккредитации образовательных учреждений важным управленческим рычагом для развития каждого образовательного учреждения, поскольку задает практическим работникам соревновательную мотивацию повышения качества своей деятельности. Аттестация и аккредитация в буквальном смысле выступают как средство профессионального роста, роста профессионального сознания. Форма, в которой они проходят, часто в какой-то мере является психотерапевтической, не ущемляющей достоинства личности педагога. Аттестации и государственная аккредитация обеспечивают механизм государственного контроля за эффективностью образовательного процесса, стимулируют деятельность ОУ в направлении вариативности, разнообразия и повышения качества образования.
Проблема мониторинга в педагогической теории и практике
Необходимость проведения мониторинга качества образования зафиксирована на уровне законодательных документов. В новом Законе «Об образовании в РФ» статья 28, пункт 2, подпункт, 13 сказано, что к компетенции образовательной организации в установленной сфере деятельности относится … «обеспечение функционирования внутренней системы оценки качества образования в образовательной организации».
Термин «мониторинг» имеет разные трактовки. Из литературных источников взяты различные определения этого термина. Анализ определений дает ответ на три принципиально важных вопроса: что такое мониторинг? с какой целью он осуществляется? как он осуществляется?
- 1. А.Н. Майоров дает следующее определение: мониторинг в образовании - это система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных её элементах, которая ориентирована на информационное обеспечение управления, позволяет судить о состоянии объекта в любой момент времени и может обеспечить прогноз его развития .
- 2. Под мониторингом мы понимаем систему контролирующих и диагностирующих мероприятий процесса обучения, обусловленных целеполаганием и предусматривающих контроль динамики уровня усвоения учащимися учебного материала и его корректировку .
- 3. Мониторинг - это наблюдение, измерение и формулировка на основе выводов про состояние объекта с целью моделирования, прогнозирования и принятия соответствующего решения .
- 4. Педагогический мониторинг - форма организации, сбора, хранения, обработки и распространения информации о педагогических системах, обеспечивающая непрерывное слежение за их состоянием. А также дающая возможность прогнозирования развития педагогических систем .
- 5. Мониторинг предполагает выработку особых, текущих знаний о состоянии системы, в которых осуществляется деятельность, с последующим переводом знаний на язык управленческих решений .
- 6. Мониторинг - систематическое стандартизированное наблюдение за процессом качественных и количественных изменений в рамках данной системы .
- 7. Образовательный мониторинг можно определить как систему организации, сбора, хранения, обработки и распространения информации о деятельности педагогической системы, обеспечивающее непрерывное слежение за ее состоянием и прогнозированием ее развития .
- 8. Мониторинг способствует прогнозированию результатов экспериментальной деятельности .
- 9. По мониторингом в системе «учитель - ученик» мы понимаем совокупность непрерывных контролирующих действий, позволяющих наблюдать и корректировать по мере необходимости продвижение ученика от незнания к знанию.
После анализа литературных источников были выделены признаки определения:
- · система,
- · наблюдение (слежение),
- · измерение,
- · обработка, сбор и хранение информации,
- · прогнозирование,
- · управленческие решения.
Как было уже изложено в §1, ФГОС можно рассматривать как основу для выделения качеств как существенных признаков, свойств, определяющих качество. ОУ несут ответственность за интерпретацию стандартов и присущих школе специфических целей. Три группы требований к качеству в стандартах фактически определяют три направления для мониторинга:
- · требования к качеству результатов: оценка образовательных результатов, достигаемых школой;
- · требования к качеству процесса: оценка качества условий образовательной деятельности;
- · требования к структуре образовательных программ: оценка качества управленческой деятельности всех субъектов образовательной деятельности.
Перечисленные направления мониторинга должны быть реализованы в любом ОУ. Также может быть выбрано индивидуальное направление для мониторинга, показывающее специфику конкретного ОУ.
Рассмотрим аспекты, которые необходимо учесть при разработке системы мониторинга для образовательного учреждения.
Мониторинг строится на определенных основаниях для измерения и сравнения. Основанием для измерения является соответствие какому-либо эталону: стандарту, норме, требованию. Данные мониторинга должны обеспечивать возможность сравнения двух или нескольких сходных по характеристикам систем (в нашем случае гимназий) и возможность сравнения данных одного ОУ во времени (например, сравнение образовательных достижений учащихся, полученных за несколько лет).
Выделяют следующие виды мониторинга: информационный, базовый, проблемный, управленческий.
Информационный мониторинг предполагает накопление и распространение информации и не предусматривает специально организованного обследования на этапе сбора информации. На первый план в информационном мониторинге выходит функция слежения. Примером информационного мониторинга может быть результаты обученности учащихся, результаты ЕГЭ, ГИА за несколько учебных лет.
Базовый мониторинг выявляет проблемы и риски. Базовый мониторинг - мониторинг состояния системы. Он позволяет собрать о ней информацию (составить банк данных) для проведения последующих исследований, в том числе и мониторинга другого вида. Иллюстрацией этого вида может быть, например, мониторинг готовности перехода ОУ на ФГОС.
Проблемный мониторинг позволяет изучить закономерности процессов, типологию проблем. В качестве примера можно провести «Мониторинг оценки преподавания профильных предметов в гимназии на основе результатов ЕГЭ». Этот вид мониторинга осуществлялся в гимназии №1505 на протяжении двух последних учебных лет. С результатами данного мониторинга в приложении 4.
Управленческий мониторинг имеет целью отслеживание и оценку эффективности, последствий и вторичных эффектов принятых решений. Например, с введением нормативного финансирования администрация гимназии приняла решение о сокращении количества подгрупп для изучения предметов в основной школе. При анализе обученности учащихся был сделан акцент на динамике результатов по сравнению с предыдущими учебными годами, когда обучение шло по подгруппам.
Можно предположить, что мониторинг качества образования может быть и информационным, и базовым, и проблемным, и управленческим. Все зависит от тех целей и задач, которые ставят школьные администраторы перед этой процедурой.
Разрабатывая программу мониторинга качества образования важно помнить о влиянии на качество образования целого ряда факторов, которые необходимо учитывать в процессе анализа собранной мониторинговой информации. Выделяют пять групп факторов:
- · факторы, которые школа может изменять;
- · факторы, которые школа может изменять при определенных условиях;
- · факторы, на которые школа может оказать влияние;
- · факторы, на которые школа может оказать влияние при определенных условиях;
- · факторы, на которые школа не может воздействовать.
По результатам международных исследований были выявлены факторы, влияющие на качество школьного образования. На наш взгляд, при разработке модели школьного мониторинга целесообразно учитывать факторы, обозначенные в схеме 1.
Схема 1. Факторы, оказывающие влияние на качество школьного образования (по результатам исследования PISA и PIRLS)
Факторы, влияющие на качество школьного образования
Мониторинг формируется как система повторяющихся диагностических процедур, проводимых с использованием количественных методик, максимально объективирующих качественные показатели избранных объектов. На практике эта система повторяющихся диагностических процедур может выглядеть как система повторяющихся временных срезов, например, уровня знаний учащихся.
Для мониторинга характерно использование разнообразных методов измерения, сбора информации о состоянии избранных объектов. Не рекомендуется проводить измерения часто. Частые измерения оправданы в случае, например, биологических систем. В социальных системах, к которым и относятся образовательные системы, при частых замерах возможен эффект привыкания респондентов к вопросам, что может привести к формированию стереотипа ответа, а значит, к искажению результатов.
Согласно исследованию А.Н. Майорова полученная в результате мониторинга информация должна отвечать следующим требованиям: объективность, точность, достаточность, систематизированность (структурированность), оптимальность обобщения, оперативность, доступность.
Общая логика разработки программы мониторинга в образовательном учреждении
Первое, с чего начинается разработка программы мониторинга, - это определение цели. Какова возможная цель мониторинга для получения наиболее полной информации о деятельности ОУ по достижению нового качества образования в свете ФГОС?
Можно предположить следующие формулировки целей:
- · обеспечение адекватности принятия управленческих решений;
- · определение тенденций развития образовательного учреждения, его перспективы;
- · получение информации для разработки перспективного плана работы школы.
В любом случае цель мониторинга связана со стратегией работы школы. Поскольку качество как ориентир может меняться, то и цель может уточняться.
Таким образом, обобщенный вариант может быть сформулирован следующим образом: оценка и представление результатов деятельности ОУ по мониторинговым показателям для построения программы достижения нового качества образования и для отчетности гимназии перед стейкхолдерами.
Общая логика разработки программы мониторинга в ОУ представлена на мониторинга чрезвычайно разнообразны. В качестве объектов могут быть: состояние образовательной подготовки учащихся; ииндикаторы результатов (процент занятости, закончивших высшую школу, диссертации и т.д.); индикаторы ресурсов (затраты на образование, квалификация учителей); признаки качества - общеучебные умения; организационно-педагогические условия; обученность; достигнутые результаты; степень социализации и адаптации; отрицательные эффекты и последствия образования; учебные возможности школьников; профессиональное мастерство учителя; информационное обеспечение; состояние, эффективность инновационной работы в школе; качество преподавания и организация процесса обучения; работа с родителями; взаимодействие с внешней средой; учебная мотивация; система воспитательной работы и т. д.
Поскольку планируется разработка программы мониторинга деятельности гимназии, направленной на достижение нового качества образования, то основанием для определения объектов мониторинга является новое качество образования. Как было изложено ранее (§ 1) ФГОС определяет три составляющие мониторинга, а, следовательно, три объекта:
В общем смысле критерий - это мерило оценки, а показатель - данное, по которому можно судить о развитии, ходе, состоянии чего-нибудь. Таким образом, каждый объект мониторинга может иметь один или несколько критериев, по которым составляется суждение о развитии этого объекта, а каждый критерий, в свою очередь, может быть охарактеризован определенным набором показателей. Выбор показателей, в свою очередь, оказывает влияние на выбор инструментария мониторинга, т.е. тех методик, с помощью которых будут собираться данные.
К критериям предъявляется важное требование - критерий должен позволять производить измерение.
Каждый объект мониторинга может иметь свой набор критериев и соответствующих им показателей. Возможно, что один и тот же критерий дает информацию о разных объектах мониторинга. Количество критериев, оцениваемых в рамках мониторинга, не должно быть большим. Количество критериев определяется разработчиками программы мониторинга. Важно, чтобы объем собираемой информации был достаточным для принятия управленческих решений. Критерий может измеряться при помощи разного числа показателей.
Следующий вопрос, на который необходимо ответить при разработке программы мониторинга - по каким методикам собирать информацию об объектах мониторинга? Ответ был найден следующий: «Для того, чтобы снизить влияние ряда факторов на результаты мониторинга, целесообразно подбирать такие методики сбора информации, которые уже зарекомендовали себя как надежные. Разумеется, если у школы есть возможность привлечь к разработке школьной программы мониторинга качества образования профессиональных тестологов, диагностов, психологов и других специалистов, то необходимость в подбое методик может исчезнуть, т.к. они будут разрабатываться. Выбор методик сбора информации в школьной программе мониторинга целесообразно расширять и выбирать как педагогические методики, которые под силу провести любому учителю, так и психологические, и социологические, позволяющие получить информацию о результатах деятельности школы на фоне других учреждений системы образования».
Повышение качества образования связано с формированием системы информационно-аналитической деятельности как основного инструмента управления общеобразовательным учреждением. Информация, полученная в ходе мониторинга, с одной стороны, актуальна ограниченное время, но с другой, она со временем позволяет сравнивать результаты и строить прогнозы развития системы. Поэтому, создаваемая программа мониторинга должна органично «вписываться» в систему связей и отношений, существующих в области педагогических измерений, контроля, оценки качества образования и должна быть согласована с предшествующим опытом, накопленным в учреждении в области различных педагогических измерений и диагностики.
Анализ практической литературы , , по теме показал, что система мониторинга разворачивается в школе в течение трех лет! Такой длительный срок определяется не сложностью самой деятельности, но необходимостью получения результатов, измеряемых одними и теми же измерителями в течение нескольких лет. В этом главное отличие мониторинга от диагностики. Диагностика - этот точечное, одномоментное измерение, мониторинг - это измерение изменения объектов во времени. Возникает временное противоречие между временной ограниченностью ценности информации и временными рамками становления системы мониторинга. Возможно, что выход может быть найден в поэтапности введения мониторинга как средства сбора и хранения информации о состоянии качества образования в школе и постепенной замене существующих процедур, как правило, вписанных в рамки внутришкольного контроля, на процедуры мониторинговых измерений.
Разработчики мониторинговых исследований отмечают , что наиболее эффективным является эволюционный путь постепенного введения мониторинга в практику образовательной деятельности школы, который повлечет за собой пересмотр функционала школы, делегирование некоторых управленческих функций объединениям педагогов или отдельным личностям, создание в школе службы мониторинга.
Реализация школьной программы мониторинга качества образования предполагает организацию подготовки педагогов. Реальна организация подготовки педагогов внутри школы в рамках программно-модульной подготовки учителей.
При проектировании программы мониторинга обязательно нужно планировать этап презентации информации о результатах. Это составляющая мониторинга наименее разработана. Как отмечают авторы, зачастую информация складывается в папки… В гимназии для презентации результатов мониторинга одним из ресурсов служит сайт гимназии. Для школьников информация доводится с помощью школьной газеты. Возможно, что информация о результатах мониторинга должна размещаться в информационных буклетах о школе.
Оценить эффективность мониторинга можно по тому, дает он информацию для принятия управленческих решений или нет. Более конкретными показателями могут быть: качество получаемой информации; востребованность информации всеми субъектами образовательного процесса; затраты на проведение мониторинга; потребность в следующем мониторинге.
Управление качеством образования как управление по результатам
Мониторинг может существовать только во взаимосвязи с управлением, системой принятия решений. На заре развития экологического мониторинга И.П. Герасимов предупреждал, что эффективность не нацеленного на управление мониторинга низка и приводит к ряду недостатков, основными из которых являются избыточность и недостаточность информации, ее невостребованность. В настоящее время управление и мониторинг рассматриваются в единстве.
По традиции советской эпохи из всех компонентов управленческой деятельности в большей степени в школе современной развита функция контроля. Контроль (внутришкольный) и на сегодняшний день является одной из функций школьных администраторов и его планирование составляет стратегическую основу для принятия управленческих решений. При традиционном подходе планирование заключается в определении необходимого перечня работ, которые должен выполнить определенный субъект. Поскольку проведение внутришкольного контроля является функцией администраторов школы, поэтому и планируется, фактически, их деятельность. Планирование выполнено в логике традиционного подхода, может быть охарактеризовано через следующие «шаги»: постановка цели; выбор объекта контроля; планирование контроля; определение субъекта контроля (кто исполняет); сбор и обработка информации; подведение итогов контроля, выработка рекомендаций. Другой вариант: ответственность за проведение контроля возлагается на определенный круг школьных работников (в основном это завучи и директор); значительное место в контроле занимает констатация факта (наличие картотеки, планирования, ведение журналов и т.п.), а не выявление проблем; в значительной мере контроль процесса, но не результата.
Изменение характера образовательной деятельности с одной стороны, и потребность школ с другой стороны, приводит к необходимости выбора иного подхода к стратегии планирования управленческих решений, отличной от традиционного подхода - планирования мероприятий. Таким подходом может быть проблемный подход, идея которого представлена на схеме 3:
Механизмом реализации проблемного подхода является мониторинг качества образования являющийся источником достоверной информации.
Управление качеством образования на основе мониторинговой информации позволяет осуществлять стратегическое планирование и принятие управленческих решений в следующих направлениях:
- · использование информации для определения основных тенденций в развитии образовательного учреждения, как образовательной системы, направленности и динамики основных процессов, резервов совершенствования учебно-воспитательного процесса, критических точек, степени соответствий качества образовательных результатов выделяемым ресурсам и приложенным усилиям, эффективности действия механизмов обеспечения преемственности ступеней школы;
- · выбор приоритетов политики образовательного учреждения в области качества, стратегической программы ее развития; корректировка и совершенствование образовательных и учебных программ, выбор концепции профильных классов, технологии обучения; выбор модели установления общественных отношений школы с социумом.;
- · формирование статистических баз данных для осуществления динамического наблюдения за образовательным процессом, выстраивания стратегий управления им на продолжительных циклах;
- · информирование различных групп стейкхолдеров о ходе и результатах образовательного процесса с целью формирования ценностно-мотивационного поля, достижения согласованности в действиях, формирования климата доверия и взаимопомощи.
С введением в ОУ системы мониторинга качества образования происходит смена объекта управления: от управления педагогическим коллективом к управлению качеством образования.
Выводы по первой главе
- · Качество образования - многомерная характеристика. Нет, и не может быть, однозначного определения этого понятия, так как критерии и показатели качества определяются в большей степени требованиями к образованию в текущий момент.
- · Создание образовательных стандартов является одним из важнейших направлений развития образования в мире и отражает новейшие тенденции развития образования, историю и традиции страны. Одной из предпосылок возникновения стандартизации образования является необходимость повышения его качества.
- · Российские образовательные стандарты эволюционируют (от ГОС - 1 (1998) к ФГОС). Эволюция стандартов обусловлена в том числе и изменениями представлений о качестве образования.
- · Во ФГОС сформулированы три группы требований к качеству на данный период времени: требования к качеству результатов (ключевой раздел стандартов второго поколения); требования к качеству процесса; требования к структуре образовательных программ.
- · Современные стандарты образования пяти зарубежных стран (Великобритания, Гонконг, Канада, Финляндия и Франция), учащиеся которых показывают высокие образовательные достижения в международных исследованиях, делятся на две части: стандарты содержания и стандарты достижений. Стандарты достижений формулируются как образовательные результаты, которые подлежат оценке и доступны оцениванию.
- · В стандартах достижений указываются надпредметные (сквозные) результаты, которые характеризуют общие компетентности, учебные умения и пр. и предметные результаты для каждого класса. При этом надпредметные результаты в ряде стандартов указываются и как предмет самостоятельной оценки.
- · Описание предметных достижений носит уровневый характер.
- · Необходимость учета образовательных результатов ставит острый вопрос об инструментах их оценки. При оценке достижений чаще всего используются тесты.
- · Необходимость оценивать сложные образовательные результаты ставит проблему разработки инструментов и процедур оценки, позволяющих совместить компетентностный характер выполнения задний и объективность результатов оценивания. Решением этой проблемы становится появление новых форматов оценки качества образования.
- · Несмотря на различие национальных систем оценки качества образования, можно говорить о наличии общих тенденций (стандартов, инструментов и процедур), благодаря чему появляются международные системы сертификации по итогам среднего образования.
- · Достаточно распространенной на сегодняшний день является ситуация, когда внешнюю оценку качества проводят независимые экспертные организации, которые разрабатывают контрольно-измерительные материалы, готовят экспертов и проводят процедуры оценки. При этом заказ на оценку формируется со стороны органов управления образованием. Такая система обеспечивает и управление процессом оценки и его независимость, профессионализм и объективность.
- · Обязательной чертой систем оценки качества образования является их открытый, прозрачный характер.
- · Мониторинг качества образования - современный инструмент для принятия управленческих решений. Он предполагает наблюдение (слежение), измерение, обработку, сбор и хранение информации, прогнозирование, принятие управленческих решений. Его концепция разрабатывается в определенной логике и требует учета множества факторов.
- · Для становления системы мониторинга необходимо, как минимум, три года. Очевидно, имеет смысл пойти на такой шаг ожидания, т.к. в течение этих трех лет все равно будет оцениваться качество образования, но уже в определенной системе критериев и показателей, а через три года накопится информация для выявления динамики показателей и получения сопоставимых данных.
- · Изменение характера образовательной деятельности с одной стороны, и потребность школ с другой стороны, приводит к необходимости выбора иного подхода к стратегии планирования управленческих решений, отличной от традиционного подхода - планирования мероприятий. Таким подходом может быть избран проблемный подход.
- · Управление качеством образования на основе мониторинговой информации позволяет осуществлять стратегическое планирование и принятие управленческих решений в следующих направлениях: использование информации для определения основных тенденций в развитии образовательного учреждения; выбор приоритетов политики образовательного учреждения в области качества; принятие управленческих решений в отношении улучшения качества образовательного процесса; формирование статистических баз данных; информирование стейкхолдеров о ходе и результатах образовательного процесса.
Термин мониторинг качества образования является новым для отечественной педагогики. Его появление связано с реформированием системы образования России, проникновением рыночных отношений в сферу образования и теми противоречиями, которые возникают на рынке образовательных услуг. Важность социальной защиты потребителя образовательных услуг диктует необходимость государственного контроля за качеством образования.
Слово «мониторинг» происходит от латинского слова monitor ^ (монитор) и означает наблюдение за состоянием окружающей среды, техногенных систем и т.д. с целью их контроля, прогноза и охраны.
Мониторинг качества образования - понятие емкое и многогранное. Применительно к системе дошкольного образования можно выделить следующие грани мониторинга:
систематическая и регулярная процедура сбора, экспертизы и оценки
качества образовательных услуг
дошкольных учреждений на нацио
нальном, региональном и местном уровнях (включая конкретные
образовательные учреждения) в целях развития системы дошкольно
го образования, своевременного предотвращения неблагоприятных или
критических, недопустимых ситуаций
в данной сфере;
Относительно самостоятельное звено в управленческом цикле,
обеспечивающее выявление и оценки проведенных действий, ме-
роприятий для установления обратной связи, т. е. о соответствии фактических результатов деятельности педагогической системы ее конечным целям;
возможность правильно оценить степень, направление и причи
ны отклонений.
В масштабах государства мониторинг качества дошкольного образования представляет собой систему, главными элементами которой выступают:
Разработка государственных (региональных) стандартов до
школьного образования;
Операционализация стандартов в индикаторах (показателях,
измеряемых величинах), установление критериев, по которым мож
но судить о достижении стандартов;
Проведение научно-педагогической экспертизы (аттестации),
сбор данных и оценка результативности и качества образователь
ных услуг ДОУ;
Принятие соответствующих мер, обеспечивающих позитивное
развитие системы дошкольного образования, оценку результатов
принятых мер в соответствии со стандартами;
Возможность изменения, корректировки самого стандарта.
Как видим, мониторинг базируется на стандарте, эталоне, норме. Нормирование - одно из самых необходимых условий и оснований мониторинга, поскольку именно с эталоном сравниваются фактические результаты.
Мониторинг будет эффективен, если нормы и стандарты корректно заданы. По мнению академика РАО, доктора педагогических наук, профессора М.М. Поташника, слабость педагогики в том, что она не может точно назвать параметры, критерии, показатели и т.п., по которым можно было бы определить результаты педагогической деятельности - результаты образования. Это обусловливает одну из сложнейших проблем мониторинга - проблему измеримости его показателей.
Существуют количественные и качественные способы (методы) оценки. Однако результаты качества образования, особенно на этапе дошкольного периода, трудно измеримы количественно. Большинство результатов образования, связанных с оценкой личностного развития, воспитанностью ребенка, можно определить только квалиметрически - качественно, описательно или в виде балльной шкалы, показателей уровней развития. Определение таких показателей осуществляется в исследовательско-эксперименталь-ном режиме, а оценка результатов требует экспертной оценки.
Весьма важно также, чтобы стандарт был оптимальным. Его завышение вызывает чрезмерную напряженность, тревогу, неуверенность у всех участников образовательного процесса. Заниженный стандарт расхолаживает, парализует активность, провоцирует состояние благодушия и безделья.
Следует подчеркнуть также, что мониторинг - это не только основа отслеживания курса движения к заявленным целям, но и механизм их корректировки и путей достижения. Сам по себе мониторинг не может повысить качества образования - он только помогает его отслеживать. Для повышения качества образования, как правило, нужны нововведения, инновационный процесс.
Для осуществления мониторинга необходимо наличие аппарата мониторинга, т. е. отдельных лиц (экспертов, менеджеров образования) или коллективного органа, реализующего механизм мониторинга.
В настоящее время мониторинг осуществляется практически на всех структурных уровнях системы дошкольного образования. Ниже представлена классификация видов мониторинга дошкольного образования.
Понятие мониторинга образования сейчас широко используется в педагогическом лексиконе, хотя не всегда соответствует его содержанию. Но педагогическое чутье учителей заставило многих коснуться этой проблемы и приобрести опыт мониторинговых исследований. Оценка качества образования является необходимым условием совершенствования учебно-воспитательного процесса. Один из важнейших критериев качества образования является уровень подготовки учащихся. Основными способами измерения качества знаний учащихся являются тесты и рейтинговые диагностические работы. Главной целью мониторинга является улучшение состояния общеучебной подготовки учащихся путем выявления проблем и целенаправленной коррекционной работы. Основными задачами мониторинга могут быть:
- определение достижений учащихся по основным дисциплинам;
- определение причин различий учебных достижений различных категорий учащихся;
- коррегирование учебно-воспитательного процесса и его учебно-методического обеспечения;
- реализация индивидуальных возможностей учащихся;
- отслеживание результативности физического воспитания и состояния здоровья учащихся;
- подготовка учителей и учащихся к применению различных способов диагностики;
- определение качества преподавания и организации процесса обучения.
Для качественного проведения мониторинга необходимо проведение не менее трех измерений знаний учащихся на протяжении учебного года (начало, середина и конец года). Учитель должен владеть технологией измерений уровня знаний, обработки и анализа результата. Необходимым условием является сбор информации о факторах, которые влияют на успеваемость обучения. Анализ и обобщение такой информации поможет в организации коррекционной работы, собранная информация должна быть точная, достоверная и своевременная. Необходимым является и создание учебно-методических материалов для коррекционной работы по улучшению базовой подготовки учащихся. Учет этих требований требует высокоуровневой координации деятельности всех участников.
Условием проведения мониторинговых исследований является:
- регулярность измерений;
- долгосрочность;
- массовость;
- самостоятельность выполнений заданий;
- объективность оценивания.
Независимо от способов диагностики, необходима тщательная подготовка как психологическая, так и по предмету (это повторения учебного материала, его систематизация и т.д.). Подготовка к измерениям должна включать в себя несколько этапов:
- инструктаж учащихся о способах выполнения работы;
- проведение тренировочных работ;
- анализ результатов для проведения коррекционной работы как в количественном, так и в качественном видах.
Такую подготовку желательно провести за одну-две недели до оценивания.
Результаты мониторинговых исследований заносятся в таблицу:
Мониторинг результата учебной деятельности учащихся
| Результаты контроля | |||||
| № п/п | Фамилия, имя учащегося | Стартовый контроль | Промежуточный контроль | Итоговый контроль | Выводы |
| 1 | Иванов Сергей | 3 | 4 | 5 | |
| 2 | Петров Иван | ||||
| 3 | Сидоров Николай | ||||
| 4 | |||||
| 5 | |||||
На основе данных этой таблицы делается сравнительный анализ, при помощи которого можно проследить динамику изменений успешности каждого ученика, класса и параллели. Изображение результатов в графическом виде облегчает его восприятие и дает возможность быстрого сравнивания итогов.
- Начальный
- Средний
- Достаточный
- Высокий
Сведение результатов диагностики позволяет сделать выводы об усвоении учащимися тех или иных видов деятельности на базовом или более высоком уровне. Глубокий анализ этих результатов позволяет разработать рекомендации по совершенствованию обучения.
Цели проведения исследований определяются в зависимости от этапов мониторинга:
1. Подготовительный этап:
- изучение теоретических и методических основ отслеживания и коррекции результатов учебно-воспитательного процесса;
- определение системы использования форм, методов и способов сбора информации;
- разработка инструментария для проведения исследований и организации коррекционной работы.
2. Диагностический этап:
- создание системы внутришкольного контроля, накопление результатов;
- определение видов учебной деятельности, которые не сформированы на должном уровне;
- определение причин отличия учебных достижений различных категорий учащихся.
3. Коррекционный этап.
- корректирование элементов учебно-воспитательного процесса, систематизация и повторение учебного материала;
- промежуточный контроль состояния учебно-воспитательного процесса;
- коррекция знаний, умений и навыков учащихся на основе полученных результатов.
4. Аналитический этап.
- итоговый контроль учебно-воспитательного процесса;
- определение тенденций и обоснование результатов проведенной работы;
- принятие итоговых решений.
Основными принципами мониторинга качества образования являются системность в проведении исследований и наблюдений, научность, доступность и открытость полученной информации.
Модель мониторинга качества образования в школе
Алгоритм процесса отслеживания учебных достижений учащихся
Результаты учебных достижений учащихся можно оформить в виде графиков или диаграмм.
Сентябрь
Проводя мониторинговые исследования необходимо помнить, что главная цель - помочь, а не оценить, выявить недостатки, а не успехи. Общая информация должна быть открытой, а личная – конфиденциальной.
Существует необходимость проведения обсуждения результатов мониторинга в школе и принятия управленческих решений.
С этой целью возможно проведение заседания круглого стола
В современных социальных условиях образовательные учреждения стремятся обеспечить качественное достижение результатов образования, соответствующих государственному образовательному стандарту, и необходимый для этого уровень мотивации, здоровья и развития обучающихся. Образовательные учреждения стараются работать в режиме развития, целенаправленно занимаясь инновационной деятельностью.
Чтобы объективно ответить на вопросы: какие изменения в школе и что надо сделать, чтобы улучшить качество образовательного процесса, нужен учет. Наблюдение, измерение, фиксация, анализ, происходящих в школе процессов, необходимы для выработки стратегии успешного саморазвития школы. Только точное знание того, идем ли мы вперед или стоим на месте, дает возможность последовательно и грамотно проводить работу по регулированию и коррекции образовательного процесса, то есть повышать эффективность его управления и совершенствовать школьную систему образования с целью повышения качества его результатов.
Проблема: Как правильно организовать мониторинг в начальной школе, чтобы повысить качество обучения?
Цель исследования: выявить, как мониторинг влияет на повышение качества обучения младших школьников в учебной деятельности.
Исходя из цели, были определены следующие задачи:
1.Изучить, проанализировать и обобщить психолого-педагогический опыт по данной теме.
2.Проверить эффективность используемых мониторинговых исследований.
3.Обобщить опыт работы по данной теме для последующей трансляции.
Основные методы: д ля решения поставленных задач и проверки исходных положений в исследовании был использован комплекс методов эмпирического характера - изучение и анализ психологической, педагогической, методической литературы по проблеме исследования, изучение и обобщение опыта работы педагогов по теме, метод наблюдения, практическая работа.
В решении задач, поставленных перед современной школой, особое значение придается педагогическому мониторингу, так как без непрерывного отслеживания результатов качества знаний и результатов воздействия воспитательно-образовательного процесса на личность обучающегося трудно оценить эффективность работы школы.
В нашей школе разработана система мониторинга, где определены цели, задачи, объекты, критерии, показатели, методы сбора и обработки информации.
Целью мониторинга является отслеживание динамики качества образования и эффективность управления качеством образования.
Задачи мониторинга:
Сбор информации;
Обработка, корректировка и ввод информации в базы данных;
Осуществление первичного анализа информации;
Создание прогнозов, аналитических материалов;
Совершенствование технологии мониторинга качества образования в образовательном учреждении.
Мониторинг ведется по 2 уровням - индивидуальный, персональный и внутришкольный.
Индивидуальный или персональный - осуществляется мною, как учителем и классным руководителем (наблюдение, фиксирование динамики развития каждого ученика и классного коллектива в целом). Ведутся мною индивидуальные карты развития (познавательная сфера, эмоционально-волевая сфера, особенности межличностного общения, потребностно-мотивационная сфера, духовно-нравственная сфера, особенности поведения в ситуациях внутришкольного взаимодействия) и карты достижений по русскому языку и математике (см. приложение). Именно мониторинг, осуществляемый мною, как учителем, представляет систему педагогического взаимодействия «учитель-ученик» и обеспечивает развитие индивидуальных способностей каждого ученика, включение его в учебную деятельность с учетом его возможностей и способностей.
Осуществляю дидактический, воспитательный, психолого-педагогический мониторинги, как учитель и классный руководитель. Дидактический мониторинг - отслеживание различных сторон учебного процесса (уровень обученности и обучаемости учащихся, качество знаний). Воспитательный - отслеживание уровня воспитанности, уровня классного коллектива, социума. Психолого - педагогический - отслеживание состояния психического здоровья учащихся, развитие их индивидуальных способностей, осуществляю совместно с психологом. Мониторинг помогает мне в работе с родителями, даю рекомендации родителям на основе мониторинга.
Мною осуществляется внутришкольный мониторинг. Проводится ежегодно мониторинг уровня сформированности результатов обучения в виде контрольных работ по русскому языку и математике в начальных классах:
Входной - с целью определения степени устойчивости знаний учащихся, выявления причин потери знаний, устранения пробелов в процессе повторения, прогнозирования возможности успешного обучения (совместно с учениками - если проводит учитель);
Промежуточный - с целью отслеживания динамики обученности учащихся, коррекции знаний у слабоуспевающих учеников;
Итоговый - с целью определения уровня сформированности ЗУН, отслеживания динамики обученности, прогнозирования результативности дальнейшего обучения учащихся. Результаты заносятся в таблицы.
Осуществляется также мониторинг обученности по отдельным предметам (тематические) по родному языку, окружающему миру. При этом мони-торинг обученности фиксирует промежуточные результаты подготовки к выполнению стандарта, необходимые для дальнейшего успешного обучения.
Проводится мониторинг формирования ОУУН учащихся:
Уровень сформированности учебно-логических умений (анализ, синтез, сравнение, классификация, обобщение) - 2 раза в год;
Уровень сформированности навыков чтения, беглости, осознанности и правильности чтения, скорости письма и скорости вычислительных навыков.
Проводятся мониторинговые обследования качества общего образования в 1-4 классах по материалам министерства Пермского края, которые дают возможность проанализировать и соотнести результаты, определить динамику продвижения каждого обучающегося, спланировать коррекционную работу.
Мониторинг формирования читательской компетентности учащихся 4 класса проводится ежегодно по материалам министерства Пермского края.
Мониторинг уровня профессионализма учителей начальных классов в нашей школе осуществляется по показателям:
Повышение квалификации на уровне курсовой подготовки, на уровне района (РМО, ПГ), на уровне школы (ШМО, ПГ, семинары);
Качество преподавания (посещение уроков, открытые уроки, самоанализ уроков);
Изучение педагогических затруднений;
Использование современных образовательных программ, технологий;
Результаты учебной деятельности педагога.
Без информации о ходе и промежуточ-ных результатах, без постоянной обратной свя-зи процесс управления невозможен. Отсутствие необходимой информации парализует процесс управления. Наиболее важной является информация, по-лученная в системе внутришкольного мониторинга. Администрации пред-стоит разобраться в обилии фактов, провести их сортировку, отсеять несущественное, выделить главное, оценить их с точки зрения влияния на ход и результаты образовательного процесса, и только затем принять наиболее обоснованные и оптимальные решения.
Мониторинг не ломает существенную традиционную систему контроля, а требует обеспечения ее информационной стабильности, долгосрочности, надежности и своевременности, что предотвращает дефицит информации при выработке рекомендаций и принятию управленческих решений. Мониторинг помогает путем анализа свести всю информацию в одно целое, обобщить ее и получить общую картину развития образовательного процесса.
Выводы.
Проведенные исследования подтвердили, что мониторинг эффективно влияет на повышение качества обучения младших школьников в учебной деятельности.
Наиболее важным видом мониторинга для нашей школы определен мониторинг качества обучения и образования, так как этот вид имеет непосредственное отношение к образовательной технологии и позволяет собрать, описать и использовать информацию о состоянии учащихся и педагогов в любой промежуток времени. Мониторинг необходим для построения управляемого образовательного процесса, дальнейшего совершенствования деятельности педагогов и администрации по улучшению качества образования.
Мониторинг позволят проводить непрерывный контроль знаний учащихся и диагностику уровня профессионализма педагогов. Практическое внедрение системы мониторинга, то есть сбор, обработка и передача информации осуществляется с помощью информационных технологий, однако, в нашей школе необходимы специальные программы, хотелось бы ознакомиться с опытом работы других педагогов и зам. директоров по данной теме.
Loading...