3. ОЦЕНИВАНИЕ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ

(Аналитик: Краснова Т.И.)

3.1. Ценности, принципы оценивания
3.1.1. Оценивание: современные тенденции
3.1.2. Изменение функции оценивания: от оценивания для контроля к оцениванию для развития.
3.1.3. Идея "петли качества".
3.1.4. Чем может помогать оценивание студенту? (Или: Когда оценивание становится развивающим?)
3.1.5. Ключевые ценности оценивания
3.1.6. Характеристики оценивания
3.1.7. Соответствие целей курсов и методов оценивания используемых в них.

3.2. Способы оценивания учебной деятельности студентов (инструменты, критерии, примеры, образцы)
3.2.1. Виды экзаменов
3.2.2. Реферат
3.2.3. Что такое эссе как вид учебной деятельности?
3.2.3.1. Типы эссе
3.2.3.2. Критерии оценки эссе

3.3. Cамооценка и взаимооценка студентов (прецеденты из практики)
3.3.1. Портфолио
3.3.2. Использование самооценивания и взаимооценивания для оценки индивидуального вклада в работу группы
3.3.2.1. Распределение оценок по весу участия каждого студента в групповой работе

 

3.1. Ценности, принципы оценивания

 

Анализируя изменения, происходящие в стратегии оценивания учебной деятельности студентов, исследователи фиксируют следующие тенденции:

3.1.1. Оценивание: современные тенденции

(По материалам cеминаров D. Jaques)

3.1.2. Изменение функции оценивания: от оценивания для контроля к оцениванию для развития.

В настоящее время в связи с актуализацией задачи обеспечения (гарантии) качества высшего образования функция оценивания, в целом, и учебной деятельности студентов, в частности, начинает приобретать новые смыслы и помещаться в иные контексты. Прежде всего изменяется понимание рамочной цели, которую обслуживает процедура оценивания.

Сегодня функция оценивания не сводится только к выявлению недостатков, а прежде всего рассматривается как критический анализ образовательного процесса, предполагающий прежде всего более точное определение направлений улучшения. Важно подчеркнуть, что речь идет не столько об изменении средств оценивания (хотя инструменты и процедуры оценивания тоже могут меняться), сколько об изменении целей оценивания и философии оценки. Оценивание — это не фиксация итогов, а «точка» за которой следует новый виток развития, а стало быть и повышение качества образования (или оценивание не столько «для фиксации», сколько «для улучшения»). Иными словами, «главная задача этой процедуры -- улучшение качества работы конкретного человека (преподавателя –Т.К.) и через это достижение более широких целей -- улучшение качества учебных программ, в которые вовлечены оцениваемые люди, и достижение нового качества работы всей организации в целом» [1].

Таким образом, оценивание начинает интерпретироваться как конструктивная обратная связь.

3.1.3. Идея «петли качества».

Именно идея развития через оценивание заложена в понятие «петли качества». Ее основной смысл состоит в том, что одним из механизмов, гарантирующих непрерывность процесса совершенствования, является налаживание эффективной схемы управленческих действий, которая предполагает налаживание связей следующих основных процессов: оценка – программа улучшения –- реализация – оценка. Конкретизацией понятия петли качества для оценки педагогической деятельности является схема “петли улучшения качества преподавания”, в которой последовательно замкнуты: “преподавание - обучение - оценка - улучшение - преподавание”.

3.1.4. Чем может помогать оценивание студенту? (Или: Когда оценивание становится развивающим?)

– может помогать студентам учиться на ошибках;
– может помогать понять студентам, что важно;
– может помогать понять студентам, что у них получается;
– может помогать студентам обнаруживать, что они не знают;
– может помогать студентам обнаруживать, что они не умеют делать;

– может помогать понять отслеживать им собственный процесс движения в содержании. (По материалам семинаров Д. Жака).
Развивающий эффект обратной связи состоит в том, что она:

– Показывает сильные стороны работы.

– Фиксируя слабые моменты, предлагает или показывает способы их преодоления (развития)
Способы оформления обратной связи:

– начните с положительного, ободряющего комментария;
– напишите краткое резюме Вашей точки зрения на задание;
– балансируйте отрицательные и положительные комментарии;
– превращайте всю критику в положительные предложения;
– делайте общие предложения относительно того, что можно сделать в следующем задании;
– задавайте вопросы, которые поощряют рефлексию работы;
– используйте понятный язык;
– объясняйте все Ваши комментарии;
– предложить последующую работу и рекомендации;
– предложить определенные способы улучшения выполнения задания;
– предложить помощь по определенным проблемам;
– предложить обсудить оценку и ваши комментарии [2].

3.1.5. Ключевые ценности оценивания <

Оценивание должно быть валидным (объекты оценки должны соответствовать поставленным целям курса)

Оценивание должно быть надежным (использовать единообразные стандарты или критерии)

Оценивание должно быть справедливым (разные студенты должны иметь равные возможности добиться успеха)

Оценивание должно быть развивающим (фиксировать что могут студенты, и как им улучшить свои результаты)

Оценивание должно быть своевременным (поддерживающим развивающую обратную связь)

Оценивание должно быть эффективным (выполнимым, не забирать все ваше время и время ваших студентов) (Использованы материалы Curriculum Resource Center Central Resource Center).

3.1.6. Характеристики оценивания

«Связываете оценивание прежде всего с учением, затем с поддерживающими студентов усилиями, и только в последнюю очередь с выставлением отметок.

Оценивайте как в процессе учебы, так и в его конце.

Никогда не оценивайте студентам без комментариев относительно того, как они могут улучшить свой результат.

Учитесь на ошибках студентов.

Используйте разнообразные методы оценивания

Старайтесь привлекать студентов к участию в процессе оценивания за счет:
— обсуждения функций методов оценивания и их соответствия целям курсов;
— использования самооценивание и взаимооценивание студентов;
— предложения студентам разделить ответственность при выборе методов оценивания.

Часто и ясно фиксируйте, что простое запоминание и воспроизведение знаний не будет поощряться.

Фокусируйтесь вначале на валидности, а затем на надежности.

Делайте все, что от Вас зависит, чтобы снизить тревожность, которую инициирует оценивание.

Никогда не предлагайте задание или экзаменационный вопрос пока Вы не подготовите ответ сами

Подготовьте модели ответов и используйте их, чтобы демонстрировать студентам, что Вы ожидаете получить от них

Будьте осторожны в объективности и точности при оценивании способностей студентов» [3].

3.1.7. Соответствие целей курсов и методов оценивания используемых в них.

Как отмечалось выше фактор валидности один из наиболее значимый критерий для отбора способов оценивания.

Примеры соотнесения различных учебных результатов и способов оценивания

3.2. Способы оценивания учебной деятельности студентов (инструменты, критерии, примеры, образцы)

3.2.1. Виды экзаменов

Устный экзамен (Oral Exam) — экзамен, на котором профессор задает учащимся вопросы, требующие устного ответа, т.е. ответа, не занесенного на бумагу.

Письменный экзамен «с закрытой книгой» (Closed book Exam) является самой «обычной» формой, когда студент впервые видит вопросы и пишет ответы в течение экзамена.

Экзамен «с раскрытой книгой» (Open-book Exam or Open paper Exam). Экзамен, на котором студентам разрешено пользоваться учебниками и другими книгами. Это означает, что основной акцент делается не на том, «что студент запомнил», а на том, «как он может использовать материал», который учил. При этом формате экзамена очень важен анализ, осуществляемый студентом.

Open paper Exam — достаточно трудная форма экзамена, когда один или два вопроса сообщаются студентам заранее (например, за неделю). Обычно для его сдачи необходимо показать свои исследовательские или аналитические навыки. Результат оформляется в виде короткого эссе по заданной теме. В день экзамена студенты просто записывают свои эссе, которые должны были подготовить заранее. Ответы на предлагаемые на этом типе экзамена вопросы нельзя напрямую найти в учебниках. Для того, чтобы добиться успеха, студенты часто собираются вместе, для обмена идеями и обсуждения предварительных результатов своих исследований.

Open book Exam представляет собой такую форму экзамена, на котором студенты имеют право пользоваться учебниками. Однако число и тип книг ограничивается. Несмотря на то, что это может показаться достаточно легкой формой, сдать его на самом деле гораздо сложно. Например, такой экзамен обычно предполагается для предметов, в которых много формул и вычислений (статистика). Студент успешно сдает его в том случае, если он хорошо разбирается в данном предмете и большую часть времени, данного на подготовку, использует для решения задач. Ключом к успеху является планирование своего времени, поскольку время, предоставляемое на подготовку в процессе экзамена, не рассчитано на поиск студентом формулы для решения подобной задачи или иной информации для выполнения задания. Таким образом, необходимо аккуратно пользоваться временем и не тратить его на выписывание цитат или поиск в книгах. Можно, например, пользоваться только списком формул и программируемыми калькуляторами, или материалами своих эссе, или конспектом лекций, с помощью которых удается сэкономить время для выполнения заданий.

Пример организации open-book экзамена по юридическим наукам:

«Вы можете принести на экзамен любую книгу, плюс любые связанные с темой материалы, включая предыдущие эссе и конспекты лекций.

Вам разрешается принести только одну книгу! - Но Вам можно принести разные материалы по курсу.

От Вас не требуется помнить все детали, поэтому Вы можете использовать источники для ссылок.»

Экзамен «размышление» («Thinking» exam)*. Этот вид экзамена предполагает написание студентами одного большого текста по определенной проблеме. Например, студентам предлагается в течение трех часов написать одно большое эссе. Предполагается, что в течение одного часа студенты размышляют, делают наброски и готовят структуру эссе. Затем в течение двух часов они пишут. Этот формат экзамена требует собрать воедино много различных элементов курса, используя свои «мозги», и свои аналитические способности.

*Необходимо отметить, что для западных вузов написание эссе на экзамене относится к вполне традиционному виду экзамена (Essays in exams). При этом фиксируется следующая проблема: насколько данный вид экзамена действительно ориентирован на отслеживание способов мышления студентов. Возможно, поэтому и появляется такая форма экзамена как «Critical Thinking exam».

«Экзаменационная работа, которая берется домой» («Take-Home» exam). Студенты забирают домой свои экзаменационные задания. Обычно студентам дается некоторое время (от нескольких часов до нескольких недель) для того чтобы закончить и сдать работу.

Пример организации «Take-Home «экзамена.

« Размышление о мышлении.

Это take-home экзамен. В вашем распоряжении 8 часов для чтения, исследования, написания текста и редактирования. Ваш ответ должен быть ограничен 6 страницами формата А-4 (с интервалом в два пробела). Вы можете пользоваться любыми письменными материалами, но Вам запрещается консультироваться с кем бы то ни было.

Вопросы:

1) Наука, религия и закон имеют различные ресурсы власти, различные методологии, различные критерии истинности, уместности и ответственности, и даже различные стили обсуждения и обучения. Раскройте эти различия в контексте 4 следующих аспектов:

a) смертность
b) инакомыслие
c) эмпиризм, вера и естественный закон
d) добрая воля и детерминизм

2) Мы часто фиксировали в этом курсе, что практически любые типологии и классификации почти всегда ведут к «ранжированию» людей или групп. Если это так, то почему? В случае несогласия можете ли Вы предложить контр-аргумент?

Для размышления над данной проблематикой, проанализируйте два источника данных, основанных на теории эволюции человеческого происхождения, которые указывают на существование минимальных и несущественных различий между человеческими группами. Или, если Вы не соглашаетесь с этим утверждением, то объясните почему, приведите и объясните интерпретацию данных, которые поддержали бы это альтернативное заключение» [5].

Практический экзамен (Practical exam). Некоторые экзамены включают в себя практические задачи или проекты. В этом случае студенты должны продемонстрировать свои умения, способности, применение полученных знаний (это могут быть испытания по созданию портфолио, или задание по конструированию какой-либо вещи или предмета, или демонстрация моторных, артистических и т. п. навыков).

Пример экзамена по английскому языку.

«На экзамене предлагается преобразовать некоторые текстовые материалы из одной формы в другую. Вам не говорят вопросы экзамена заранее, но Вам сообщается, на какую тему будут эти вопросы. Вам выдаются материалы, которые Вы можете отнести домой и изучать в течение двух дней. Вам не разрешают советоваться с преподавателем, но допускается обсуждение всех ваших вопросов с другими людьми.

Когда Вы приходите на экзамен, Вас просят ответить на один из трех предлагаемых вопросов.

Ваша задача состоит в том, чтобы преобразовать материалы в различную форму (например, для определенного типа презентации, постер, тип текста)» [5].

Тестирование (Multiple-choice еxam или Shot-question exam) — Экзамен по выбору правильного ответа. Экзамен, при котором на каждый вопрос имеется два или более ответов, из которых студент должен выбрать правильный. Данный вид экзамена обычно используется для проверки фактических знаний. С одной стороны, данный вид экзамена требует точности воспроизведения имеющихся у студента знаний, с другой стороны, не исключает случайности ответов.

Итоговый экзамен (End-of term exam). Самый типичный и самый стрессовый вид экзамена для всех его участников.

Полусеместровый экзамен (Mid-term exam) . Экзамены, проводимые в середине семестра.

Допускной экзамен (Placement Test) Экзамен, применяемый для определения академической пригодности студента в определенной области с целью допуска к изучению соответствующих курсов. В некоторых случаях на основании результатов допускного экзамена студенту засчитывается прохождение учебного курса [6], [7], [8].

3.2.2. Реферат

Что такое реферат?

Реферат – краткое изложение содержания книги, статьи и т.п., а также доклад с таким изложением. (С.И. Ожегов. Словарь русского языка)

Реферат (от латинского refero – сообщаю), краткое изложение в письменном виде или в форме публичного доклада содержания научного труда (трудов), литературы по теме. (Советский энциклопедический словарь. М., 1981)

Реферат – вторичный текст, семантически адекватный первоисточнику, ограниченный малым объемом и вместе с тем максимально полно излагающий содержание исходного текста. (Педагогическое речеведение: Словарь-справочник / Под ред. Т.А. Ладыженской. М., 1993).

Некоторые отличительные признаки реферата:

а) смысловая адекватность первоисточнику;

б) полнота изложения содержания первоисточника при небольшом объеме полученного вторичного текста (информационная полнота);

в) точность и объективность в передаче содержания первоисточников;

г) стилевая однородность реферата, его выдержанность в строго научном стиле (не в научно-популярном и не в научно-публицистическом!);

д) определенная типовая структура текста;

е) особые языковые клише, характерные для реферата

Какие цели могут ставиться в реферате?

– критически осмыслить, рассмотреть основные современные теории, связанные с проблемой;
– изложить результаты научных исследований, посвященных проблеме ...
– подробно охарактеризовать своеобразие (специфику) использования языковых средств в ...…
– выявить особенности употребления …...
– рассмотреть вопрос (содержание теории) …...
– описать (осветить) состояние изучения проблемы ...…
– обосновать (доказать) следующую точку зрения (концепцию, теорию, идею)… ...
– осуществить критический анализ отдельных положений современной теории о …...
– сопоставить разные точки зрения на …...
– дать оценку, анализ (чего?) …...
– обобщить (что?) …...
– представить точки зрения разных ученых на (что?) ... …

Типовые недочеты, характерные для большинства работ.

1. Нарушение жанровой определенности реферата.

Здесь наиболее частой оказывается подмена реферата конспектом

2. Информационная недостаточность, которая возникает в результате недостаточной продуманности в деталях всех аспектов темы и проблемы, эскизности первичного замысла, поверхностного знания фактического материала, а также в силу малого количества использованных первоисточников.

3. Информационная избыточность, а именно: наличие в рефератах таких содержательных «кусков», которые не соответствуют теме и проблематике текста или недостаточно актуальны для раскрытия замысла. Информационная избыточность может быть обусловлена расплывчатостью самой мысли, неумением выделять главное в исходных текстах, а также неспособностью компактно выражать смысл с помощью точных речевых формул.

4. Неумелая формулировка темы реферата, нечеткое определение ее границ.

Слишком широкие темы или слишком узкие. Наблюдения показывают, что темы рефератов чаще всего «описательны», нацелены на репродуктивное, пассивное списывание, а не на активное решение поставленных проблем.

5. Слабость вступительной части. Здесь можно отметить недоработки трех видов:

а) неоправданно краткое, неинформативное, зачастую чисто формальное введение. В нем, как правило, отсутствуют обоснование выбора темы или круга проблем, которые предстоит решить автору, постановка цели и формулировка задач реферата;

б) избыточное по объему и содержанию введение, в которое включены элементы основной части, например, история вопроса;

в) «дефектное» введение, для которого характерно сочетание избыточности в одних местах и «ущербности» в других.

6. Слабость заключительной части проявляется в недочетах следующего вида:

а) отсутствие заключения;

б) формальное заключение, в котором отсутствуют обобщение и синтез предшествующей информации.

7. Неправильное структурирование текста.

Некоторые студенты пишут реферат «сплошным текстом», отчего он кажется размытым и трудным для восприятия. Большинство студентов делят текст на структурные части, но при этом допускают нарушения, связанные или с гипертрофией, или с редукцией компонентов текста.

8. Недостаточное выявление связей между частями текста.

9. Речевая избыточность, связанная с неумением осуществлять языковое сжатие текста, находить экономные лексические и синтаксические способы выражения мысли.

10. Чрезмерное использование иностилевых вкраплений. К подобным вкраплениям можно отнести такие разговорные и публицистические средства языка: эмоциональные и субъективно-оценочные слова, метафоры, образные сравнения, риторические вопросы и восклицания, инверсии, повторы и другие средства.

11. Незнание языковых клише, характерных для научного стиля, и неумелое пользование ими.

12. Небрежность в оформлении: низкая культура цитирования, составления плана, списка использованной литературы и др. [9]

Дискуссионные вопросы (не имеющие однозначного решения):

1. Что мы выбираем, решив писать реферат?

Если мы определяем реферат как вторичный текст, у него не может быть самостоятельной, независимой темы, его тема – «О чем рассказывает исходный, первичный текст». Соответственно, … речь должна идти не о выборе темы реферата, а о выборе текста для реферирования. Конечно, при этом будет очень важно то, на какую тему написан реферируемый текст, но не менее важны будут и такие параметры, как удачность воплощения темы, доступность текста и пр.

Могут ли у реферата быть разные цели?

Если мы определили реферат так, как это делает И.Р. Калмыкова (с опорой на определение Т.А. Ладыженской — Т.К.), то у всех рефератов всегда одна и та же цель: кратко, но полно передать содержание исходного текста. Соответственно, все остальные цели, среди которых предлагает выбирать автор …, являются для жанра реферата посторонними. Ставя их при реферировании, студент неизбежно выйдет за границы жанра и превратит свой реферат в текст первичного типа.

Можно ли в реферате «выражать свое отношение» и «выбирать между точками зрения»?

Оставаясь на почве определения реферата, на которое предлагает И.Р. Калмыкова, придется признать, что …, если студент хочет выразить свое отношение к реферируемым положениям или дать оценку излагаемому тексту, он может это сделать. Но при этом он должен четко понимать, что выражение собственного отношения или оценка не входят в процесс собственно реферирования и не могут его заменить. И оценка, и выражение собственной точки зрения обязательным элементом становятся уже в другом жанре – в рецензии, а в реферате они всегда будут факультативной добавкой [10].

3.2.3. Что такое эссе как вид учебной деятельности?

"Эссе — (франц. Essai — опыт, набросок) жанр философской, эстетической, художественно-критической, художественной, публицистической литературы, сочетающий подчеркнуто индивидуальную позицию автора, с непринужденным, часто парадоксальным изложением, ориентированным на разговорную речь". (Большой энциклопедический словарь)

Эссе как вид учебной деятельности студента — самостоятельное сочинение-размышление студента над научной проблемой, при использовании идей, концепций, ассоциативных образов из других областей науки, искусства, собственного опыта, общественной практики.

3.2.3.1. Типы эссе

Существует очень много различных типов эссе, каждый из которых имеет определенную цель. Ниже приводятся примеры наиболее часто используемых (известных, популярных) типов эссе.

[11], [12].


3.2.3.2. Критерии оценки эссе

Вариант 1.

1. Вы фиксируете внятные ясные тезисы, которые вы хотите доказывать в эссе.

2. Вы ясно и кратко формулируете тезисы вначале своего эссе, в основной части развиваете их аргументацию, и в заключении четко и прямо формулируете выводы, которые соотносятся с заявленными вначале эссе тезисами.

3. Ваше эссе четко структурировано и логично выстроено.

4. Способ обсуждения выбранной Вами теории демонстрирует, что Вы используете теорию в той степени, которая требуется в Вашем эссе. Если Вы демонстрируете «продвинутое» понимание теории, оценка будет повышена (добавлены дополнительные баллы). Если Вы можете критически оценить теорию и дополнить ее своими комментариями и идеями, Вам также могут быть добавлены дополнительные баллы.

5. В Вашем эссе соблюден баланс между теоретической и практической частями (интерпретацией, применением теории к проблеме, обсуждаемой в эссе). Вполне нормально, если одна треть будет посвящена теории, а две трети ее приложению.

6. Практическая часть должна демонстрировать то, что Вы владеете необходимыми навыками чтения и анализа, то есть знаете, как работать с текстом.

7. Практическая часть показывает, что Вы можете использовать текст для проверки соответствующих теорий.

8. Практическая часть должна показывать, что Вы, с точки зрения использованной теории, можете устанавливать следствия, делать выводы, определять перспективные пути.

9. В своем эссе Вы используете основную и дополнительную литературу по курсу.

10. Вы знаете, как эффективно использовать источники, чтобы подтвердить свою идею.

11. Вы умеете делать точные ссылки.

12. Ваша работа не является плагиатом [13].

Вариант 2.

Критерии оценки различных типов эссе, одной задачей которых является развитие критического мышления.

Вариант 3.

Примерные критерии для отличного эссе

 

Содержание и позиция:
– четкий тезис или ясное изложение позиции последовательно обосновывается в хорошо организованном эссе;
– представлен взвешенный аргумент и поддерживающая его информация;
– затрагиваются все важные вопросы;
– дается анализ и убедительные выводы;
– нет концептуальных ошибок.

Полнота:
– равно уделяется внимание всем разделам темы;
– в случае необходимости анализируются и подытоживаются различные точки зрения

Доказательство:
– представляется необходимая и точная историческая и/или юридическая, и/или конституционная информация;
– проблема рассматривается глубоко;
– используется дополнительная относящаяся к делу информация.

Изложение:
– хорошо организованное эссе;
– эффективный стиль написания усиливает ответ;
– используется ясный, точный и/или живой язык.

Примерные критерии для оценки эссе минимального качества

 

Содержание и позиция: не дается контекста или не излагается определенная позиция.

Полнота: документы лишь упоминаются или приводятся выдержки из документов.

Доказательство: большая часть используемой информации неточна, проблема не понята.

Изложение: нет организации; механические ошибки серьезно затрудняют понимание.

(Барбара Миллер. Воспитание граждан: переосмысление подхода к оценке учеников).

Вариант 4

Схема оценивания эссе

[14]

Вариант 5

Форма обратной связи на эссе

 

[15].

3.3. Cамооценка и взаимооценка студентов (прецеденты из практики)

 

Случай 1.

На одном из естественнонаучных факультетов регулярно выполняемые студенческие работы очень медленно возвращались после проверки. Это вызывало у студентов и преподавателей ощущение, что данная работа плохо организована. Студенты не понимали, почему они должны так долго ждать возвращения своих работ. Также им было неясно, за что выставлялась та или иная оценка.

Сотрудники кафедры, проанализировав данную ситуацию, пришли к следующему решению: были выделены несколько приоритетных типов учебных результатов — навыки анализа и интерпретации данных, письменные коммуникативные навыки, умение спланировать эксперимент и понимание ключевых концепций. Студентам было сказано: «Мы хотим получить от Вас в конце года портфолио, в который должно войти 20 отчетов по 25 практикумам. И если Вы не выполняете соответствующий объем работы, то Вы лишаетесь допуска к экзамену».

Студентам также было сказано о том, что из их портфолио случайным образом будут выбраны четыре отчета. Один из них будет оцениваться по критерию "коммуникативные навыки", другой — с точки зрения «качества обработки информации», третий — «качества проекта эксперимента», и четвертый — с точки зрения «понимания концепций». Студенты не знали, какой конкретно отчет по какому критерию будет оцениваться, поэтому они были вынуждены обращать внимание на все четыре критерия при подготовке всех отчетов.

Поскольку оценивалось четыре отчета из двадцати, и каждый из четырех отчетов оценивался только по одному критерию, время, затрачиваемое на процедуру оценивания преподавателем, уменьшилось до пяти процентов от исходного.

На отчетах на кафедре проставлялись даты сдачи, и затем работы помещались в студенческие портфолио. Таким образом, студенты не могли поместить в портфолио отчет, который не был представлен вовремя, или заменить отчет.

Когда подходил срок проверки той или иной работы преподаватель давал обратную связь, используя образцы отчетов или форму взаимоооценивания, или самооценивания, или брал выборочно и рассматривал некоторые из представленных отчетов.

Случай 2.

Более чем 100 студентов третьего курса оценивали выполнение собственной работы и выполнение работы другого студента на mid-term (полусеместровый) экзамене.

После экзамена студентам давали образцы ответов, шкалу оценок и комментарии, подготовленные преподавателем. Каждому студенту также выдавалась для оценивания неподписанная работа коллеги-студента. Используя образцы ответов и шкалы оценок, студенты в общей совокупности (за все время работы с экзаменационными заданиями) оценивали две работы — собственную и анонимную.

При оценивании работы своего коллеги-студента (в свое свободное время) на листе со шкалой оценки студенты должны были детально описать то, в чем их коллега отступил от образцов ответов и оценить работу по каждому предлагаемому шкалами критерию. Студенты возвращали отчеты и заполненные шкалы ответов через неделю, а также получали собственные проверенные работы.

К своим собственным работам студенты применяли ту же самую процедуру, не зная, какие оценки выставил им их коллеги. Затем сравнивались результаты само- и взаимооценки. Если расхождение в оценках было меньше чем 10 %, студенту выставляли оценки соответствующие самооценке. В остальных случаях работа оценивалась сотрудником кафедры (преподавателем, ассистентами). Чтобы препятствовать тайному договору между студентами об оценках, часть работ, выбранных наугад, дополнительно оценивалась преподавателями. Студентам данная система понравилась, и сотрудники фиксировали экономию времени на проверке, даже учитывая дополнительное время, потраченное на подготовку образцов ответов и организацию перемещения работ.

Случай 3.

На одном из естественнонаучных факультетов студенты в первый год учебы используют формы самооценки (различных видов) для всех работ, которые они выполняют. Все подвергается самооцениванию в дополнение к последующему оцениванию преподавателем. Таким образом, когда студент сдает свою работу к ней всегда прикладывается какая-либо форма самооценки. Некоторые из этих форм самооценивания очень структурированы, а некоторые — свободны. Постепенно оценочные суждения студентов все больше и больше приближаются к преподавательской оценке.

Самооценка — это принцип. Но самый важный момент в процедуре самооценивания состоит в том, что если студенты усвоят способ вынесения оценочного суждения, они смогут сами контролировать себя, так что в итоге студенческие работы получаются более высокого качества. Студенты перестают нуждаться в преподавателях, чтобы оценивать свою работу. Они это делают для себя сами. Это процесс саморазвития, самой важной частью которого является предложение студентам средств, инструментов, позволяющих им осуществить эту самооценку.

На следующий год кафедра вводит задание, предполагающее два этапа. Первый этап -- это обмен студентов друг с другом выполненными заданиями и составление комментариев на каждую из работ. Когда студенты представляют законченные работы, они добавляют к каждой из них лист с комментариями (второй этап). Например: «Вот обратная связь, которую мне давали, и я думаю, что Брайен абсолютно прав относительно моего статистического анализа, и я переделал его, используя критерий Стьюдента. Но я думаю, что его анализ моего введения полностью неправилен, и я оставил его таким, какой он и был».

В этих комментариях студенты указывали то, на какие замечания из обратной связи своих коллег они прореагировали, на какие нет, и в чем они улучшили свою работу. Это было частью задания. И конечно качество студенческих работ повышалось, потому что студенты имели саму возможность его повышать. Это улучшение качества происходило не за счет оценивания преподавателя, а за счет того, что студенты давали друг другу обратную связь.

Преподаватель по-прежнему оценивал последний вариант работы, поэтому эта процедура оставалась затратной для него по времени, но качество работ студентов стало значительно лучше.

Случай 4.

Изначально система предполагала еженедельное оценивание выполненных студентами работ по проблемным вопросам курса и затем обсуждение их на специальных занятиях (problem classes). Занятий такого вида становилось все больше (около 25 %) и оценивание становилось по времени очень затратным. Преподаватель перестал оценивать работы, и оценки на экзамене снизились (приблизительно в среднем до 45%). Поэтому преподаватели не могли позволить себе отменить еженедельное оценивание, и попробовали заимствовать систему, разработанную Дейвом Боудом (Австралия).

Студентам сообщалось, что они должны были выполнить 50 работ в год по разным проблемам, в противном случае они будут не допущены к экзамену. При этом никакой проверки качества этих работ не предполагалось. Они могли все это время заниматься чем угодно, например, целый семестр рисовать Микки Мауса.

Шесть раз в год работы собирались и регистрировались кафедрой. Поскольку эти 170 студентов сидели в большой аудитории, они клали свои работы на край стола, чтобы ассистент мог их зарегистрировать. После определенной даты работы больше не могли быть зарегистрированы, и это было стимулом выполнять их вовремя.

Далее работы перераспределялись случайным образом. Студенты сидели с грудой работ и схемой критериев оценивания, подобно тем, которые даются аспиранту, помогающему профессору.

Они оценивали эти работы не так, как это делают обычно преподаватели — «галочка, крестик, галочка, крестик, шесть из десять». Вместо этого они писали, «Сэм, Вы идиот, почему Вы сделали это так-то?» (листочки были подписаны). Таким образом, студенты знали, кого они оценивали, но не знали, кто оценивает их. В конце занятия они возвращали работы студентам, которых их выполнили.

Ни одна из этих оценок не засчитывалась. Это было просто развивающее образовательное действие. И все же средняя оценка на экзамене в конце года подошла к 85 % (это более высокая оценка, чем в случае, когда лекторы отказались от оценивания работ). Преподаватели были те же самые, и проблемы были те же, и экзаменационная экспертиза была та же. Взаимооценивание в этом случае было не просто «дешевым» упражнением в оценивании, оно было также развивающим действием. Взаимооценивание помогало студентам понять, что они делают неправильно, и какие могут быть альтернативы.

Эта мгновенная обратная связь -- очень мощная социальная обратная связь. Быстрая, неточная обратная связь от студентов имеет гораздо больше воздействие, чем отсроченная и точная обратная связь от преподавателя.

Основная задача данного способа организации оценивания состояла не в том, чтобы студенты учились оценивать так же как преподаватели. Оценка студентов почти наверняка была ненадежной, но она работала. Она работала, потому что данная система взаимооценивания поддерживала объем студенческой деятельности и обеспечивала регулярную обратную связь.

Малый объем оценивания не способствует процессу учебы, так как он предполагает снижение студенческой активности и уменьшает количество обратной связи [16].

3.3.1. Портфолио

Что такое портфолио?

Портфолио — в переводе с итальянского означает «папка с документами», «папка специалиста». Портфолио (в широком смысле слова):

– это способ фиксирования, накопления и оценки индивидуальных достижений студента в определенный период его обучения.

– коллекция работ и результатов студента, которая демонстрирует его усилия, прогресс и достижения в различных областях.

Оценка тех или иных достижений (результатов), входящих в портфолио, а также всего портфолио в целом, либо за определенный период его формирования, может быть как качественной, так и количественной. Итоговая оценка портфолио может определяться максимальным баллом за один из его компонентов; она может быть интегральной, включающей максимальные баллы всех компонентов, либо как-то иначе.

Типы портфолио.

В зависимости от целей создания портфолио бывают разных типов.

«Портфолио документов» – портфель сертифицированных (документированных) индивидуальных образовательных достижений (похвальные грамоты за учебу, достижения в спорте, музыке, шахматах и т. д.; благодарственные письма, табели успеваемости, значки, медали и т. п.).

Преимущества данного варианта:

Итоговая балльная оценка делает портфолио этого типа действенным механизмом определения образовательного рейтинга студента, так как может стать значимой составляющей этого рейтинга (наряду с оценками, полученными при итоговой аттестации).

Ограничения данного варианта :

Портфолио этого типа даёт представление о результатах, но не описывает процесса индивидуального развития студента, разнообразия его творческой активности, его учебного стиля, интересов и т.п.

Примерный вариант структуры «портфолио документов»:
– блоки (типы) образовательных достижений (грамоты, сертификаты);
– компонент блока;
– результат (в баллах).

«Портфолио работ» – представляет собой собрание различных творческих, проектных, исследовательских работ студента, а также описание основных форм и направлений его учебной и творческой активности: участие в научных конференциях, конкурсах, прохождение элективных курсов, различного рода практик, спортивных и художественных достижений и др. В эту папку собираются все контрольные и творческие работы студента: сочинения, изложения, эссе, рисунки, поделки, зачетные работы, видеокассеты, результаты медицинских и психологических обследований и т. д. – в общем, все, что делалось в течение определенного срока (например, года).

Данный вариант портфолио предполагает качественную оценку, например, по параметрам полноты, разнообразия и убедительности материалов, качества представленных работ и др.

Портфолио оформляется в виде творческой книжки студента с приложением его работ, представленных в виде текстов, электронных версий, фотографий, видеозаписей.

Преимущества данного варианта:

Портфолио этого типа даёт широкое представление о динамике учебной и творческой активности студента, направленности его интересов.

Ограничения данного варианта:

Качественная оценка портфолио дополняет результаты итоговой аттестации, но не может войти в образовательный рейтинг студента в качестве суммарной составляющей. Однако в ряде случаев она может быть педагогически весьма значимой, поскольку для некоторых студентов «портфолио работ» есть дополнительная форма выражения успешности, «состоятельности» студента в его образовательной карьере.

Примерный вариант записей в «портфолио работ»:

Проектные работы. Указывается тема проекта, даётся описание работы. Возможно приложение в виде фотографий, текста работы в печатном или электронном варианте.

Исследовательские работы и рефераты. Указываются изученные материалы, название реферата, количество страниц, иллюстраций и т.п.

Техническое творчество: модели, макеты, приборы. Указывается конкретная работа, даётся её краткое описание.

Работы по искусству. Даётся перечень работ, фиксируется участие в выставках.

Другие формы творческой активности: участие в театре, оркестре, хоре. Указывается продолжительность подобных занятий, участие в гастролях и концертах.

Элективные курсы и факультативы. Делается запись о названии курса, его продолжительности, форме, в которой проходили занятия.

Различные практики: языковая, социальная, трудовая, педагогическая. Фиксируется вид практики, место, в котором она проходилась, её продолжительность.

Занятия в учреждениях дополнительного образования, на различных учебных курсах. Указывается название учреждения или организации, продолжительность занятий и их результаты.

Участие в олимпиадах и конкурсах. Указывается вид мероприятия, время его проведения, полученный результат.

Участие в научных конференциях, учебных семинарах и лагерях. Указывается тема мероприятия, название проводившей его организации и форма участия в нём студента.

Спортивные достижения. Делается запись об участии в соревнованиях, наличии спортивного разряда и т.п.

«Портфолио отзывов» – включает в себя характеристики отношения студента к различным видам деятельности, представленные преподавателями, тьюторами, возможно одногруппниками, работниками системы дополнительного образования и др., а также письменный анализ самого студента своей конкретной деятельности и ее результатов.

Портфолио может быть представлен в виде текстов заключений, рецензий, отзывов, резюме, эссе, рекомендательных писем и прочее.

Преимущества данного варианта:

Эта форма портфолио дает возможность включить механизмы самооценки студента, что повышает степень осознанности процессов, связанных с обучением и выбором профильного направления.

Ограничения данного варианта:

Сложность формализации и учета собранной информации.

Примерный перечень документов «портфолио отзывов» :

Заключение о качестве выполненной работы.

Рецензия на статью, опубликованную в СМИ.

Отзыв о работе в творческом коллективе учреждения дополнительного образования, о выступлении на научно-практической конференции.

Резюме, подготовленное студентом, с оценкой собственных учебных достижений.

Эссе, посвящённое выбору направления дальнейшего обучения.

Рекомендательное письмо о прохождении практики и т.п..

«Проблемно-исследовательский портфолио» – связан с написанием реферата, научной работы, подготовкой к выступлению на конференции. Он представляет собой набор материалов по определенным рубрикам, например: варианты названий реферата (доклада, статьи); список литературы для изучения; микротемы, проблемные области, план исследования; дискуссионные точки зрения; факты, цифры, статистика; цитаты, афоризмы; интеграция с другими предметными областями; результаты исследования; выводы по результатам исследования; методы исследования; прогнозы и перспективы.

Сбор и систематизация материала в таких портфолио помогает студентам не только достойно написать какую-либо научную работу, но и «поднимает» их познавательные интересы до высот научных образцов.

«Тематический портфолио» – создается в процессе изучения какой-либо большой темы, раздела, учебного курса. Работа над ним строится следующим образом: преподаватель сообщает вначале название изучаемой темы, а также форму контроля по ней – защиту своего портфолио, собранного по результатам работы над данной темой.

Примерный вариант организации «тематического портфолио»

Студентам в самом начале предъявляются 25 заданий разного уровня сложности, отражающие различные уровни (по таксономии Б. Блума) мышления и познания. Ответы на эти задания и составят содержание портфолио

По иерархии целей эти задания располагаются следующим образом:

— на воспроизведение нового материала (терминов, фактов, понятий, правил). Цель считается достигнутой, если студент правильно воспроизводит и использует термины, знает конкретные факты, понятия, правила;

— на узнавание изученного явления, его интерпретацию и преобразование;

— на применение знаний (правил, теорий) на практике, то есть в новых конкретных условиях;

— на анализ материала, то есть выделение отдельных элементов и установление логики их взаимосвязи. Цель считается достигнутой, если студент выделяет части целого и взаимосвязи между ними, видит упущения в логике рассуждения, проводит различия между причинами и следствиями;

— на синтез, предполагающий умение объединить отдельные элементы в новое целое. Цель считается достигнутой, если студенты пишут творческие работы, используют знания из разных областей при работе над проблемой (например, при создании обзорного реферата), разрабатывают план эксперимента и т. п.;

— на оценку каких-либо явлений по определенным критериям. Цель считается достигнутой, если студент может выделить критерии и следовать им, видит многообразие критериев, оценивает соответствие выводов имеющимся данным, проводит различия между фактами и оценочными суждениями.

Способ оценивания. Каждый вид задания в зависимости от степени сложности оценивается заранее определенным баллом, который доводится до сведения студентов. Из данных 25 заданий студенты могут выбрать любое и в любом количестве, но не менее десяти.

Существует и другой, более демократичный вариант выбора: студенты имеют право отобрать любое количество заданий любой степени сложности. В этом случае выставляется суммарный балл, который позволяет им получить ту или иную рейтинговую «отметку». При этом студентов не упрекают за выбор минимального количества простейших заданий, а подчеркивают, что это их право свободного выбора, что рейтинговый балл – это объективное зеркало их результатов.

Одним из 25 заданий для студентов может быть и такое: «Предложите собственный способ оценки портфолио на основе определенных критериев». Это задание оценивается наивысшим баллом, так как его выполнение свидетельствует о развитых рефлексивных способностях студента и о высоком уровне его мышления.

После проверки преподавателем портфолио можно организовать их презентацию и публичную защиту. Студенты выступают перед группой или курсом, раскрывают содержание своих работ, а другие студенты задают вопросы, обсуждают, а затем выставляют свои оценки презентируемому портфолио по собственным критериям [17], [18].

3.3.2. Использование самооценивания и взаимооценивания для оценки индивидуального вклада в работу группы

Способы оценивания метода проектов (или работы малых групп) часто критикуются и преподавателями, и студентами за то, что при оценивании всем членам группы выставляются идентичные оценки. Методы для диверсификации вклада индивидуумов в работу группы могут быть сгруппированы в два основных типа. Суть первого из них - распределение совокупной оценки между членами группы. Основной смысл другого - распределение оценок по весу участия каждого участника в групповой работе. Оба метода предполагают взаимооценку членов группы.

Приведем конкретные примеры реализации этих двух стратегий.

Распределение совокупной оценки

(Инструкция (сокращенный вариант) для студентов.) Ниже приводится список критериев (факторов), по которым будет оцениваться группа по завершении работы. Вы можете изменить этот список и вес каждого пункта, согласовав эти изменения в группе.

При оценке относительных вкладов членов группы должны учитываться как качество и эффективность вклада, так и усилие. Возможны следующие способы подсчета:

А) Умножьте число членов вашей группы на 20. Результат -- общая оценка, которую вы должны распределить. Сумма всех оценок, распределенных между членами вашей группы должна равняться этому числу. Единственное ограничение состоит в том, что никому нельзя дать больше чем 40 пунктов.

В) Оценки (число пунктов), которые Вы должны распределить между членами вашей группы для каждого вида активности (фактора) при подготовке проекта, могут быть рассчитаны следующим образом: умножьте число членов вашей группе на вес фактора (каждый фактор весит 4 пункта). Сумма оценок для распределения по каждому из оцениваемых факторов должна равняться этому числу, с тем лишь с ограничением, что никому нельзя дать, более чем удвоенное число (то есть 8 пунктов).

Рекомендация для преподавателя:

Нереально, чтобы все члены группы внесли равный вклад в реализацию каждого из видов деятельности проекта (вклад в фактор). Таким образом, чтобы гарантировать, что взаимооценивание проделано студентами серьезно, возвращайте (не засчитывайте) списки с взаимооценками, которые показывают что, всем членам группы были выставлены одинаковые оценки для всех вдов активности.

(«Средний» студент получит 20 пунктов. Подсчитайте среднюю оценку, данную каждому субъекту группы и вычтите из нее 20 пунктов. Это покажет «+» или «-« прибавку при распределении оценок.)

3.3.2.1. Распределение оценок по весу участия каждого студента в групповой работе

Техника распределения совокупной оценки, однако, не преодолевает фундаментальную слабость процедуры, а именно то, что студенты должны распределить установленное количество пунктов. Альтернативная техника должна позволить студентам свободно распределять оценки, и затем вычислять индивидуальный фактор надбавки, основанный на отношении между индивидуальной и средней оценками для всех членов группы. Преимущество этого способа состоит в том, что он позволяет уйти от ситуации, когда за каждую дополнительную оценку, которую студенты дают одному индивидууму, они должны взять оценку от другого индивидуума.

Пример для группы из трех студентов.

Оцениваемые виды активности

 

1. Идеи и предложения
2. Лидерство и организация группы
3. Сбор/сравнение/анализ данных
4. Подготовка отчета
5. Подготовка и реализация презентации

Система оценивания:
Минимальный, или не вносил вклад
Ниже среднего числа
Среднее число
Выше среднего числа
Выдающийся

Пример: Энн, Бренда и Колин. Каждый студент оценивает вклад друг друга, а также собственный вклад, используя шкалу оценивания, предложенную выше.

Индивидуальный фактор надбавки рассчитывается по формуле:

Индивидуальный фактор надбавки = индивидуальная оценка деленная на среднюю оценку.

Средняя оценка = (42 + 62 + 49)/3 = 51
Надбавка Энн = 42/51 = 0.82
Надбавка Бренды = 62/51 = 1.22
Надбавка Колина = 49/51 = 0.96
Оценка проекта группы = 65 (Данная оценка также является суммой оценок проекта по каждому фактору каждым членом группы.)
Оценка Энн = 65 x 0.82 = 53
Оценка Бренды = 65 x 1.22 = 79
Оценка Колина = 65 x 0.96 = 62 [19].

Библиография

 

1. Дрантусова Н.В., Князев Е.А. Оценка качества как необходимый элемент (этап) управления в высшем образовании.

2. Материалы: Information for UTS staff on Assessment

3. David Jaques. When Teaching Becomes Learning. Teaching Strategies in Higher Education. Effective Teaching, Effective Learning. Ed. by R.Fowkes, Hungary, 1999, p.26.

4. По материалам: Nightingale, P. et al. Assessing Learning in Universities, Professional Development Centre, University of NSW, 1996.

5. Thinking About Thinking. Professors Dershowitz, Cox & Gould. Law School of Harvard University / 1999-2000.

6. Словари терминов

7. Types of exams

8. Thinking about Thinking. Professor Dershowitz, Cox and Gould

9. По материалам: Калмыкова И.Р. "Методика подготовки учащихся к экзаменационному реферату", газета “Русский язык №16 (232), апрель 2000

10. По материалам: Гиндин С.И. Назвав вторичным, не обращайся как с первичным (Несколько соображений о статье И.Р. Калмыковой)

11. По материалам: Meriwether, Nell W. Strategies for Writing Successful Essays. Chicago: NTC Publishing Group, 1998.

12. Sebranek, Patrick, Verne Meyer, and Dave Kemper. Writers INC: A Student Handbook for Writing & Learning. Wilmington: D.C. Heath and Company, 1996.

13. From syllabus Sophia Howlett

14. По материалам: Essay Grading Scheme Information for UTS staff on Assessment

15. По материалам: Brown, S. Rust, C. and Gibbs, G. Strategies for Diversifying Assessment in Higher Education Oxford: Oxford Centre for Staff Development (1994).

16. По материалам: Assessment under Pressure - 14 Innovative Case Studies. The Oxford Centre for Staff and Learning Development

17. По материалам: И.Р. Калмыкова «Портфолио как средство самоорганизации и саморазвития личности», Статья напечатана в журнале "Образование в современной школе"

18. Пинский А.А. «Рекомендации по построению различных моделей «портфолио» учащихся основной школы»

19. Материалы: Mick Healey. Using Peer and Self Assessment for Assessing the Contribution of Individuals to a Group Project

(реферативный перевод иностранных источников осуществлен аналитиком Красновой Т.И.)

Назад