«ПРОСВІТА. ІНОЗЕМНІ МОВИ"

Мовне тестування ставить собі за мету визначення рівня сформованості комунікативної компетенції учнів іноземної мови та її окремих складових, в першу чергу, мовний та мовленнєвий компетенцій. Цей комплекс завдань пред'являється учням у формі сукупності питань, що забезпечують однозначність відповідей. У сучасних умовах навчання мовне тестування незмінно використовується при проведенні поточного, проміжного і підсумкового контролю рівня навчальних досягнень учнів. Тестування проводиться в строго контрольованих умовах і дозволяє об'єктивно виміряти досліджувані показники педагогічного процесу. У пропонованій статті Радислав Петрович Мильруд дає розгорнуті відповіді на найбільш часто виникають у вчителів питання при оцінюванні результатів тестування.

настрій: діяльну

ключові слова: мовне тестування, комунікативна компетенція, стандартизація тесту, об'єктивність оцінювання, аналіз тестових завдань, контрольно-вимірювальні матеріали, функції тестування, ДПА, ЗНО

місто: Тамбов

e-mail: [email protected]

ПИТАННЯ: Як можна оцінювати знання учнів з іноземної мови?

ВІДПОВІДЬ: Оцінювати знання учнів з іноземної мови можна за допомогою різних інструментів педагогічного вимірювання, до яких відносяться як мовні тести, так і судження вчителя по враженню від усного або письмового відповіді школяра. Це означає, що існує два основних способи оцінювання навчальних досягнень учнів з іноземної мови: суб'єктивний (на основі судження вчителя або комісії експертів) і об'єктивний (на основі результатів стандартизованого мовного тестування). Відзначимо, що думка вчителя в багатьох випадках може претендувати на об'єктивність, так як учитель здатний врахувати більше педагогічних обставин, важливих для оцінки відповіді учня, ніж це здатен зробити найсучасніший тест. З іншого боку, мовного тесту, що гарантує абсолютну об'єктивність оцінки, поки не існує.

ПИТАННЯ: Що потрібно зробити для того, щоб підвищити об'єктивність оцінки, що виставляється учневі вчителем?

ВІДПОВІДЬ: Щоб підвищити об'єктивність оцінки вчителя, бажано максимально враховувати всі обставини педагогічної ситуації, включаючи навчальну мотивацію і старанність учня, що витрачаються зусилля і регулярність занять. Одночасно необхідно повністю виключити своє особисте ставлення до учня в момент виставлення оцінки.

ПИТАННЯ: Що потрібно зробити для того, щоб підвищити об'єктивність мовного тестування?

ВІДПОВІДЬ: Перш за все дамо визначення мовного тесту. Мовний тест - це інструмент об'єктивного педагогічного вимірювання результатів навчання іноземної мови, що пройшов процедуру стандартизації, що довела валідність і надійність тесту як контрольно-вимірювального матеріалу.

Слід переконатися, що мовний тест здатний точно визначити в конкретних балах рівень оволодіння учнем тестованого мовного явища і чуйно реагувати на відмінності в знаннях тестованих учнів, навіть якщо ці відмінності зовні малопомітні.

Важливо також перевірити валідність тесту, тобто його здатність вимірювати саме те, що заявлено в мети тестування. З огляду на валідність мовного тесту, який розробляється для того, щоб вимірювати компоненти комунікативної компетенції учнів, неприпустимо на підставі мовного тестування робити висновок про розумові здібності дитини, рівень його інтелекту або морально-вольових якостях (відповідальності або безвідповідальності, працездатності або ліні та ін.)

Необхідно довести надійність тесту. Надійний тест завжди точно показує рівень знань учнів, і його результати послідовно відповідають балам, отриманим школярами за допомогою інших інструментів педагогічного вимірювання (інших стандартизованих тестів, об'єктивних оцінок вчителя, балів незалежних експертів та ін.)

ПИТАННЯ: Чи може вчитель розробити і використовувати власний тест для оцінювання учнів?

ВІДПОВІДЬ: Позитивний або негативний відповідь на це питання залежить від завдання, для вирішення якої вчитель розробляє і застосовує свій власний контрольно-вимірювальний матеріал.

Якщо педагогічна задача вчителя полягає в тому, щоб перевірити рівень засвоєння учнями конкретного обсягу вивченого в класі матеріалу і вимірювальні інструменти для цього відсутні в навчально-методичному комплекті (підручнику), то вчитель може і змушений принести на урок свій мовний тест.

Вчителю доводиться в ряді випадків розробляти власні тести, так як запозичувати контрольні завдання з інших УМК некоректно, адже в кожному підручнику є своє специфічне зміст навчання.

Також учитель може запропонувати школярам власний тест в разі, якщо він додатково використовує в навчанні свої методичні матеріали або викладає за авторською програмою власний елективний курс.

У всіх інших випадках у вчителя зазвичай не виникає реальної необхідності створювати власні Кіми, так як сучасні підручники завжди містять засоби вимірювання досягнень учнів в достатній кількості.

Якщо мова йде про створення учителем своїх власних тестів для вимірювання в учнів загального рівня володіння іноземною мовою, то така дидактична задача занадто складна для вчителя. Сучасний тест обов'язково проходить процедуру стандартизації, тобто всебічної перевірки придатності тесту для точного відображення реального рівня навчальних досягнень учнів в освітньому курсі «Іноземна мова».

Процедура стандартизації тесту зазвичай включає кілька етапів:

• визначення точності одержуваних результатів при зіставленні з навчальними показниками, отриманими за допомогою інших вимірювальних інструментів;
• з'ясування стабільності одержуваних результатів при повторному тестуванні інших учнів з аналогічним рівнем навчальних досягнень;
• перевірку відтворюваності результатів тестування на прикладі учнів інших класів, шкіл і регіонів зі стійким відповідністю результатів тесту і реальних навчальних досягнень школярів;
• контроль диференційованості результатів тестування успішних і неуспішних школярів в залежності від їх рівня навчальних досягнень і успішності освоєння ними освітнього курсу;
• статистичну перевірку надійності тесту за допомогою відповідного математичного апарату, включаючи обчислення коефіцієнта кореляції між результатами стандартизовані матеріалу і результатами паралельних вимірювань.

Подібні процедури необхідні для того, щоб розробити якісні контрольно-вимірювальні матеріали, які можна використовувати на мовні іспити підвищеної відповідальності, де нерідко вирішується доля учнів. Завдання подібної складності не під силу шкільному вчителеві.

В даному випадку мова йде не тільки про мовні іспити. Будь-педагогічний висновок про відповідність або невідповідність навчальних досягнень учнів вимогам Федерального державного освітнього стандарту та Примірної основної освітньої програми повинен робитися тільки на підставі контрольно-вимірювальних матеріалів, яким офіційно дозволено перебувати компетентними органами управління освітою для використання в школі.

ПИТАННЯ: Як впливає тип мовного тесту на позначку, що виставляється учневі вчителем?

ВІДПОВІДЬ: Відмітка вчителя учневі багато в чому залежить від типу мовного тесту. Наведемо спочатку таблицю з типами мовних тестів:

З таблиці видно, що існують мовні тести для визначення вихідного рівня володіння мовою в учнів (Admission test). Є тести для того, щоб розподілити учнів по навчальним групам для більш ефективної роботи з ними (Placement test). Використовуються тести для діагностування і прогнозування можливих труднощів, які учні, ймовірно, будуть відчувати в курсі іноземної мови (Diagnostic test). У ряді випадків необхідно виявити мовні здібності учнів, що впливають на успішність навчання (Aptitude test).

У навчальному процесі часто застосовується тестування поточних навчальних досягнення учнів (Progress test). Після закінчення освітнього курсу іноземної мови проводять оцінку досягнень, тобто знань учнями пройденого змісту навчання (Achievement test). Нарешті, для виявлення досягнутого учнем рівня оволодіння іноземною мовою організовується тестування комунікативної компетенції в цілому (Proficiency test).

Неважко помітити, що вчительська відмітка з властивою їй часткою суб'єктивності і одночасно великим виховують впливом на учнів найбільш доцільна в ході тестування поточних досягнень учнів.

Для оцінки пізнавальних можливостей учня, розподілу учнів по групах і рівнями володіння мовою, прогнозування можливих проблем і виявлення мовних здібностей більш надійними є розроблені фахівцями тестові інструменти.

ПИТАННЯ: Як впливає складність і складність тестових завдань на позначку, що виставляється учневі вчителем?

ВІДПОВІДЬ: Важливим аспектом аналізу тестових завдань є визначення їх труднощі і складності.

Труднощі завдання зазвичай розглядається як суб'єктивна психологічна категорія, оскільки сприйняття учнями тесту як «важкого», завжди індивідуально. Труднощі зростає, якщо рівень знань учнів відстає від мовного рівня тесту. У цьому випадку йому потрібно зробити значно більше розумових операцій, ніж учневі, чиї знання відповідають рівню тесту або навіть випереджають його. Труднощі тесту також залежить від рівня мовних здібностей учнів та інших суб'єктивних чинників (рівня інтелекту, епізодичній втоми та ін.)

Складність тесту - це об'єктивна дидактична категорія, яка визначається складом навчальних дій, з яких складається тестове завдання. Аналогічно, чим більше дій в арифметичній задачі, тим вона складніше для учнів. Простий за складом мовний тест об'єднує обмежена кількість питань, на які потрібно відповісти. Більш складний за складом тест передбачає, що учням потрібно відповісти на багато питань і зробити значну кількість пізнавальних дій. Наприклад, різноманітним за складом є завдання «вставити абзац в текст». Для цього учням потрібно прочитати текст до кінця і зрозуміти його, розбити текст на абзаци, прочитати окремий абзац і зрозуміти його, прийняти рішення про місце цього абзацу в загальній логіці тексту, вставити абзац в текст і ще раз перевірити логіку всього тексту. Різноманітним за складом є завдання написати письмове висловлювання з елементами міркування (есе) та інші творчі тестові завдання. В цьому випадку результат залежить від творчих здібностей учнів, а не тільки від володіння мовними засобами. Тобто проблемність тестового завдання зростає, якщо об'єктивна складність тесту поєднується з його суб'єктивної труднощами.

Відмітка вчителя учневі в процесі поточного контролю навчальних досягнення враховує як суб'єктивну труднощі, так і об'єктивну складність тестового завдання. У поточному контролі вчитель має право оцінювати відповідь учня всебічно для педагогічного управління навчанням.

На відміну від поточної успішності в процедурі підсумкового контролю на прикладі ЄДІ завдання градуюються за своєю об'єктивної складності. Поділ тестового матеріалу на більш-менш складні завдання не впливає на бали учнів. На бали учнів не впливає також їх минуле відношення до навчання, колишні заслуги і перемоги на олімпіадах, старанність і старанність, що склалися стосунки з учителем. Суб'єктивна труднощі завдання для окремих учнів теж не оцінюється вчителем, але проявляється в кількості допущених помилок або недоліків відповіді.

ПИТАННЯ: Які існують рівні тестування комунікативної компетенції учнів?

ВІДПОВІДЬ: Європейською асоціацією експертів в області мовного тестування розроблено рівні володіння іноземними мовами. Ця шкала містить шість рівнів: A1, A2, B1 (пороговий рівень), B2 (рівень, що перевищує пороговий), C1 і C2. Таким чином, охоплюється діапазон від базового до майже повного рівня володіння іноземною мовою. Ці рівні володіння мовою прийняті за основу в Загальних європейських компетенціях (Common European Framework).

Відповідно до Федеральним державним освітнім стандартом загальної (повної) середньої освіти Єдиний державний іспит з англійської мови в цілому повинен відповідати «порогового рівня» оволодіння іноземною (англійською) мовою (B1). Для учнів класів і шкіл з поглибленим вивченням іноземної мови передбачені тестові завдання, що перевищують граничний рівень (B2).

Сучасні серії підручників англійської мови використовують аналогічну шкалу рівнів англійської мови, яка теж складається з шести рівнів: Beginner (Starter = Basic), Elementary, Pre-Intermediate, Intermediate, Upper-Intermediate та Advanced. На цю шкалу орієнтуються сьогодні практично всі вчителі англійської мови, що використовують сучасні навчально-методичні комплекти і реалізують комунікативний підхід до навчання.

Підкреслимо, що бали, отримані учнем, що не залежать від мовного рівня, на якому проходило навчання іноземної мови і тестування результатів. Існують країни, де учні здають мовні іспити у формі тестів на різних рівнях мовної складності. Різний рівень мовної складності передбачений не тільки в ситуаціях поточного контролю, а й на іспитах «підвищеної відповідальності» по завершенні повної середньої освіти. Це означає, що бали випускників, що освоїли освітній курс іноземної мови на різних рівнях, можуть збігатися. Однак в документі про закінчення повної середньої школи робиться позначка про рівень оволодіння іноземною мовою.

ПИТАННЯ: Як визначити відповідність тексту або мовного тесту одному з шести рівнів оволодіння іноземною мовою (за «Спільним європейським компетенцій» - Common European Framework)?

ВІДПОВІДЬ: Завдання визначити відповідність тесту або тексту одному з шести рівнів оволодіння іноземною мовою вирішується методом «незалежних експертів». Подібна задача актуальна для вчителів, які нерідко використовують в навчальному процесі, а також на іспитах в форматі мовного тестування самостійно відібрані тести і вимірювальні матеріали.

Метод «незалежних експертів» полягає в тому, що кожен з трьох або п'яти досвідчених викладачів іноземної мови отримує ідентичний набір текстів (тестів), строго відповідний стандартним рівням оволодіння іноземною мовою. Цей «еталонний» набір текстів (тестів) відбирається з стандартизованого матеріалу минулих років. Одночасно кожен з експертів отримує однаковий екземпляр одного тексту (тесту) для того, щоб визначити, якого рівня складності відповідає оцінюваний матеріал. Якщо думки експертів збігаються, текст (тест) допускається для використання в навчанні або тестуванні.

Як бачимо, подібна процедура досить складна і відповідальна. Проте вчителі-практики можуть вирішувати подібні завдання для своєї школи, міста або регіону за допомогою експертів відповідних методичних об'єднань.

Зрозуміло, подібні матеріали вчителів можуть бути використані тільки з метою навчання і поточного контролю навчальних результатів, підведення попередніх підсумків роботи школи, для оцінки ефективності авторських програм і т. П. У всіх подібних випадках виставлення позначки учневі має педагогічний сенс, стимулюючи пізнавальну діяльність і виховуючи ставлення до навчання.

ПИТАННЯ: Які існують критерії для оцінювання в форматі мовного тестування навчальних результатів школярів?

ВІДПОВІДЬ: Загальний європейський стандарт пропонує критерії для визначення рівнів оволодіння іноземною (англійською) мовою в учнів і відповідно для «зважування» складності мовного тесту. (Council of Europe: Common European Framework of Reference for Languages. http://ru.wikipedia.org/wiki/Общеевропейские_компетенции_владения_иностранным_языком )

Для оцінювання вміння читати з розумінням і сприймати на слух відповідно письмові та усні тексти різних видів і жанрів, а також здійснювати спілкування іноземною мовою застосовуються відповідні критерії та показники (див. Таблицю).

З табліці видно, что если на Рівні A1 (Beginner, Elementary) учні повінні розуміті Знайомі фрази и вирази, то на Рівні A2 (Pre-Intermediate) від учнів очікується розуміння вжівані слова, словосполучень, виразів и фрагментів мови. На Рівні B1 (Intermediate - «пороговому») учням та патенти розуміті основні Ідеї чітко и лаконічно побудованіх Повідомлень. На рівні B2 (Upper-Intermediate - «перевищення порогового рівня») школярі, що успішно засвоїли освітній курс іноземної мови середньої (повної) освіти, демонструють уміння розуміти загальний зміст складних текстів на абстрактні і конкретні теми. Далі йдуть рівні C1 (Advanced) і C2 (Proficient), досягнення яких є обов'язковим для випускників. Разом з тим, як пропонує Орієнтовна основна освітня програма, в школі створюються умови, відповідно до яких окремі, найбільш здібні, учні «зможуть опанувати» мовними вміннями підвищеної складності.

Відзначимо, що рівня B1 (порогового) повинні досягти учні, що успішно засвоїли освітній курс «Іноземна мова» середньої (повної) загальної освіти. Рівня B2 (перевищує пороговий) зазвичай досягають успішні випускники класів і шкіл з поглибленим вивченням іноземної мови.

Оцінювання продуктивної мовлення учнів відноситься до найменш надійним областям мовного тестування. Причина полягає в тому, що усна або письмова мова являє собою «недискретні» конструкт, що складається з єдиного цілого і не розділяється на елементи. Вважається, що надійність межекспертной узгодженості виставляються балів в оцінюванні продуктивної усній або письмовій мові (inter-rater reliability) відносно низька.

Тестування рецептивної мови або лінгвістичного компонента комунікативної компетенції учнів можливо в «дискретної» формі, коли на кожне питання можна дати правильну або неправильну відповідь. В цьому випадку при наявності «ключів» розбіжність між балами, що виставляються різними експертами, неможливо.

Для того щоб підвищити надійність і точність тестування продуктивної мови, застосовуються спеціально розроблені критерії. Уміння оцінювати продуктивну мова учнів формується у експертів в ході професійного тренінгу.

Можливими критеріями оцінки усної відповіді учнів в тестових завданнях типу «вираження думки», «коментування зображення», «аргументація ідеї» можуть бути наступні:

• релевантність, тобто відповідність змісту усного висловлювання поставленої комунікативної задачі;
• якість, тобто надійність, науковість, конкретність і точність інформації, що повідомляється для вирішення поставленого комунікативного завдання;
• кількість, тобто адекватний поставленій комунікативної задачі і достатній обсяг інформації, що повідомляється;
• манера, тобто дотримання правил мовного етикету, чітка і організована мова, логіка, зоровий контакт і спрямованість до аудиторії;
• конвенціональність, тобто виконання умов комунікативного завдання в ситуації мовного тестування.

Для оцінювання творчого самостійного письмового висловлювання учнів з елементами міркування можна, додатково до існуючих критеріїв, використовувати такі:

• оформлення есе (логічно виділяються абзаци, використання сполучних слів і спілок, дотримання заданого обсягу слів);
• мова есе (лексичні засоби, граматична норма, автентичність мови);
• зміст есе (цілісність ідеї, відповідність темі, доказовість аргументів, зрілість змісту).

Зауважимо, що критерії оцінювання продуктивної мовлення учнів в ситуації мовного тестування постійно удосконалюються. Це особливо актуально для іспитів підвищеної відповідальності, до яких відноситься ЄДІ.

ПИТАННЯ: Як перевести бали тестування в традиційну для російської школи позначку?

ВІДПОВІДЬ: У різних областях знань (дидактиці, психології, фізіології) нерідко виникає необхідність перевести «сирі» бали вимірювань в стандартизовану шкалу, наприклад в п'ятибальну систему виставлення оцінок. Переводити бали в стандартизовану шкалу буває необхідно і зручно в тих випадках, коли різні тести передбачають отримання різного максимального балу ( «з 50», «з 75», «з 100» і т. П.). Наприклад, максимальна кількість балів, які можуть отримати учні по ДПА та ЗНО, не збігається. В якості альтернативи бали можна перевести у відсотки.

У російській школі бали тестів переводять в звичні позначки, слідуючи традиції, так як «п'ятірка» асоціюється не стільки з максимальною кількістю балів, скільки з безперечним схваленням навчального результату. Аналогічно «двійка» несе в собі не стільки інформацію про реально набраних балах, скільки містить педагогічне осуд учня. Відмітка «одиниця» передбачена Примірної основний освітньою програмою, проте вкрай рідко використовується в педагогічній практиці.

Відмітка виставляється учневі вчителем завжди на основі комплексного бачення педагогом всіх обставин навчання і навчання, дій учня в ситуації мовного тестування, а також реально можливих показників тесту в конкретному класі, школі або регіоні. Саме тому існуючі шкали переведення балів тесту в п'ятибальну систему оцінок допускають рухливі кордони між кількістю балів, відповідних «п'ятірці», «четвірці» і ін. Міжнародна практика свідчить про те, що кількість балів мовного тестування менше 60 відповідає незадовільною позначці або висновку «не складено».

Відзначимо також, що при перекладі балів тесту в п'ятибальну систему виникає необхідність приймати рішення за принципом «грубого переходу» від однієї позначки до іншої на підставі всього лише одного бала.

ПИТАННЯ: Який існує досвід перекладу результатів мовного тестування в п'ятибальну позначку?

ВІДПОВІДЬ: Рішення про відповідність кількості балів, отриманих учнем за мовний тест, що виставляється йому позначці за п'ятибальною системою нерідко приймається самими вчителями в своєму навчально-методичному об'єднанні. Рішення, пропоновані вчителями, нерідко цікаві і корисні. Педагоги-практики враховують, з одного боку, реальне відповідність результатів виконаного тесту досягнутому рівню комунікативної компетенції школярів. З іншого боку, робиться спроба уникнути формалізму і механічного прирівнювання балів мовного тестування до звичних для учнів п'ятибальною позначок.

Покажемо, як приклад, можливу шкалу переведення тестових балів в оцінки:

Пропонована шкала має свої відмінні риси.

По-перше, чим вище оцінка, що виставляється вчителем, тим вужчим стає діапазон допустимих балів мовного тестування. Якщо «задовільно» можна отримати в діапазоні 20 балів, тобто від 61 до 80, то позначку «добре» можна отримати в діапазоні 15 балів, а для позначки «відмінно» необхідно набрати бали в діапазоні всього п'яти пунктів - від 95 до 100.

По-друге, пропонована шкала передбачає певний діапазон педагогічних рішень, прийнятих учителем про що виставляється учневі позначці. В межах цих діапазонів вчитель має право варіювати свою позначку учневі з урахуванням ряду значущих, на його думку, педагогічних обставин. Наприклад, учитель має право поставити учневі позначку «відмінно», розширивши діапазон 96-100 балів до діапазону 91-100 балів за результатами мовного тесту.

По-третє, пропонована шкала переведення балів мовного тесту в традиційну для Росії п'ятибальну позначку дозволяє використовувати процедуру оцінювання не тільки з метою педагогічних вимірювань навчальних досягнень, але і виховання учнів, заохочення за працю, старанність, відповідальність та інші цінні особистісні якості.

ПИТАННЯ: Як слід переводити результати ДПА та ЗНО в бали?

ВІДПОВІДЬ: У процедурі перекладу результатів ДПА в п'ятибальні позначки в 2013 році, як і в минулі роки, була рекомендована наступна шкала: 0-8 балів - позначка «2», 9-17 балів - позначка «3», 18-26 балів - відмітка «4», 27-33 балів - позначка «5». Дана шкала носить рекомендаційний характер і може бути змінена територіальної екзаменаційною комісією в російських регіонах.

В останні роки результати мовного тестування на Єдиному державному іспиті в традиційні п'ятибальні позначки не перекладаються.

ПИТАННЯ: Чи збережеться традиційна п'ятибальна відмітка в російській школі?

ВІДПОВІДЬ: Можливо в майбутньому, слідуючи міжнародній практиці, переклад балів мовного тестування на відповідальних інтелектуальних випробуваннях за підсумками початкової, основної та старшої школи, буде скасований. Результати тесту будуть оцінюватися в кількості набраних балів або переводитися в стандартні показники за єдиною оціночною шкалою. Наприклад, у багатьох країнах результати тестування переводять в «процентилю», за якими можна дізнатися місце будь-якого учня, який виконав тест, серед загальних показників інших учнів в масштабах школи, міста, регіону та країни в цілому. Наприклад, якщо в учня 95-й процентиль, то 95% учнів мають результат тестування, нижче цього учня.

Відмітка за п'ятибальною системою за результати іспитів у формі тесту, ймовірно, піде в минуле.

Разом з тим є певні педагогічні підстави прогнозувати, що відмітка вчителя в процесі поточного контролю навчальних досягнень учнів, слідуючи доброї російської традиції, збережеться в нашій школі в доступному для огляду майбутньому.