Змінні у структурі психологічного експерименту – ЕКСПЕРИМЕНТАЛЬНА ПСИХОЛОГІЯ
ЕКСПЕРИМЕНТАЛЬНА ПСИХОЛОГІЯ
Тема 3. Змінні у структурі психологічного експерименту
Змінна являє собою будь-який аспект дійсності, який можна змінити, виявити ці зміни і зафіксувати їх в експерименті.
Розрізняють такі види змінних:
– незалежна змінна, яку змінює експериментатор з метою перевірити її вплив на інший аспект дійсності;
– залежна змінна – аспект дійсності, який змінюється у відповідь на введення незалежної змінної;
– проміжні змінні (інша назва – змінні-модератори) – фактори, які опосередковують
– змінні, що контролюються (інша назва – побічні змінні) – ті умови, які під час експерименту не повинні змінюватися, щоб не порушити логіку виведення причинно-наслідкового зв’язку з тим, щоб динаміку залежної змінної можна було пояснити дією саме незалежної змінної, а
Проміжні змінні й змінні, що контролюються, які відіграють суттєву роль у встановленні причинно-наслідкових зв’язків між незалежною і залежною змінними, називають додатковими змінними. Обрані рівні додаткових змінних визначають можливість подальших узагальнень (ті рамки, в яких діють установлені закономірності) і, таким чином, обмежують можливість перенесення отриманих в експерименті даних на більш широкі ситуації, відмінні від заданих.
Отже, можна сказати, що експеримент є методом вивчення впливу незалежної змінної на залежну за умови врахування проміжних і контролю (тобто дотримання константних характеристик) побічних змінних.
В основу експериментальної психології, за К. Левіном, покладено формулу
Де В – поведінка, Р – особистість, S – ситуація, тобто в експерименті забезпечується можливість передбачити поведінку особистості в певній ситуації.
Незалежними змінними, згідно з цією формулою, в експерименті можуть бути, по-перше, варіації ситуації:
– зміни в навколишньому середовищі (фізичному, коли змінюються сенсорні й просторово-часові умови, соціальному, коли задається присутність чи відсутність експериментатора або інших людей, соціально-психологічному, коли задаються особливості спілкування і взаємодії досліджуваного й експериментатора або групи досліджуваних тощо);
– особливості завдання, тобто тієї діяльності, на яку спрямовуються досліджувані завдяки стимулюючому матеріалу та інструкції; при цьому можуть змінюватися заохочення і покарання, засоби розв’язання, створюватися штучні перешкоди тощо;
По-друге, варіації особистості:
– спровоковані зміни (біологічні, коли здійснюється вплив на фізіологічні чи психофізіологічні показники, наприклад, через вживання ліків, і психологічні, коли здійснюється вплив на установки чи мотивацію, наприклад, через класичне підкріплення – матеріальну зацікавленість);
– зміни, на які посилаються (наприклад, у диференціально-психологічних дослідженнях створюються кілька груп, які різною мірою представляють вираженість певних рис).
При цьому незалежні змінні можуть бути кількісними (наприклад, кількість повторень, необхідних для запам’ятовування певного матеріалу) або якісними (наприклад, система виховання).
Залежною змінною у психологічному експерименті є вербальні й невербальні параметри поведінки досліджуваного, які виступають опосередкованими показниками певних психічних якостей, зокрема: просторово-часові (або формально-динамічні) характеристики:
А) точність дії (кількість помилок);
Б) латентний час (швидкість реакції – час між пред’явленням стимулу і відповіддю);
В) тривалість (швидкість виконання завдання – час між початком і закінченням виконання завдання);
Г) темп або частота дії;
Г) ефективність виконання завдання (частка від кількості помилок або якості виконання дії до часу її виконання);
А також змістові, які передбачають якісний опис поведінки і, відповідно, виокремлення категорій поведінки (наприклад, агресивність, активність, альтруїзм тощо). Якісні особливості, як правило, фіксуються в експертній оцінці, яку дають підготовлені спостерігачі за допомогою спеціальних карток спостереження.
Взагалі виокремлюють три типи залежної змінної: одномірну, коли реєструється лише один параметр поведінки досліджуваного, який і вважається проявом залежної змінної (наприклад, швидкість сенсомоторної реакції), багатомірну, коли залежна змінна проявляється через кілька параметрів, які можуть фіксуватися незалежно (наприклад, рівень інтелектуальної продуктивності виявляється і через час розв’язання, і через складність завдання тощо), фундаментальну, коли між кількома параметрами, що визначають залежну змінну, можна установити функціональну залежність (наприклад, рівень агресії розглядається як функція окремих її проявів) .
Важливою властивістю залежної змінної є її чутливість до зміни рівня незалежної змінної. При цьому можливе виникнення так званих ефекту стелі, коли рівні незалежної змінної не впливають на залежну через надмірну легкість експериментальних завдань, і ефекту підлоги, коли експериментальне завдання є настільки складним, що рівень його виконання набагато нижче всіх рівнів залежної змінної.
Побічними змінними в експерименті виступають:
– фактор часу (години проведення дослідження, нестабільність у часі загалом, коли на ефективність діяльності досліджуваних впливає пора року чи погодні умови);
– фактор завдання, коли різні умови змінної вимагають різних експериментальних завдань (наприклад, перевірка гіпотези про вплив змісту певної інформації на ефективність її заучування вимагає добору різної інформації, оскільки її можна завчити тільки один раз);
– суб’єктивний фактор – індивідуальні особливості досліджуваних (адже особливості діяльності досліджуваних залежать від статі, віку, настрою, стану здоров’я тощо).
Оскільки на людину діє одночасно багато умов, існує проблема виокремлення серед них незалежної змінної – стимулу. У зв’язку з цим М. Роговін зауважує, що основною і принциповою складністю будь-якого психологічного експерименту є можливість виділити, просте – жити і встановити закономірності динаміки саме тієї змінної, яку й треба вивчити. Інакше спостерігаються артефакти, викликані змішуванням незалежних і додаткових змінних, коли, за Д. Кемпбеллом, фон впливає більше, ніж стимул.
Тому існує необхідність розв’язання проблеми ізоляції незалежної змінної, контролю за нею й іншими видами змінних, а також проблеми впливу порядку пред’явлення незалежних змінних на залежні, тобто проблема експериментального контролю.
Слід зауважити, що саме експериментальний контроль забезпечує достовірність виведення залежності, що емпірично перевіряється, з точки зору відхилення інших правдоподібних пояснень. Експериментальний контроль здійснюється не тільки у разі контролю незалежних і побічних змінних, з метою попередження їхнього змішування, а й у плануванні як побудові експериментальних схем пред’явлення рівнів незалежної змінної (див. табл. 6), у задані різних типів змінних з точки зору їхньої відповідності реальним умовам і, відповідно, різних типів експериментів (див. табл. 8), а також у статистичному контролю на рівні даних (див. табл. 4, 9).
При цьому контроль незалежної змінної у класичному експерименті є активним, тобто здійснюється через активне маніпулювання, коли експериментатор безпосередньо впливає на рівень незалежної змінної, наприклад, зменшує чи збільшує силу подразника, або, в окремих дослідженнях, пасивним, і здійснюється опосередковано за рахунок підбору груп, що відрізняються за певним показником; тоді за умови однакового експериментального впливу на ці групи різниця результатів у значеннях залежної змінної може бути пояснена саме відмінністю груп за цим показником.
Якщо в експерименті досліджується вплив кількох рівнів незалежної змінної на залежну, джерелом артефактів можуть бути так звані ефекти послідовності. Адже в цьому випадку рівні незалежної змінної утворюють ряд від найменших значень до найбільших. При цьому попередні експериментальні завдання можуть негативно або позитивно вплинути на якість виконання наступних експериментальних завдань (коли, наприклад, тренування у виконанні експериментальних дій полегшує виконання наступних, перший рівень незалежної змінної виявляється в найбільш несприятливих умовах). Цей вплив може накопичуватися і приводити до залежності значень залежної змінної від позиціі пред’явлення рівня незалежної змінної, а також вести до ефекту центрації, коли створюються найсприятливіші умови для дії рівнів незалежної змінної, що пред’являються в середині ряду (з огляду на те, що тільки цим рівням однаковою мірою відповідають і більш високі, і більш низькі рівні незалежної змінної).
Ефект послідовності при цьому контролюється шляхом нейтралізації дії порядку пред’явлення методом позиційного вирівнювання чи ротації (контрбалансування), який полягає в тому, що кожний досліджуваний отримує вплив не тільки АБ, а й БА (у даному випадку А і Б – рівні незалежної змінної, при цьому А менше Б). На жаль, такий прийом не дозволяє запобігти асиметричному впливу, коли вплив А на Б відрізняється від впливу Б на А. Тоді реальні відмінності між ситуаціями при реєстрації даних можуть перебільшуватися. Наприклад, А поліпшує Б, а Б погіршує А, тоді у випадку пред’явлення рівнів незалежної змінної у порядку АББА умова Б отримує перевагу. Іноді для зменшення цього ефекту пропонують пред’явити послідовність АББА одному досліджуваному, а послідовність БААБ – другому. Іншим засобом подолання ефекту послідовності є рандомізація, коли відбувається пред’явлення стимулів у випадковому порядку і зміна цього порядку від серії до серії з надією на те, що непередбачувані зміни порядку стимулів взаємно нейтралізують один одного (порядок пред’явлення рівнів незалежної змінної обирається за таблицею випадкових чисел). Цей засіб контролю використовується у випадку можливості проведення великої кількості дослідів.
Контроль зовнішніх (побічних і додаткових змінних) здійснюється за допомогою:
– елімінації, коли експериментальна ситуація організовується таким чином, щоб виключити зовнішні змінні (в лабораторії – ізоляція звуків і т. п.), що є далеко не завжди можливим;
– стандартизації умов – забезпечення константних характеристик побічних і додаткових змінних – через однакові просторово-часові умови проведення дослідження для всіх досліджуваних, процедури, обладнання, інструкції, вирівнювання за статтю, віком, статусом тощо; проблемою при цьому є характеристики побічних і додаткових змінних; до того ж навіть у цьому разі змішування повністю уникнути неможливо (скажімо, проведення експерименту для людей з різними біологічними ритмами життєдіяльності водночас, наприклад вранці, викличе різну реакцію, багато в чому обумовлену саме рівнем активності досліджуваних, що пов’язана з їхніми біоритмами);
– балансування – введення контрольної групи, яка перебуває в тих самих умовах, при цьому контролюється ефект змішування змінних :
НЗ (активний стан)
ЕГ: – ЗЗ (є ефект впливу НЗ)
ДЗ
НЗ (пасивний стан)
КГ: – ЗЗ (ефект впливу відсутній)
ДЗ
Важливою проблемою, яка особливо складно вирішується в психологічних дослідженнях, є проблема виміру змінних.
У найзагальнішому понятті під виміром розуміють операцію, завдяки якій числа (чи інші символи) приписуються об’єктам дійсності. При цьому важливо встановити відповідність між властивостями чисел і властивостями об’єктів.
Усього, слідом за С. Стівенсом, виокремлюють 4 рівні виміру – переведення якісних психічних явищ у зовнішні, кількісні показники, які називають шкалами (від лат. scala – “сходи”) . Це, по-перше, номінальна шкала, або шкала найменувань, коли всі психологічні прояви класифікуються за певними ознаками в класи еквівалентних об’єктів, наприклад, належність особистості до певної раси. На цій шкалі об’єкти можна розташувати в будь-якій послідовності. Клас із найбільшою кількістю об’єктів називають модою – статистичною мірою центральної тенденції (тобто статистичним показником, що характеризує найбільш виражене, репрезентативне значення змінної) для даного виду шкал.
При цьому, якщо для класифікації однієї й тієї ж сукупності експериментальних даних (наприклад, групи одних і тих самих досліджуваних) застосовуються два різних критерії (коли, наприклад, ці досліджувані розбиваються на класи, з одного боку, за рівнем їх розвитку, а з другого – за ефективністю професійної діяльності), можна узнати, чи залежать ці критерії один від одного, наприклад, за методом “хі-квадрат”.
Іншим видом шкал є шкала порядку, або рейтингова шкала, коли об’єкти не тільки розділяються на класи рівних між собою (еквівалентних) об’єктів, а й ці класи упорядковуються (ранжуються) за мірою вираженості цієї ознаки. Наприклад, у відомому дослідженні стосовно дослідження расових установок, коли “силу” установки виміряли за відповідями на запитання:
П1 – чи хотіли б ви, щоб хто-небудь з ваших родичів одружився з негром?
П2 – чи запросили б негра на обід?
П3 – чи дозволили б голосувати? групи розподілялися за “силою” расової установки (табл. 1).
Таблиця 1
Розподіл досліджуваних по групах залежно від “сили” установки
№ групи | Так | Так | Так | Ні | Ні | Ні |
1 | + | + | + | |||
2 | + | + | + | |||
3 | + | + | + | |||
4 | + | + | + |
У результаті не тільки можна було визначити вираженість певної ознаки (в цьому разі – расових установок), а й упорядкувати класи об’єктів залежно від міри вираженості ознаки (у цьому прикладі перша група мала “найслабкіші” расові установки, а четверта – “най сильніші”) .
Мірою центральної тенденції для такого виду шкал є медіана, яка визначається за формулою
Де n – кількість ознак. Ліворуч і праворуч від медіани знаходиться 50 % випадків.
Проблемою, що утруднює маніпуляції з даними, які вимірювалися за ранговою шкалою, є те, що відстань між позначками шкали не відповідає реальній відстані між даними. Крім того, для порівняння даних у різних дослідах (де використовувалися різні експериментальні завдання) за цією шкалою часто необхідно переводити “сирі” первинні дані у спеціальні показники – процентилі, які показують відносне положення індивіда в порівнянні з іншими. Процентильні показники виражаються в одиницях від процентів досліджуваних, результат яких нижче певної первинної оцінки. Чим нижча процентиль, тим гіршою є позиція індивіда в даній групі за вимірюваною якістю.
Наприклад, якщо 35 % людей розв’язують правильно менше 15 експериментальних завдань, то первинна “сира” оцінка – 15 у цьому випадку відповідає 35 процентилю (Р 35). П’ятдесятий процентиль (Р 50) відповідає медіані. Р 25 і Р 75 називають також першим і третім квартилями, оскільки вони позначають нижню і верхню чверть розподілу даних.
У разі переведення “сирих” балів у процентилі вважають, наприклад, що ступінь переваги досліджуваного в досліді X є більш явним, ніж у досліді Y, якщо в X вище його даних виявилося тільки 20 % досліджуваних, у той час як у Y – 40 %. Пряме порівняння оцінок цих двох дослідів не мало б сенсу, оскільки будь-яке числове перетворення на ранговій шкалі може змінювати експериментальний результат.
Третім видом шкал є шкала інтервалів, на якій ознаки не тільки упорядковані за мірою вираженості, а й відстань між позначками шкали відповідає реальному розриву між даними.
Слід зауважити, що установити дослідним шляхом зазначену рівність інтервалів досить важко. Поширеним засобом є статистичне визначення рівності інтервалів через приведення даних порядкової шкали до, як правило, нормального розподілу.
Існують такі підходи до перетворення розподілу в нормальний:
– зміна експериментальних умов виміру (зокрема, характеру поставлених запитань, часу їхнього розв’язання, критеріїв, які визначають позитивні відповіді на кожне з цих запитань), коли, наприклад, емпірично починають змінювати запитання в потрібному напрямі, уникаючи занадто “легких” чи “важких” запитань, за яких більшість відповідей була би помилковою чи правильною; (першим прикладом такого підходу можна вважати шкалу Стенфорда – Біне з визначення інтелекту, коли завдання добиралися таким чином, щоб для кожного віку отримати найтиповіший показник інтелекту 100, із статистичною мірою дисперсії 16);
– нормалізація за складом, при цьому група даних розподіляється на кілька класів таким чином, щоб границі класів відповідали нормальному розподілу;
– нормалізація змінної через її логарифмування:
Де С – константа, яка добирається таким чином, щоб наблизити розподіл до нормального, х – первинне значення змінної, X – перетворене значення змінної х;
– нормалізація змінної може також відбуватися через перехід від процентилів до нормалізованих стандартних показників.
Класичним прикладом шкали інтервалів є термометр. Слід зауважити, що шкала інтервалів має одиницю виміру, але положення точки відліку – 0 – є довільним (наприклад, для температурної шкали позначка 0 свідчить не про відсутність температури взагалі, а про певні її значення). Вважається, що на цій шкалі можна виконати певні дії, отримуючи нові показники (X) із старих (х) за допомогою перетворення: X = ах + Ь, де а і Ь є константами.
Мірою центральної тенденції на цій шкалі є середнє арифметичне, яке визначається за формулою
Де n – кількість елементів.
Проблемою такого виду шкал є незбіжність природної нульової позначки і нульової позначки на шкалі, що унеможливлює знаходження пропорцій і відношень, наприклад, не можна сказати, що людина з інтелектом 140 є вдвічі розумнішою, ніж людина з інтелектом 70.
Четвертим видом шкал, які у психології, як правило, використовуються як додаткові, є шкали відношень або пропорцій, для яких нульова позначка на шкалі відповідає природній нульовій позначці. На таких шкалах вимірюється довжина, площа, об’єм об’єктів, а також час перебігу певних процесів.
Мірами центральної тенденції для такої шкали є середнє арифметичне М або середнє геометричне G, яке визначається за формулою
Слід зауважити, що для порівняння результатів двох або більше рядків даних з метою визначення експериментального впливу тільки значень середніх недостатньо. Наприклад, порівняємо дві вибірки зі значеннями:
20; 20; 20; 20 і 38; 2; 38; 2.
Очевидно, середнє арифметичне для них обох дорівнює 20 і не менш очевидно, що це різні вибірки. Тут необхідно, окрім середніх, також визначити дисперсію значень навколо середніх, яке дає більш точну картину, зокрема, середнє квадратичне відхилення, яке обчислюється за формулою
Де М – середнє арифметичне n даних із значеннями х1, х2,…, хn.
Зазначимо, що чим складніший рівень психіки, тим менш точно його можна виміряти (див. табл. 2).
Таблиця 2
Зв’язок рівнів психічної регуляції і засобів їх емпіричного опису (за В. Дружиніним)
Рівень | Функція | Відношення | Предмет (психічна реальність) | Засіб опису даних (шкала) |
0 | Фізіологічний рівень – життєзабезпечення | |||
1 | Регуляція рухів | Психіка – організм | Субсенсорні процеси | Шкали відношень (інтервалів) |
2 | Регуляція операцій | Психіка – середовище | Сенсорно-перцептивні процеси | Шкала інтервалів |
3 | Регуляція дій | Психіка – задача | Мислення, мотивація прийняття рішення | Шкали інтервалів (порядку) |
4 | Регуляція діяльності | Психіка – діяльність | Структура цілісної психіки (особистіші утворення ) | Шкали порядку і номінальні шкали |
5 | Регуляція життєдіяльності в цілому | Психіка – життєвий шлях | Унікальна, цілісна, індивідуальна психіка | Подібність, опис окремих випадків |
При цьому 0 – є допсихічним рівнем, який забезпечує життєдіяльність організму, його вплив на психічну активність виявляється на наступному рівні:
1 – психофізіологічний рівень, який відповідає за прості види психічної підсвідомої регуляції (автоматизми, неусвідомлювані регулятори дій тощо);
2 – рівень елементарних систем, який забезпечує сенсорно-перцептивні процеси, прості емоції тощо;
3 – мезопсихічнийрівень регуляції дій, пов’язаний з функціонуванням інтегративних систем (інтелект, мотивація тощо);
4 – макропсихічний рівень або рівень функціональних систем, які відповідають за цілісність психіки, психологічну регуляцію діяльності й особистішої поведінки.
Ці рівні забезпечують вищий, 5 рівень унікальної індивідуальності, на якому цілісна індивідуальність, суб’єкт життєвої активності (творчості) будує неповторний життєвий шлях. Ознаками цього рівня є:
– унікальність, здатність породжувати унікальну поведінку, творити;
– спонтанна активність, тобто здатність виходити за рамки ситуації “тут і тепер”, регулювати дії на основі майбутнього їхнього прогнозування;
– цілісність, нерозкладеність на елементи (холізм), підкорення структур нижчого рівня (1-4) структурам, які забезпечують функціонування і розвиток цієї цілісності. На цьому рівні практично неможливо розв’язати проблему об’єктивного виміру психічної реальності.
Отже, можливість адекватного виміру психічної реальності існує на середньому і нижчому рівнях, там, де виявляється не тільки унікальність, але й типовість психіки.
Слід зауважити, що власне експериментальні дані мають вид вторинних показників у тому розумінні, що в них емпіричні факти є результатом спеціальних процедур обробки первинних даних. Останні отримуються завдяки певним психодіагностичним методикам.
Психодіагностичні методики розрізняються за предметно-специфічною спрямованістю. Йдеться про первинні дані, які отримуються в результаті дослідження пізнавальної сфери людини (методики вивчення пам’яті, уваги, мислення, відчуттів, уяви, сприймання тощо), її емоційно-мотиваційної сфери (методики діагностики мотивів, вольової регуляції поведінки, емоційних станів тощо), самосвідомості (методики самооцінки) або ціннісних орієнтацій (методика ранжування цінностей).
Ці методики розподіляються також на спеціальні, в цілому однозначно пов’язані з конкретними проявами психічної реальності (наприклад, тест Бурдона, який спрямований на вивчення особливостей уваги), і загальні, які застосовуються досить широко (наприклад, методика піктограми застосовується і для вивчення довільного запам’ятовування, і особливостей образного мислення, і особливостей прояву певних особистісних якостей тощо). Разом з тим очевидно, що і спеціальні методики можуть входити в різні схеми дослідження.
Розрізняють методики і за джерелом отримання інформації та інформованості учасників. При цьому можливі три різних типи джерел:
1. Сам досліджуваний. У цьому разі висновки грунтуються на відповідях самого досліджуваного (інтерв’ю, анкети, тести), досліджуваний, очевидно, знає, що він підлягає процедурі виміру.
2. Дослідник. Тут висновки грунтуються за результатами спостереження (відкритого чи прихованого) дослідника за досліджуваним.
3. Архівні записи (продукти діяльності досліджуваного). У цьому разі досліджувані можуть і не знати, що вони підлягають виміру.
Критеріями якості виміру змінних є об’єктивність, надійність, валідність.
Об’єктивність означає максимально можливу незалежність результатів виміру від особистісних особливостей дослідника, його настрою та ін.; досягається стандартизацією процедури виміру для всіх досліджуваних.
Надійними вважаються дані виміру змінних, які при повторному їх отриманні в тих же процедурних умовах дають незначущі відхилення від попередньо отриманих показників. Перевірка надійності передбачає імовірнісні оцінки на основі статистичних рішень. При цьому ненадійність даних може визначатися самою психологічною реальністю (наприклад, ефект утоми), опосередкованістю їх суб’єктивним світом дослідника, а також ненадійністю психодіагностичних методик. Тут слід зважити на те, що залежності, які встановлюються у психології, не завжди відтворюються (наприклад, можна створити умови для творчості, але не можна гарантувати творчий результат, оскільки він залежить від активності досліджуваного – суб’єкта творчості).
Валідність даних визначається в конкретних умовах експерименту, коли оцінюється, зокрема, наскільки методичні прийоми, які були обрані як засіб отримання емпіричних даних, визначають саме ті змінні, що задані в експерименті.
Зрозуміло, що у психологічному дослідженні досить важко досягти повного виконання цих критеріїв. У зв’язку з цим завдання дослідника полягає в тому, щоб відокремити результати вимірів, пов’язаних із реальними відмінностями, що існують між досліджуваними, від результатів, отриманих за рахунок випадкових впливів, тобто встановити помилку виміру.
Помилки виміру можуть виникати: по-перше, якщо досліджуваний знає, що за ним спостерігають, і дає різні відповіді залежно від своїх інтересів і мотивів; по-друге, за рахунок низької якості інструмента виміру, що використовується в дослідженні; по-третє, за рахунок особливостей самого дослідника, коли мінливість відповідей обумовлена станом (наприклад, хворобою) чи іншими характеристиками (статтю, віком, досвідом), які впливають на досліджуваного під час експерименту; по-четверте, за рахунок характеристик досліджуваних, наприклад, їхньою недостатньою чисельністю взагалі або зміною чисельності на момент повторного дослідження, що, власне, і викликає різницю у вимірах.
Тут важливо врахувати, що особливо великою ймовірністю помилок характеризуються такі популярні методи виміру, як суб’єктивні
Звіти і відкриті спостереження. Архівні записи (продукти діяльності), як правило, є фрагментарними, і їхня кількість обмежена.
Якщо відомо, що валідність вимірів буде низькою, наприклад, через особливості джерела інформації, єдиною стратегією, що веде до збільшення валідності, на думку Е. Дзукі, є систематичне використання повторних, різних вимірів однієї й тієї ж змінної.
(1 votes, average: 5.00 out of 5)
Loading...