創(chuàng)造力合意（共識(shí)）評(píng)量技術(shù)

1、創(chuàng)造力合意（共識(shí)）評(píng)量技術(shù),導(dǎo)讀者：張世彗教授臺(tái)北市立教育大學(xué)特殊教育學(xué)系,發(fā)展「合意評(píng)量技術(shù)」（Consensual Assessment Technique, CAT）的主因,在於創(chuàng)造力的共識(shí)定義、作者對(duì)創(chuàng)造力本質(zhì)的假定、及對(duì)創(chuàng)造力社會(huì)心理學(xué)適當(dāng)方法的要求。,選擇適當(dāng)任務(wù)應(yīng)符合三項(xiàng)要求：,1.評(píng)量?jī)?nèi)容須能形成產(chǎn)品或可觀察的反應(yīng)，適合評(píng)量；2.評(píng)量?jī)?nèi)容應(yīng)是開放的，能引發(fā)很多變通和新奇性的反應(yīng)；3.評(píng)量?jī)?nèi)容是令人滿意的，在基線表

2、現(xiàn)上不會(huì)產(chǎn)生很大的個(gè)別差異，且評(píng)量?jī)?nèi)容不需過分依賴某種特定技巧。,「合意評(píng)量技術(shù)」在評(píng)量程序上有很多要求a：,1.評(píng)判者應(yīng)具備該領(lǐng)域經(jīng)驗(yàn)，但不需一致。2.讓評(píng)判者獨(dú)立自主做評(píng)量3.相互比較作品，而非依絕對(duì)標(biāo)準(zhǔn)來評(píng)定4.隨機(jī)鑑賞作品和不同判斷層面,合意評(píng)量技術(shù)」在評(píng)量程序上有很多要求b：,5.除評(píng)量創(chuàng)造力外，應(yīng)同時(shí)評(píng)量其它層面，至少應(yīng)評(píng)量作品的技術(shù)性，也包括「美感評(píng)量」。然後，就可用來決定主觀評(píng)量產(chǎn)品的創(chuàng)造力是否與這些層面有關(guān)。,評(píng)

3、量程序最重要的標(biāo)準(zhǔn)為：,「評(píng)定是可信的」。就定義言，評(píng)定者間的信度等同「建構(gòu)效度」。,藝術(shù)創(chuàng)造力的合意評(píng)量,為充分瞭解此項(xiàng)技術(shù)是否能有效評(píng)量創(chuàng)造力作者實(shí)施了運(yùn)用這種技術(shù)來評(píng)量藝術(shù)和語文創(chuàng)造力的研究方案。,研究1：兒童的藝術(shù)的創(chuàng)造力a,1.對(duì)象和評(píng)判者22位女生，年齡為7-11歲。所有女生都採(cǎi)隨機(jī)分派。15位女生在一組；7位在另一組。所有女生均來自低社經(jīng)家庭。採(cǎi)用「心理學(xué)家」；「藝術(shù)類科教師」；「藝術(shù)家」。,研究1：兒童的藝術(shù)的創(chuàng)造

4、力b,2.材料所有對(duì)象使用材料均相同：「有幾種不同大小、形狀和顏色的紙100張以上、膠水1罐、卡紙板1張」。,研究1：兒童的藝術(shù)的創(chuàng)造力c,3.程序a都使用長(zhǎng)桌，每位有份材料。實(shí)驗(yàn)者負(fù)責(zé)說明，首先要求製作1項(xiàng)藝術(shù)設(shè)計(jì)減少對(duì)她們製作藝術(shù)設(shè)計(jì)表現(xiàn)的期望。然後，示範(fàn)運(yùn)用膠水將形狀黏到紙上的方法，接著讓兒童練習(xí)。並告訴她們可隨意運(yùn)用所提供的材料，製作藝術(shù)設(shè)計(jì)。,研究1：兒童的藝術(shù)的創(chuàng)造力d,3.程序b18分鐘後，要求兒童停止。告訴評(píng)

5、判者兒童在18分鐘內(nèi)完成。讓每位評(píng)判者獨(dú)立評(píng)量，使用主觀的創(chuàng)造力定義，依創(chuàng)意層次（非常具創(chuàng)意、有創(chuàng)意、無法決定、相當(dāng)沒創(chuàng)意、非常沒創(chuàng)意）來評(píng)定。,研究1：兒童的藝術(shù)的創(chuàng)造力e,3.程序c用幻燈片將22張?jiān)O(shè)計(jì)呈現(xiàn)給藝術(shù)類科教師，要求他們用同樣方式獨(dú)立評(píng)量。藝術(shù)家則花4小時(shí)，依不同層面判斷這22項(xiàng)設(shè)計(jì)。就像其他兩組評(píng)判者一樣，要求在評(píng)定前先檢查所有設(shè)計(jì)，然後依23項(xiàng)不同層面來評(píng)鑑，並在評(píng)定表上提供每項(xiàng)層次的定義。,研究1：兒童的藝術(shù)的

6、創(chuàng)造力f,3.程序d提供藝術(shù)家量表進(jìn)行每項(xiàng)判斷，採(cǎi)5點(diǎn)量表方式，讓評(píng)判者在量表上依每項(xiàng)判斷以「×」表示並鼓勵(lì)他們利用量表的全部範(fàn)圍，在22項(xiàng)層面中的4項(xiàng)（創(chuàng)造力、技術(shù)優(yōu)點(diǎn)、愛好及天真），要求評(píng)判者做高中低的判斷。,研究1：兒童的藝術(shù)的創(chuàng)造力g,3.程序e將這些隨機(jī)安排的設(shè)計(jì)提供給每位評(píng)判者，每個(gè)層面也是隨機(jī)來判斷。事先對(duì)評(píng)判者描述評(píng)定、等級(jí)順序及類別分組任務(wù)，然後提供評(píng)判者充裕時(shí)間，協(xié)助他們完成過程中，實(shí)驗(yàn)者與評(píng)判者

7、一起，檢查判斷是否依合理順序進(jìn)行，是否符合時(shí)間限制。,研究1：兒童的藝術(shù)的創(chuàng)造力h,4.研究結(jié)果藝術(shù)家所評(píng)判的信度。23個(gè)層面中有16個(gè)信度在.70以上，10個(gè)在.80以上其他兩組評(píng)判者間一致性也相當(dāng)高。12位心理學(xué)家的創(chuàng)造力等級(jí)信度為.73；21位教師的創(chuàng)造力評(píng)定信度為.88。上述分析可見，不同組別之評(píng)判者在創(chuàng)造力評(píng)量間有良好相關(guān)。,最後，,兒童年齡與任何三組對(duì)創(chuàng)造力的評(píng)判沒顯著相關(guān)雖然它與藝術(shù)家-評(píng)判者所評(píng)定技術(shù)性有相關(guān)。

8、藝術(shù)創(chuàng)造力的進(jìn)一步研究（研究2-13）,語文創(chuàng)造力的合意評(píng)量a,研究14：運(yùn)用詩的初期探究,語文創(chuàng)造力的合意評(píng)量b,1.對(duì)象和評(píng)判者以48位美國(guó)布蘭帝（Brandeis）大學(xué)心理學(xué)導(dǎo)論的女生為對(duì)象評(píng)判者：一是大學(xué)英文系研究生；另一為10位麻州詩人，大都是哈佛大學(xué)英文所學(xué)生，有些未上過大學(xué)。他們的詩都曾出版過。,語文創(chuàng)造力的合意評(píng)量c,2.程序a提供每位對(duì)象20分鐘獨(dú)自寫美國(guó)五行詩。初步指導(dǎo)後，提供受試者兩篇美國(guó)五行詩的例子。同

9、時(shí)提供受試者詩的第一行：「快樂」，以降低變異性，並讓評(píng)判任務(wù)更容易,語文創(chuàng)造力的合意評(píng)量d,2.程序b因評(píng)判內(nèi)容包含閱讀，評(píng)判者可獨(dú)自工作，但不可討論詩或評(píng)判任務(wù)，直到活動(dòng)完成評(píng)判者先閱讀指示，然後被告知對(duì)象有20分鐘寫詩。評(píng)判前，要求評(píng)判者讀完所有詩的複本，然後依主觀的創(chuàng)造力定義來評(píng)定，並要求相互比較，而不是依絕對(duì)標(biāo)準(zhǔn)評(píng)定。評(píng)定量表，類似先前，其中有3個(gè)被標(biāo)記為低、中、高,語文創(chuàng)造力的合意評(píng)量e,3.結(jié)果所有評(píng)判者間信度是相當(dāng)

10、高的。第一組創(chuàng)造力評(píng)判信度為.87；第二組創(chuàng)造力評(píng)判信度為.90。14項(xiàng)信度中有13項(xiàng)為.70以上，9項(xiàng)在.80以上。語文創(chuàng)造力的進(jìn)一步研究（15-21）,總結(jié)主要的發(fā)現(xiàn)a,這些研究是設(shè)計(jì)來測(cè)試一種在不同領(lǐng)域主觀評(píng)量創(chuàng)造力的可靠方法。這種方法是成功的，具下列優(yōu)點(diǎn)A：1.運(yùn)用主觀評(píng)量創(chuàng)造力來獲得高一致性是可能的，即使評(píng)判者未受過任何一致性的方法訓(xùn)練,這種方法是成功的，具下列優(yōu)點(diǎn)B,2.評(píng)判者在創(chuàng)造力評(píng)定的一致性可能取決於評(píng)判者間所需努

11、力量的某種程度。因此，一旦評(píng)判任務(wù)是特別高要求的，就可預(yù)期會(huì)產(chǎn)生評(píng)判疲乏和難維持一致的標(biāo)準(zhǔn)。在此種情況下，增加評(píng)判者人數(shù)會(huì)是明智的。,這種方法是成功的，具下列優(yōu)點(diǎn)C,3.針對(duì)這些任務(wù)，評(píng)判者的專業(yè)水準(zhǔn)似乎沒有那麼要緊。4.藝術(shù)作品的創(chuàng)造力、美感及技術(shù)性優(yōu)劣可分割來主觀評(píng)判。5.向人描述何謂創(chuàng)造力可能很難，但仍很相當(dāng)容易且有良好信度的確認(rèn)創(chuàng)造力。,這種方法是成功的，具下列優(yōu)點(diǎn)D,6.研究說明合意評(píng)量技術(shù)可用於廣泛領(lǐng)域上不同種類的任務(wù)

12、。7.創(chuàng)造力評(píng)量任務(wù)並不全依賴某人可能發(fā)展較好的特殊技巧。就創(chuàng)造力社會(huì)心理學(xué)來看，這特別重要。,與先前技術(shù)的比較a,1.合意評(píng)量技術(shù)可視為傳統(tǒng)創(chuàng)造力測(cè)驗(yàn)所用技術(shù)的概念逆轉(zhuǎn)。2.這種技術(shù)似乎比許多創(chuàng)造力測(cè)驗(yàn)更具生態(tài)效度（ecological validity）。不僅任務(wù)模擬真實(shí)的成就表現(xiàn)，評(píng)量技術(shù)也模擬真實(shí)世界創(chuàng)造作品的評(píng)鑑,與先前技術(shù)的比較b,3.有些先前使用主觀評(píng)量方法的研究與合意評(píng)量技術(shù)相似。事實(shí)上也獲得類似研究結(jié)果，但仍有差

13、異。,限制與未來可能性a,合意評(píng)量技術(shù)有些限制a：1.此法不實(shí)用，相當(dāng)耗時(shí)；2.所選任務(wù)不能過度依賴特別能力和經(jīng)驗(yàn)相關(guān)技巧，對(duì)確認(rèn)創(chuàng)造力上持續(xù)的個(gè)別差異可能就不是有用的方法；,限制與未來可能性b,合意評(píng)量技術(shù)有些限制b3.此法可能難用於未知領(lǐng)域的成果（如科學(xué)革命性理論）4.此法獲致的評(píng)判信度會(huì)受歷史時(shí)期與位置所限。雖然我的初步研究植基於合意評(píng)量技術(shù)，不過仍需精鍊和延伸,最新情況a,Amabile等人持續(xù)使用1983年版的創(chuàng)造力

14、合意評(píng)量技術(shù)進(jìn)行研究，發(fā)現(xiàn)它是有價(jià)值的方法。1996版與先前版本引用情形相同，都是依受試在真實(shí)世界常出現(xiàn)領(lǐng)域所做的真實(shí)作品。,最新情況b:計(jì)算信度的新方法 a,Amabile等人原先計(jì)算主觀創(chuàng)造力評(píng)量的評(píng)判者間信度方法有2種，都可產(chǎn)生類似結(jié)果。不過，由於α係數(shù)簡(jiǎn)便，因而大都採(cǎi)用SPSS / PC計(jì)算α係數(shù)來評(píng)估評(píng)判者間信度。,最新情況c:計(jì)算信度的新方法 b,最近，Amabile等人基於合意評(píng)量目的，認(rèn)為將評(píng)判者

15、考量為隨機(jī)效果可能較佳（原先假定是固定效果），若根據(jù)「類別間的相關(guān)方法」（intraclass correlation）來評(píng)估評(píng)判者間的信度，就可符合此項(xiàng)假定。實(shí)際上，這種方法常產(chǎn)生類似α係數(shù)的結(jié)果。,新的信度研究資料,1983年版描述兩項(xiàng)創(chuàng)造力評(píng)量?jī)?nèi)容（美術(shù)拼貼和五行詩）的信度。Amabile等人常使用這些評(píng)量?jī)?nèi)容，且?guī)缀蹩色@良好信度。1983年後，Amabile等人又創(chuàng)造許多新評(píng)量?jī)?nèi)容。可分成三組：語文創(chuàng)造力（故事和其他詩）；

16、藝術(shù)創(chuàng)造力（線畫、繪畫、各種藝術(shù)媒體等問題解決創(chuàng)造力（電腦、新高科技服務(wù)的方案）。此外，研究對(duì)象也擴(kuò)大了。,合意評(píng)量技術(shù)的改變與課題,一.誰是適當(dāng)?shù)脑u(píng)判者？1983年前，我們斷定適當(dāng)評(píng)判者是熟悉產(chǎn)品領(lǐng)域的人現(xiàn)在相信多數(shù)領(lǐng)域的作品，評(píng)判者不需是專家。不過，至少應(yīng)有些評(píng)量?jī)?nèi)容上的訓(xùn)練或經(jīng)驗(yàn)，如果是多數(shù)人不精通的評(píng)量?jī)?nèi)容，這個(gè)原則就更重要了。,二.任務(wù)必要的特徵為何？a,這類評(píng)量?jī)?nèi)容的特性與先前描述相同。不過，先前建議特色之一：「評(píng)量

17、內(nèi)容不應(yīng)過於依賴任何特定技巧」，現(xiàn)在需作些修正。因這項(xiàng)建議主要是針對(duì)以社會(huì)心理學(xué)為「自變項(xiàng)」。就範(fàn)圍言，如果成就表現(xiàn)上的個(gè)別差異是來自原有能力的高低，就會(huì)使偵測(cè)社會(huì)心理學(xué)的效果變得更困難。,二.任務(wù)必要的特徵為何？b,不過，在3種條件下是可接受的，甚至建議使用依賴特殊能力的任務(wù)：1.所有受試在領(lǐng)域上有同樣專業(yè)程度2.如果想研究「能力」對(duì)作品創(chuàng)造力的貢獻(xiàn)3.自變項(xiàng)為社會(huì)心理學(xué)因素，但使用重複量數(shù)的設(shè)計(jì)。,三.程序的要素是什麼？a,

18、先前認(rèn)為如訓(xùn)練評(píng)判者創(chuàng)造力評(píng)定，評(píng)判者間信度將受到質(zhì)疑。因而，建議不要給評(píng)判者特定的創(chuàng)造力定義，僅要求評(píng)判者使用主觀的創(chuàng)造力定義，來評(píng)定每項(xiàng)作品相較於其他作品的創(chuàng)意。,三.程序的要素是什麼？b,目前相信在多數(shù)情境仍是如此，不過可能有特殊狀況（如評(píng)估商品技術(shù)性發(fā)展的創(chuàng)造力）。另外，先前要求所有評(píng)判者應(yīng)評(píng)定所有作品，是為確保所有作品相互比較，以簡(jiǎn)化信度計(jì)算，惟有時(shí)是無法做到的。在此情況下，只有使用「類別間的相關(guān)」來計(jì)算評(píng)判者間信度。,三

19、.程序的要素是什麼？e,最後，評(píng)定作品其他層面之前，評(píng)判者應(yīng)在1個(gè)層面評(píng)定所有作品。這樣作法是要讓評(píng)判者針對(duì)特定層面主觀標(biāo)準(zhǔn)上維持一致的方法，避免與不同層面產(chǎn)生混淆。惟這種方法在某些情境是不實(shí)際。如，有項(xiàng)研究100篇長(zhǎng)篇散文且須評(píng)3個(gè)層面,四、受試者內(nèi)作品的評(píng)量,1983年前，我們並未進(jìn)行每位受試者超過一項(xiàng)作品的研究。就社會(huì)心理學(xué)與其它研究來說，使用「重覆量數(shù)設(shè)計(jì)」通常是有利的，或許最重要的原因是可更大範(fàn)圍的了解個(gè)別作品的創(chuàng)造力，而非

20、僅從單一角度。我們認(rèn)為「合意評(píng)量技巧」也可用來進(jìn)行受試者內(nèi)與受試者間的創(chuàng)造力評(píng)量。,五.創(chuàng)造力是種分離的品質(zhì)嗎？,1983年版，獲得創(chuàng)造力評(píng)定與技術(shù)性或美感評(píng)定是無關(guān)的或僅有低相關(guān)是可能的。雖然分離創(chuàng)造力和其它成果品質(zhì)是可能的，不過實(shí)務(wù)上創(chuàng)造力常與其它品質(zhì)相關(guān)。,六.CAT可用於個(gè)別差異的評(píng)量嗎？,從近來研究中，發(fā)現(xiàn)CAT可用於社會(huì)心理及個(gè)別差異的創(chuàng)造力研究。七.創(chuàng)造力的性別差異有時(shí)會(huì)發(fā)現(xiàn)性別差異，通常是兒童。惟此種性別差異在我