
研究人員最近對一個名叫ConceptNet的人工智能系統進行了測評。在一項為檢測兒童智商而設計的測中,ConceptNet的得分超過了一名智商正常的四歲兒童。該測試共包含五項與詞語推理和詞匯有關的測驗,ConceptNet的總得分為69分,與之進行對比的學齡前兒童得分則為50分。并且專家認為,該系統的智能程度還會進一步加強。

在測試過程中,試題會通過語言處理工具轉換成ConceptNet 4能夠理解的語言,如“我們為什么要握手?”、“我們為什么要在夏天戴太陽鏡?”和“為什么將刀子放入嘴中是不好的行為?”等等。
新浪科技訊 北京時間10月31日消息,如果你本來就擔心自己的工作有一天會被機器人取而代之,那么下面這則來自麻省理工學院的最新消息可能會讓你更加惶恐。
研究人員最近對一個名叫ConceptNet的人工智能系統進行了測評。在一項為檢測兒童智商而設計的測試中,ConceptNet的得分超過了一名智商正常的四歲兒童。
該測試共包含五項與詞語推理和詞匯有關的測驗,ConceptNet的總得分為69分,與之進行對比的學齡前兒童得分則為50分。并且專家認為,該系統的智能程度還會進一步加強。
ConceptNet是一項由麻省理工學院常識計算計劃團隊(MIT Common Sense Computing Initiative)管理的開源項目。該團隊研發的ConceptNet 4運用了所謂的“關系”這一概念。例如,當讓該系統解釋什么是“小鹿”時,它會明白“小鹿是一種鹿”,而不是”鹿是一種小鹿“。也就是說,它能夠理解這種動物的概念,以及“小鹿”和“鹿”這兩個詞匯和概念之間的關系。同時,該系統還可以使用所謂的“對立標記”表示負相關關系,比如“企鵝不會飛”等。
研究人員讓ConceptNet 4參與了“韋克斯勒學齡前兒童智力量表”測試(WPPSI-III),并將研究結果發表在論文《Measuring an Artificial Intelligence System's Performance on a Verbal IQ Test For Young Children》上。WPPSI-III測試包含14項測驗項目,以及一份針對操作智商和言語智商的完整評估表。

在對單項測試計分時,研究人員先使用每道題目得分最高的答案計分,然后再使用每道題目得分最高的前五個答案中最好的答案計分。他們將前者稱為“嚴格計分”,后者稱為“放松計分”。圖中左側為ConceptNet得分,右側為受測兒童得分。
操作智商測驗通常會要求受測人完成繪畫、解謎、記憶等任務。言語智商測驗則會考察兒童的詞語推理、詞匯及理解能力。每種智商得分的平均分都為100分。本次研究則主要針對言語智商進行測試。
在測試過程中,試題會通過語言處理工具轉換成ConceptNet 4能夠理解的語言,如“我們為什么要握手?”、“我們為什么要在夏天戴太陽鏡?”和“為什么將刀子放入嘴中是不好的行為?”等等。
該研究由芝加哥大學的斯特蘭?奧爾森(Stellan Ohlsson)帶領。在對單項測試計分時,研究人員先使用每道題目得分最高的答案計分,然后再使用每道題目得分最高的前五個答案中最好的答案計分。他們將前者稱為“嚴格計分”,后者稱為“放松計分”。
在“信息”測試中,ConceptNet得到了20分,而同時參加測試的四歲兒童通過轉換后的得分為10分。這名兒童在詞語推理和理解上得分更高,均為7分,而ConceptNet在這兩項上的得分分別為2和3分。此外,ConceptNet表現出了更豐富的詞匯量,詞匯得分為20分,而兒童得分為13分。
“ConceptNet系統的得分與四歲兒童相仿,但低于五至七歲兒童的平均得分,”研究人員解釋道,“該系統在每個單項中得分差異很大,說明還有改進的空間。在所有測試中,‘理解’是最關乎人類常識的測試項目。得分差異大、常識方面表現一般,這說明ConceptNet尚不具有四歲兒童的語言能力。但本次研究說明,兒童智商測試可以為人工智能系統的評估和比較提供一種客觀的度量手段。”

ConceptNet是一項由麻省理工學院常識計算計劃團隊(MIT Common Sense Computing Initiative)管理的開源項目。該團隊研發的ConceptNet 4運用了所謂的“關系”這一概念。例如,當讓該系統解釋什么是“小鹿”時,它會明白“小鹿是一種鹿”,而不是”鹿是一種小鹿“。也就是說,它能夠理解這種動物的概念,以及“小鹿”和“鹿”這兩個詞匯和概念之間的關系。
“此外,許多由ConceptNet給出的錯誤答案和兒童給出的錯誤答案不僅相去甚遠,而且違反常識。”
例如,在關于“獅子”的詞語推理測驗中,該AI系統和首測兒童被給予三條線索——“雄性長著鬃毛”,“該動物生活在非洲”,以及“它是一種體型很大的棕黃色貓科動物”。
由ConceptNet給出的排名前五的答案按順序排列為:狗,農場,生物,家庭,貓。
研究團隊解釋道,“生物”和“貓”尚且還能與“獅子”沾邊,但其它的答案就明顯有悖于常識了。
“按照常識,受測者應該至少能將答案限制在動物的范圍內,同時能做出簡單的推理:“既然線索說它是貓科動物,那只有貓科動物能夠被列入考慮范圍。”
該論文被發表在期刊《arXiv》上,共同作者包括羅伯特?斯隆(Robert Sloan)、捷爾吉?圖蘭(Gy?rgy Turán)和阿隆?尤拉斯基(Aaron Urasky)。

ConceptNet系統的得分與四歲兒童相仿,但低于五至七歲兒童的平均得分。這說明該系統并不具備“四歲兒童”的語言能力,但可以為評估類似系統提供指導方法。
測試方法
研究人員讓ConceptNet 4參與了“韋克斯勒學齡前兒童智力量表”測試(WPPSI-III),并將研究結果發表在論文《Measuring an Artificial Intelligence System's Performance on a Verbal IQ Test For Young Children》上。WPPSI-III測試包含14項測驗項目,以及一份針對操作智商和言語智商的完整評估表。
操作智商測驗通常會要求受測人完成繪畫、解謎、記憶等任務。言語智商測驗則會考察兒童的詞語推理、詞匯及理解能力。每種智商得分的平均分都為100分。本次研究則主要針對言語智商進行測試。
在測試過程中,試題會通過語言處理工具轉換成ConceptNet 4能夠理解的語言,如“我們為什么要握手?”、“我們為什么要在夏天戴太陽鏡?”和“為什么將刀子放入嘴中是不好的行為?”等等。
該研究由芝加哥大學的斯特蘭?奧爾森(Stellan Ohlsson)帶領。在對單項測試計分時,研究人員先使用每道題目得分最高的答案計分,然后再使用每道題目得分最高的前五個答案中最好的答案計分。他們將前者稱為“嚴格計分”,后者稱為“放松計分”。
什么是ConceptNet
ConceptNet是一項由麻省理工學院常識計算計劃團隊(MIT Common Sense Computing Initiative)管理的開源項目。該團隊研發的ConceptNet 4運用了所謂的“關系”這一概念。
例如,當讓該系統解釋什么是“小鹿”時,它會明白“小鹿是一種鹿”,而不是”鹿是一種小鹿“。也就是說,它能夠理解這種動物的概念,以及“小鹿”和“鹿”這兩個詞匯和概念之間的關系。
同時,該系統還可以使用所謂的“對立標記”表示負相關關系,比如“企鵝不會飛”等。(葉子)
版權聲明:
凡注明來源為"天津都市網"的所有文字、圖片、音視頻、美術設計和程序等作品,版權均屬天津都市網或相關權利人專屬所有或持有所有。未經本網書面授權,不得進行一切形式的下載、轉載或建立鏡像。否則以侵權論,依法追究相關法律責任。

查看所有評論正有(0)人在評論
網友評論僅供網友表達個人看法,并不表明本網同意其觀點或證實其描述