यह शोधपत्र एक बड़े पैमाने पर यादृच्छिक नियंत्रित परीक्षण के परिणाम प्रस्तुत करता है, जिसमें दुनिया भर के 5,831 छात्रों के साथ कोडिंग शिक्षा पर GPT-4-आधारित चैट इंटरफ़ेस की पहुँच के प्रभाव की जाँच की गई। कुछ छात्रों को GPT-4 की पहुँच प्रदान करने से इस टूल का उपयोग करने वाले छात्रों के परीक्षा स्कोर में सुधार हुआ, लेकिन कुल मिलाकर, GPT-4 के प्रचार से परीक्षा में उनकी भागीदारी कम हो गई। कक्षा में अन्य प्रकार की भागीदारी में भी कमी आई, लेकिन यह कमी छात्र के देश के अनुसार अलग-अलग थी। कम मानव विकास सूचकांक (HDI) वाले देशों के छात्रों को LLM की पहुँच प्रदान करने से परीक्षा में उनकी भागीदारी बढ़ी। निष्कर्षतः, हम इस निष्कर्ष पर पहुँचते हैं कि प्रारंभिक कोडिंग कक्षाओं में LLM के उपयोग के सकारात्मक प्रभाव, कम सहभागिता के नकारात्मक प्रभावों के साथ-साथ मौजूद हैं, और दीर्घकालिक शैक्षणिक उपलब्धि पर इसके प्रभाव अनिश्चित हैं। यह शैक्षिक परिवेशों में LLM के एकीकरण पर और अधिक शोध की आवश्यकता को रेखांकित करता है।
