Abstract
Bu çalışmada, tasavvuf tarihi literatürü üzerinden yapay zeka modelleri olan ChatGPT ve Gemini’nin performansları değerlendirilmiştir. Sosyal bilimler alanındaki çalışmaların, doğrudan ölçülebilir boyutları olduğu gibi yoruma dayalı yönleri de bulunduğundan, bu çalışmada nesnel ölçüm yapılmasını mümkün kılan literatür odaklı bir yaklaşım benimsenmiştir. Yapay zeka modellerinin performansını test etmek amacıyla, literatürün farklı yönlerine odaklanan on soru belirlenmiştir. Belirlenen sorular, bağımsız beş alan uzmanı tarafından geçerlilik açısından değerlendirilmiş ve ardından modeller aynı IP adresi ve cihaz üzerinden test edilmiştir. Yanıtlar, bağımsız araştırmacılar tarafından doğruluk, metin kurgusu, özgünlük, detaylandırma ve kavram kullanımı gibi kriterler üzerinden 1 ile 10 arasında puanlanarak değerlendirilmiştir. Modellerin performansı, her bir soru bağlamında analiz edilerek karşılaştırmalı bir şekilde incelenmiş; yüksek başarı gösterdikleri ve eksiklik gösterdikleri alanlar tespit edilmiştir. Elde edilen genel başarı düzey ortalamalarından hareketle modellerin tasavvuf literatürü araştırmalarındaki imkanları ve sınırlılıkları değerlendirilmiştir.
References
- Abbas, Muhammad vd. “Is it harmful or helpful? Examining the causes and consequences of generative AI usage among university students”. International Journal of Educational Technology in Higher Education 21/1 (2024), 10.
- Aşkar, Mustafa. Tasavvuf Tarihi Literatürü. İz Yayıncılık, 1. Basım, 2006.
- Aydın, Ömer - Karaarslan, Enis. “OpenAI ChatGPT Generated Literature Review: Digital Twin in Healthcare”. Emerging Computer Technologies 2 2 (2022).
- Azamat, Nihat. “Fütûhu’l-Gayb”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 13/259. İstanbul: TDV Yayınları, 1996.
- Başer, H. Bayram. “Serrâc’ın Tasavvufa Yaklaşımı: Bir İslâm İlmi Olarak Tasavvuf Ya Da Fıkh-ı Bâtın”. Sakarya Üniversitesi İlahiyat Fakültesi Dergisi 12/22 (2010), 101-119.
- Cebecioğlu, Ethem - Ali Çınar (ed.). Tasavvuf Klasikleri. Ankara: Kalem Neşriyat, 2021.
- Cengiz, Muammer. Osmanlı’dan Cumhuriyet’e Tasavvuf Tarihi Yazıcılığı (1910-1933). ed. Cengiz Gündoğdu. Ankara: İlâhiyât, 2023.
- Demirli, Ekrem. “Tasavvuf Araştırmalarında Dönemlendirme Sorunu: Din Bilimleri ile Metafizik Arasında Tasavvurun İlim Olma Mücadelesi”. Nazariyat: İslâm Felsefe ve Bilim Tarihi Araştırmaları Dergisi II/4 (2016), 1-29.
- Derin, Süleyman. İngiliz Oryantalizmi ve Tasavvuf. İstanbul: Küre Yayınları, 2. Basım, 2017.
- Eraslan, Soner. “Ebû Abdurrahman es-Sülemî’nin Tabakâtü’s-Sûfiyye’sindeki Sûfî Tabakaları: Bölge-Şehir Dağılımının Serencâmı ve İşaret Edilen Sûfî Havzaları”. Hitit İlahiyat Dergisi 22/2 (2023), 549-568.
- Farooqi, Naimur Rahman. “Dârâ Şükûh”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 8/483-484. İstanbul: TDV Yayınları, 1993.
- Ferrara, Emilio. “Fairness and Bias in Artificial Intelligence: A Brief Survey of Sources, Impacts, and Mitigation Strategies”. Sci 6/1 (Mart 2024), 3.
- Khurana, Diksha vd. “Natural Language Processing: State of the Art, Current Trends and Challenges”. Multimedia Tools and Applications 82/3 (2023), 3713-3744.
- Öngören, Reşat. “Tabakat (Tasavvuf)”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 39/295-296. İstanbul: TDV Yayınları, 2010.
- Öngören, Reşat. “Tezkiretü’l-Evliyâ”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 41/74-75. İstanbul: TDV Yayınları, 2012.
- Priya Raman. “The Transformative Role of AI in Social Science Research | Uniathena”. Erişim 15 Kasım 2024. https://uniathena.com/role-of-AI-in-social-science-research
- Tan, M. Nedim. “Tasavvuf Istılahlarının Teşekkül Dönemi Açısından Şakîk-i Belhî’nin Âdâbü’l-ibâdât’ı”. Marmara Üniversitesi İlahiyat Fakültesi Dergisi 45/45 (2014), 155-190.
- Uludağ, Süleyman. “er-Risâle”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 35/122-123. İstanbul: TDV Yayınları, 2008.
- Üçer, İbrahim Halil. “İslam Düşünce Tarihi için Bir Dönemlendirme Önerisi”. C. 1. İstanbul: Konya Büyükşehir Belediyesi Kültür Yayınları, 2022.
- Xu, Ruoxi vd. “AI for social science and social science of AI: A survey”. Information Processing & Management 61/3 (2024), 103665.
- Yaman, Hikmet. “İsmi Olmayan Bir Hakikatten Hakikati Olmayan Bir İsme Varan Yolculuk: Oryantalist Çalışmalarda Tasavvufun Menşeine Dair Tartışmalar Üzerine Bir Değerlendirme”. AKADEMİAR Akademik İslam Araştırmaları Dergisi 1/1 (2016), 15-48.
Abstract
This study evaluates the performance of artificial intelligence models, ChatGPT and Gemini, based on the literature of Sufi history. Since studies in the social sciences have both directly measurable aspects and interpretative components, a literature-focused approach was adopted in this study to enable objective measurement. To test the performance of the AI models, ten questions focusing on different aspects of the literature were selected. The selected questions were assessed for validity by five independent experts, and the models were then tested using the same IP address and device. The responses were evaluated by independent researchers using criteria such as accuracy, text structure, originality, elaboration, and use of concepts, with scores ranging from 1 to 10. The models’ performance was analyzed within the context of each question and compared, identifying areas where they showed high success or shortcomings. Based on the overall average success levels, the possibilities and limitations of the models in Sufi literature research were evaluated.
References
- Abbas, Muhammad vd. “Is it harmful or helpful? Examining the causes and consequences of generative AI usage among university students”. International Journal of Educational Technology in Higher Education 21/1 (2024), 10.
- Aşkar, Mustafa. Tasavvuf Tarihi Literatürü. İz Yayıncılık, 1. Basım, 2006.
- Aydın, Ömer - Karaarslan, Enis. “OpenAI ChatGPT Generated Literature Review: Digital Twin in Healthcare”. Emerging Computer Technologies 2 2 (2022).
- Azamat, Nihat. “Fütûhu’l-Gayb”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 13/259. İstanbul: TDV Yayınları, 1996.
- Başer, H. Bayram. “Serrâc’ın Tasavvufa Yaklaşımı: Bir İslâm İlmi Olarak Tasavvuf Ya Da Fıkh-ı Bâtın”. Sakarya Üniversitesi İlahiyat Fakültesi Dergisi 12/22 (2010), 101-119.
- Cebecioğlu, Ethem - Ali Çınar (ed.). Tasavvuf Klasikleri. Ankara: Kalem Neşriyat, 2021.
- Cengiz, Muammer. Osmanlı’dan Cumhuriyet’e Tasavvuf Tarihi Yazıcılığı (1910-1933). ed. Cengiz Gündoğdu. Ankara: İlâhiyât, 2023.
- Demirli, Ekrem. “Tasavvuf Araştırmalarında Dönemlendirme Sorunu: Din Bilimleri ile Metafizik Arasında Tasavvurun İlim Olma Mücadelesi”. Nazariyat: İslâm Felsefe ve Bilim Tarihi Araştırmaları Dergisi II/4 (2016), 1-29.
- Derin, Süleyman. İngiliz Oryantalizmi ve Tasavvuf. İstanbul: Küre Yayınları, 2. Basım, 2017.
- Eraslan, Soner. “Ebû Abdurrahman es-Sülemî’nin Tabakâtü’s-Sûfiyye’sindeki Sûfî Tabakaları: Bölge-Şehir Dağılımının Serencâmı ve İşaret Edilen Sûfî Havzaları”. Hitit İlahiyat Dergisi 22/2 (2023), 549-568.
- Farooqi, Naimur Rahman. “Dârâ Şükûh”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 8/483-484. İstanbul: TDV Yayınları, 1993.
- Ferrara, Emilio. “Fairness and Bias in Artificial Intelligence: A Brief Survey of Sources, Impacts, and Mitigation Strategies”. Sci 6/1 (Mart 2024), 3.
- Khurana, Diksha vd. “Natural Language Processing: State of the Art, Current Trends and Challenges”. Multimedia Tools and Applications 82/3 (2023), 3713-3744.
- Öngören, Reşat. “Tabakat (Tasavvuf)”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 39/295-296. İstanbul: TDV Yayınları, 2010.
- Öngören, Reşat. “Tezkiretü’l-Evliyâ”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 41/74-75. İstanbul: TDV Yayınları, 2012.
- Priya Raman. “The Transformative Role of AI in Social Science Research | Uniathena”. Erişim 15 Kasım 2024. https://uniathena.com/role-of-AI-in-social-science-research
- Tan, M. Nedim. “Tasavvuf Istılahlarının Teşekkül Dönemi Açısından Şakîk-i Belhî’nin Âdâbü’l-ibâdât’ı”. Marmara Üniversitesi İlahiyat Fakültesi Dergisi 45/45 (2014), 155-190.
- Uludağ, Süleyman. “er-Risâle”. Türkiye Diyanet Vakfı İslâm Ansiklopedisi. 35/122-123. İstanbul: TDV Yayınları, 2008.
- Üçer, İbrahim Halil. “İslam Düşünce Tarihi için Bir Dönemlendirme Önerisi”. C. 1. İstanbul: Konya Büyükşehir Belediyesi Kültür Yayınları, 2022.
- Xu, Ruoxi vd. “AI for social science and social science of AI: A survey”. Information Processing & Management 61/3 (2024), 103665.
- Yaman, Hikmet. “İsmi Olmayan Bir Hakikatten Hakikati Olmayan Bir İsme Varan Yolculuk: Oryantalist Çalışmalarda Tasavvufun Menşeine Dair Tartışmalar Üzerine Bir Değerlendirme”. AKADEMİAR Akademik İslam Araştırmaları Dergisi 1/1 (2016), 15-48.
Details
| Primary Language | Turkish |
|---|---|
| Subjects | Religious Studies (Other) |
| Journal Section | Research Articles |
| Authors | |
| Early Pub Date | December 31, 2024 |
| Publication Date | December 31, 2024 |
| Submission Date | November 16, 2024 |
| Acceptance Date | December 18, 2024 |
| Published in Issue | Year 2024 Volume: 24 Issue: 3 |
