El corpus ROBOT-TALK para el reconocimiento del origen robótico de textos en español
Barre latérale de l'article
Contenu principal de l'article
Résumé
Resumen: ROBOT-TALK es un corpus monitor comparable de textos humanos en español y su contrapartida escrita por grandes modelos generativos del lenguaje (LLM). Su objetivo es permitir el estudio de posibles rasgos lingüísticos diferenciadores entre textos generados automáticamente y los escritos por las personas. El corpus constituye un recurso lingüístico en español para el reconocimiento de autoría humana vs. “robótica” de textos y diseñado para (1) permitir estudios lingüísticos contrastivos entre LLM y humanos o entre LLM, (2) estudiar la evolución lingüística de los LLM, y (3) servir de soporte en la creación de métodos lingüísticos y herramientas informáticas para la atribución de la autoría humana o automática. Contiene textos de tres géneros diferentes en la lengua escrita (artículos científicos, noticias y reseñas). Cada par de textos, de longitud similar, trata el mismo tema para poder comparar entre dos tipos de escritura y analizar con fiabilidad las características discursivas de los textos. Se recogen muestras de gpt-3, text-davinci-003, babbage-002, curie, gpt-3.5-turbo, gpt-4, bloom, bard, gemini-2.0-flash, gemini-2.5-flash, falcon-180B-chat, Mixtral-8x7B-Instruct-v0.1, claude-3-5-sonnet-20240620, claude-3-7-sonnet-20250219 y DeepSeek-V3. El etiquetado en XML de los textos del corpus permite su consulta con cualquier herramienta de análisis textual que soporte este estándar de marcado. ROBOT-TALK se ha utilizado con la herramienta SketchEngine para realizar (1) un análisis lingüístico con el fin de encontrar los rasgos más salientes que caracterizan los textos generados por los LLM; (2) un análisis estadístico de rasgos lingüísticos propios de los LLM frente a un posible estilo general humano en español; (3) un análisis lingüístico forense para verificar la fiabilidad en la atribución de autoría; y (4) la construcción de clasificadores automáticos binarios y multiclase basados en aprendizaje automático para distinguir textos robóticos y humanos.
Téléchargements
Details de l'article
Ce travail est disponible sous licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International.
Política propuesta para revistas que ofrecen acceso abierto. Aquellos autores/as que tengan publicaciones con esta revista, aceptan los términos siguientes:
- Los autores/as conservarán sus derechos de autor y garantizarán a la revista el derecho de primera publicación de su obra, el cuál estará simultáneamente sujeto a la Licencia de reconocimiento de Creative Commons que permite a terceros compartir la obra siempre que se indique su autor y su primera publicación esta revista.
- Los autores/as podrán adoptar otros acuerdos de licencia no exclusiva de distribución de la versión de la obra publicada (p. ej.: depositarla en un archivo telemático institucional o publicarla en un volumen monográfico) siempre que se indique la publicación inicial en esta revista.
- Se permite y recomienda a los autores/as difundir su obra a través de Internet (p. ej.: en archivos telemáticos institucionales o en su página web) antes y durante el proceso de envío, lo cual puede producir intercambios interesantes y aumentar las citas de la obra publicada. (Véase El efecto del acceso abierto).
Références
ABDALLA, Mohamed Hesham Ibrahim et al., “A Benchmark Dataset to Distinguish Human-Written and Machine-Generated Scientific Papers”. En: Information, 14, 522, 2023. Disponible en línea en:
https://doi.org/10.3390/info14100522 DOI: https://doi.org/10.3390/info14100522
ALHIJAWI, Bushra et al., “Deep Learning Detection Method for Large Language Models-Generated Scientific Content”. En: Neural Computing and Applications, 37, 2025, pp. 91-104. Disponible en línea en:
https://doi.org/10.1007/s00521-024-10538-y DOI: https://doi.org/10.1007/s00521-024-10538-y
ALONSO SIMÓN, Lara; ESCANDELL-VIDAL, M. Victoria; FERNÁNDEZ TRINIDAD, Marianela, “La identificación de textos “robóticos” en español mediante análisis lingüístico”. En: Albujer Lax, Miguel Ángel; Soriano Moreno, Claudia (eds.), XVI Congreso Internacional de Lingüística General (2025). Libro de resúmenes. Alicante: Universidad de Alicante, 2025, pp. 142-143. Disponible en línea en:
https://cilg2025.ua.es/uploads/site/files/Libro_Resumenes_CILG25.pdf
ALONSO SIMÓN, Lara et al., “¿Tienen GPT-3.5 y GPT-4 un estilo de escritura diferente del estilo humano? Un estudio exploratorio para el español”. En: Revista Electrónica de Lingüística Aplicada, 23, 1, 2025, pp. 34-54. Disponible en línea en: https://doi.org/10.58859/rael.v23i1.666 DOI: https://doi.org/10.58859/rael.v23i1.666
ALONSO SIMÓN, Lara; JIMÉNEZ-BRAVO BONILLA, Miguel; MÁRQUEZ CRUZ, Manuel, “Reconocimiento de autoría de textos generados por modelos GPT y textos humanos: análisis cuantitativo del estilo con el corpus ROBOT-TALK”. En: Albujer Lax, Miguel Ángel; Soriano Moreno, Claudia (eds.), XVI Congreso Internacional de Lingüística General (2025). Libro de resúmenes. Alicante: Universidad de Alicante, 2025, pp. 144-145. Disponible en línea en:
https://cilg2025.ua.es/uploads/site/files/Libro_Resumenes_CILG25.pdf
ALSHAMMARI, Hamed; EL-SAYED, Ahmed; ELLEITHY, Khaled, “AI-Generated Text Detector for Arabic Language Using Encoder-Based Transformer Architecture”. En: Big Data and Cognitive Computing, 8, 32, 2024. Disponible en línea en: https://doi.org/10.3390/bdcc8030032 DOI: https://doi.org/10.3390/bdcc8030032
ANTOUN, Wissam et al., “Towards a Robust Detection of Language Model-Generated Text: Is ChatGPT that Easy to Detect?”. En: Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), 1, 2023, pp. 14-27. Disponible en línea en:
https://aclanthology.org/2023.jeptalnrecital-long.2/
CARDENUTO, João Phillipe et al., “The Age of Synthetic Realities: Challenges and Opportunities”. En: arXiv:2306.11503, 2023. Disponible en línea en: DOI: https://doi.org/10.1561/116.00000138
https://doi.org/10.48550/arXiv.2306.11503
CORIZZO, Roberto; LEAL-ARENAS, Sebastian, “A Deep Fusion Model for Human vs. Machine-Generated Essay Classification”. En: International Joint Conference on Neural Networks (IJCNN), 2023, pp. 1-10. Disponible en línea en:
https://doi.org/10.1109/IJCNN54540.2023.10191322 DOI: https://doi.org/10.1109/IJCNN54540.2023.10191322
CRESPO MIGUEL, Mario; MOYANO MORENO, Isabel; BERNAL ORTIZ, Francisco, “Análisis de autoría en textos robóticos: enfoque lingüístico-forense mediante técnicas cualitativas y cuantitativas”. En: Albujer Lax, Miguel Ángel; Soriano Moreno, Claudia (eds.), XVI Congreso Internacional de Lingüística General (2025). Libro de resúmenes. Alicante: Universidad de Alicante, 2025, pp. 148-149. Disponible en línea en:
https://cilg2025.ua.es/uploads/site/files/Libro_Resumenes_CILG25.pdf
CROTHERS, Evan N.; JAPKOWICZ, Nathalie; VIKTOR, Herna L., “Machine-Generated Text: A Comprehensive Survey of Threat Models and Detection Methods”. En: IEEE Access, 11, 2023, pp. 70977-71002. Disponible en línea en: https://doi.org/10.1109/ACCESS.2023.3294090 DOI: https://doi.org/10.1109/ACCESS.2023.3294090
DORU, Berin et al., “Detecting Artificial Intelligence–Generated Versus Human-Written Medical Student Essays: Semirandomized Controlled Study”. En: JMIR Medical Education, 11, 2025. Disponible en línea en:
https://doi.org/10.2196/62779 DOI: https://doi.org/10.2196/62779
DUGAN, Liam et al., “Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text”. En: Proceedings of the AAAI Conference on Artificial Intelligence, 37, 11, 2023, pp. 12763-12771. Disponible en línea en: https://doi.org/10.1609/aaai.v37i11.26501 DOI: https://doi.org/10.1609/aaai.v37i11.26501
FAGNI, Tiziano et al., “TweepFake: About detecting deepfake tweets”. En: PLoS ONE., 16, 5, 2021. Disponible en línea en:
https://doi.org/10.1371/journal.pone.0251415 DOI: https://doi.org/10.1371/journal.pone.0251415
GOBIERNO DE ESPAÑA, Carta de Derechos Digitales, 2021. Disponible en línea en: https://www.lamoncloa.gob.es/presidente/actividades/Documents/2021/140721-Carta_Derechos_Digitales_RedEs.pdf
GROMOV, Vasilii A. et al., “Spot the bot: the inverse problems of NLP”. En: PeerJ Computer Science. 10, 2024. Disponible en línea en:
https://doi.org/10.7717/peerj-cs.2550 DOI: https://doi.org/10.7717/peerj-cs.2550
GUO, Biyang et al., “How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection”. En: arXiv:2301.07597, 2023. Disponible en línea en: https://doi.org/10.48550/arXiv.2301.07597
HE, Xinlei et al., MGTBench: “Benchmarking Machine-Generated Text Detection”. En: Proceedings of the 2024 on ACM SIGSAC Conference on Computer and Communications Security, 2024, pp. 2251-2265. Disponible en línea en:
https://doi.org/10.1145/3658644.3670344 DOI: https://doi.org/10.1145/3658644.3670344
HUANG, Baixiang; CHEN, Canyu; SHU, Kai, “Authorship Attribution in the Era of LLMs: Problems, Methodologies, and Challenges”. En: SIGKDD Explor. Newsl, 26, 2, 2025, pp. 21-43. Disponible en línea en:
https://doi.org/10.1145/3715073.3715076 DOI: https://doi.org/10.1145/3715073.3715076
ISLAM, Niful et al., “Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning”. En: arXiv:2306.01761v1, 2023. Disponible en línea en: https://doi.org/10.48550/arXiv.2306.01761
JAWAHAR, Ganesh; ABDUL-MAGEED, Muhammad; LAKSHMANAN, Laks V. S., “Automatic Detection of Machine Generated Text: A Critical Survey”. En: Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 2296–2309. Disponible en línea en:
https://doi.org/10.18653/v1/2020.coling-main.208 DOI: https://doi.org/10.18653/v1/2020.coling-main.208
KHALIL, Doaa Samy; FERNÁNDEZ-PAMPILLÓN CESTEROS, Ana María, “Clasificación automática de la autoría robótica o humana de textos en español”. En: Albujer Lax, Miguel Ángel; Soriano Moreno, Claudia (eds.), XVI Congreso Internacional de Lingüística General (2025). Libro de resúmenes. Alicante: Universidad de Alicante, 2025, pp. 146-147. Disponible en línea en: https://cilg2025.ua.es/uploads/site/files/Libro_Resumenes_CILG25.pdf
LEE, Dong Hee; JANG, Beakcheol, “Enhancing Machine-Generated Text Detection: Adversarial Fine-Tuning of Pre-Trained Language Models”. En: IEEE Access, 12, 2024, pp. 65333-65340. Disponible en línea en:
https://doi.org/10.1109/ACCESS.2024.3396820 DOI: https://doi.org/10.1109/ACCESS.2024.3396820
LIU, Yikang et al., “ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models”. En: arXiv:2304.07666v2, 2023. Disponible en línea en: https://doi.org/10.48550/arXiv.2304.07666
LIU, Zeyan et al., “Check Me If You Can: Detecting ChatGPT-Generated Academic Writing using CheckGPT”. En: arXiv:2306.05524, 2023. Disponible en línea en: https://doi.org/10.48550/arXiv.2306.05524
LIYANAGE, Vijini; BUSCALDI, Davide; NAZARENKO, Adeline, “A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications”. En: Proceedings of the 13th Conference on Language Resources and Evaluation (LREC 2022), 2022, pp. 4692-4700. Disponible en línea en:
https://aclanthology.org/2022.lrec-1.501/
MALOYAN, Narek; NUTFULLIN, Bulat; ILYUSHIN, Eugene, DIALOG-22 RuATD Generated Text Detection. En: Computational Linguistics and Intellectual Technologies, 21, 2022, pp. 396-401. Disponible en línea en:
https://scispace.com/pdf/dialog-22-ruatd-generated-text-detection-1dw3v7x9.pdf
MINDNER, Lorenz; SCHLIPPE, Tim; SCHAAFF, Kristina, “Classification of Human- and AI-Generated Texts: Investigating Features for ChatGPT”. En: Schlippe, Tim; Cheng, Eric C. K.; Wang, Tianchong (eds.), Artificial Intelligence in Education Technologies: New Development and Innovative Practices. AIET 2023. Lecture Notes on Data Engineering and Communications Technologies. Singapur: Springer Nature Singapore, 190, 2023, pp. 152-170. Disponible en línea en:
https://doi.org/10.1007/978-981-99-7947-9_12 DOI: https://doi.org/10.1007/978-981-99-7947-9_12
MITCHELL, Eric et al., “DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature”. En: Proceedings of Machine Learning Research, 202, 2023, pp. 24950-24962. Disponible en línea en:
https://proceedings.mlr.press/v202/mitchell23a/mitchell23a.pdf
MITROVIĆ, Sandra; ANDREOLETTI, Davide; AYOUB, Omran, “ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text”. En: arXiv:2301.13852v1, 2023. Disponible en línea en:
https://doi.org/10.48550/arXiv.2301.13852
PAVLYSHENKO, Bohdan M., “Methods of Informational Trends Analytics and Fake News Detection on Twitter”. En: arXiv:2204.04891v1, 2022. Disponible en línea en: https://doi.org/10.48550/arXiv.2204.04891
PIZARRO, Juan, “Using N-grams to detect Bots on Twitter Notebook for PAN at CLEF”. En: Working Notes of CLEF 2019 - Conference and Labs of the Evaluation Forum, 2019. Disponible en línea en: https://ceur-ws.org/Vol-2380/paper_183.pdf
PRESSMAN, Roger S., Ingeniería del software. Un enfoque práctico. México D. F.: McGraw-Hill, 2010.
ROJO, Guillermo, Introducción a la lingüística de corpus en español. Londres: Routledge, Taylor & Francis Group, 2021. Disponible en línea en:
https://doi.org/10.4324/9781003119760 DOI: https://doi.org/10.4324/9781003119760
ROSATI, Domenic, “SynSciPass: detecting appropriate uses of scientific text generation”. En: Proceedings of the Third Workshop on Scholarly Document Processing, 2022, pp. 214–222. Disponible en línea en:
https://aclanthology.org/2022.sdp-1.27/ DOI: https://doi.org/10.1017/S135577182300016X
SADASIVAN, Vinu Sankar et al., “Can AI-Generated Text be Reliably Detected?” En: arXiv:2303.11156v4, 2024. Disponible en línea en:
https://doi.org/10.48550/arXiv.2303.11156
SARVAZYAN, Areg Mikael et al., “Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains”. En: Procesamiento del Lenguaje Natural, 71 2023, pp. 275-288. Disponible en línea en: https://doi.org/10.26342/2023-71-21
SHAMARDINA, Tatiana et al., “Findings of the The RuATD Shared Task 2022 on Artificial Text Detection in Russian”. En: Computational Linguistics and Intellectual Technologies, 21, 2022, pp. 497-511. Disponible en línea en: DOI: https://doi.org/10.28995/2075-7182-2022-21-497-511
https://scispace.com/pdf/findings-of-the-the-ruatd-shared-task-2022-on-artificial-10uxwywq.pdf
SINCLAIR, John, Corpus, Concordance, Collocation. Oxford: Oxford University Press, 1991.
——, “Corpora for lexicography”. En: van Sterkenberg, Piet (ed.), A practical guide to lexicography. Amsterdam: John Benjamins Publishing Company, 2003, pp. 167-178. DOI: https://doi.org/10.1075/tlrp.6.21sin
——, Corpus and text-basic principles. En: Wynne, Martin (ed.), Developing Linguistic Corpora: A Guide to Good Practice. Oxford: Oxbow Books, 2005, pp. 1-16
STIFF, Harald; JOHANSSON, Fredrik, “Detecting computer-generated disinformation”. En: International Journal of Data Science and Analytics, 13, 2022, pp. 363-383. Disponible en línea en: https://doi.org/10.1007/s41060-021-00299-5 DOI: https://doi.org/10.1007/s41060-021-00299-5
UCHENDU, Adaku; LE, Thai; LEE, “Dongwon, Attribution and Obfuscation of Neural Text Authorship: A Data Mining Perspective”. En: ACM SIGKDD Explorations Newsletter, 25, 1, 2023, pp. 1-18. Disponible en línea en:
https://doi.org/10.1145/3606274.3606276 DOI: https://doi.org/10.1145/3606274.3606276
UCHENDU, Adaku et al., “Authorship Attribution for Neural Text Generation”. En: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, pp. 8384-8395. Disponible en línea en:
https://doi.org/10.18653/v1/2020.emnlp-main.673 DOI: https://doi.org/10.18653/v1/2020.emnlp-main.673
UCHENDU, Adaku et al., “TURINGBENCH: A Benchmark Environment for Turing Test in the Age of Neural Text Generation”. En: Findings of the Association for Computational Linguistics, Findings of ACL: EMNLP 2021, 2021, pp. 2001-2016 Disponible en línea en:
https://doi.org/10.18653/v1/2021.findings-emnlp.172 DOI: https://doi.org/10.18653/v1/2021.findings-emnlp.172
WANG, William Yang, ““Liar, liar pants on fire”: A new benchmark dataset for fake news detection”. En: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 2, 2017, pp. 422-426. Disponible en línea en:
https://doi.org/10.18653/v1/P17-2067 DOI: https://doi.org/10.18653/v1/P17-2067
YU, Peipeng et al., “CHEAT: A Large-scale Dataset for Detecting ChatGPT-writtEn AbsTracts”. En: IEEE Transactions on Big Data, 11, 03, 2025, pp. 898-906. Disponible en línea en:
https://doi.org/10.1109/TBDATA.2025.3536929 DOI: https://doi.org/10.1109/TBDATA.2025.3536929
ZAITSU, Wataru; JIN, Mingzhe, “Distinguishing ChatGPT (-3.5, -4)-generated and human-written papers through Japanese stylometric analysis”. En: PLoS ONE, 18, 8, 2023. Disponible en línea en:
https://doi.org/10.1371/journal.pone.0288453 DOI: https://doi.org/10.1371/journal.pone.0288453