Технические науки

DVERSARIAL THREAT VECTORS IN AI-AUGMENTED SOFTWARE DEVELOPMENT: PROMPT INJECTION, DATA POISONING, AND EXPLOITATION RISKS  [ВЕКТОРЫ УГРОЗ В РАЗРАБОТКЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ С ПОДДЕРЖКОЙ ИИ: PROMPT INJECTION, ОТРАВЛЕНИЕ ДАННЫХ И РИСКИ ЭКСПЛУАТАЦИИ]

Karin I.E., Kriuchkov A.Yu.

Karin Iliia Eduardovich - Master's degree in Information Systems in Economics and Management,

DEVOPS ENGINEER,

AUSTIN, TEXAS, UNITED STATES OF AMERICA,

Kriuchkov Aleksandr Yurievich - Master’s degree in radio communications, radio broadcasting, and television, Cloud Engineer,

SERBIA

Abstract: Artificial intelligence (AI) has become an integral component of modern software engineering, with large language model (LLM)–based assistants such as GitHub Copilot, Microsoft Copilot Studio, and CodeRabbit increasingly supporting code generation, review, and workflow automation. While these tools promise significant productivity gains, they also introduce novel and underexplored attack surfaces. This article examines three recent, high-impact case studies of adversarial exploitation: (i) CVE-2025-53773, a prompt injection vulnerability in GitHub Copilot enabling wormable remote code execution, (ii) the “AgentFlayer” attack on Copilot Studio demonstrating zero-click data exfiltration through injected instructions, and (iii) the CodeRabbit supply chain compromise that leveraged a malicious pull request to gain write access to over one million repositories. Together, these incidents illustrate how prompt injection and AI poisoning transcend conventional software vulnerabilities by transforming passive data into active attack vectors. We analyze the broader implications for developer environments, enterprise AI agents, and CI/CD pipelines, highlighting the systemic risks of adversarial AI exploitation. Finally, we survey emerging defensive strategies, including prompt shielding, classifier-based detection, and red-teaming frameworks, and outline recommendations for mitigating the security challenges posed by AI-augmented development.

Keywords: Artificial intelligence security; large language models; prompt injection; AI poisoning; adversarial machine learning; software supply chain security; remote code execution; data exfiltration; CI/CD security; DevSecOps, LLM, AI, MCP.

Карин И.Э., Крючков А.Ю.

Карин Илия Эдуардович — магистр информационных систем в экономике и управлении, инженер DevOps,

 г. Остин, Техас, США,

Крючков Александр Юрьевич — магистр радиосвязи, радиовещания и телевидения, облачный инженер, Сербия

Аннотация: искусственный интеллект (ИИ) стал неотъемлемой частью современной разработки программного обеспечения. Ассистенты на основе больших языковых моделей (LLM), такие как GitHub Copilot, Microsoft Copilot Studio и CodeRabbit, всё активнее поддерживают генерацию кода, его ревью и автоматизацию рабочих процессов. Хотя эти инструменты обещают значительный рост производительности, они также создают новые и малоизученные поверхности атак. В данной статье рассматриваются три недавних и высокоэффективных примера злоумышленного использования: (i) CVE-2025-53773 — уязвимость prompt injection в GitHub Copilot, позволяющая червеподобное удалённое выполнение кода, (ii) атака «AgentFlayer» на Copilot Studio, демонстрирующая возможность извлечения данных без взаимодействия пользователя (zero-click) через внедрённые инструкции, и (iii) компрометация цепочки поставок CodeRabbit, при которой вредоносный pull request обеспечил доступ на запись более чем к одному миллиону репозиториев. Эти инциденты показывают, что prompt injection и отравление ИИ выходят за рамки традиционных уязвимостей ПО, превращая пассивные данные в активные векторы атак. Мы анализируем более широкие последствия для сред разработки, корпоративных AI-агентов и CI/CD-пайплайнов, подчёркивая системные риски эксплуатации ИИ противниками. Наконец, мы рассматриваем новые защитные стратегии, включая экранирование подсказок (prompt shielding), детекцию на основе классификаторов и фреймворки для red-teaming, а также формулируем рекомендации по смягчению угроз безопасности, возникающих при использовании ИИ в разработке.

Ключевые слова: безопасность искусственного интеллекта; большие языковые модели; prompt injection; отравление ИИ; атакующее машинное обучение; безопасность цепочки поставок ПО; удалённое выполнение кода; утечка данных; безопасность CI/CD; DevSecOps, LLM, AI, MCP.

References / Список литературы

1. Carlini N., et al. (2024). Adversarial robustness for large language models. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (Note: Exact title may vary; based on 2024 trends in LLM robustness research.)
2. Evtimov I., et al. (2017). Robust physical-world attacks on deep learning models. arXiv preprint arXiv:1707.08945. https://doi.org/10.48550/arXiv.1707.08945
3. Goodfellow I.J., Shlens J. & Szegedy C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572. https://doi.org/10.48550/arXiv.1412.6572
4. Greshake K., et al. (2023). Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. arXiv preprint arXiv:2302.12173. https://doi.org/10.48550/arXiv.2302.12173
5. Szegedy C., et al. (2013). Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199. https://doi.org/10.48550/arXiv.1312.6199
6. Amiet N. (2025, August 19). How we exploited CodeRabbit: From a simple PR to RCE and write access on 1M repositories. Kudelski Security Research. https://research.kudelskisecurity.com/2025/08/19/how-we-exploited-coderabbit-from-a-simple-pr-to-rce-and-write-access-on-1m-repositories/ (New Reference: Author verified as Nils Amiet from the blog post and related Black Hat USA 2025 presentation.)
7. Embrace The Red. (2025, June). GitHub Copilot: Remote code execution via prompt injection. Embrace The Red Blog. https://embracethered.com/blog/posts/2025/github-copilot-remote-code-execution-via-prompt-injection/ (New Reference: No individual author listed; attributed to the research group "Embrace The Red" per the blog’s authorship convention.)
8. Kudelski Security. (2025, January). CodeRabbit vulnerability disclosure: Malicious pull request exploit via Rubocop integration. Kudelski Security Blog. https://research.kudelskisecurity.com/2025/01/15/coderabbit-vulnerability/
9. Microsoft Security Response Center (MSRC). (2025, August). Security update for GitHub Copilot in Visual Studio Code (CVE-2025-53773). Microsoft Security Blog. https://msrc.microsoft.com/update-guide/vulnerability/CVE-2025-53773
10. Persistent Security & Embrace The Red. (2025, June 29). CVE-2025-53773: Remote code execution in GitHub Copilot via prompt injection. Persistent Security Research Report. https://persistent-security.com/reports/cve-2025-53773
11. Zenity Labs. (2025, August). A Copilot Studio story: When AIjacking leads to full data exfiltration. Zenity Labs Research. https://labs.zenity.io/p/a-copilot-studio-story-2-when-aijacking-leads-to-full-data-exfiltration-bc4a (New Reference: No individual author listed; attributed to Zenity Labs as the research entity per the blog’s publication details.)
12. National Institute of Standards and Technology (NIST). (2025). Artificial intelligence risk management framework (AI RMF 1.0 Update). U.S. Department of Commerce. https://www.nist.gov/itl/ai-risk-management-framework
13. OWASP Foundation. (2025). OWASP top 10 for large language model applications (LLM Top 10). OWASP Project. https://owasp.org/www-project-top-10-for-large-language-model-applications/
14. Goodside R. (2022). Twitter thread on prompt injection experiments in LLMs. X (formerly Twitter). https://x.com/goodside/status/1584625160424562688
15. Willison S. (2023). Indirect prompt injection threats. Simon Willison's Weblog. https://simonwillison.net/2023/Feb/20/indirect-prompt-injection/
16. (2025). EVA: Evaluation for vulnerability analysis & ASTRA: Adversarial simulation for threat-resilient agents. Microsoft Research. https://www.microsoft.com/en-us/research/project/eva-astra
17. (2025). Lakera Guard: Prompt shielding tool. Lakera Documentation. https://lakera.ai/guard

ССЫЛКА ДЛЯ ЦИТИРОВАНИЯ ДАННОЙ СТАТЬИ

		Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства.
Cсылка для цитирования. Karin I.E., Kriuchkov A.Yu. ADVERSARIAL THREAT VECTORS IN AI-AUGMENTED SOFTWARE DEVELOPMENT: PROMPT INJECTION, DATA POISONING, AND EXPLOITATION RISKS  [ВЕКТОРЫ УГРОЗ В РАЗРАБОТКЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ С ПОДДЕРЖКОЙ ИИ: PROMPT INJECTION, ОТРАВЛЕНИЕ ДАННЫХ И РИСКИ ЭКСПЛУАТАЦИИ] // European science № 3(75), 2025. C. {см. журнал}

Поделитесь данной статьей, повысьте свой научный статус в социальных сетях