უსაფრთხოების ექსპერტმა ბარ ლანიადომ ცოტა ხნის წინ ჩაატარა გამოკვლევა იმის შესახებ, თუ როგორ უნებლიედ ხელს უწყობენ გენერაციული AI მოდელები პროგრამული უზრუნველყოფის განვითარების სამყაროში უსაფრთხოების უზარმაზარ პოტენციურ საფრთხეებს. Lanyado-ს ასეთმა კვლევამ აღმოაჩინა საგანგაშო ტენდენცია: AI გვთავაზობს წარმოსახვითი პროგრამული უზრუნველყოფის პაკეტებს და დეველოპერები, არც კი იცოდნენ, შეიცავენ მას კოდურ ბაზაში.
გამოაშკარავებული საკითხი
ახლა პრობლემა ის არის, რომ გამოსავალი წარმოქმნილი იყო ფიქტიური სახელი - რაღაც ტიპიური ხელოვნური ინტელექტისთვის. თუმცა, ეს ფიქტიური პაკეტის სახელები შემდეგ თავდაჯერებულად არის შემოთავაზებული დეველოპერებისთვის, რომლებსაც უჭირთ AI მოდელების პროგრამირება. მართლაც, ზოგიერთი გამოგონილი პაკეტის სახელები ნაწილობრივ დაფუძნებულია ადამიანებზე, როგორიცაა Lanyado, ზოგი კი წინ წავიდა და აქცია ისინი რეალურ პაკეტებად. ამან, თავის მხრივ, გამოიწვია პოტენციურად მავნე კოდის შემთხვევით ჩართვა რეალურ და ლეგიტიმურ პროგრამულ პროექტებში.
ერთ-ერთი ბიზნესი, რომელიც ამ გავლენის ქვეშ მოექცა, იყო Alibaba, ტექნიკური ინდუსტრიის ერთ-ერთი მთავარი მოთამაშე. GraphTranslator-ის ინსტალაციის ინსტრუქციებში Lanyado-მ აღმოაჩინა, რომ Alibaba-ს ჰქონდა შეფუთული პაკეტი სახელწოდებით "huggingface-cli", რომელიც გაყალბებული იყო. სინამდვილეში, პითონის პაკეტის ინდექსზე (PyPI) არსებობდა იგივე სახელწოდების რეალური პაკეტი, მაგრამ Alibaba-ს მეგზურში მითითებული იყო ის, რაც Lanyado-მ შექმნა.
გამძლეობის ტესტირება
Lanyado-ს კვლევა მიზნად ისახავდა შეაფასოს ამ AI-ის მიერ გენერირებული პაკეტის სახელების ხანგრძლივობა და პოტენციური ექსპლუატაცია. ამ თვალსაზრისით, LQuery-მ აწარმოა AI-ის განსხვავებული მოდელები პროგრამირების გამოწვევებზე და ენებს შორის გაგების პროცესში, თუ ეფექტურად, სისტემატურად, რეკომენდირებული იყო ეს ფიქტიური სახელები. ამ ექსპერიმენტში ცხადია, რომ არსებობს რისკი იმისა, რომ საზიანო სუბიექტებმა ბოროტად გამოიყენონ AI-ის მიერ გენერირებული პაკეტის სახელები მავნე პროგრამული უზრუნველყოფის გავრცელებისთვის.
ამ შედეგებს ღრმა გავლენა აქვს. ცუდმა მსახიობებმა შეიძლება გამოიყენონ დეველოპერების მიერ მიღებულ რეკომენდაციებში მიცემული ბრმა ნდობა ისე, რომ მათ შეუძლიათ დაიწყონ მავნე პაკეტების გამოქვეყნება ყალბი პირადობის ქვეშ. ხელოვნური ინტელექტის მოდელებთან ერთად, რისკი იზრდება იმ თანმიმდევრული AI რეკომენდაციებით, რომლებიც შედგენილია გამოგონილი პაკეტების სახელებისთვის, რომლებიც ჩართული იქნება როგორც მავნე პროგრამული უზრუნველყოფა უცნობი დეველოპერების მიერ. ** წინსვლის გზა **
ამიტომ, როდესაც ხელოვნური ინტელექტი უფრო ინტეგრირებული ხდება პროგრამული უზრუნველყოფის განვითარებასთან, შეიძლება წარმოიშვას დაუცველობის გამოსწორების აუცილებლობა, თუ ეს დაკავშირებულია ხელოვნური ინტელექტის მიერ გენერირებულ რეკომენდაციებთან. ასეთ შემთხვევებში, სათანადო გულმოდგინება უნდა იქნას გამოყენებული ისე, რომ ინტეგრაციისთვის შემოთავაზებული პროგრამული პაკეტები იყოს ლეგიტიმური. გარდა ამისა, ის უნდა არსებობდეს იმისთვის, რომ პლატფორმა მასპინძლობს პროგრამული უზრუნველყოფის საცავს, რათა გადაამოწმოს და იყოს საკმარისად ძლიერი, რომ არ მოხდეს მავნე ხარისხის კოდის გავრცელება.
ხელოვნური ინტელექტისა და პროგრამული უზრუნველყოფის განვითარების გზაჯვარედინმა უსაფრთხოების შესახებ შემაშფოთებელი საფრთხე გამოავლინა. ასევე, ხელოვნური ინტელექტის მოდელმა შეიძლება გამოიწვიოს ყალბი პროგრამული პაკეტების შემთხვევითი რეკომენდაცია, რაც დიდ რისკს უქმნის პროგრამული პროექტების მთლიანობას. ის ფაქტი, რომ ალიბაბამ თავის ინსტრუქციებში შეიტანა ყუთი, რომელიც იქ არასდროს უნდა ყოფილიყო, არის მხოლოდ მუდმივი მტკიცებულება იმისა, თუ როგორ შეიძლება რეალურად წარმოიშვას შესაძლებლობები, როდესაც ადამიანები რობოტიურად მიჰყვებიან რეკომენდაციებს.
მოცემულია AI-ს მიერ. მომავალში, სიფხიზლე უნდა იქნას მიღებული პროაქტიული ზომების მიმართ, რათა დაცული იყოს ხელოვნური ინტელექტის ბოროტად გამოყენება პროგრამული უზრუნველყოფის შემუშავებისთვის.
წყარო: https://www.cryptopolitan.com/ai-generated-software-packages-threats/