Jak pokazuje doświadczenie ostatnich miesięcy, chatboty AI zdolne są nie tylko rozmawiać o pogodzie czy pisać krótkie teksty na bloga. Czerpiąc z dostępnych online treści, Large Language Models mogą nawet spreparować treści o charakterze naukowym. Chwilowa kontrowersyjna moda, a może nieunikniona przyszłość? Pora sprawdzić, z jakimi kontrowersjami i potencjalnymi błędami wiąże się użycie ChatGPT oraz AI w publikacjach naukowych.
Czy ChatGPT nadaje się do tworzenia zaawansowanych treści?
Jak powszechnie wiadomo, pisanie tekstów naukowych to żmudny i skomplikowany proces, który często zajmować może autorowi/autorom długie miesiące. Wielu apologetom AI wydaje się, że ChatGPT jest dziś w stanie tworzyć tego typu treści samodzielnie. A przynajmniej znacznie ułatwić pracę. Nie należy jednak zapominać, że główne działanie chatbotów przypomina funkcjonalność asystentów AI. Warto zatem przyjrzeć się testom, jakie mają na celu wypróbowanie realnych możliwości sztucznej inteligencji. Interesujące wyniki osiągnął ekspert Duke University Libraries, na bazie których można określić, z jakimi zadaniami (nie) radzi sobie ChatGPT.
Do jakich zadań warto używać AI w publikacjach?
- Generowanie pomysłów dla podobnych konceptów, terminów, haseł w konkretnej tematyce.
- Sugerowanie baz danych, gdzie znaleźć można literaturę na dany temat.
- Otrzymywanie sugestii dotyczących poprawy jakości pisania.
Kiedy nie należy korzystać z ChatGPT?
- W celu stworzenia listy źródeł (bibliografii) dla podanego tematu, gdyż AI może halucynować i zmyślać nieistniejącą literaturę.
- Do streszczania długich tekstów, ponieważ AI może wybiórczo i losowo skupiać się na mniej istotnych fragmentach.
- Aby poruszać tematy bieżące lub przewidywać przyszłość. Dostępne w sieci aplikacje LLM opierają się na przestarzałych bazach danych (przykładowo, ChatGPT ma dostęp do danych z września 2021 roku).
Chatboty AI to wpadka?
O ile ChatGPT i odpowiedzialna za niego firma Open AI cieszą się sporym zainteresowaniem, nie jest to jedyny LLM na rynku. Podobnych programów znaleźć można całe tysiące, a wśród nich jeden, który zaliczył bardzo nieudany start. Mowa o Google Bard, który miał stanowić realną konkurencję dla lidera tego segmentu sztucznej inteligencji.
Największa dotychczasowa kontrowersja dotyczyła sytuacji, w której Google Bard stwierdził, że Kosmiczny Teleskop Jamesa Webba zrobił „pierwsze w historii zdjęcie egzoplanety”. Wpadka ta spowodowała spadek wartości akcji Alphabet (firmy-właściciela marki Google) o ponad 100 miliardów dolarów.
Aktualnie Google Bard udostępniony jest w formie eksperymentalnej z dopiskiem „Bard może wyświetlać niedokładne lub obraźliwe informacje, które nie reprezentują poglądów Google”. Należy zatem zawsze kwestionować poprawność informacji wyświetlanych nawet przez chatboty największych korporacji IT.
AI w publikacjach naukowych: to dopiero początek błędów i kontrowersji
Jeśli korzystałeś kiedykolwiek z modeli językowych, zapewne wiesz, że poszczególne iteracje pozwalają na ocenianie wypowiedzi bota. W ten sposób sieci neuronowe mają uczyć się i rozwijać w oparciu o interakcje użytkowników. Co więcej, w rozwoju nowych LLM-ów udział biorą „taskerzy”, którzy „szkolą” aplikacje do pisania odpowiedzi możliwie jak najbardziej „ludzkich”.
Taka współpraca człowieka i maszyny przynosi często efekt przeciwny do zamierzonego. Coraz częściej mówi się, że z czasem sztuczna inteligencja staje się… coraz mniej inteligentna.
Warto zapoznać się z wynikami badań naukowców Uniwersytetu Stanforda i Uniwersytetu Kalifornijskiego w Berkeley. Porównali oni skuteczność odpowiedzi dwóch modeli GPT-3,5 oraz GPT-4 w marcu i czerwcu 2023 roku. Badania wykazały, że wraz z upływem czasu aplikacje LLM coraz gorzej radzą sobie z formatowaniem tekstu, a procentowy udział trafnych odpowiedzi ulega zmianie, również na gorsze.
Po początkowym zachwycie technologią LLM liczba powątpiewających w słuszność chatbotów AI staje się coraz większa. Jeżeli boty nie do końca radzą sobie z łatwymi zapytaniami, czy rzeczywiście mogą stanowić zagrożenie dla naukowców? Na próbę wystarczy zadać sztucznej inteligencji zagadkę logiczną lub kazać jej opowiedzieć dowcip.
AI w publikacjach naukowych – światełko w tunelu?
Peter Welinder z Open AI broni flagowego produktu marki, a więc modelu GPT-4. Twierdzi on, że każda kolejna wersja oprogramowania jest mądrzejsza od poprzedniej. Wysnuwa również hipotezę, że im intensywniej używa się bota, tym więcej błędów można zauważyć.
Przyglądając się wpływowi sztucznej inteligencji na świat naukowy, można dojść do wniosku, że technologia ta „rozpycha się” coraz odważniej. Opisywane niedawno badania dowiodły, że recenzenci akademiccy są w stanie wyłapać jedynie około 63% abstraktów napisanych przez AI.
Trzeba pamiętać, że różnego rodzaju generatory teksty oparte na technologii AI to wciąż nowinka techniczna. Dlatego też wybrane czasopisma (np. Nature) godzą się na użycie LLM-ów, podczas gdy inne (np. Science) stanowczo sprzeciwiają się takiej praktyce.
Nie pozostaje nam nic innego, jak bacznie przyglądać się rozwojowi kolejnych iteracji dużych modeli językowych. Może się bowiem okazać, że sztuczna inteligencja i wykorzystanie AI w publikacjach naukowych to tylko kolejna internetowa bańka, która wkrótce podzieli los kryptowalut i tokenów NFT. Czy tak będzie? To się jeszcze okaże.
Bibliografia:
https://plainenglish.io/blog/how-to-use-chat-gpt-for-scientific-research-paper-writing
https://arxiv.org/pdf/2307.09009.pdf