Scaffold (z ang. „rusztowanie”) to termin używany w kontekście sztucznej inteligencji, zwłaszcza w modelach językowych i systemach agentowych. Oznacza dodatkowe struktury, narzędzia lub strategie wspomagające model AI w wykonywaniu skomplikowanych zadań. Scaffoldy pomagają modelom poprawnie interpretować i rozwiązywać problemy, które byłyby trudne do rozwiązania bez dodatkowego wsparcia.
Rodzaje scaffoldów w AI
1. Scaffoldy w programowaniu i kodowaniu
W kontekście testów kodowania, takich jak SWE-bench, scaffoldy mogą obejmować:
- Mechanizmy do wyszukiwania odpowiednich plików w kodzie – AI nie musi analizować całego repozytorium, a jedynie istotne fragmenty.
- Lokalizowanie błędów i poprawek – model może być wspierany przez narzędzia pomagające w identyfikacji miejsc, w których powinny nastąpić zmiany.
- Odrzucanie błędnych rozwiązań – AI może generować kilka propozycji i wybierać najlepszą na podstawie testów regresyjnych.
Przykładem takiego scaffoldu jest Agentless (Xia et al., 2024), który dodaje mechanizmy wyszukiwania plików i testowania kodu, by zwiększyć skuteczność AI w kodowaniu.
2. Scaffoldy w modelach rozumowania
W modelach takich jak Claude 3.7 Sonnet, scaffoldy mogą obejmować:
- Dodatkowe kroki „myślenia” przed odpowiedzią – model jest instruowany, by przed wygenerowaniem ostatecznej odpowiedzi zapisać swoje przemyślenia.
- Planowanie wieloetapowe – AI może korzystać z zewnętrznych narzędzi do generowania planu działania i dopiero potem formułować odpowiedź.
- Mechanizmy kontroli odpowiedzi – w niektórych testach modele przechodzą dodatkowe etapy walidacji, by uniknąć błędnych odpowiedzi.
3. Scaffoldy w agentach AI
Agentowe podejście do AI zakłada, że modele mogą wykonywać bardziej złożone zadania, np. planowanie i zarządzanie projektami. Scaffoldy mogą tutaj:
- Pomagać w podejmowaniu decyzji poprzez dodatkowe warstwy analizy,
- Optymalizować wybór narzędzi – AI może decydować, czy użyć określonego zasobu (np. wyszukiwania w bazie danych),
- Poprawiać skuteczność w rzeczywistych zastosowaniach – w testach takich jak TAU-bench scaffoldy pomagają modelowi skutecznie zarządzać interakcjami z użytkownikami i narzędziami.
Czy scaffold zawsze poprawia wyniki AI?
Nie zawsze! W niektórych przypadkach scaffoldy mogą:
- Zwiększać czas przetwarzania odpowiedzi – model potrzebuje więcej kroków do znalezienia optymalnej odpowiedzi.
- Generować dodatkowe koszty – zwłaszcza w modelach rozliczanych na podstawie liczby tokenów.
- Być niepotrzebne dla prostych zadań – jeśli AI dobrze radzi sobie bez scaffoldów, ich dodanie może nie przynieść realnej korzyści.
W przypadku Claude 3.7 Sonnet, testy wykazały, że model osiąga 63,7% skuteczności bez scaffoldów, a 70,3% z nimi w zadaniach SWE-bench Verified. Oznacza to, że odpowiednio zastosowane scaffoldy mogą znacząco poprawić zdolność AI do rozwiązywania problemów.
