Czym jest destylacja modeli AI i jak małe modele uczą się od dużych?
Destylacja modeli AI to technika trenowania, w której mniejszy, lżejszy model ucznia przyswaja część zachowania predykcyjnego większego, bardziej zaawansowanego, lecz cięższego i kosztowniejszego modelu nauczyciela. Jej formalna nazwa to zwykle destylacja wiedzy (knowledge distillation, KD). Główna idea nie polega po prostu na zmniejszeniu lub skopiowaniu parametrów dużego modelu. Zamiast tego uczeń jest trenowany od nowa tak, aby przypominał rozkład odpowiedzi nauczyciela dla tych samych wejść, a w niektórych przypadkach także jego reprezentacje wewnętrzne.arxiv.org
Powód stosowania tej techniki jest dość jasny. Duże modele mogą dobrze rozwiązywać złożone problemy, lecz w środowisku produkcyjnym występują ograniczenia dotyczące opóźnienia odpowiedzi, pamięci, energii, kosztów serwerowych i możliwości urządzeń. Destylacja oznacza wykorzystanie mocy obliczeniowej dużego nauczyciela podczas trenowania, a następnie wdrożenie mniejszego ucznia podczas działania systemu. Najlepiej rozumieć destylację nie jako magię, która składa inteligencję do mniejszej formy, ale jako strategię rozdzielenia kosztów trenowania i kosztów eksploatacji między różne modele.arxiv.org
Dlaczego tworzyć model ucznia zamiast używać bezpośrednio dużego modelu?
Wymagania dotyczące rozwoju modelu i jego eksploatacji są różne. Podczas trenowania można często poświęcić dużo czasu i znaczne zasoby obliczeniowe, natomiast usługi produkcyjne zwykle wymagają krótkiego czasu odpowiedzi i przewidywalnych kosztów. W środowiskach takich jak urządzenia mobilne, sprzęt wbudowany, API obsługujące duży wolumen żądań czy wdrożenia wymagające inferencji na urządzeniu ze względów prywatności, rozmiar modelu i opóźnienie stają się wymaganiami produktowymi.arxiv.orgarxiv.org
Rozważmy usługę klasyfikacji dokumentów. W przypadku zadania wewnętrznej weryfikacji, gdzie dopuszczalne jest analizowanie jednego dokumentu przez kilka sekund, można użyć dużego modelu. Jeżeli jednak użytkownicy muszą zobaczyć wynik klasyfikacji natychmiast po naciśnięciu przycisku albo jeśli stale trzeba przetwarzać miliony dokumentów, pamięć i czas wymagane przez każdą inferencję kumulują się. Jeśli model ucznia zachowuje wydajność zadaniową zbliżoną do nauczyciela, może być opcją spełniającą wymagania operacyjne, nawet przy pewnym spadku jakości.
Nie można jednak bezpiecznie zakładać, że mniejszy model zawsze jest tańszy. Liczba parametrów jest ważnym wskaźnikiem wykorzystania pamięci masowej i operacyjnej, ale rzeczywista szybkość zależy też od długości wejścia, rozmiaru batcha, bibliotek obliczeniowych, sprzętu i kosztów transferu pamięci. Dlatego wartości przyspieszenia podawanych w artykule naukowym nie należy bez zmian przenosić na inny sprzęt i inne obciążenia.arxiv.orgarxiv.org
Co wymieniają modele nauczyciela i ucznia w destylacji wiedzy?
W zwykłym uczeniu nadzorowanym poprawna odpowiedź jest podawana jako pojedyncza etykieta, na przykład „ten obraz przedstawia kota” albo „to zdanie ma wydźwięk pozytywny”. Można ją nazwać twardym celem. Model nauczyciela nie tworzy jednak tylko jednej odpowiedzi; oblicza różne wyniki lub prawdopodobieństwa dla każdej możliwej odpowiedzi. Dla obrazu może na przykład przewidzieć: kot 0,70, lis 0,20 i pies 0,08.
Destylacja wykorzystuje ten rozkład jako dodatkowy materiał treningowy dla ucznia. Poza informacją, że kot jest poprawną odpowiedzią, przekazuje on sygnał, że nauczyciel uznał dane wejście za do pewnego stopnia podobne do lisa, a mniej podobne do psa. Hinton i współautorzy wyjaśnili, że takie miękkie cele mogą przekazywać użyteczną informację, której nie da się zawrzeć w pojedynczej twardej etykiecie.arxiv.org
W tym kontekście „wiedza” nie oznacza listy reguł zapisanych ludzkim językiem. Dokładniej oznacza wyuczoną funkcję i wzorce zachowania nauczyciela, które mapują określone wejścia na wyjścia. Uczeń nie musi bezpośrednio zachowywać parametrów nauczyciela i może mieć inną liczbę warstw lub architekturę. Istotne jest to, że dla danego wejścia wyjście lub reprezentacja ucznia zbliża się do nauczyciela zgodnie z wybranym celem optymalizacji.arxiv.orgarxiv.org
Jak działają miękkie cele i temperatura?
Końcowa warstwa modelu klasyfikacyjnego zazwyczaj generuje wyniki nazywane logitami, a następnie przekształca je w rozkład prawdopodobieństwa za pomocą funkcji softmax. W destylacji można użyć funkcji softmax, która dzieli logity nauczyciela i ucznia przez temperaturę (T), aby wygładzić rozkład.
[ p_i^{(T)}=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)} ]
Tutaj (z_i) oznacza logit dla klasy (i). Gdy (T=1), jest to zwykły softmax. Zwiększenie temperatury spłaszcza rozkład skoncentrowany wyłącznie na klasie o najwyższym prawdopodobieństwie. Dzięki temu względne różnice między klasami o niższych pozycjach mogą stać się sygnałami uczenia. Dlatego niepełne jest opisywanie temperatury jedynie jako „rozmywania odpowiedzi nauczyciela”. Temperatura nie jest przełącznikiem, który automatycznie zwiększa ilość informacji; jest parametrem sterującym, który zmienia kształt rozkładu, z którego uczy się uczeń.arxiv.orgproceedings.mlr.press
W praktyce trenowanie zwykle łączy dwa cele. Jedna funkcja straty zachęca ucznia do przewidywania prawdziwych etykiet, a druga, strata destylacji, zachęca go do zbliżania się do miękkich wyjść nauczyciela. Można to prosto zapisać następująco.
[ L=\alpha L_{\text{ground truth}}+(1-\alpha)L_{\text{distillation}} ]
(\alpha), temperatura (T) oraz rodzaj straty destylacji to wartości wymagające dostrojenia. Wyższa temperatura lub większa waga sygnału nauczyciela nie zawsze są lepsze. Badania sugerują również, że efekt wyboru temperatury może różnić się zależnie od cech rozkładu nauczyciela, na przykład od tego, czy nauczyciel był trenowany z wygładzaniem etykiet.proceedings.mlr.pressproceedings.mlr.press
Czy wystarczy dopasowywanie samych wyjść?
Najbardziej podstawowa forma destylacji dopasowuje tylko końcowe wyjścia. Można ją nazwać destylacją opartą na odpowiedzi. W modelach klasyfikacyjnych głównymi celami są prawdopodobieństwa lub logity; w modelach językowych jest nim rozkład kolejnego tokenu. Jest stosunkowo prosta we wdrożeniu i może być rozważana, gdy wewnętrzna architektura nauczyciela jest nieznana, o ile jego wyjścia są dostępne.arxiv.orgproceedings.mlr.press
Niektóre podejścia uznają jednak, że same końcowe odpowiedzi nie przekazują wystarczająco dobrze procesu obliczeniowego nauczyciela. W architekturach, w których znaczenie mają wielowarstwowe reprezentacje i uwaga, takich jak Transformery, uczeń może być trenowany na imitowanie sygnałów pośrednich, w tym embeddingów, stanów ukrytych i macierzy uwagi nauczyciela. Nazywa się to destylacją opartą na cechach lub destylacją warstw pośrednich.arxiv.org
TinyBERT zaproponował wykorzystanie sygnałów z warstwy embeddingów, warstw Transformera i warstwy predykcji, a także prowadzenie destylacji zarówno podczas ogólnego pretrenowania, jak i dostrajania do konkretnego zadania. W eksperymentach ablacyjnych z tego artykułu usunięcie destylacji warstw Transformera spowodowało istotny spadek wydajności. Nie jest to ogólna zasada, że destylacja warstw pośrednich jest zawsze konieczna; to raczej przykład pokazujący, że sygnały wykraczające poza końcowe wyjścia mogą być użyteczne zależnie od architektury i zadania.arxiv.org
Inne rozróżnienie dotyczy destylacji offline i destylacji online. Destylacja offline wykorzystuje już wytrenowanego, zamrożonego nauczyciela i trenuje ucznia. Destylacja online używa wielu modeli uczących się wzajemnie podczas trenowania albo sygnałów nauczyciela pojawiających się równocześnie. Przy wyborze między nimi należy uwzględnić, czy można utrzymywać osobnego nauczyciela, jaki koszt trenowania jest akceptowalny oraz czy modele muszą być trenowane wspólnie.arxiv.org
Czym destylacja różni się od przycinania i kwantyzacji?
Choć wszystkie te techniki omawia się pod wspólnym celem kompresji modelu, redukują one różne rzeczy. Destylacja dotyczy sygnałów uczenia i zachowania modelu ucznia. Przycinanie natomiast zmniejsza strukturę poprzez usuwanie połączeń, kanałów, głów lub warstw o małym znaczeniu. Kwantyzacja redukuje koszty pamięci i obliczeń przez obniżenie szerokości bitowej albo zmianę formatu numerycznego używanego do reprezentowania wag i aktywacji.arxiv.orgarxiv.orgarxiv.org
| Metoda | Co przede wszystkim zmienia | Typowa mocna strona | Warunek do zweryfikowania |
|---|---|---|---|
| Destylacja wiedzy | Cele uczenia i architekturę ucznia | Mały model przyswaja zachowanie nauczyciela | Jakość nauczyciela, dane, luka pojemności |
| Przycinanie | Połączenia, kanały, głowy, warstwy | Usuwa nadmiarowość istniejącej struktury | Czy docelowy sprzęt rzeczywiście szybciej przetwarza struktury rzadkie |
| Kwantyzacja | Precyzję numeryczną | Zmniejsza użycie pamięci i koszty operacji całkowitoliczbowych | Spadek dokładności, obsługa przez sprzęt i środowisko uruchomieniowe |
| Łączone użycie | Zarówno trenowanie, jak i reprezentację | Możliwość większej kompresji | Spadek jakości na każdym etapie i złożoność operacyjna |
Na przykład konwersja 32-bitowych wag zmiennoprzecinkowych na 8-bitowe liczby całkowite jest kwantyzacją. Trenowanie sześcio-warstwowego Transformera ucznia z rozkładem wyjść dużego nauczyciela jako celem jest destylacją. Techniki te można też stosować sekwencyjnie. Jednak uzyskanie w artykule wysokiego współczynnika kompresji nie oznacza, że rzeczywiste opóźnienie usługi zmniejszy się w tej samej proporcji. Zwłaszcza w przypadku kwantyzacji efekt zależy od tego, jak dobrze docelowy CPU, GPU lub NPU obsługuje odpowiednie operacje całkowitoliczbowe.arxiv.orgarxiv.org
Co pokazują przykłady z rodziny BERT?
Destylacja modeli językowych jest użytecznym przykładem pozwalającym zrozumieć to pojęcie. BERT-base to wstępnie wytrenowany Transformer szeroko stosowany w zadaniach rozumienia języka, ale jego wdrożenie w środowiskach o ograniczonych zasobach może być obciążające. Badanie DistilBERT przedstawiło metodę destylacji podczas pretrenowania, która inicjalizuje mniejszy model z części warstw BERT i łączy stratę modelowania języka, stratę destylacji oraz stratę odległości cosinusowej.arxiv.org
Badanie podało zachowanie około 97% wydajności BERT na zbiorze deweloperskim GLUE przy zmniejszeniu liczby parametrów o około 40%. Wykazało także krótszy czas inferencji w warunkach pomiaru CPU określonych w artykule. Te liczby uzyskano jednak dla angielskich benchmarków, konkretnej konfiguracji BERT, konkretnego sprzętu i określonych warunków wejściowych. Nie należy przytaczać ich jako uniwersalnych wartości gwarantujących identyczne wyniki dla języka koreańskiego, długich dokumentów, systemów rozszerzonych o wyszukiwanie, rozmów generatywnych ani innych akceleratorów.arxiv.org
TinyBERT podał, że mniejszy czterowarstwowy model zachował dobrą wydajność względem BERT-base, przy znacznym zmniejszeniu rozmiaru i czasu inferencji w warunkach tego artykułu. Przedstawił również eksperymenty ablacyjne pokazujące, że destylacja ogólna, destylacja specyficzna dla zadania, rozszerzanie danych i sygnały warstw pośrednich wpływały na wynik. Praktyczny wniosek z tego przykładu jest prosty: nie wystarczy połączyć jednego nauczyciela z jednym uczniem; moment destylacji, dane, architektura ucznia i projekt funkcji straty wspólnie determinują rezultat.arxiv.org
Kiedy destylacja jest szczególnie skuteczna?
Destylację warto szczególnie rozważyć nie wtedy, gdy jakość dużego modelu musi zostać zachowana idealnie, lecz gdy współistnieją jasno określony minimalny poziom wydajności i silne ograniczenia operacyjne. Przykłady obejmują:
- Inferencję na urządzeniu: środowiska, w których łączność sieciowa jest zawodna lub dane wejściowe trudno wysyłać na zewnętrzne serwery z uwagi na wymagania prywatności.
- Powtarzalną inferencję o dużym wolumenie: zadania klasyfikacji, rankingowania i wykrywania, które przetwarzają bardzo wiele krótkich wejść, przez co istotne stają się skumulowany koszt i opóźnienie.
- Zadania specyficzne dla domeny: przypadki, w których wydajność dla określonego typu dokumentów lub systemu etykiet jest ważniejsza niż wszystkie szerokie możliwości modelu ogólnego przeznaczenia.
- Zastępowanie zespołu modeli: sytuacje, w których uśrednianie predykcji kilku modeli poprawia jakość, ale jest zbyt kosztowne operacyjnie, więc używa się pojedynczego ucznia do przybliżenia ich zachowania.arxiv.org
Odwrotnie, gdy uczeń nie może nigdy pominąć rzadkich przypadków albo ma wiernie odtwarzać długi proces rozumowania nauczyciela, użycie narzędzi lub złożone zasady bezpieczeństwa, kryteria oceny muszą być szersze. Nawet przy wysokiej średniej dokładności wydajność może pogorszyć się dla konkretnych grup, rzadkich klas lub ryzykownych wejść. Badania wykazały, że zależność między wydajnością dla najsłabszej klasy a średnią dokładnością może zmieniać się wraz z projektem celu destylacji.proceedings.mlr.press
Jakie są ograniczenia destylacji?
Po pierwsze, uczeń nie przyswaja samego nauczyciela, lecz jego obserwowalne zachowanie. Jeśli nauczyciel tworzy niepoprawne predykcje lub odzwierciedla uprzedzenia danych, uczeń również może przyswoić te sygnały. Stosowanie straty dla twardych etykiet obok destylacji nie rozwiązuje automatycznie problemów związanych z uprzedzeniami, zgodnością z faktami, bezpieczeństwem ani ochroną. Po destylacji jakość nadal należy sprawdzać na zbiorze ewaluacyjnym niezależnym od pierwotnego nauczyciela.arxiv.orgproceedings.mlr.press
Po drugie, jeśli uczeń jest zbyt mały, nie może wystarczająco imitować nauczyciela. Nazywa się to luką pojemności nauczyciela i ucznia. Powiązane badania wskazują, że wydajność może się pogorszyć, gdy mały uczeń próbuje podążać za sygnałami nadmiernie dużego nauczyciela, oraz że dokładniejszy nauczyciel nie zawsze jest lepszym nauczycielem do destylacji. Wybór nauczyciela nie jest tylko konkursem rankingowym; jest też kwestią zgodności z architekturą ucznia.arxiv.orgarxiv.org
Po trzecie, destylacja może przenieść koszty operacyjne do początkowych kosztów trenowania. Nauczyciela trzeba najpierw wytrenować lub pozyskać, wyjścia nauczyciela dla danych destylacyjnych trzeba obliczyć i zapisać, a temperaturę, wagi strat i mapowania warstw może być konieczne badać. Dlatego dla analizy wykonywanej tylko raz prostsze może być bezpośrednie użycie nauczyciela; w przypadku długo działającej, powtarzalnej usługi istnieje większa możliwość odzyskania kosztów opracowania ucznia.arxiv.orgarxiv.org
Po czwarte, destylacja nie gwarantuje „wyjaśnialnej kompresji”. Nawet jeśli uczeń tworzy predykcje podobne do nauczyciela, odrębnymi pytaniami są to, czy podejmuje decyzje poprzez te same wewnętrzne mechanizmy i czy zachowuje całą informację nauczyciela. Najnowsze badania wskazują również, że nadal nie jest jasne, czy mały uczeń otrzymuje przez destylację całą informację nauczyciela.proceedings.mlr.pressproceedings.mlr.press
Jakie są częste błędne przekonania?
Błędne przekonanie, że „destylacja nie powoduje spadku wydajności”
Badania nad destylacją pokazują, że małe modele mogą zachować wysoką wydajność, ale jest to obserwacja uzyskana w określonych warunkach ewaluacji. Jeśli rozkład wejść się zmieni, częstsze staną się długie wejścia lub ważne będą rzadkie przypadki, różnica między nauczycielem a uczniem może wzrosnąć. Dlatego zamiast polegać na jednej liczbie, takiej jak „procent wydajności nauczyciela”, należy łącznie oceniać dokładność, czułość, opóźnienie, pamięć i metryki bezpieczeństwa wymagane przez usługę.arxiv.orgarxiv.org
Błędne przekonanie, że „kopiuje całą wiedzę modelu nauczyciela”
W granicach ograniczonych parametrów i architektury uczeń przybliża wyjścia nauczyciela lub część jego reprezentacji. Trudno uznać, że cała wewnętrzna informacja nauczyciela jest przekazywana bez zmian. Wyniki destylacji zależą od danych, funkcji celu, pojemności ucznia i metody optymalizacji.proceedings.mlr.pressproceedings.mlr.press
Błędne przekonanie, że „mniej parametrów musi oznaczać szybszą inferencję”
Zmniejszanie liczby parametrów zwykle pomaga ograniczyć wymagania pamięciowe, lecz rzeczywiste opóźnienie zależy od grafu obliczeń, długości sekwencji, rozmiaru batcha i wąskich gardeł sprzętowych. W szczególności obciążenie obliczeniami uwagi w Transformerach może znacznie różnić się zależnie od długości wejścia, dlatego konieczny jest pomiar end-to-end na docelowym urządzeniu.arxiv.orgarxiv.org
Błędne przekonanie, że „wyjścia nauczyciela oznaczają, iż oryginalne dane są niepotrzebne”
Istnieją badania nad destylacją bez danych lub zero-shot, które próbują prowadzić destylację z użyciem nauczyciela bez oryginalnych danych treningowych. Jest to jednak szczególne ustawienie wymagające oddzielnego generowania danych syntetycznych lub metody przybliżenia rozkładu wejściowego. Zwykła destylacja korzysta z reprezentatywnych danych wejściowych wraz z sygnałami nauczyciela, a podejścia wykorzystujące również prawdziwe etykiety są powszechne.proceedings.mlr.pressproceedings.mlr.press
Co sprawdzić przed praktycznym wdrożeniem destylacji?
Bezpieczniej jest rozpocząć od celów wdrożeniowych, zamiast podejmować decyzję na podstawie nazwy modelu. Najpierw należy skwantyfikować nie to, „jak mały model jest potrzebny”, ale „jakie wymagania jakościowe i operacyjne muszą zostać spełnione”. Poniżej znajduje się minimalna lista kontrolna.
- Rozdziel kryteria zadania. Oprócz średniej dokładności zdefiniuj czułość, koszty fałszywie dodatnich i fałszywie ujemnych wyników, wydajność dla najsłabszej grupy, czas odpowiedzi i limity pamięci.
- Zweryfikuj nauczyciela. Sprawdź nie tylko wyniki benchmarków nauczyciela, ale również rzeczywiste dane domenowe, rodzaje błędów, uprzedzenia i wymagania bezpieczeństwa. Niezweryfikowany nauczyciel nie musi dostarczać dobrych sygnałów uczenia.
- Najpierw ustal budżet ucznia. Jasno określ liczbę parametrów, maksymalną pamięć, dopuszczalne opóźnienie, długość wejścia i sprzęt wdrożeniowy. Jeśli uczeń jest zbyt mały, luka pojemności może się zwiększyć.arxiv.org
- Wybierz cel destylacji. Dla prostej klasyfikacji punktem wyjścia może być destylacja wyjść; gdy ważna jest jakość reprezentacji, jak w kompresji Transformerów, można przetestować destylację warstw pośrednich i uwagi.arxiv.org
- Porównuj nauczyciela i ucznia tymi samymi testami. Uwzględnij nie tylko ogólną dokładność, ale również długości wejść podobne do rzeczywistego ruchu, rzadkie przypadki i grupy o wysokim odsetku błędów.
- Mierz na docelowym sprzęcie. Rozróżniaj rozmiar pliku modelu, pamięć, początkowe ładowanie, opóźnienie z tokenizacją i przetwarzaniem wstępnym, przepustowość oraz pobór energii.arxiv.orgarxiv.org
- Osobno zweryfikuj dalszą kompresję. Jeśli po destylacji stosowane są kwantyzacja lub przycinanie, po każdym etapie osobno rejestruj spadek jakości i zysk szybkości.
Wniosek: destylacja tworzy właściwą równowagę operacyjną, a nie tylko „mały model”
Destylacja modeli AI przenosi rozkłady predykcyjne i reprezentacje wyuczone przez dużego nauczyciela do ucznia, tworząc model możliwy do użycia przy ograniczonych zasobach. Kluczowe jest dodanie miękkich celów nauczyciela do ucznia uczącego się wyłącznie z twardych etykiet oraz, gdy jest to potrzebne, użycie również sygnałów warstw pośrednich.arxiv.orgarxiv.org
Destylacja nie jest jednak techniką kompresji pliku, która bez kosztu zachowuje wydajność. Błędy i uprzedzenia nauczyciela, pojemność ucznia, reprezentatywność danych destylacyjnych, projekt temperatury i funkcji straty oraz cechy rzeczywistego sprzętu wpływają na rezultat. Najrozsądniejszym kolejnym krokiem nie jest więc dążenie do współczynnika kompresji z konkretnego artykułu, lecz zdefiniowanie minimalnej jakości oraz maksymalnego opóźnienia i kosztu wymaganych dla własnego zadania, a następnie porównanie nauczyciela i kandydatów na uczniów w tych samych warunkach.