Byte Pair Encoding (BPE): Data komprimeringsalgoritm

Byte Pair Encoding (BPE) är en data komprimeringsalgoritm som minskar textfilstorlek genom att iterativt ersätta de mest frekventa intilliggande bytepar med enskilda oanvända bytes.

Hur det fungerar

1. Räkna alla intilliggande bytepar i datan.
2. Ersätt det mest frekventa paret med en ny byte som inte finns i datan.
3. Upprepa tills inga frekventa par återstår eller önskad komprimeringsnivå uppnås.

Resultat

Kan minska filstorlek med upp till 50%. Används brett i modern tokenisering för natur språk bearbetning (t.ex. GPT-modeller) som en subordsegmenteringsmetod.