1. i matematik: tecknad pil som beskriver en riktad kraft. Pilens längd visar kraftens styrka.
2. I programmering: en serie enheter i en bestämd ordning (en form av en datastruktur).
I uppmärksamhetsmekanismer (eng: attention mechanisms), särskilt i transformermodeller, urskiljer man följande typer av vektorer som beräknar uppmärksamhetsvikter och skapar en kontextuell representation av indata: query, key och value.
Dessa vektorer spelar olika roller i att beräkna och . Här är en översikt över deras roller och skillnader:
Query-vektor: Query-vektorn representerar den "fråga" eller den information som modellen vill hitta relevanta svar för. Den används för att beräkna hur mycket uppmärksamhet varje token i indata bör få baserat på dess likhet med frågan. Varje token i sekvensen har sin egen query-vektor.
Key-vektor: Key-vektorn representerar informationen om varje token som hjälper till att avgöra dess relevans för frågan. Den används för att jämföra varje token med frågan och bestämma dess bidrag till den kontextuella representationen. Som med query-vektorn har varje token sin egen key-vektor.
Value-vektor: Value-vektorn innehåller själva informationen som modellen ska använda när den skapar den kontextuella representationen. När uppmärksamhetsvikterna har beräknats används value-vektorerna för att skapa den viktade summan av informationen från alla token i indata. Precis som med query- och key-vektorerna har varje token sin egen value-vektor.
Vektordata (eng: vector data): Data i form av vektorer, objekt som har både en storlek (eng: magnitude) och en riktning. I praktiska tillämpningar kan vektorer användas om en mängd olika typer av information beroende på sammanhanget.
Vektordatabas (eng: vector database): Databas där data är ordnade i vektorer.
Relaterade sökord: scaled dot-product attention, Pinecone, skalär, token.
Terminologi:
I beteendevetenskaperna har Kurt Lewin (1890-1947) använt vektorbegreppet i sin fältteori för att beteckna sådana krafter i en individs situation som medför en förändring till exempel i fråga om intressen, förhållningssätt, motiv, ambitioner, dominans och undergivenhet.
["Kurt Lewin","fältterori","transformermodeller","uppmärksamhetsmekanismer","uppmärksamhetsvikter","kontextuell representation","scaled dot-product attention","skalär","token","Databas","data","Pinecone"]