Token'ları Anlamak: Yapay Zeka Modelleri Metninizi Gerçekte Nasıl “Okur”
17 Eylül 2026
Her büyük dil modelinin fiyatlandırması, bağlam penceresi ve hatta yazım veya matematik konusundaki bazı tuhaf davranışları tek bir kavrama dayanır: token. Token'lar kelime değildir, karakter değildir ve tam olarak hece de değildir — modele özgü bir sıkıştırma şemasıdır ve nasıl çalıştıklarını anlamak, aksi takdirde keyfi görünen şaşırtıcı miktarda yapay zeka davranışını açıklar.
Bir kelime değilse, bir token tam olarak nedir?
Bir token, bir metin parçasıdır — bazen tam bir yaygın kelime, bazen bir kelime parçası, bazen tek bir karakter — eğitim verisindeki en sık görülen metin parçalarını mümkün olduğunca verimli şekilde temsil edecek şekilde eğitilmiş bir token'laştırıcı tarafından belirlenir. “The” veya “cat” gibi yaygın İngilizce kelimeler genellikle tek bir token'dır; daha az yaygın veya bileşik kelimeler sıklıkla iki veya üç parçaya bölünür (örneğin “tokenization”, “token” + “ization” haline gelebilir). İngilizce için kabaca bir kural olarak, bir token yaygın biçimde yaklaşık 4 karakter veya kabaca bir kelimenin ¾'ü olarak tahmin edilir, ama bu modele göre değişir ve her zaman yalnızca bir yaklaşıklıktır.
Yapay zeka API fiyatlandırması neden kelime veya istek başına değil, token başına belirleniyor?
Çünkü kelimeler değil, token'lar modelin dahili olarak işlediği birimin tam olarak kendisidir — girilen ve üretilen her token hesaplama tüketir, bu yüzden faturalandırılacak en doğrudan ve adil birimdir. Token başına fiyatlandırma ayrıca sağlayıcıların girdi ile çıktı için farklı fiyat almasına da olanak tanır (üretim genellikle okumaktan daha fazla işlem gücü gerektirir); bu, çoğu yapay zeka API fiyatlandırmasının tek bir düz istek başına fiyat yerine ayrı bir girdi-token oranı ve çıktı-token oranı listelemesinin nedenidir.
Bazı diller neden cümle başına belirgin biçimde daha pahalıya mal oluyor?
Çoğu büyük token'laştırıcı İngilizce metnin ağırlıkta olduğu veri kümeleri üzerinde eğitildiği için, İngilizce kelimelerin tek, verimli token'lara eşlenme olasılığı orantısız derecede yüksektir. Farklı yazı sistemlerine veya morfolojiye sahip diller — birçok Doğu Asya dili veya kapsamlı kelime birleştirmeye sahip diller — genellikle daha az verimli token'laşır; İngilizce'de tek bir token'ın anlamına karşılık gelen şeyi temsil etmek için bazen iki, üç veya daha fazla token gerekebilir. Pratik etki: çevrilen aynı cümle, içeriğin gerçek karmaşıklığından değil, salt token'laştırıcının nasıl eğitildiğinin bir yan etkisi olarak, bir dilde diğerine göre anlamlı ölçüde daha fazla token'a (dolayısıyla API fiyatına) mal olabilir.
Bir modelin “bağlam penceresi” gerçekte neyi sınırlar?
Bağlam penceresi, bir modelin aynı anda dikkate alabileceği maksimum token sayısıdır — girdinizi (sistem istemi, konuşma geçmişi, sağlanan herhangi bir belge) artı ürettiği yanıtı birleştirir. Tek başına “ne kadar sorabilirsiniz” sınırı değildir; modelin o tek alışverişte okumak ve üretmek zorunda olduğu her şey için paylaşılan bir bütçedir. Uzun bir konuşma geçmişi veya büyük bir yapıştırılmış belge, model tek bir kelime yanıt üretmeden önce bağlam penceresinin çoğunu tüketebilir; bu, çok uzun konuşmaların bazen erken detayların izini kaybetmesinin nedenidir — bunlar basitçe token bütçesinden yaşlanarak çıkmıştır.