diff --git a/llama_cpp/llama_cpp.py b/llama_cpp/llama_cpp.py index da2a7f3..2724edd 100644 --- a/llama_cpp/llama_cpp.py +++ b/llama_cpp/llama_cpp.py @@ -139,9 +139,11 @@ llama_seq_id = c_int32 # enum llama_vocab_type { # LLAMA_VOCAB_TYPE_SPM = 0, // SentencePiece # LLAMA_VOCAB_TYPE_BPE = 1, // Byte Pair Encoding +# LLAMA_VOCAB_TYPE_WPM = 2, // WordPiece # }; LLAMA_VOCAB_TYPE_SPM = 0 LLAMA_VOCAB_TYPE_BPE = 1 +LLAMA_VOCAB_TYPE_WPM = 2 # enum llama_token_type { diff --git a/vendor/llama.cpp b/vendor/llama.cpp index 97a3365..3bdc4cd 160000 --- a/vendor/llama.cpp +++ b/vendor/llama.cpp @@ -1 +1 @@ -Subproject commit 97a336507ed9b971d72262bec7e2b8b7016a054a +Subproject commit 3bdc4cd0f595a6096cca4a64aa75ffa8a3503465