Compare commits
merge into: habsi:jmorganca/execstack
habsi:main
habsi:jessegross/revert
habsi:jessegross/memory
habsi:mxyng/cleanup
habsi:mxyng/gguf
habsi:parth/opt-in-error-context-window
habsi:brucemacd/cache-models
habsi:brucemacd/runner-completion
habsi:jmorganca/llama-update-6
habsi:brucemacd/benchmark-list
habsi:brucemacd/partial-read-caps
habsi:parth/deepseek-r1-tools
habsi:mxyng/omit-array
habsi:parth/tool-prefix-temp
habsi:brucemacd/runner-test
habsi:jmorganca/qwen25vl
habsi:brucemacd/model-forward-test-ext
habsi:parth/python-function-parsing
habsi:jmorganca/cuda-compression-none
habsi:drifkin/num-parallel
habsi:drifkin/chat-truncation-fix
habsi:jmorganca/sync
habsi:parth/python-tools-calling
habsi:drifkin/array-head-count
habsi:brucemacd/create-no-loop
habsi:parth/server-enable-content-stream-with-tools
habsi:qwen25omni
habsi:mxyng/v3
habsi:brucemacd/ropeconfig
habsi:jmorganca/silence-tokenizer
habsi:parth/sample-so-test
habsi:parth/sampling-structured-outputs
habsi:brucemacd/doc-go-engine
habsi:parth/constrained-sampling-json
habsi:jmorganca/mistral-wip
habsi:brucemacd/mistral-small-convert
habsi:parth/sample-unmarshal-json-for-params
habsi:brucemacd/jomorganca/mistral
habsi:pdevine/bfloat16
habsi:jmorganca/mistral
habsi:brucemacd/mistral
habsi:pdevine/logging
habsi:parth/sample-correctness-fix
habsi:parth/sample-fix-sorting
habsi:jmorgan/sample-fix-sorting-extras
habsi:jmorganca/temp-0-images
habsi:brucemacd/parallel-embed-models
habsi:brucemacd/shim-grammar
habsi:jmorganca/fix-gguf-error
habsi:bmizerany/nameswork
habsi:jmorganca/faster-releases
habsi:bmizerany/validatenames
habsi:brucemacd/err-no-vocab
habsi:brucemacd/rope-config
habsi:brucemacd/err-hint
habsi:brucemacd/qwen2_5
habsi:brucemacd/logprobs
habsi:brucemacd/new_runner_graph_bench
habsi:progress-flicker
habsi:brucemacd/forward-test
habsi:brucemacd/go_qwen2
habsi:pdevine/gemma2
habsi:jmorganca/add-missing-symlink-eval
habsi:mxyng/next-bert
habsi:mxyng/next-debug
habsi:parth/set-context-size-openai
habsi:brucemacd/next-bpe-bench
habsi:brucemacd/next-bpe-test
habsi:brucemacd/new_runner_e2e
habsi:brucemacd/new_runner_qwen2
habsi:pdevine/convert-cohere2
habsi:brucemacd/convert-cli
habsi:parth/log-probs
habsi:mxyng/next-mlx
habsi:mxyng/cmd-history
habsi:parth/templating
habsi:parth/tokenize-detokenize
habsi:brucemacd/check-key-register
habsi:bmizerany/grammar
habsi:jmorganca/vendor-081b29bd
habsi:mxyng/func-checks
habsi:jmorganca/fix-null-format
habsi:parth/fix-default-to-warn-json
habsi:jmorganca/qwen2vl
habsi:jmorganca/no-concat
habsi:parth/cmd-cleanup-SO
habsi:brucemacd/check-key-register-structured-err
habsi:parth/openai-stream-usage
habsi:parth/fix-referencing-so
habsi:stream-tools-stop
habsi:jmorganca/degin-1
habsi:brucemacd/install-path-clean
habsi:brucemacd/push-name-validation
habsi:brucemacd/browser-key-register
habsi:jmorganca/openai-fix-first-message
habsi:jmorganca/fix-proxy
habsi:jessegross/sample
habsi:parth/disallow-streaming-tools
habsi:dhiltgen/remove_submodule
habsi:jmorganca/ga
habsi:jmorganca/mllama
habsi:pdevine/newlines
habsi:mxyng/environ-2
habsi:pdevine/geems-2b
habsi:jmorganca/llama-bump
habsi:mxyng/modelname-7
habsi:mxyng/gin-slog
habsi:mxyng/modelname-6
habsi:jyan/convert-prog
habsi:jyan/quant5
habsi:paligemma-support
habsi:pdevine/import-docs
habsi:jmorganca/openai-context
habsi:jyan/paligemma
habsi:jyan/p2
habsi:jyan/palitest
habsi:bmizerany/embedspeedup
habsi:jmorganca/llama-vit
habsi:brucemacd/allow-ollama
habsi:royh/ep-methods
habsi:royh/whisper
habsi:mxyng/api-models
habsi:mxyng/fix-memory
habsi:jyan/q4_4/8
habsi:jyan/ollama-v
habsi:royh/stream-tools
habsi:roy-embed-parallel
habsi:bmizerany/hrm
habsi:revert-5963-revert-5924-mxyng/llama3.1-rope
habsi:royh/embed-viz
habsi:jyan/local2
habsi:jyan/auth
habsi:jyan/local
habsi:jyan/parse-temp
habsi:jmorganca/template-mistral
habsi:jyan/reord-g
habsi:royh-openai-suffixdocs
habsi:royh-imgembed
habsi:royh-embed-parallel
habsi:jyan/quant4
habsi:royh-precision
habsi:jyan/progress
habsi:pdevine/fix-template
habsi:jyan/quant3
habsi:pdevine/ggla
habsi:mxyng/update-registry-domain
habsi:jmorganca/ggml-static
habsi:mxyng/create-context
habsi:jyan/v0.146
habsi:mxyng/layers-from-files
habsi:build_dist
habsi:bmizerany/noseek
habsi:royh-ls
habsi:royh-name
habsi:timeout
habsi:mxyng/server-timestamp
habsi:bmizerany/nosillyggufslurps
habsi:royh-params
habsi:jmorganca/llama-cpp-7c26775
habsi:royh-openai-delete
habsi:royh-show-rigid
habsi:jmorganca/enable-fa
habsi:jmorganca/no-error-template
habsi:jyan/format
habsi:royh-testdelete
habsi:bmizerany/fastverify
habsi:language_support
habsi:pdevine/ps-glitches
habsi:brucemacd/tokenize
habsi:bruce/iq-quants
habsi:bmizerany/filepathwithcoloninhost
habsi:mxyng/split-bin
habsi:bmizerany/client-registry
habsi:jmorganca/if-none-match
habsi:native
habsi:jmorganca/native
habsi:jmorganca/batch-embeddings
habsi:jmorganca/initcmake
habsi:jmorganca/mm
habsi:pdevine/showggmlinfo
habsi:modenameenforcealphanum
habsi:bmizerany/modenameenforcealphanum
habsi:jmorganca/done-reason
habsi:jmorganca/llama-cpp-8960fe8
habsi:ollama.com
habsi:bmizerany/filepathnobuild
habsi:bmizerany/types/model/defaultfix
habsi:rmdisplaylong
habsi:nogogen
habsi:bmizerany/x
habsi:modelfile-readme
habsi:bmizerany/replacecolon
habsi:jmorganca/limit
habsi:jmorganca/execstack
habsi:jmorganca/replace-assets
habsi:mxyng/tune-concurrency
habsi:jmorganca/testing
habsi:whitespace-detection
habsi:jmorganca/options
habsi:upgrade-all
habsi:scratch
habsi:cuda-search
habsi:mattw/airenamer
habsi:mattw/allmodelsonhuggingface
habsi:mattw/quantcontext
habsi:mattw/whatneedstorun
habsi:brucemacd/llama-mem-calc
habsi:mattw/faq-context
habsi:mattw/communitylinks
habsi:mattw/noprune
habsi:mattw/python-functioncalling
habsi:rename
habsi:mxyng/install
habsi:pulse
habsi:remove-first
habsi:editor
habsi:mattw/selfqueryingretrieval
habsi:cgo
habsi:mattw/howtoquant
habsi:api
habsi:matt/streamingapi
habsi:format-config
habsi:mxyng/extra-args
habsi:shell
habsi:update-nous-hermes
habsi:cp-model
habsi:upload-progress
habsi:fix-unknown-model
habsi:fix-model-names
habsi:delete-fix
habsi:insecure-registry
habsi:ls
habsi:deletemodels
habsi:progressbar
habsi:readme-updates
habsi:license-layers
habsi:skip-list
habsi:list-models
habsi:modelpath
habsi:matt/examplemodelfiles
habsi:distribution
habsi:go-opts
habsi:v0.9.4
habsi:v0.9.4-rc3
habsi:v0.9.4-rc4
habsi:v0.9.4-rc5
habsi:v0.9.4-rc6
habsi:v0.9.4-rc1
habsi:v0.9.4-rc2
habsi:v0.9.4-rc0
habsi:v0.9.3
habsi:v0.9.3-rc5
habsi:v0.9.4-citest0
habsi:v0.9.3-rc4
habsi:v0.9.3-rc3
habsi:v0.9.3-rc2
habsi:v0.9.3-rc1
habsi:v0.9.3-rc0
habsi:v0.9.2
habsi:v0.9.1
habsi:v0.9.1-rc1
habsi:v0.9.1-rc0
habsi:v0.9.0
habsi:v0.9.0-rc0
habsi:v0.8.0
habsi:v0.8.0-rc0
habsi:v0.7.1-rc2
habsi:v0.7.1
habsi:v0.7.1-rc1
habsi:v0.7.1-rc0
habsi:v0.7.0
habsi:v0.7.0-rc1
habsi:v0.7.0-rc0
habsi:v0.6.8-rc0
habsi:v0.6.8
habsi:v0.6.7
habsi:v0.6.7-rc2
habsi:v0.6.7-rc1
habsi:v0.6.7-rc0
habsi:v0.6.6
habsi:v0.6.6-rc2
habsi:v0.6.6-rc1
habsi:v0.6.6-rc0
habsi:v0.6.5
habsi:v0.6.5-rc1
habsi:v0.6.5-rc0
habsi:v0.6.4
habsi:v0.6.4-rc0
habsi:v0.6.3
habsi:v0.6.3-rc1
habsi:v0.6.3-rc0
habsi:v0.6.2
habsi:v0.6.2-rc0
habsi:v0.6.1
habsi:v0.6.1-rc0
habsi:v0.6.0
habsi:v0.6.0-rc0
habsi:v0.5.13
habsi:v0.5.13-rc6
habsi:v0.5.13-rc5
habsi:v0.5.13-rc4
habsi:v0.5.13-rc3
habsi:v0.5.13-rc2
habsi:v0.5.13-rc1
habsi:v0.5.13-rc0
habsi:v0.5.12
habsi:v0.5.12-rc1
habsi:v0.5.12-rc0
habsi:v0.5.11
habsi:v0.5.10
habsi:v0.5.9
habsi:v0.5.9-rc0
habsi:v0.5.8-rc13
habsi:v0.5.8
habsi:v0.5.8-rc12
habsi:v0.5.8-rc11
habsi:v0.5.8-rc10
habsi:v0.5.8-rc9
habsi:v0.5.8-rc8
habsi:v0.5.8-rc7
habsi:v0.5.8-rc6
habsi:v0.5.8-rc5
habsi:v0.5.8-rc4
habsi:v0.5.8-rc3
habsi:v0.5.8-rc2
habsi:v0.5.8-rc1
habsi:v0.5.8-rc0
habsi:v0.5.7
habsi:v0.5.6
habsi:v0.5.5
habsi:v0.5.5-rc0
habsi:v0.5.4
habsi:v0.5.3
habsi:v0.5.3-rc0
habsi:v0.5.2
habsi:v0.5.2-rc3
habsi:v0.5.2-rc2
habsi:v0.5.2-rc1
habsi:v0.5.2-rc0
habsi:v0.5.1
habsi:v0.5.0
habsi:v0.5.0-rc1
habsi:v0.4.8-rc0
habsi:v0.4.7
habsi:v0.4.6
habsi:v0.4.5
habsi:v0.4.4
habsi:v0.4.3
habsi:v0.4.3-rc0
habsi:v0.4.2
habsi:v0.4.2-rc1
habsi:v0.4.2-rc0
habsi:v0.4.1
habsi:v0.4.1-rc0
habsi:v0.4.0
habsi:v0.4.0-rc8
habsi:v0.4.0-rc7
habsi:v0.4.0-rc6
habsi:v0.4.0-rc5
habsi:v0.4.0-rc4
habsi:v0.4.0-rc3
habsi:v0.4.0-rc2
habsi:v0.4.0-rc1
habsi:v0.4.0-rc0
habsi:v0.4.0-ci3
habsi:v0.3.14
habsi:v0.3.14-rc0
habsi:v0.3.13
habsi:v0.3.12
habsi:v0.3.12-rc5
habsi:v0.3.12-rc4
habsi:v0.3.12-rc3
habsi:v0.3.12-rc2
habsi:v0.3.12-rc1
habsi:v0.3.11
habsi:v0.3.11-rc4
habsi:v0.3.11-rc3
habsi:v0.3.11-rc2
habsi:v0.3.11-rc1
habsi:v0.3.10
habsi:v0.3.10-rc1
habsi:v0.3.9
habsi:v0.3.8
habsi:v0.3.7
habsi:v0.3.7-rc6
habsi:v0.3.7-rc5
habsi:v0.3.7-rc4
habsi:v0.3.7-rc3
habsi:v0.3.7-rc2
habsi:v0.3.7-rc1
habsi:v0.3.6
habsi:v0.3.5
habsi:v0.3.4
habsi:v0.3.3
habsi:v0.3.2
habsi:v0.3.1
habsi:v0.3.0
habsi:v0.2.8
habsi:v0.2.8-rc2
habsi:v0.2.8-rc1
habsi:v0.2.7
habsi:v0.2.6
habsi:v0.2.5
habsi:v0.2.4
habsi:v0.2.3
habsi:v0.2.2
habsi:v0.2.2-rc2
habsi:v0.2.2-rc1
habsi:v0.2.1
habsi:v0.2.0
habsi:v0.1.49-rc14
habsi:v0.1.49-rc13
habsi:v0.1.49-rc12
habsi:v0.1.49-rc11
habsi:v0.1.49-rc10
habsi:v0.1.49-rc9
habsi:v0.1.49-rc8
habsi:v0.1.49-rc7
habsi:v0.1.49-rc6
habsi:v0.1.49-rc4
habsi:v0.1.49-rc5
habsi:v0.1.49-rc3
habsi:v0.1.49-rc2
habsi:v0.1.49-rc1
habsi:v0.1.48
habsi:v0.1.47
habsi:v0.1.46
habsi:v0.1.45-rc5
habsi:v0.1.45
habsi:v0.1.45-rc4
habsi:v0.1.45-rc3
habsi:v0.1.45-rc2
habsi:v0.1.45-rc1
habsi:v0.1.44
habsi:v0.1.43
habsi:v0.1.42
habsi:v0.1.41
habsi:v0.1.40
habsi:v0.1.40-rc1
habsi:v0.1.39
habsi:v0.1.39-rc2
habsi:v0.1.39-rc1
habsi:v0.1.38
habsi:v0.1.37
habsi:v0.1.36
habsi:v0.1.35
habsi:v0.1.35-rc1
habsi:v0.1.34
habsi:v0.1.34-rc1
habsi:v0.1.33
habsi:v0.1.33-rc7
habsi:v0.1.33-rc6
habsi:v0.1.33-rc5
habsi:v0.1.33-rc4
habsi:v0.1.33-rc3
habsi:v0.1.33-rc2
habsi:v0.1.33-rc1
habsi:v0.1.32
habsi:v0.1.32-rc2
habsi:v0.1.32-rc1
habsi:v0.1.31
habsi:v0.1.30
habsi:v0.1.29
habsi:v0.1.28
habsi:v0.1.27
habsi:v0.1.26
habsi:v0.1.25
habsi:v0.1.24
habsi:v0.1.23
habsi:v0.1.22
habsi:v0.1.21
habsi:v0.1.20
habsi:v0.1.19
habsi:v0.1.18
habsi:v0.1.17
habsi:v0.1.16
habsi:v0.1.15
habsi:v0.1.14
habsi:v0.1.13
habsi:v0.1.12
habsi:v0.1.11
habsi:v0.1.10
habsi:v0.1.9
habsi:v0.1.8
habsi:v0.1.7
habsi:v0.1.6
habsi:v0.1.5
habsi:v0.1.4
habsi:v0.1.3
habsi:v0.1.2
habsi:v0.1.1
habsi:v0.1.0
habsi:v0.0.21
habsi:v0.0.20
habsi:v0.0.19
habsi:v0.0.18
habsi:v0.0.17
habsi:v0.0.16
habsi:v0.0.15
habsi:v0.0.14
habsi:v0.0.13
habsi:v0.0.12
habsi:v0.0.11
habsi:v0.0.10
habsi:v0.0.9
habsi:v0.0.8
habsi:v0.0.7
habsi:v0.0.6
habsi:v0.0.5
habsi:v0.0.4
habsi:v0.0.3
habsi:v0.0.2
habsi:v0.0.1
...
pull from: habsi:mattw/whatneedstorun
habsi:main
habsi:jessegross/revert
habsi:jessegross/memory
habsi:mxyng/cleanup
habsi:mxyng/gguf
habsi:parth/opt-in-error-context-window
habsi:brucemacd/cache-models
habsi:brucemacd/runner-completion
habsi:jmorganca/llama-update-6
habsi:brucemacd/benchmark-list
habsi:brucemacd/partial-read-caps
habsi:parth/deepseek-r1-tools
habsi:mxyng/omit-array
habsi:parth/tool-prefix-temp
habsi:brucemacd/runner-test
habsi:jmorganca/qwen25vl
habsi:brucemacd/model-forward-test-ext
habsi:parth/python-function-parsing
habsi:jmorganca/cuda-compression-none
habsi:drifkin/num-parallel
habsi:drifkin/chat-truncation-fix
habsi:jmorganca/sync
habsi:parth/python-tools-calling
habsi:drifkin/array-head-count
habsi:brucemacd/create-no-loop
habsi:parth/server-enable-content-stream-with-tools
habsi:qwen25omni
habsi:mxyng/v3
habsi:brucemacd/ropeconfig
habsi:jmorganca/silence-tokenizer
habsi:parth/sample-so-test
habsi:parth/sampling-structured-outputs
habsi:brucemacd/doc-go-engine
habsi:parth/constrained-sampling-json
habsi:jmorganca/mistral-wip
habsi:brucemacd/mistral-small-convert
habsi:parth/sample-unmarshal-json-for-params
habsi:brucemacd/jomorganca/mistral
habsi:pdevine/bfloat16
habsi:jmorganca/mistral
habsi:brucemacd/mistral
habsi:pdevine/logging
habsi:parth/sample-correctness-fix
habsi:parth/sample-fix-sorting
habsi:jmorgan/sample-fix-sorting-extras
habsi:jmorganca/temp-0-images
habsi:brucemacd/parallel-embed-models
habsi:brucemacd/shim-grammar
habsi:jmorganca/fix-gguf-error
habsi:bmizerany/nameswork
habsi:jmorganca/faster-releases
habsi:bmizerany/validatenames
habsi:brucemacd/err-no-vocab
habsi:brucemacd/rope-config
habsi:brucemacd/err-hint
habsi:brucemacd/qwen2_5
habsi:brucemacd/logprobs
habsi:brucemacd/new_runner_graph_bench
habsi:progress-flicker
habsi:brucemacd/forward-test
habsi:brucemacd/go_qwen2
habsi:pdevine/gemma2
habsi:jmorganca/add-missing-symlink-eval
habsi:mxyng/next-bert
habsi:mxyng/next-debug
habsi:parth/set-context-size-openai
habsi:brucemacd/next-bpe-bench
habsi:brucemacd/next-bpe-test
habsi:brucemacd/new_runner_e2e
habsi:brucemacd/new_runner_qwen2
habsi:pdevine/convert-cohere2
habsi:brucemacd/convert-cli
habsi:parth/log-probs
habsi:mxyng/next-mlx
habsi:mxyng/cmd-history
habsi:parth/templating
habsi:parth/tokenize-detokenize
habsi:brucemacd/check-key-register
habsi:bmizerany/grammar
habsi:jmorganca/vendor-081b29bd
habsi:mxyng/func-checks
habsi:jmorganca/fix-null-format
habsi:parth/fix-default-to-warn-json
habsi:jmorganca/qwen2vl
habsi:jmorganca/no-concat
habsi:parth/cmd-cleanup-SO
habsi:brucemacd/check-key-register-structured-err
habsi:parth/openai-stream-usage
habsi:parth/fix-referencing-so
habsi:stream-tools-stop
habsi:jmorganca/degin-1
habsi:brucemacd/install-path-clean
habsi:brucemacd/push-name-validation
habsi:brucemacd/browser-key-register
habsi:jmorganca/openai-fix-first-message
habsi:jmorganca/fix-proxy
habsi:jessegross/sample
habsi:parth/disallow-streaming-tools
habsi:dhiltgen/remove_submodule
habsi:jmorganca/ga
habsi:jmorganca/mllama
habsi:pdevine/newlines
habsi:mxyng/environ-2
habsi:pdevine/geems-2b
habsi:jmorganca/llama-bump
habsi:mxyng/modelname-7
habsi:mxyng/gin-slog
habsi:mxyng/modelname-6
habsi:jyan/convert-prog
habsi:jyan/quant5
habsi:paligemma-support
habsi:pdevine/import-docs
habsi:jmorganca/openai-context
habsi:jyan/paligemma
habsi:jyan/p2
habsi:jyan/palitest
habsi:bmizerany/embedspeedup
habsi:jmorganca/llama-vit
habsi:brucemacd/allow-ollama
habsi:royh/ep-methods
habsi:royh/whisper
habsi:mxyng/api-models
habsi:mxyng/fix-memory
habsi:jyan/q4_4/8
habsi:jyan/ollama-v
habsi:royh/stream-tools
habsi:roy-embed-parallel
habsi:bmizerany/hrm
habsi:revert-5963-revert-5924-mxyng/llama3.1-rope
habsi:royh/embed-viz
habsi:jyan/local2
habsi:jyan/auth
habsi:jyan/local
habsi:jyan/parse-temp
habsi:jmorganca/template-mistral
habsi:jyan/reord-g
habsi:royh-openai-suffixdocs
habsi:royh-imgembed
habsi:royh-embed-parallel
habsi:jyan/quant4
habsi:royh-precision
habsi:jyan/progress
habsi:pdevine/fix-template
habsi:jyan/quant3
habsi:pdevine/ggla
habsi:mxyng/update-registry-domain
habsi:jmorganca/ggml-static
habsi:mxyng/create-context
habsi:jyan/v0.146
habsi:mxyng/layers-from-files
habsi:build_dist
habsi:bmizerany/noseek
habsi:royh-ls
habsi:royh-name
habsi:timeout
habsi:mxyng/server-timestamp
habsi:bmizerany/nosillyggufslurps
habsi:royh-params
habsi:jmorganca/llama-cpp-7c26775
habsi:royh-openai-delete
habsi:royh-show-rigid
habsi:jmorganca/enable-fa
habsi:jmorganca/no-error-template
habsi:jyan/format
habsi:royh-testdelete
habsi:bmizerany/fastverify
habsi:language_support
habsi:pdevine/ps-glitches
habsi:brucemacd/tokenize
habsi:bruce/iq-quants
habsi:bmizerany/filepathwithcoloninhost
habsi:mxyng/split-bin
habsi:bmizerany/client-registry
habsi:jmorganca/if-none-match
habsi:native
habsi:jmorganca/native
habsi:jmorganca/batch-embeddings
habsi:jmorganca/initcmake
habsi:jmorganca/mm
habsi:pdevine/showggmlinfo
habsi:modenameenforcealphanum
habsi:bmizerany/modenameenforcealphanum
habsi:jmorganca/done-reason
habsi:jmorganca/llama-cpp-8960fe8
habsi:ollama.com
habsi:bmizerany/filepathnobuild
habsi:bmizerany/types/model/defaultfix
habsi:rmdisplaylong
habsi:nogogen
habsi:bmizerany/x
habsi:modelfile-readme
habsi:bmizerany/replacecolon
habsi:jmorganca/limit
habsi:jmorganca/execstack
habsi:jmorganca/replace-assets
habsi:mxyng/tune-concurrency
habsi:jmorganca/testing
habsi:whitespace-detection
habsi:jmorganca/options
habsi:upgrade-all
habsi:scratch
habsi:cuda-search
habsi:mattw/airenamer
habsi:mattw/allmodelsonhuggingface
habsi:mattw/quantcontext
habsi:mattw/whatneedstorun
habsi:brucemacd/llama-mem-calc
habsi:mattw/faq-context
habsi:mattw/communitylinks
habsi:mattw/noprune
habsi:mattw/python-functioncalling
habsi:rename
habsi:mxyng/install
habsi:pulse
habsi:remove-first
habsi:editor
habsi:mattw/selfqueryingretrieval
habsi:cgo
habsi:mattw/howtoquant
habsi:api
habsi:matt/streamingapi
habsi:format-config
habsi:mxyng/extra-args
habsi:shell
habsi:update-nous-hermes
habsi:cp-model
habsi:upload-progress
habsi:fix-unknown-model
habsi:fix-model-names
habsi:delete-fix
habsi:insecure-registry
habsi:ls
habsi:deletemodels
habsi:progressbar
habsi:readme-updates
habsi:license-layers
habsi:skip-list
habsi:list-models
habsi:modelpath
habsi:matt/examplemodelfiles
habsi:distribution
habsi:go-opts
habsi:v0.9.4
habsi:v0.9.4-rc3
habsi:v0.9.4-rc4
habsi:v0.9.4-rc5
habsi:v0.9.4-rc6
habsi:v0.9.4-rc1
habsi:v0.9.4-rc2
habsi:v0.9.4-rc0
habsi:v0.9.3
habsi:v0.9.3-rc5
habsi:v0.9.4-citest0
habsi:v0.9.3-rc4
habsi:v0.9.3-rc3
habsi:v0.9.3-rc2
habsi:v0.9.3-rc1
habsi:v0.9.3-rc0
habsi:v0.9.2
habsi:v0.9.1
habsi:v0.9.1-rc1
habsi:v0.9.1-rc0
habsi:v0.9.0
habsi:v0.9.0-rc0
habsi:v0.8.0
habsi:v0.8.0-rc0
habsi:v0.7.1-rc2
habsi:v0.7.1
habsi:v0.7.1-rc1
habsi:v0.7.1-rc0
habsi:v0.7.0
habsi:v0.7.0-rc1
habsi:v0.7.0-rc0
habsi:v0.6.8-rc0
habsi:v0.6.8
habsi:v0.6.7
habsi:v0.6.7-rc2
habsi:v0.6.7-rc1
habsi:v0.6.7-rc0
habsi:v0.6.6
habsi:v0.6.6-rc2
habsi:v0.6.6-rc1
habsi:v0.6.6-rc0
habsi:v0.6.5
habsi:v0.6.5-rc1
habsi:v0.6.5-rc0
habsi:v0.6.4
habsi:v0.6.4-rc0
habsi:v0.6.3
habsi:v0.6.3-rc1
habsi:v0.6.3-rc0
habsi:v0.6.2
habsi:v0.6.2-rc0
habsi:v0.6.1
habsi:v0.6.1-rc0
habsi:v0.6.0
habsi:v0.6.0-rc0
habsi:v0.5.13
habsi:v0.5.13-rc6
habsi:v0.5.13-rc5
habsi:v0.5.13-rc4
habsi:v0.5.13-rc3
habsi:v0.5.13-rc2
habsi:v0.5.13-rc1
habsi:v0.5.13-rc0
habsi:v0.5.12
habsi:v0.5.12-rc1
habsi:v0.5.12-rc0
habsi:v0.5.11
habsi:v0.5.10
habsi:v0.5.9
habsi:v0.5.9-rc0
habsi:v0.5.8-rc13
habsi:v0.5.8
habsi:v0.5.8-rc12
habsi:v0.5.8-rc11
habsi:v0.5.8-rc10
habsi:v0.5.8-rc9
habsi:v0.5.8-rc8
habsi:v0.5.8-rc7
habsi:v0.5.8-rc6
habsi:v0.5.8-rc5
habsi:v0.5.8-rc4
habsi:v0.5.8-rc3
habsi:v0.5.8-rc2
habsi:v0.5.8-rc1
habsi:v0.5.8-rc0
habsi:v0.5.7
habsi:v0.5.6
habsi:v0.5.5
habsi:v0.5.5-rc0
habsi:v0.5.4
habsi:v0.5.3
habsi:v0.5.3-rc0
habsi:v0.5.2
habsi:v0.5.2-rc3
habsi:v0.5.2-rc2
habsi:v0.5.2-rc1
habsi:v0.5.2-rc0
habsi:v0.5.1
habsi:v0.5.0
habsi:v0.5.0-rc1
habsi:v0.4.8-rc0
habsi:v0.4.7
habsi:v0.4.6
habsi:v0.4.5
habsi:v0.4.4
habsi:v0.4.3
habsi:v0.4.3-rc0
habsi:v0.4.2
habsi:v0.4.2-rc1
habsi:v0.4.2-rc0
habsi:v0.4.1
habsi:v0.4.1-rc0
habsi:v0.4.0
habsi:v0.4.0-rc8
habsi:v0.4.0-rc7
habsi:v0.4.0-rc6
habsi:v0.4.0-rc5
habsi:v0.4.0-rc4
habsi:v0.4.0-rc3
habsi:v0.4.0-rc2
habsi:v0.4.0-rc1
habsi:v0.4.0-rc0
habsi:v0.4.0-ci3
habsi:v0.3.14
habsi:v0.3.14-rc0
habsi:v0.3.13
habsi:v0.3.12
habsi:v0.3.12-rc5
habsi:v0.3.12-rc4
habsi:v0.3.12-rc3
habsi:v0.3.12-rc2
habsi:v0.3.12-rc1
habsi:v0.3.11
habsi:v0.3.11-rc4
habsi:v0.3.11-rc3
habsi:v0.3.11-rc2
habsi:v0.3.11-rc1
habsi:v0.3.10
habsi:v0.3.10-rc1
habsi:v0.3.9
habsi:v0.3.8
habsi:v0.3.7
habsi:v0.3.7-rc6
habsi:v0.3.7-rc5
habsi:v0.3.7-rc4
habsi:v0.3.7-rc3
habsi:v0.3.7-rc2
habsi:v0.3.7-rc1
habsi:v0.3.6
habsi:v0.3.5
habsi:v0.3.4
habsi:v0.3.3
habsi:v0.3.2
habsi:v0.3.1
habsi:v0.3.0
habsi:v0.2.8
habsi:v0.2.8-rc2
habsi:v0.2.8-rc1
habsi:v0.2.7
habsi:v0.2.6
habsi:v0.2.5
habsi:v0.2.4
habsi:v0.2.3
habsi:v0.2.2
habsi:v0.2.2-rc2
habsi:v0.2.2-rc1
habsi:v0.2.1
habsi:v0.2.0
habsi:v0.1.49-rc14
habsi:v0.1.49-rc13
habsi:v0.1.49-rc12
habsi:v0.1.49-rc11
habsi:v0.1.49-rc10
habsi:v0.1.49-rc9
habsi:v0.1.49-rc8
habsi:v0.1.49-rc7
habsi:v0.1.49-rc6
habsi:v0.1.49-rc4
habsi:v0.1.49-rc5
habsi:v0.1.49-rc3
habsi:v0.1.49-rc2
habsi:v0.1.49-rc1
habsi:v0.1.48
habsi:v0.1.47
habsi:v0.1.46
habsi:v0.1.45-rc5
habsi:v0.1.45
habsi:v0.1.45-rc4
habsi:v0.1.45-rc3
habsi:v0.1.45-rc2
habsi:v0.1.45-rc1
habsi:v0.1.44
habsi:v0.1.43
habsi:v0.1.42
habsi:v0.1.41
habsi:v0.1.40
habsi:v0.1.40-rc1
habsi:v0.1.39
habsi:v0.1.39-rc2
habsi:v0.1.39-rc1
habsi:v0.1.38
habsi:v0.1.37
habsi:v0.1.36
habsi:v0.1.35
habsi:v0.1.35-rc1
habsi:v0.1.34
habsi:v0.1.34-rc1
habsi:v0.1.33
habsi:v0.1.33-rc7
habsi:v0.1.33-rc6
habsi:v0.1.33-rc5
habsi:v0.1.33-rc4
habsi:v0.1.33-rc3
habsi:v0.1.33-rc2
habsi:v0.1.33-rc1
habsi:v0.1.32
habsi:v0.1.32-rc2
habsi:v0.1.32-rc1
habsi:v0.1.31
habsi:v0.1.30
habsi:v0.1.29
habsi:v0.1.28
habsi:v0.1.27
habsi:v0.1.26
habsi:v0.1.25
habsi:v0.1.24
habsi:v0.1.23
habsi:v0.1.22
habsi:v0.1.21
habsi:v0.1.20
habsi:v0.1.19
habsi:v0.1.18
habsi:v0.1.17
habsi:v0.1.16
habsi:v0.1.15
habsi:v0.1.14
habsi:v0.1.13
habsi:v0.1.12
habsi:v0.1.11
habsi:v0.1.10
habsi:v0.1.9
habsi:v0.1.8
habsi:v0.1.7
habsi:v0.1.6
habsi:v0.1.5
habsi:v0.1.4
habsi:v0.1.3
habsi:v0.1.2
habsi:v0.1.1
habsi:v0.1.0
habsi:v0.0.21
habsi:v0.0.20
habsi:v0.0.19
habsi:v0.0.18
habsi:v0.0.17
habsi:v0.0.16
habsi:v0.0.15
habsi:v0.0.14
habsi:v0.0.13
habsi:v0.0.12
habsi:v0.0.11
habsi:v0.0.10
habsi:v0.0.9
habsi:v0.0.8
habsi:v0.0.7
habsi:v0.0.6
habsi:v0.0.5
habsi:v0.0.4
habsi:v0.0.3
habsi:v0.0.2
habsi:v0.0.1
1 Commits
jmorganca/
...
mattw/what
| Author | SHA1 | Message | Date | |
|---|---|---|---|---|
| 69a1ce5527 |
components of ollama faq. what is serve
Signed-off-by: Matt Williams <m@technovangelist.com> |
1 changed files with 6 additions and 0 deletions
|
|
@ -8,6 +8,12 @@ To upgrade Ollama, run the installation process again. On the Mac, click the Oll
|
|||
|
||||
Review the [Troubleshooting](./troubleshooting.md) docs for more about using logs.
|
||||
|
||||
## What are the components of Ollama that need to be running to work with the CLI, the API, and 3rd party tools?
|
||||
|
||||
At the heart of Ollama there are two main components: the server and the client. Even if everything is running on a single machine, there is a server that is running as a service, or background process, and there is some sort of client. Often that is the CLI. For instance, `ollama run llama2` is the command to start the CLI. You will often see this referred to as the REPL, a tool where you can interactively work with Ollama. You can run the server using the command `ollama serve`, but we recommend letting the service run instead. The Ollama installer script for Linux will add a systemd service to your machine that runs `ollama serve` as the user, `ollama`. On macOS, running `ollama` will start the Ollama Menu Bar app which is running the service.
|
||||
|
||||
The Ollama service is what actually loads the model and processes your requests. It also serves the API that all clients use, including our REPL and any 3rd party tools. There are some tools that require adding some environment variables to make the service more accessible in different ways. You can learn more about configuring those below.
|
||||
|
||||
## How do I use Ollama server environment variables on Mac
|
||||
|
||||
On macOS, Ollama runs in the background and is managed by the menubar app. If adding environment variables, Ollama will need to be run manually.
|
||||
|
|
|
|||
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.