章鱼哥资源网,爱干净的章鱼哥.懒人资源吧,资源网,小刀娱乐网,小黑辅助网,资源分享,软件分享

Ollama本地大模型管理器(AI写的)

章鱼哥 无分类

用本地Qwen+Deepseek大模型写的,自己也修改了一部分
想用来测试一下离线模型的效率~~
主要用来主动提前加载大模型,以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型,以便快速释放显存
程序主要用于Ollama且基于默认的11434端口
其他大模型调试软件,或者非Ollama默认端口的,请忽略!!
使用时注意点:
1.需要Ollama主程序正常运行中;
2.预加载大模型后还需要在交互客户端选择预加载的模型名称;

重申:本程序只时起到将模型提前载入显存或卸载出显存而已!!!
考虑到已经是手动操作了,就直接默认是永久加载,再设闲置时效好像意义不大!!!

相关链接:

免责声明:

本站提供的资源,都来自网络,版权争议与本站无关,所有内容及软件的文章仅限用于学习和研究目的。不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,我们不保证内容的长久可用性,通过使用本站内容随之而来的风险与本站无关,您必须在下载后的24个小时之内,从您的电脑/手机中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。侵删请致信E-mail:lrkingcn@qq.com

评论列表
提交友情链接
×

友情链接提交

请先做上本站链接,审核后会通过的

章鱼哥资源网 - https://www.lrking.cn