Skip to content

简介

LLMxRay 是一个免费的、本地优先的面板,连接运行在你自己机器上的 Ollama。你可以用它和任何已下载的模型对话,然后查看幕后发生的一切:每个 token 到达得有多快、模型可能在「想」什么、不同设置如何改变输出,以及更多。

无云端。无 API key。无费用。 一切都在你自己的硬件上运行。

这是给谁用的?

如果你是……LLMxRay 可以帮你……
好奇的初学者实时看着 AI 的回答成形,弄明白「温度」「token」到底是什么意思
学生 / 教师用可视化的方式探索模型行为 —— 非常适合 AI/ML 课程与演示
开发者调试提示词、对比模型、分析延迟、检查工具调用
研究者做受控实验:同一个提示词,不同设置,结果并排对照

界面导航

LLMxRay 的侧边栏有 12 个导航项,每一项对应一个主要功能。本指南按照它们在侧边栏中出现的顺序,每项一章:

  1. 对话诊断 —— 主对话界面,带流式输出与会话分析
  2. 对比 —— 模型与设置的并排对照
  3. 嵌入 —— 文本嵌入的可视化与相似度
  4. 知识库 —— 文档上传、切分与 RAG 检索
  5. 工具工坊 —— 可视化工具构建器,代码双向同步
  6. 中间填充(FIM) —— 面向支持 FIM 的模型的代码补全实验台
  7. 缓存实验室 —— 测量提示词为何未命中 KV 缓存,以及每轮为此付出的代价
  8. 协议观察台 —— 同一个提示词分别走原生、OpenAI 兼容和 Anthropic 兼容接口,对比同一个本地模型的表现
  9. AI 训练 —— 训练数据的整理与导出
  10. 模型 —— 模型浏览器与能力检测
  11. 基准测试 —— 基于 logprobs 的标准化模型评测
  12. 我的系统 —— 硬件检测与 Ollama 状态
  13. 设置 —— 连接、参数与偏好

其他元素

  • 顶栏 —— 显示当前页面标题、主题切换(深色 / 浅色),以及 Ollama 连接状态(绿色 = 已连接,红色 = 未连接)。
  • 反馈按钮 —— 位于侧边栏底部,点击后可直接提交反馈。

下一步

如果你还没有安装 LLMxRay,请前往安装页面。否则,从侧边栏任选一章开始探索。

Released under the Apache 2.0 License.