Плагин dsh-vision-router для DeepSeek Harness

Зрение для текстовых моделей: бесплатная цепочка vision-моделей без ключа и 14 инструментов — Q&A, поиск элементов, кроп, pixel diff, OCR, SVG-трассировка.

★ 1 116 звёзды репозитория ↓ 34 242 за 30 дней v2.2.1 npm категория: Зрение и мультимодальность

Установка

Команда из каталога ставит плагин в профиль web — тот, с которым работает веб-интерфейс DeepSeek Harness. Нужен установленный dsh.

npm $ dsh plugin --profile web add dsh-vision-router

Вторая форма — из GitHub (исходники):

github $ dsh plugin --profile web add github:ysr666/dsh-vision-router

Установка из GitHub тянет исходники и на первом запуске просит разрешить сборку пакета; из npm приходит уже собранный код. Подробно: как установить плагин DeepSeek Harness.

О плагине

Плагин добавляет «глаза» текстовым моделям в DeepSeek Harness: DeepSeek остаётся «мозгом» диалога, а картинки на ходу передаются vision-модели, и разбор изображения становится обычным вызовом инструмента. В отличие от плагинов-«описателей», которые один раз превращают картинку в текст, здесь агент работает с изображением многошагово: находит элемент, вырезает, сравнивает попиксельно, правит вёрстку и снимает скриншот заново. Из коробки всё бесплатно — встроена анонимная цепочка из пяти моделей на OVHcloud без регистрации и ключа.

Что умеет:

  • vision_describe — вопросы по картинке, сравнение нескольких изображений, структурированный JSON-ответ;
  • vision_ground и vision_detect — координаты нужного элемента или нумерованный список всех кнопок, полей и ссылок в пикселях оригинала;
  • vision_pixel_diff и vision_html_screenshot — цикл «эталон → скриншот → попиксельное сравнение → правка», пока расхождение не сойдётся;
  • vision_ocr и vision_long_screenshot_ocr — распознавание текста локальным tesseract (китайский и английский) с откатом на vision-модель;
  • vision_crop, vision_colors, vision_trace (SVG через potrace), vision_extract_foreground — кроп, палитра, векторизация, вырезание фона;
  • кеш ответов по хешу изображения: в последующих текстовых ходах модель «помнит» картинку без повторных вызовов;
  • цепочка провайдеров с классификацией ошибок: свои модели, локальные Ollama и LM Studio, свои HTTP-эндпоинты и в конце бесплатный фолбэк.

Установка: dsh plugin --profile web add dsh-vision-router; Python не нужен — обработка идёт на sharp, potrace, tesseract и системном Chrome. В диалоге нужно явно включить переключатель «Vision» рядом с полем ввода: вставка картинки сама по себе режим не включает. Свои vision-модели и бенчмарки настраиваются в «Settings → Vision Router»; README приводит таблицу бесплатных каналов (OVHcloud с ключом, Zhipu, DashScope, Groq, Google AI Studio, OpenRouter и другие).

На что обратить внимание: анонимный фолбэк ограничен двумя запросами в минуту на IP для каждой модели; захват экрана vision_screenshot выключен по умолчанию и требует явного включения.

Безопасность. Плагин выполняет сторонний код с вашими правами: он может читать файлы, использовать ваши ключи и ходить в сеть, а подтверждения инструментов агента его не ограничивают. Перед установкой посмотрите исходники и закрепите версию по коммиту: github:ysr666/dsh-vision-router#<sha>. Присутствие в каталоге не означает проверку безопасности.

Похожие плагины

Та же категория — Зрение и мультимодальность, по звёздам.

dsh-tool-describe-image

zhu1090093659/dsh-web-ui

Инструмент describe_image для текстовых моделей: картинка по пути, URL или из вложения уходит на OpenAI-совместимый vision-эндпоинт, в…

★ 7 971

modlens

liustack

Зрение для текстовых моделей DeepSeek и GLM: вставленная в чат картинка превращается в структурированное JSON-свидетельство — OCR…

★ 4 023 ↓ 92 906

Зрение для текстовых моделей: вставил картинку — модель переключается на вариант Vision Toolkit; Q&A, OCR длинных скриншотов…

★ 883 ↓ 18 181

dsh-imagegen

dickpy

Генерация картинок по тексту и по образцу через OpenAI-совместимый API (gpt-image-2, gpt-image-1, dall-e-3): карточка настроек ключа и…

★ 86 ↓ 9 388

dsh-comfyui

fandc520

Управление локальным или удалённым ComfyUI: генерация и правка картинок и видео, библиотека workflow, очередь, шаблоны SDXL и Wan 2.1…

★ 82 ↓ 2 919