Перевод игр в реальном времени с помощью нейросети Google Vision API (точно как Google Lens)

[Azag-Thoth 32]

Мир вам, друзья!
Руководство для игроков с двумя мониторами и слабым знанием иностранных языков

Если вы любите проходить игры с большим количеством текста или диалогов, но плохо владеете английским (или другим языком), — это решение специально для вас. Оно позволяет переводить текст прямо с экрана игры в реальном времени, с качеством, сравнимым с Google Lens.

---

Файлы

• Готовая .exe версия
  Скачать → Yandex Disk

• Исходный Python-скрипт
  Скачать → Yandex Disk

---

Как это работает?

1. Вы запускаете игру в оконном режиме.

2. Выделяете область экрана, где появляются тексты.

3. Нажимаете клавишу Ё (тильда), и скрипт:

   • делает скрин этой области,

   • распознаёт текст через Google Vision API (точно как Google Lens),

   • переводит его через Google Translate API,

   • показывает перевод в отдельном окне (лучше на втором мониторе).

 Перевод качественный, естественный, понятный. Особенно круто работает в JRPG и визуальных новеллах.

---

 Зависимости и требования:

• Нужна последняя версия Яндекс.Браузера (для совместимости со слоями GUI).

• В папке с программой должен быть файл credentials.json — это ваш личный ключ доступа к API Google. Ниже — подробная инструкция, как его создать.

• Можно использовать и офлайн-распознавание (через Tesseract), но качество будет заметно хуже.

---

 Пошаговая инструкция: как получить credentials.json

 Шаг 1: Вход в Google Cloud Console

• Перейдите на: https://console.cloud.google.com/

• Авторизуйтесь через ваш Google-аккаунт

 Шаг 2: Создание проекта

• В верхней панели нажмите на селектор проекта (рядом с логотипом Google Cloud)

• Выберите «Создать проект»

• Введите имя, например: ScreenTranslateApp

• Нажмите Создать

 Шаг 3: Включите нужные API

 Способ 1 — по прямым ссылкам:

• ✅ Включить Cloud Vision API

• ✅ Включить Cloud Translation API

 Способ 2 — вручную:

• Слева: APIs & Services → Library

• Введите в поиске:
  Vision API → нажмите → Enable
Cloud Translation API → нажмите → Enable

 Шаг 4: Создайте сервисный аккаунт

• Слева: APIs & Services → Credentials

• Нажмите Create Credentials → Service account

• Заполните форму:

  • Имя: translator-service

  • Роль: Basic → Viewer

• Подтвердите создание

После создания:

• Перейдите на страницу аккаунта

• Внизу: «Keys» → «Add Key» → «Create new key»

• Формат: JSON → нажмите Create

У вас скачается файл — credentials.json
Положите его в ту же папку, что и .exe или .py-файл.

---

Важное сообщение сообществу

Это альфа-версия. Её можно улучшать, и я был бы рад, если бы в комьюнити нашёлся опытный Python-сеньор, готовый доработать проект на добровольной основе.

Если такого не найдётся — я буду понемногу развивать это решение вместе с нейросетью Claude и вашим фидбеком.

Изменено 11 июля, 2025 пользователем Azag-Thoth

[Azag-Thoth 32]

Обновление!!!

Сейчас один хороший человек посоветовал уже готовую! Рабочую программу! Которая  работает очень хорошо и не требует второго монитора! Очень здорово!!!!


https://github.com/PavlikBender/ScreTran

[Vreyden 0]

Что нужно обновить если пишет что не соответствуют версии? Изображение ошибки

Изменено 1 мая пользователем Vreyden

[Mordgar 517]

Тема интересная, но почему-то нет отзывов. Кто-нибудь пользовался этой программой, как успехи? И главное, как быстро перевести текст, если начинается диалог, и тебе начинают что-то рассказывать, автоматически появляются и исчезают текстовые сообщения, как успеть их все перевести?