Руководство: как сделать нейросетевой/машинный перевод на Gemini

[Wiltonicol 63]

Машинный перевод текстов на базе Google Gemini.

 

Скачать: https://disk.yandex.ru/d/rL3EnTzOaQox6w

Видео-гайд: https://disk.yandex.ru/i/Zvr7HeLtRwRGaA

 

Важно:

1. Для работы Gemini нужен IP не из России (впн/прокси), если запустить с русским ip будет ошибка Gemini API location Error 400.
   1.1 Также есть возможность перевода через GPT4o (gpt4free) или Deepseek, впн не требуется
2. Нужно иметь на руках txt файл(не json, не csv) с текстом. Гайдов как достать текст из игровых движков очень много на этом форуме.
3. Нужно иметь Gemini API ключ, он бесплатен, можно получить в своем гугл аккаунте (где именно лучше вгуглить, там ничего сложного)
4. Для наилучшего результата проработайте Prompt (запрос к боту).
5. Настройки по умолчанию рабочие, но не оптимальные под разные задачи.
    

Скрытый текст

Обновления программы:
23.03.2025
Существенное обновление (0.8):
а) Изменен интерфейс
б) Добавлены новые пункты в настройках, убраны некоторые другие (topp, topk)
в) Убран gpt4free т.к. выдает очень плохие результаты
г) Добавлена возможность создавать промпты и применять их
д) Возможны баги

19.03.2025
Хотфикс (0.7 (upd)):
а) Добавлена поддержка GPT4o (gpt4free), работает без впн и ключа, но возможна нестабильная работа, а еще реклама в ответе чат бота (все вопросы к gpt4free )

19.03.2025
Обновление (0.7):
а) Добавлен чекбокс включающий повторные запросы и проверку кол-ва строк (по умолчанию выключен).
б) Добавлены экспериментальные модели Gemini

15.03.2025
Обновление (0.6):
а) Добавлен Deepseek (да он платный, но на plati можно купить пополнение аккаунта, и deepseek вроде самый дешевый получается среди других)
б) Слегка изменены стандартные настройки и промпт
в) Небольшие изменения, которые должны положительно сказаться на скорости работы программы и запросов
г) Добавлена возможность использовать прокси вместо впн

14.03.2025
Обновление (0.5):
а) Если кол-во полученных строк от бота не равно отправленному, программа совершает повторные запросы, если после 3 попыток строк все еще меньше/больше, в консоль выводится информация по ошибке (проблемный чанк, кол-во строк (полученных/отправленных) и тд)
б)  Если ответ не получен/проблема с соединением/и т.д., программа совершает несколько потвторных запросов, если безрезультатно то в консоль выводится ошибка
в) Добавлен чек бокс чтобы сохранять результат перевода в папку с исходным файлом
г) Мелкие правки текста в консольных ответах
Спасибо @Trevor_!

12.03.2025
Мелкие правки (0.4)

11.03.2025
Существенное обновление (0.3):
а) Полностью переработан код отправки и сохранения текста.
б) Построковый режим убран, можно просто указать 1 строку в соответствующем поле.
в) Из запроса можно исключить строки которые начинаются на определенный символ. Можно указать несколько символов через запятую. Если написать “digits”, то из запроса к боту исключатся все строки с цифрой вначале (к примеру тайминги субтитров).
г) Добавлены настройки чат-бота, выбор модели, пауза между запросами и другие параметры.

09.03.2025 
Добавил новый функционал (0.2):
а) Построковый перевод, с возможностью исключать из запроса к боту строки, которые начинаются на определенный символ. Эти строки просто скопируются в итоговый файл без перевода и отправки боту. Также можно исключить из запроса все строки которые начинаются на любую цифру, для этого в поле нужно написать d* (актуально только для 0.2 версии программы).
В конфиг файле есть новый пункт “sleep”, который ограничивает запросы к боту в режиме построкового перевода, по умолчанию 2 (2 секунды между каждым запросом к боту).
б) В обычном режиме перевода добавлена возможность регулировать кол-во строк на запрос к боту (по умолчанию 150)

08.03.2025
Первая версия

 

Изменено 23 марта пользователем Wiltonicol
Обновление программы

[Wiltonicol 63]

8 часов назад, Atanvaron сказал:

а есть возможность сделать список из подключаемых промтов, например под разные игры? Чтобы не редактировать каждый раз один, а сохранить несколько и потом между ними выбирать нужный.

могу сделать, хорошая идея

[Wiltonicol 63]

Обновил программу
можно создавать новые промпты (текстовики), выбирать между ними нужный
убрал gpt4free (полный отстой), параметры topp/topk (осталась только температура, или надо вернуть topp/topk?)
добавил чекбоксы на проверку получения строк больше/меньше, остановку перевода при ошибках (по умолчанию перевод не останавливается, строки не проверяются на кол-во)
возможность выбрать перезаписывать файл или дополнять
варианты отправки запросов (раньше запрос был {"role": "user", "content": prompt+\n+text}, теперь можно выбрать другой вариант отправки:
{"role": "system", "content": prompt}
{"role": "user", "content": text}
сам код разбивки на строки и отправку боту изменен (а то был ужасен из-за разных проверок на исключащие символы)
убрано ограничение на отправку txt, можно отправить любой файл где есть строки
визуальные изменения, упаковано иначе (теперь один файлик, а не страшная папка)
еще что-то, вообщем много всего от чего могут быть баги (а могут и не быть!)
парсинг json, разбивку+склейку файлов, отправку более чем одного файла, это пока не делал (в виде скриптов это все есть но в ui не перенёс)
паузу тоже не делал, что-что но это очень запарно на мой взгляд

[minasa 19]

А промт вставляется с каждой новым запросом или только 1 раз на все запросы?

[Wiltonicol 63]

6 часов назад, minasa сказал:

А промт вставляется с каждой новым запросом или только 1 раз на все запросы?

С каждым запросом вставляется

[DjGiza 344]

Раз исходники не выкладываешь, чтобы править код(хотя на гитхабе мог бы), вот замечания:

1. Выбор моделей, нужна ручная вставка т.е. самому написать модель. Бывает нужно когда обновы или когда есть своя модель.
2. Температуру опускать до 0, а не до 0.1
3. Возможность сохранять контекст. Т.е. при каждом запросе вставлять запрос-ответ. Но по достижению определенного количество токенов, удалить первые запросы скажем. Для этого надо наверное в временных папках хранит отдельные файлы с текстом для перевода и самим переводом. Чтобы при новом запросе вставлялся в запрос как тот же промт, но только уже с ответом. В input текст для перевода в output ответ бота.

[parabelum 198]

Заметил, что при переводе перемешиваются строчки. Начиная после 2500 строчек, ну, по крайней мере в моём случае. 

Решил этот косяк, путём нумерации строчек. Нет, они не решили проблему поочерёдности строчек, строчки так же после нескольких тысяч начали местами перемешиваться, но у меня строчки уже были пронумерованы. После перевода, просто сделал им построение по номеру и всё. )

Изменено 9 апреля пользователем parabelum
дополнил

[parabelum 198]

@Wiltonicol , в промте можно задавать структуру перевода ( en=ru или en;ru ) и будет ли это работать ?

[Chillstream 264]

кстати у меня гемини сломался на переводе файла, типо кидаешь сколько угодно раз, он просто выкидывает пустой, я тут файл переводил с 30000 строк и он просто наотрез отказывается переводить это строки, вот для примера https://workupload.com/file/JWYJx78Sdz5 , интересно понять почему, один знакомый предположил, что в документе строчка максимально длинная для нейросеток и они ломаются).

[DjGiza 344]

3 часа назад, Chillstream сказал:

кстати у меня гемини сломался на переводе файла, типо кидаешь сколько угодно раз, он просто выкидывает пустой, я тут файл переводил с 30000 строк и он просто наотрез отказывается переводить это строки, вот для примера https://workupload.com/file/JWYJx78Sdz5 , интересно понять почему, один знакомый предположил, что в документе строчка максимально длинная для нейросеток и они ломаются).

 Timeout of 60.0s exceeded

ну в целом потому что код не оптимизирован потому и такие таймауты. Тогда как скажем через веб этот той файл прогоняется за секунд 30-40

 

[Chillstream 264]

@DjGiza ну пока еще прога 0.8 и в бете так-что есть куда расти), знакомый из диса попытался прогнать через чатгпт, он тоже выделывался на эти строки, гемини из 28500 гдето 1500 он забраковал, просто пропустил.

[DjGiza 344]

1 час назад, Chillstream сказал:

@DjGiza ну пока еще прога 0.8 и в бете так-что есть куда расти)

Нет, там некуда расти видимо, раз чел думает что у него всё збс. Хотели помощь, не получился диалога.

[parabelum 198]

Жаль, стоящая прога.  Экономит время.

[pekatvdmitriypekar 298]

3 часа назад, parabelum сказал:

Жаль, стоящая прога.  Экономит время.

есть ещё и вот эта программа

 

Изменено 20 мая пользователем pekatvdmitriypekar

[parabelum 198]

34 минуты назад, pekatvdmitriypekar сказал:

есть ещё и вот эта программа

 

Спасибо.

Изменено 20 мая пользователем parabelum

[pekatvdmitriypekar 298]

Только что, parabelum сказал:

Спасибо,  но gemeni нельзя к ней присоединить. Выбор ИИ есть, но без онного.

разве? там апи вбиваешь и можно модель выбрать.