Перейти к содержимому
Zone of Games Forum
Wiltonicol

Руководство: как сделать нейросетевой/машинный перевод на Gemini

Рекомендованные сообщения

@Wiltonicol странный момент в проге. Сделал промпт, глоссарий, начал перевод через гемини, выставил лимиты на 100000 токенов, 300 строк и 0.2 температуру. Судя по отправленным чанкам, должно было все перевестись, но почему-то перевод вышел кусками (несколько сотен строк перевода нет, несколько сотен есть и так чередуется). С чем может быть это связано и как можно решить?
https://ltdfoto.ru/image/vvq5Fj

Поделиться сообщением


Ссылка на сообщение

@ahmadrahimov888, на днях тоже с таким столкнулся. Выход: понижал лимит строк до 10 и продолжал клацать на Перевод, пока прога не доперевёла все строки.

Поделиться сообщением


Ссылка на сообщение

Так как пока нет поддержки конфигов в проге, если менять апи/промты/глоссарии, надо будет где-то отдельно сохранять, потом копи-пастить либо вручную дублировать конфиги, переименовывать туда/сюда обратно, поэтому набросал на скорую руку себе тулзу, но может кому-то ещё будет полезна.

Менеджер конфигов для  MLTranslate_windows.

Закинуть в папку с MLTranslate_windows.

Скрытый текст

Ycmi9676bw.jpg

###  Основные функции:
- **Дублировать конфиг** - создает копию текущих настроек с новым именем
- **Активировать конфиг** - делает выбранную конфигурацию активной
- **Сохранить изменения** - сохраняет внесенные изменения в конфиг
- **Создать бэкап** - создает резервную копию с датой и временем
- **Восстановить из бэкапа** - возвращает настройки из резервной копии
- **Удалить конфиг** - удаляет ненужные конфигурации

###  Статусы файлов:
- **(серый кружок)Активный источник** - конфиг, который сейчас используется
- **⚪ Неактивный** - сохраненные конфигурации, готовые к активации
- **(значок дискеты) Бэкап** - резервные копии для восстановления

 

Поделиться сообщением


Ссылка на сообщение
В 29.08.2025 в 10:28, ahmadrahimov888 сказал:

@Wiltonicol странный момент в проге. Сделал промпт, глоссарий, начал перевод через гемини, выставил лимиты на 100000 токенов, 300 строк и 0.2 температуру. Судя по отправленным чанкам, должно было все перевестись, но почему-то перевод вышел кусками (несколько сотен строк перевода нет, несколько сотен есть и так чередуется). С чем может быть это связано и как можно решить?
https://ltdfoto.ru/image/vvq5Fj

Не знаю именно его программу (просто решила посмотреть чем тут люди увлекаются и что делают), а знаю сам гемини и работу в нём, у гемини лимиты выходные у Pro 2.5 — 65к (очень странно что в его программе не выбивает ошибку при выставлении таких лимитов в 100к) и то на апи он может упереться во время отправки (тоже лимиты). Если у вас не лучший интернет, и не лучший впн (если он вам нужен), то лучше меньше + нужно точно знать какой гемини вы используете, у 2.0 вообще 8к лимит.

Вот если что ссылка на документацию, входные под миллион, выходные 65к — 
Gemini 2.5 Pro  |  Generative AI on Vertex AI  |  Google Cloud

Субъективно но (строки) странный параметр для программы работающей с нейронкой, так как все же тут важно именно количество токенов, а в 300 строках, может быть и совсем мало токенов, а может быть очень много если текст очень плотный.

Изменено пользователем Luchik

Поделиться сообщением


Ссылка на сообщение

@Luchik параметр этот работает вкупе с лимитом токенов. Количество же токенов лично мне не даёт особо понимание по тому сколько строк уйдёт максимум на отправку(, только если отправить, а так получается нагладно, к примеру 8к токенов, но не больше 300 строк. Если строки объёмные, и промт большой то уйдут меньше. Про 100к и 300 строк соглашусь, если промт как война мир, и строки объёмные, то может попытаться уйти и все 100к:D 

Поделиться сообщением


Ссылка на сообщение
1 час назад, allodernat сказал:

@Luchik параметр этот работает вкупе с лимитом токенов. Количество же токенов лично мне не даёт особо понимание по тому сколько строк уйдёт максимум на отправку(, только если отправить, а так получается нагладно, к примеру 8к токенов, но не больше 300 строк. Если строки объёмные, и промт большой то уйдут меньше. Про 100к и 300 строк соглашусь, если промт как война мир, и строки объёмные, то может попытаться уйти и все 100к:D 

Жалко что в этой программе у вас нет конечно счетчика токенов. 
Вот вам измеритель токенов онлайн — https://platform.openai.com/tokenizer  :D

Но да понимаю что строками легче как то мерить тексты, чем количеством токенов в файле :D

Изменено пользователем Luchik

Поделиться сообщением


Ссылка на сообщение

@Luchik вообще счётчик есть, только пользователь его не видит, можно при отправке включить, чтобы показывало в логе сколько сколько токенов “ушло”. Нет, на глаз сложно определить, лично у меня глазометр не так развит:laugh:

6 минут назад, Luchik сказал:


Количество слов в файле узнать не сложно через powershell для примера, или word или плагины в нотепад++ и т.п)

Можно, но зачем? Есть ограничение по количеству токенов, есть ограничение по количеству строк. Чисто для инфы если только. Тем более, прога работает с большим количеством данных, но она не отправляет все сразу данные, к примеру, я вот зарядил в прогу 18000 строк, но чанки идут по 100-300 строк, и вы мне предлагаете вытаскивать 300 строк, обрабатывать через скрипт… Зачем?:laugh: Когда я вэб пользуюсь тоже не заморачиваюсь с подсчётом токенов, я делю большой файл на маленькие не больше к примеру 40кб и не больше 400 строк, вот эти файлы уже закидываю в вэб, и там уже пишется сколько токенов мой файл, но в условиях проги в этом нет большой необходимости.

Поделиться сообщением


Ссылка на сообщение
17 минут назад, allodernat сказал:

@Luchik вообще счётчик есть, только пользователь его не видит, можно при отправке включить, чтобы показывало в логе сколько сколько токенов “ушло”. Нет, на глаз сложно определить, лично у меня глазометр не так развит:laugh:

Можно, но зачем? Есть ограничение по количеству токенов, есть ограничение по количеству строк. Чисто для инфы если только. Тем более, прога работает с большим количеством данных, но она не отправляет все сразу данные, к примеру, я вот зарядил в прогу 18000 строк, но чанки идут по 100-300 строк, и вы мне предлагаете вытаскивать 300 строк, обрабатывать через скрипт… Зачем?:laugh: Когда я вэб пользуюсь тоже не заморачиваюсь с подсчётом токенов, я делю большой файл на маленькие не больше к примеру 40кб и не больше 400 строк, вот эти файлы уже закидываю в вэб, и там уже пишется сколько токенов мой файл, но в условиях проги в этом нет большой необходимости.

А я уже удалили этот блок, так как действительно зачем вам это всё) Например я знаю как у меня на работе это. Там получается уже заранее забит придел токенов различных моделей, и он делит чанки и “умно” чтобы не превышать этот лимит, плюс да человек может задать лимит меньше, но не больше, и конечно только в токенах. Плюс там идёт определение до отправки, то есть например кинул файл, и он показывает “Ага тут вот столько токенов, делить буду в этом месте в этом и вот в этом”, и потом нажимаешь “отправить”.

Хотя момент строк интересный конечно, с одной стороны возможно даже удобный, но наверное я бы сделала что то по типу от такого количества строк, до такого количества строк, там от 100 до 300, потому что например верхний текст в файле может быть не такой “пухлый”, а нижний попухлее и т.п (или уже так и работает?)
 

Изменено пользователем Luchik

Поделиться сообщением


Ссылка на сообщение

@Luchik я ещё раз повторю, в этой проге забивается предел токенов, и прога учитывает предел токенов и предел строк. Т.е. если у меня предел токенов стоит 8000, а предел строк я введу 500, то у меня не отправит больше строк, если будет превышение количество токенов, но если  у меня будет выставлен предел строк 200, а предел токенов 20000, то у меня отправит только 200 строк.

Если вы мне не верите, то вот:

Скрытый текст

hrB1052ee.jpg

Видите, что задан лимит 5к? А лимит строк 300? Видите, что идёт отправка 244 строк? Ещё есть недопонимание?)

Изменено пользователем allodernat

Поделиться сообщением


Ссылка на сообщение
5 минут назад, allodernat сказал:

@Luchik я ещё раз повторю, в этой проге забивается предел токенов, и прога учитывает предел токенов и предел строк. Т.е. если у меня предел токенов стоит 8000, а строк я введу 500, то у меня не отправит больше строк, если будет превышение.

Если вы мне не верите, то вот:

  скрин (Скрыть содержимое)

hrB1052ee.jpg

Видите, что задан лимит 5к? А лимит строк 300? Видите, что идёт отправка 244 строк? Ещё есть недопонимание?)

Нет нет, я верю :D 
Я просто уточняю (как то слишком агрессивно отстаиваете свою позицию :D)

Хорошо, а например представим у меня вместе со строкой 224 5500 токенов, но строка 223 4500, ну вот такая большая строка (чисто пример наглядный), он не примет всю строку 224? Или отправит только половину, что вызовет перевод только половины строки 224?

Поделиться сообщением


Ссылка на сообщение

@Luchik первый чанк будет 222 строки, второй чанк будет 223-ая строка(одна строка), если последующие плюсом будут укладываться в лимит, то отправит 2-3-4-5 и т.д. строки, если же 225-ая будет условно 600 токенов, то отправит одну 224 строку. Отправляет только построчно, если строка 4500 токенов, а лимит 4000 токенов эту строку пропустит, но я лично так не пробовал) Так что если проге задать только предел токенов, скажем 5000, а строк вписать 99999(считай отключаем лимит строк), то она всё равно ровно 5000 не задействует, будет меньше, с учётом погрешности для целостности строк.

Если хотите, можете потестить прогу, она свободно скачивается, заодно потом расскажите какие баги встретили.  Я работал только с json файлами в проге, как она работает с txt/csv и прочими форматами сказать не могу, но вы можете сами узнать и поделиться своими наблюдениями основанными не только на теории, но и на практике)

Изменено пользователем allodernat

Поделиться сообщением


Ссылка на сообщение
22 минуты назад, allodernat сказал:

Если хотите, можете потестить прогу, она свободно скачивается, заодно потом расскажите какие баги встретили.  Я работал только с json файлами в проге, как она работает с txt/csv и прочими форматами сказать не могу, но вы можете сами узнать и поделиться своими наблюдениями основанными не только на теории, но и на практике)

У меня сейчас в планах прохождения пару игр в свободное время от работы :D 
Но в принципе можно(если будет время).

Может даже подчерпну какие то идеи для программы из программы на работе и сравню их, может тут что то подчеркну и подскажу программистам с работы :D 

Изменено пользователем Luchik

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас



Zone of Games © 2003–2025 | Реклама на сайте.

×