Репост из: Denis Sexy IT 🤖
Я часто работаю с LLM, и иногда возникает потребность делать быстыре операции над контентом, чтобы модель лучше обработала данные — решил выложить в паблик свои тулы, вдруг вам пригодятся (все операции происходят в браузере, данные не покидают ваш компьютер, регистрация не нужна, сбора кук тоже нет):
«Примерный калькулятор токенов и обрезалка текста»
https://shir-man.com/llm-calc/
«Склеивалка текстовых файлов»
https://shir-man.com/txt-merge/
«PDF в текст»
https://shir-man.com/pdf-to-txt/
«Удалялка HTML тегов»
https://shir-man.com/strip-html/
***
Все тулы собраны на shir-man.com, буду дополнять похожими полезными
«Примерный калькулятор токенов и обрезалка текста»
https://shir-man.com/llm-calc/
Позволяет быстро и примерно набросать кол-во токенов; я специально не подключал какой-то токенайзер, а набросал примерные подсчеты — бывает так что, что фронтент или бекенд хочет поставить ограничение на контент от юзера в символах, и не ясно сколько это в токенах — эта штука помогает прикинуть. Ну и позволяет обрезать вставленный текст под нужное кол-во символов / токенов / слов
«Склеивалка текстовых файлов»
https://shir-man.com/txt-merge/
Иногда нужно склеить много файлов логов, json, или просто текстовых в один большой, чтобы передать их в LLM для быстрых вопросов по массиву данных — бонусом, каждый файл будет отдельно помечен спец-токенами
«PDF в текст»
https://shir-man.com/pdf-to-txt/
Можете выбрать один или кучу PDF, штука переведет их в текст, бонусом удалит лишние пробелы или символы новой строки
«Удалялка HTML тегов»
https://shir-man.com/strip-html/
Позволяет быстро удалить HTML/JS/CSS из кода страницы и оставить только текст — нужно если хочется быстро проанализировать с LLM страницу которую вы сохранили или скопировали в буфер обмена
***
Все тулы собраны на shir-man.com, буду дополнять похожими полезными