Комплексный лингвоанализатор текстов уроков#Новости_Вайб_кодинга
Записал видео о том, как сегодня удалось наладить комплексный лингвистический анализ уроков с ИИ-тьюторами.
🤓 Я давно искал способ не только посчитать слова в расшифровках уроков в ходе своих экспериментов с ИИ-тьюторами, но и получить всю гамму параметров: от лексической плотности, уникальных лемм и токенов до морфологического, дискурсивного, грамматического и прагматического анализа.
Это мне важно для того, чтобы получить не только качественные, но и количественные данные о том, как именно происходит прогресс в языке от урока к уроку или за определенный период и как режимы его изучения могут влиять на те или иные аспекты и результаты.
Платные сервисы оказались или дорогими или вовсе недоступными, а бесплатные - узкоспециализированными, например,
AntConc - для корпусного анализа текстов - в видео 💎 показываю его работу.
🤓 Первые попытки я предпринимал с помощью ИИ-ассистентов на базе Claude: они действительно впечатляют, но результаты меняются от прогона к прогону — модели «галлюцинируют». ИИ-ассистент мог посчитать в тексте сначала 150 слов, а при повторном запросе — 147 или 153. Надёжности нет.
Решение нашлось в терминале: я наткнулся на
Textstat — простой анализатор, который по однозначному коду выдаёт статистику без «сюрпризов». В видео 💎 показываю результаты его работы после установки. Но анализ этой прогрммы оказался слишком простым и однобоким, мало меня удовлетворил.
🤓 Тогда пришла идея на его основе создать с помощью программы редактора кода
Cline (надстройка к VS Code) более многогранный анализатор, который:
• Считает общее количество слов и уникальных лемм
• Измеряет лексическую плотность и среднюю длину слова
• Проводит морфологический и синтаксический анализ (число предложений, уровень вложенности, типы предложений)
• Делает дискурсивный анализ (структура реплик, связность речи)
• Оценивает беглость и «слова-паразиты»
• Определяет языковой уровень по общеевропейской шкале (А1–С2) и т.д.
При том, что я все еще полный ноль к программировании, после нескольких часов вайбкодинга, удалось сделать вполне рабочую программку.
Скрипт интегрируется с Obsidian: после запуска он сохраняет расширенный отчёт прямо в нужную папку в формате Markdown. Всё это занимает считанные секунды и практически не требует моего вмешательства.
Не за горами теперь достижение еще большей автоматизации процесса сопровождения языковых занятий и экспериментов.
🤓 Думаю, при доработке, инструмент может быть полезен не только мне, но и другим исследователям, а также и коллегам-лингвокоучам и преподавателям, потому что программа дает:
➡️ объективную и количественную картину прогресса ученика от урока к уроку.
➡️возможность исследовать эволюцию речи: какие аспекты развиваются быстрее, какие требуют дополнительной работы.
➡️возможность определить, какие приёмы ускоряют освоение языка.
Впечатляет, что сегодня даже независимый исследователь может за пару часов «вайб-кодинга» получить такой полезный инструмент. Раньше подобные возможности были доступны только крупным лабораториям и бизнес-юнитам.
▶️▶️▶️ Вот сам файл в виде анализа текста
ПДФ, демонстрированный в видео.
➖➖➖
Изучение языков с помощью ИИ |
Тысячедневка Мультиделания |
10 языков за 1000 дней |
Миллион слов за 5 лет
