Galqiwi's boredom


Гео и язык канала: Россия, Русский
Категория: Блоги


dd if=/dev/galqiwisbrain of=/dev/galqiwisboredom
@galqiwi

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Блоги
Статистика
Фильтр публикаций




Репост из: black_samorez
Disaggregated quantization

Новая статья. Процессим LLM префилл и генерацию разными квантизациями одной модели. Дообучаем обе вместе с учетом того какой токен процессится какой моделью. Чекпоинт для префилла можно сгрузить на SSD, спрятав подгрузку за long-context промпт прцессиногом, чтобы память была как только у модели для генерации.

Статья: arxiv.org/abs/2609.26333
Код: GitHub
Qwen3.8 NVFP4 prefillers: HF Hub


Видео недоступно для предпросмотра
Смотреть в Telegram
Hamming, Intro to The Art of Doing Science and Engineering: Learning to Learn (March 28, 1995)




Видео недоступно для предпросмотра
Смотреть в Telegram
https://www.youtube.com/watch?v=rGNmjx6S2v4




Открытие дня: zerotier пытается пробить NAT, а не просто роутит весь трафик через свои сервера, как делает обычный VPN.

Zerotier — штука, похожая на vpn, которая связывает устройства в одну виртуальную сеть. Узнал о ней 4 года назад из поста Жовнера.


Открытие дня: zerotier пытается пробить NAT, а не просто роутит весь трафик через свои сервера как VPN.




Окей, это и правда классно. Мне очень нравится возможность выбрать версию питона


Ок, вы меня убедили, стоит попробовать


В моём твиттере все восхваляют uv и закапывают pip. Это мой пузырь, или он и правда хороший?


Я
Опрос
  •   Не знаю, что такое pip/uv
  •   Знаю pip, не знаю uv
  •   Знаю про pip и uv, нет мнения, что лучше
  •   Знаю про pip и uv, pip > uv
  •   Знаю про pip и uv, pip < uv
41 голосов


Репост из: Техножрица 👩‍💻👩‍🏫👩‍🔧
Понравилась эта цитата из поста выше:

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?


Я сама временами задумываюсь о том, как же сильно многие люди любят пихать названия всевозможных нейромедиаторов во все возможные объяснения всех возможных видов поведения человека.
Захотел погладить котика? Это все от окситоцина. Понравился ролик в тик ток? Это все от дофамина. Нервничаешь перед дедлайном? Это все от кортизола.

Конечно, никто (или почти никто) из произносящих подобное на самом деле не читал научные статьи с экспериментами, которые бы доказывали подобные высказывания (Не удивлюсь, если таких статей и нет, так как все перечисленное звучит как гипер-упрощение, и причинно-следственные связи здесь явно нуждаются в дополнительном уточнении). А самое главное, никакого настоящего понимания того, по каким закономерностям работают все эти процессы и что с этим делать не-биологам типа меня названия этих веществ никак не добавляют.


Классика
src

876 0 28 1 26

Видео недоступно для предпросмотра
Смотреть в Telegram
src


Обновил, теперь можно выбирать маленькие модели. Они намного быстрее скачиваются и генерируют текст

https://galqiwi.github.io/aqlm-rs/


Репост из: еба́ные идеи для резерча
Исследователь из научного отдела «ebány labs» Юрий Шмилевский разработал bash скрипт, который позволяет запустить большую языковую модель с 8,1 млрд параметров «на обычном компьютере с графическим ускорителем А-СТО» через трубочку для поедания супа-пюре, рассказал сам Юрий Шмилевский


сник пик новой версии -- с меньшим потреблением памяти и большим выбором моделей


Репост из: Роман с данными
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.

Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.

Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.

За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.

Заходите на llmarena.ru и выбирайте лучшую модель!

Показано 20 последних публикаций.