Клуб CDO


Гео и язык канала: Россия, Русский
Категория: Технологии


Сообщество профессионалов в области работы с данными и искуственным интеллектом

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Друзья, всех причастных поздравляю с Днем космонавтики!


Репост из: Аналитика данных / Data Study
Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?

Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.

Вот что будет:

— Открытое собеседование, 10 апреля. Посмотрите, как проходит техническая часть интервью, какие вопросы задают кандидату и какие задачи будут на реальном собеседовании.

— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.

Посетите все три ивента или сразу приходите на собеседование.

Зарегистрируйтесь до 17 апреля. Детали тут

erid:2VtzqvsbCM4
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673


Коллеги, обратите внимание на интересное мероприятие!


Пока мы тут боремся с искусственным интеллектом, у кого то системы еще загружаются с дискет 3.5 дюйма (интересно сколько человек тут помнят такие). Хороша новость, что San Francisco Municipal Transportation Agency уже планирует проведение массового и большого апдейта, похоже, что находить им новые диски что бы держать копии, становится все сложнее :)

https://www.theregister.com/2024/04/09/san_francisco_muni_floppy_disks/


Кто вчера пропустил просмотр полного солнечного затмения - вот тут wired выложил фотки красивые

https://www.wired.com/story/total-solar-eclipse-best-photos/


Интересная стать, вынес ее из дайджеста в отдельный пост. При чем мне понравилось не инсайты автора, который изучает как работают LLM, а то, что люди сначала что то придумают, а потом пытаются разобраться как оно работает :) Казалось бы - LLM это четкая математическая концепция, где все работает по заранее определенным формулам и алгоритмам, все в достаточной мере детерминистично. А нет, все равно получилась в итоге неведомая штука которую можно исследовать и писать диссертации :)

Но в целом текст интересный и небольшой: https://habr.com/ru/companies/airi/articles/804515/


Дайджест статей

Размышления о высококачественных данных, собранных людьми
https://habr.com/ru/companies/magnus-tech/articles/803025/

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока
https://habr.com/ru/companies/isp_ras/articles/800751/

Боты и сервисы для разведки данных Вконтакте
https://habr.com/ru/articles/804709/

Создание ИИ-ассистента, который отвечает на вопросы пользователей по базе знаний
https://habr.com/ru/companies/agima/articles/805113/

Парадоксы в данных, и почему визуализация бывает необходима
https://habr.com/ru/articles/804441/

Как дисциплина управления мастер-данными влияет на продажи
https://habr.com/ru/companies/magnit/articles/805321/

How data mapping enhances data governance and lineage
https://www.datasciencecentral.com/how-data-mapping-enhances-data-governance-and-lineage/?utm_source=pocket_saves

The Future of Data-Driven Web Development: Trends and Technologies
https://www.smartdatacollective.com/future-of-data-driven-web-development-trends-and-technologies/?utm_source=pocket_saves


Новая speech2text модель подъехала. Судя по заявленным показателям - хорошее увеличение качества.


Репост из: Product Management & AI
СЕО Obsidian Стефан Кипано рассказывает про продуктово-философскую концепцию «Файл вместо приложения».

«Файл вместо приложения» — это философия. Если вы хотите создавать долговечные цифровые продукты и артефакты, это должны быть файлы и форматы, которыми пользователи смогут управлять сквозь время.

Со временем, файлы, которые вы создаёте, становятся более важными, чем инструменты, которые вы используете для их создания.

Приложения и продуты недолговечны, но у файлов вашего продукта есть все шансы сохраниться.

«Файл вместо приложения» — это призыв к производителям продуктов: признать, что все программное обеспечение эфемерно, и предоставить людям право собственности на их данные.

Пирамиды Египта содержат иероглифы, высеченные в камне тысячи лет назад (не разделяем это мнение, т.к. иероглифы не имеют к пирамидам абсолютно никакого отношения – прим. ред. L2)

Идеи, которые передают иероглифы, важнее, чем тип долота, которым они были вырезаны.


Мир наполнен идеями прошлых поколений, передаваемыми разными способами: от глиняных
табличек до рукописей, картин, скульптур и гобеленов.

Эти артефакты — это объекты, которые вы можете трогать, держать, владеть, хранить, сохранять и смотреть на них.

Чтобы прочитать что-то, написанное на бумаге, вам нужны только глаза 👀

Сегодня мы создаем бесчисленные цифровые артефакты, но большинство из этих артефактов находятся вне нашего контроля. Они хранятся на серверах, в базах данных, защищены подключением к Интернету и облачному сервису.

Даже файлы на вашем жестком диске имеют собственные форматы, что делает их несовместимыми со иными/старыми системами/продуктами.

Перефразируя то, что я недавно говорил:

Если вы хотите, чтобы ваши записи по-прежнему можно было прочитать на компьютере 2060-х или 2160-х годов, важно, чтобы ваши заметки можно было читать на компьютере 1960-х годов.


Вы должны хотеть, чтобы создаваемые вами файлы были долговечными не только для потомков, но и для вас самих в будущем. Ибо никогда не знаешь, когда тебе захочется вернуться к то
му, что ты создал много лет или даже десятилетий назад.

⚠️ Не блокируйте свои продуктовые данные в форматах, который вы и юзеры не сможете извлечь и использовать

Export To = дверь с односторонним движением.

«Файл вместо приложения» = дверь с двусторонним движением.

Многие приложения позволяют экспортировать данные, но не путайте карту с территорией. Это лучше, чем ничего, но не то же самое, что непосредственное редактирование файлов.

Экспорт — это представление ваших данных. Это вывод из Источника. Это дверь с односторонним движением.

Философия приоритета файла над приложением не делает различия между данными и файлом. Оба — одно и то же.

Экспорт полезен, если вы хотите выйти из инструмента. Экспорт бесполезен, если вы хотите напрямую манипулировать данными. Экспорт требует вашего явного намерения, тогда как «Файл вместо приложения» вообще не требует никакого намерения.

«Файл вместо приложения» означает, что вы владеете своими данными, их можно напрямую читать и редактировать с помощью нескольких различных инструментов в любое время.

Я пишу этот текст, используя приложение Obsidian, но было бы заблуждением думать, что это будет длиться бесконечно вечно.

Приложения и продукты со временем устаревают. Я же создаю простые текстовые файлы (Обсидиан использует текстовые Markdown файлы, прим. ред.), которые рассчитаны на длительный срок службы.

Кто знает, захочет ли кто-нибудь их прочитать в будущем кроме меня, но у меня достаточно аудитории и читателей, чтобы задуматься об этом уже сейчас.

👁️

733 0 7 12 15

Минутка философии. Кстати этот Obsidian много где мелькает, я пробовал ставить, но там без бутылки и дзена не разберешься. Sublimetext - наше все :)


Привет! Мы на свой митап зазвали в итоге чела от DBOS - это кластерная ОС, которую делает Стоунбрейкер сейчас. Они сделали крутое решение для облака уже, даже частично open-source, куча интересных возможностей, всем причастным к облакам и кластерам советую посмотреть. https://databaseinternals.timepad.ru/event/2835259/


Друзья, напоминаю, что Navicon продолжает серию вебинаров по Greenplum - 10 апреля ребята рассмотрят вопрос оптимизации запросов – особенности СУБД и интересные моменты.

Среди основных тем:
- Особенности планов запросов в Greenplum
- Узкие места в запросах
- Стоит ли использовать индексы?
- Как эффективно собирать статистику

Если вам интересно, не забудьте зарегистрироваться
https://navicons.com/events/4901/


Привет!
16 апреля в 18:00 Data People by GlowByte приглашает тебя на пикантный митап про данные!

Наши друзья, занимающие руководящие позиции в Data-подразделениях крупнейших российских ФинТех-компания, поделятся опытом реализации проектов по миграции платформ данных.

Ждём всех к нам уютным весенним вечером!
С тебя - хорошее настроение, с нас - интересные доклады и вкусное угощение в тематическом лофте.
Для тех, кто не сможет присоединиться офлайн предусмотрена онлайн-трансляция.

Митап традиционно бесплатный, нужна регистрация https://datapeople.ru/dp20?utm_source=promo&utm_medium=tg&utm_campaign=cdoclub


Коллеги, редакция канала приносит свои изменения за то, что последнии дни мало контанта публикуется - отпуск у них видите ли. Но делают все возможное что бы как можно скорее продолжать публикации!


Дайджест статей

Supporting Diverse ML Systems at Netflix
https://netflixtechblog.com/supporting-diverse-ml-systems-at-netflix-2d2e6b6d205d

Подробный гайд: Как собрать дашборд в FineBI за 30 минут
https://habr.com/ru/companies/glowbyte/articles/798411/

Как мы прогнозируем объемы грузоперевозок на основе машинного обучения, используя MLflow
https://habr.com/ru/companies/pgk/articles/803567/

Automated Data Extraction Using ChatGPT AI: Benefits, Examples
https://dzone.com/articles/automated-data-extraction-using-chatgpt-ai?utm_source=pocket_saves

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных
https://habr.com/ru/companies/yadro/articles/800237/

Real-time Fraud Detection with Yoda and ClickHouse
https://tech.instacart.com/real-time-fraud-detection-with-yoda-and-clickhouse-bd08e9dbe3f4

Как развернуть виртуальную среду модели машинного обучения на любой машине?
https://habr.com/ru/articles/798019/

Качественные рекомендации в e-commerce — компоненты алгоритма «Сопутствующие товары»
https://habr.com/ru/companies/retailrocket/articles/798217/

From Database to AI: The Evolution of Data Platforms
@mariusz_kujawski/from-database-to-ai-the-evolution-of-data-platforms-59f487e235df' rel='nofollow'>https://medium.com/@mariusz_kujawski/from-database-to-ai-the-evolution-of-data-platforms-59f487e235df


Репост из: NoML Digest
Запись семинара

▫️ Денис Афанасьев - Федеративное обучение: обзор методов, платформ и трендов 2024 (1 час 20 минут).
▫️ Презентация в базе знаний→


Коллеги, кто не смог подключится - вот запись семинара


Коллеги, мы начинаем, подключаетесь!


Друзья, Navicon продолжает серию вебинаров по Greenplum - 10 апреля ребята рассмотрят вопрос построения оптимальной физической модели данных в Greenplum.

Обсудят:
- Методологии построения ядра DWH: Star-схема, Data Vault, Anchor Model. В чем их преимущества и недостатки, и насколько они применимы в Greenplum?
- Способы горизонтального шардирования данных: Сценарии применения
- Партицирование таблиц в Greenplum: как подойти к проектированию и что следует учитывать при использовании
- Индексы: влияние на скорость выполнения запроса, границы применимости и особенности использования

Если интересно, не забудьте зарегистрироваться.
https://navicons.com/events/4912/


Репост из: NoML Digest
Семинар про федеративное обучение

▫️ 27 марта (среда), 17:00 МСК
▫️ Подключение→

Выступает: Денис Афанасьев, CrossOverMarkets, SberDevices, NeuroHealth.Care, CleverDATA

Тема: Федеративное обучение: обзор методов, платформ и трендов 2024

Аннотация
На семинаре обсудим, что произошло в области Federated Learning за последний год (академические исследования, библиотеки и фреймворки, бизнес кейсы применения, …), а также порассуждаем, что ждать от этой области в дальнейшем.

Сам доклад предполагается небольшой, надеемся на продуктивную дискуссию. Перед семинаром можно вспомнить выступление Дениса и последующее обсуждение, которые были у нас год назад:
▫️ Денис Афанасьев - Таксономия методов FL, обзор платформ, основных игроков, вызовов и трендов развития, 2023 (1 час 20 минут);

А также почитать недавнюю статью Дениса:
▫️ @denisafanasev/federated-learning-overview-the-magic-behind-keeping-your-data-safe-452bbb88c9ce' rel='nofollow'>Federated Learning Overview: the Magic Behind Keeping Your Data Safe, 2024 (40 минут).

Показано 20 последних публикаций.