Anscombe's Quartet

@anscombes_quartet Нравится 0

Канал про Data Science/AI/ML + новости про хайтек. @renardeinside по всем вопросам
Гео и язык канала
Россия, Русский
Категория
Технологии


Написать автору
Гео канала
Россия
Язык канала
Русский
Категория
Технологии
Добавлен в индекс
06.09.2017 21:19
реклама
SearcheeBot
Ваш гид в мире Telegram-каналов
TGAlertsBot
Мониторинг упоминаний ключевых слов в каналах и чатах.
Telegram Analytics
Подписывайся, чтобы быть в курсе новостей TGStat.
529
подписчиков
~293
охват 1 публикации
~43
дневной охват
~25
постов / месяц
55.4%
ERR %
0.02
индекс цитирования
Репосты и упоминания канала
19 упоминаний канала
0 упоминаний публикаций
2 репостов
1 дойчмарка
1 дойчмарка
АГРЕГАТОР
i_Dota2
Kickstart My Heart
SEO-специалист
tech++
Universal News
Разраб Beta
Медуза Горгона
CRYPTON 🚀
Киберграмотность
TRUESOFT (На Галере)
Yet Another Linux Channel
Something Bright
Соцтехнологии
geek
📢Про аудио, видео
SnCode
Биткойн Путлера
Каналы, которые цитирует @anscombes_quartet
Data Science by ODS.ai
Kantor.AI
Data Science by ODS.ai
Strelka Magazine
Dankest Memes
NOP::Nuances of programming
Ебанистика всякая
Food-stained hoodie
PeterLevichChannel
La Qeque
Dankest Memes
CITY MORPHS
TechSparks
Доди Ёбсон
Loss function porn
TechSparks
Городские данные
Dankest Memes
CITY MORPHS
1 дойчмарка
Loss function porn
Мемы по талонам
Кухня Яндекс.Дзена
Свободный от забот
аватарошная
Loss function porn
ГОВОРИТ ВАФИН
Солнечный шторм
Российский Ритейл
Солнечный шторм
NOP::Nuances of programming
SnCode
tech++
Соцтехнологии
TRUESOFT (На Галере)
📢Про аудио, видео
Разраб Beta
GEEK ZONE
Something Bright
SnCode
Yet Another Linux Channel
i_Dota2
Технологии XXI Века
Kickstart My Heart
CryptCoin💥
Последние публикации
Удалённые
С упоминаниями
Репосты
Anscombe's Quartet 25 Nov, 00:20
Lightbend (одна из ключевых компаний, поддерживающих и развивающих Scala, по совместительству создатели фреймворка Akka), выпустила в релиз новый фреймворк под названием Cloudflow. Этот фреймворк стремится занять нишу стриминговой обработки данных, предлагая разработчикам возможность писать стриминговые приложения на базе Spark, Flink или Akka Streams, а затем развертывать их как набор связанных сервисов в Kubernetes.
В целом, кажется что индустрия по обработке больших данных вновь обращает свой взор именно на потоковую обработку - Flink получил новую жизнь благодаря инвестициям от Alibaba, Spark активно анонсирует новые стриминговые возможности (включая subsecond latency) в готовящейся 3.0.0 версии, а теперь вот и Lightbend подоспел на огонек с новым фреймворком:
https://www.lightbend.com/blog/cloudflow-released-lightbends-newest-open-source-project
Читать полностью
Anscombe's Quartet 21 Nov, 19:38
Компания atomico выпустила большой обзорный отчет по европейской IT-индустрии (тут и инвестиционная статистика, и география, и тренды).
https://2019.stateofeuropeantech.com/
Anscombe's Quartet 3 Nov, 15:57
У нас в команде время от времени возникают дискуссии по поводу того, как должен выглядеть код на Scala, и мы часто заглядываем в Databricks Scala Style Guide.
Это очень полезный гайд, поскольку в нем не просто выбираются какие-то отдельные правила, но и объясняются причины выбора в пользу того или иного подхода:

https://github.com/databricks/scala-style-guide
Anscombe's Quartet 27 Oct, 17:20
Недавно разбирался с Stateful Operations в Apache Spark Structured Streaming, и таки обрел мотивацию не просто накодить решение, но и написать по этой теме пост - впервые для себя на английском языке. Enjoy!

https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Anscombe's Quartet 26 Oct, 12:12
Вот за что люблю опенсорс, так это за то, какие возможности он открывает для технологических энтузиастов. Вот например Raja Sekar взял и написал частичную имплементацию Spark на Rust (!), ускорив оригинал на несколько порядков. Как мне кажется, Spark в целом дальше будет двигаться в направлении HPC фреймворков.

https://link.medium.com/PtiQeIH250
Anscombe's Quartet 4 Oct, 23:36
Я искренне считаю, что технический прогресс, сопутствующий нашей эпохе, дарует нам один из самых вдохновляющих отрезков в человеческой истории.

Вот, к примеру, взгляните на разработку французских ученых по управляемому мыслями экзоскелету для парализованного пациента.

Только вдумайтесь - по сути своей, это технологическое решение можно сравнить с телекинезом - то, что было миллионы раз описано в фантастике, понемногу становится окружающей нас реальностью:
https://www.bbc.com/news/health-49907356
Читать полностью
Anscombe's Quartet 4 Oct, 10:18
Совершенно замечательная статья на тему осознанности ЗП в айти (эдакий пятничный наброс, если угодно):

https://link.medium.com/okSkPQlnv0
Anscombe's Quartet 4 Sep, 17:53
Привет всем читателям моего канала!

Сегодня дважды хороший день, потому что магическим образом совпали два события:
- мой probation period успешно закончился
- мне стукнуло 25

В связи с красивым числом мне лично в голову приходят только строчки БГ:
Я инженер на сотню рублей,
И больше я не получу.
Мне двадцать пять, и я до сих пор
Не знаю, чего хочу.

Чтобы немного зафиксировать то, что отложилось в памяти за время поиска и прохождения собеседований в Берлине, я написал вторую часть моих заметок:

https://telegra.ph/Rocky-Road-to-Berlin---Onsajt-i-offery---p1-09-04

Честно говоря, код писать мне гораздо проще, чем заметки, поэтому пишите - что именно вам интересно.
Rocky Road to Berlin - Онсайт и офферы. Zalando - p2
Вторая часть моих заметок про трудоустройство в Берлине. Первая - вот здесь. TL;DRСоветы по онсайтам: Не проходите онсайты в день прилета/отлета Лучше прилетите чуть заранее и поболтайте с кем-нибудь по английски, чтобы спокойно пережить языковой шок Не забудьте подготовиться к cultural fit interview Перед вылетом Для начала, краткая сводка по состояниям офферов на момент моих онсайтов в Берлине: Zalando, позиция Data Engineer Крупнейший в Европе маркетплейс одежды с revenue >1 млрд. EUR (внутри любят говорить…
Читать полностью
Anscombe's Quartet 5 Aug, 16:06
Тестирование качества данных - отдельная головная боль в любом проекте по Data Engineering. К счастью, одна из команд в Amazon уже сталкивалась с аналогичными проблемами, и сделала отличный фреймворк, специально заточенный под эту задачу.
Из понравившихся мне плюшек могу отметить следующие:
1. Очень простой алгоритм добавления проверок и в целом понятный подход к их реализации
2. Результаты проверок так же экспортируются в датафреймы (можно вести мониторинг с историей)
3. Для проверок каунтов на реально больших датасетах реализованы ассимптотические расчеты, которые работают достаточно быстро
Официальный пост от AWS - https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/
Читать полностью
Anscombe's Quartet 1 Aug, 14:23
Репост из: Pavel Klemenkov
Новый, твой, восьмой! https://moscowspark.timepad.ru/event/1032150/
Anscombe's Quartet 1 Aug, 14:23
Всем кто в Москве и заинтересован в подкапотных деталях работы со Spark, я очень рекомендую заглядывать на регулярной основе на Moscow Spark Meetup. Паша всегда подбирает отличных спикеров, которые рассказывают действительно интересные и актуальные темы, имеющие самое прямое отношение к задачам и проблемам, с которыми регулярно сталкиваются реальные пользователи этого фреймворка
Anscombe's Quartet 29 Jul, 13:57
Эффективная коммуникация между множественными командами - это всегда сложная тема, особенно когда этих команд куча и не всегда понятно каким образом накладываются эффекты от различных изменений в структуре API. HBR описывает интересный кейс - как использовать email правильно и улучшить внутреннее взаимодействие между различными структурами, пользуясь принципами коммуникации между армейскими подразделениями:
https://hbr.org/2016/11/how-to-write-email-with-military-precision
Читать полностью
Anscombe's Quartet 22 Jul, 12:12
И вновь наша непостоянная рубрика "бездарная журналистика" - вот например на https://rb.ru/ai/ai-tools/ вышла "КАРТА ИСКУССТВЕННОГО ИНТЕЛЛЕКТА" (ОГО, прям AGI наверное?).

Из замечательного в ней:
- в списке языков есть Lisp с Prolog-ом (сейчас же не 1998, разве нет?)
- в коллекциях библиотек для AI есть NGINX (а pytorch или transmogrif.ai или хотя бы dvc нет, ну зачем они нужны то)

Обидно что действительно хорошие и интересные проекты по машинке в подобные топы не попадают.
Читать полностью
Anscombe's Quartet 25 Jun, 17:43
Наконец доделал первый кусочек текста про переезд в Берлин.
Как известно, пляшем от печки, поэтому рассказ начинаем с онсайт-собеседований.
Фидбек важен, так что пишите что интересно/что не интересно:
https://telegra.ph/Rocky-Road-to-Berlin---Poisk-raboty-i-onlajn-sobesedovaniya-06-25
Rocky Road to Berlin - Поиск работы и онлайн-собеседования - p1
UDP: вторая часть - вот здесь. Давеча собирался написать серию заметок про Берлин вообще, пусть эта будет первой. Вещи, сказанные здесь по большей части самоочевидны для тех, кто знает детали поиска работы в Берлине, и уже были озвучены, однако мне кажется что всегда полезно посмотреть на то, как кто-то в миллионный раз проходится по всем известным граблям. TL;DR Итого: 5 офферов (4 в Берлин, 1 в Мюнхен) Потраченное время: 8 месяцев зубрежки английского 2 месяца LeetCode + Codility + Cracking the Coding Interview…
Anscombe's Quartet 24 Jun, 18:40
Хотя и не пятница, но время для несерьезных постов - https://medium.com/@olxc/the-evolution-of-a-scala-programmer-1b7a709fb71f
Spark Scala Programmer - "Strongly believes that cannons are perfectly fine for killing flies" - это идеальный троллинг, конечно же
Anscombe's Quartet 6 Jun, 14:25
Anscombe's Quartet 7 May, 12:35
В нашей команде, занимающейся созданием event processing & streaming data pipelines открыта позиция Senior Data Engineer. В идеале нужен человек с хорошими скиллами в Scala, Spark и имеющий опыт работы с Spark Structured Streaming. Для прохождения собеседований и в работе мы используем английский, но сертификатов о знании языка не требуется.
Знание немецкого так же не является требованием. Для тех кто не живет в Берлине, Zalando обеспечивает relocation assistance - квартиру на первый месяц и ассистента, который поможет аккуратно разобраться с немецкой бюрократией.
Кинуть резюме на позицию можно вот здесь:
https://jobs.zalando.com/en/jobs/1584329-senior-data-engineer-data-integration
Читать полностью
Anscombe's Quartet 25 Apr, 11:13
Databricks зарелизил в опенсорс фреймворк для ACID-compliant операций, тот самый "delta-table-format", который раньше был только в их проприетарной платформе. По сути своей это parquet-format файлы с шустрой обвязкой из метаданных. В качестве бонуса идет версионирование атомарных записей и возможность потокового чтения апдейтов из таблицы в которую постоянно доливают данные:
https://github.com/delta-io/delta/
Читать полностью
Anscombe's Quartet 18 Apr, 16:54
Productivity команда плохого не посоветует.
Anscombe's Quartet 11 Apr, 20:01
Наша непостоянная рубрика «математики шутят». Присоединяйтесь к сообществу ods.ai ,это определённо самое большое и лучшее сообщество по DS тематике на русском языке