Yandex Infrastructure


Kanal geosi va tili: Rossiya, Ruscha
Toifa: ko‘rsatilmagan


Рассказываем как мы делаем внутреннюю инфраструктуру Яндекса
Сайт: https://infra.yandex.ru
Чат для общения: https://t.me/ya_infra
Вакансии: https://yandex.ru/jobs/services/infrastructure

Bog‘liq kanallar  |  O‘xshash kanallar

Kanal geosi va tili
Rossiya, Ruscha
Toifa
ko‘rsatilmagan
Statistika
Postlar filtri


Яндекс dan repost
В ночь с 7 на 8 октября дата-центр Яндекса в Сасово был серьезно повреждён из-за атаки БПЛА. Его работа полностью остановлена. Сегодня утром произошла атака на ещё один наш дата-центр, в Калуге. Часть инфраструктуры вышла из строя. Ни в Сасово, ни в Калуге сотрудники не пострадали. Сейчас на месте работают экстренные службы и наши специалисты. 

Дата-центры — «железное сердце» Яндекса. Их работоспособность критична для сервисов, которые стали частью повседневной жизни людей. Миллионы пользователей проверяют пробки и строят маршруты, слушают музыку, смотрят кино, заказывают продукты и получают ответы на вопросы. Наши технологии помогают вести бизнес сотням тысяч компаний: принимать заказы, обслуживать клиентов, взаимодействовать с партнёрами.

Мы понимаем, что для наших пользователей, клиентов и партнёров каждый сбой — это нарушенные планы и невозможность сделать то, что было частью повседневной жизни или работы.

Команды Яндекса ночью и днём делают всё возможное, чтобы обеспечить работу сервисов и помочь тем, кого затронул инцидент. Сейчас это наша самая важная задача, но, к сожалению, она непростая.

Спасибо нашим сотрудникам — тем, кто находится на площадках, и тем, кто продолжает работать над восстановлением сервисов. Спасибо партнёрам за терпение и сотрудничество, а пользователям — за понимание.

Мы продолжаем оценивать состояние инфраструктуры — пока назвать сроки восстановления работы оборудования в дата-центрах очень сложно. Будем рассказывать о ситуации по мере появления информации.

Команда Яндекса ❤️


❤️ Что происходит, когда поток данных нужно обрабатывать в реальном времени, под высокой нагрузкой и без права на потерю или повторную обработку?

Мы открыли код YTsaurus Flow — фреймворка, который берёт на себя состояние, отказоустойчивость и координацию распределённой обработки.

Теперь можно не только почитать, как это устроено, но и заглянуть внутрь самого инструмента: исходный код доступен под Apache 2.0.


❗️Всего лишь 22 часа займёт обработка 80-миллиардного бакета

А всё благодаря механизму S3 Inventory. Он сам собирает метаданные из исходного бакета, обрабатывает их и выгружает в целевой бакет пользователя. 

Привет! Это Артём Мурашко, разработчик в Yandex Infrastructure. Я уже четвёртый год работаю с Yandex Object Storage — объектным хранилищем Яндекса. 

➡️ Читайте в блоге Yandex Infrastructure, как мы вместе с командой выстроили систему сбора метаданных, с какими сложностями столкнулись и как нам удаётся листить миллиарды объектов за такое короткое время.


🔄 Представьте 80-миллиардный бакет

Как думаете, за сколько его реально обработать? Возьмём 50 миллисекунд как время получения ответа.

⚡️— 22 часа
❤️ — 10 дней
👍— честно, сложно даже представить


❓Всем ли надо стремиться быть тимлидами? 
И нормально ли, если вы не хотите им быть? 

Привет! Это Антон Кортунов, технический лидер в Yandex Infrastructure. Ответ на первый вопрос — нет. Ответ на второй — абсолютно да. Ведь есть и другие варианты. Например, вырасти в технического лидера. Подробнее рассказываю в кружке выше. 

➡️ И в блиц-интервью с infra.conf'26.




Девятый nexthop уже на горизонте — открываем регистрацию

26 ноября Yandex Infrastructure уже в девятый раз собирает инженеров, архитекторов и разработчиков. Никакой воды, только хардкор: сети для ИИ, автоматизация, сетевая разработка и оптимизация на максималках.

📍 Встречаемся в Москве или в онлайне из любой точки мира.


Фильтровать DDoS-атаки можно по-разному

Можно, например, взять старенький и пыльный Linux-сервер из лабораторного стенда, задействовать eBPF и XDP и навайбкодить ко всему этому панель управления. Так сделал наш коллега, старший сетевой инженер Cloud Network Operations & Design. Чтобы отсеивать атаки на комьюнити с ивентовыми играми, он разработал собственное решение — XDP Anti-DDoS.


Теперь он может мониторить параметры работы прокси-сервера и, главное, фильтровать мощные и комбинированные атаки без импакта.

⏩️ Детали — в карточках.

❤️ — крутой кейс

#YInfra_petprojects


Спрашиваете, в честь чего мы наряжаемся?

В честь дня рождения Яндекса! Компании исполняется 29 лет.

Каждый день вы пользуетесь сервисами Яндекса — вызываете такси, проверяете погоду, слушаете музыку, заказываете еду, ищете маршрут или включаете фильм на вечер. А чтобы всё это работало, нужна инфраструктура, на которой эти сервисы создаются, развиваются и работают каждый день.

Мы, Yandex Infrastructure, создаём и развиваем фундамент из продуктов и технологий, которые помогают разрабатывать, деплоить и эксплуатировать сервисы компании.


Представили, как может выглядеть ваш день, если собрать в нём самые привычные сервисы Яндекса? ⬇️

🔎 8:00 — Алиса разбудит точно по расписанию
☂️ 9:00 — перед выходом проверим Яндекс Погоду — супер, день обещает быть солнечным
🚖 10:00 — до офиса доедем на такси — вызовем Яндекс Go
🎵10:30 — начнём делать задачи под любимый плейлист из Яндекс Музыки
🔎 12:00 — подключимся к созвону в Телемосте и заодно поздравим команду с праздником
🍫 13:00 — на обед закажем что-нибудь из Лавки. И, конечно, торт!
🔎 17:00 — проверим Трекер — все тикеты закрыты
❤️ 18:00 — коллеги нашли в Картах ресторан с высокой оценкой, идём на ужин
🍿 21:00 — дома приготовим попкорн и включим любимый сериал на Кинопоиске

За каждым таким привычным действием стоит огромная технологическая система и работа команд, которые помогают ей работать каждый день.

❤️ — С днём рождения, Яндекс!


Поможете собраться нам в офис?

❤️ — футболка с любимым принтом, самые удобные джинсы из гардероба, кроссовки
🔥 — оверсайз-рубашка, прямые брюки, минималистичные кеды, большие наушники
👍 — эээ, какие наряды


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
🔄 Яндекс в середине нулевых — каким он был?

Сегодня, в день рождения компании, на Кинопоиске вышел третий сезон «Историй Яндекса».

Смотрите выпуск, в котором своей историей поделился Антон Самохвалов, Yandex Fellow. 

Привет! Это Антон. Я пришёл работать в компанию когда ещё учился на пятом курсе МГУ, а это был аж 2005 год. Сперва был разработчиком в Маркете. Затем перешёл в Поиск. Создал первую версию статистики производительности разработчиков (коммитов, строк кода и пр.) А уже потом положил начало DevTools, благодаря чему Яндекс сегодня — единая технологическая компания.


➡️ Смотрите в новом выпуске проекта «Истории Яндекса» на Кинопоиске

#YInfra_team


🗓️ 12:56 среды

Отличное время, чтобы посмотреть подборку свежих вакансий в нашу команду. Кого сейчас ищем ⬇️

⚫️ Старший бэкенд-разработчик в Медиаплатформу  
Ищем сильного специалиста, который уверенно владеет Go, имеет практический опыт работы с WebRTC/SIP/RTSP и знает, как эксплуатировать сервисы под нагрузкой.

⚫️ Разработчик бэкенда в Yandex Storage 
На этой позиции вы будете развивать MDS 2.0, повышать надёжность и производительность хранилища, а также готовить и проводить миграцию данных. 

⚫️ Разработчик системы трейсинга 
Вам предстоит масштабировать систему и повышать её доступность, разрабатывать горячее хранилище и улучшать пользовательский опыт при работе с системой трассировки.

⚫️ Разработчик в буткемп Core Infrastructure 
Ищем опытных бэкенд-инженеров со знанием C++, Go или Python. Вы будете разрабатывать и развивать распределённые системы, на основе которых строятся и работают практически все сервисы Яндекса.

12:57 среды — отличное время, чтобы отправить отклик и поставить
❤️ этому посту


Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
📍 Точка сборки для всех, кто рулит сетями и инфрой

15 октября едем на linkmeetup v9.0 — слушать трушные инженерные кейсы, щупать железо и общаться в кулуарах.
Мы будем на митапе с 3 докладами: про ИИ-агентов в сетях, загадочного вендора на букву F и борьбу за миллисекунды.

➡️ Регистрируйтесь. Увидимся!


❗️ Руки от консоли! Вся сеть автоматизирована

Эксплуатация точно знает, как должна работать сеть, но не обязана погружаться в тонкости Python. Разработка умеет строить надёжные и масштабируемые инструменты, но понятия не имеет, как правильно настраивать политики на Juniper и Huawei.

Привет! Это Гриша Ожегов, ведущий разработчик команды NOCDEV в Yandex Infrastructure, и Саша Предеин, ведущий сетевой инженер в Yandex Infrastructure.


В подкасте мы спорим, договариваемся и разбираем: как связка инженеров и разработчиков помогает управлять тысячами железок и обновлять прод вообще без захода в консоль.

🎵 Слушать и смотреть выпуск.


📌 Пулл, пуш, мёрж — обычный вторник для каждого, кто работает с кодом

Сегодня git checkout или git merge кажутся чем-то элементарным. Но мало кто помнит, что ещё пару десятилетий назад разработчики буквально просили друг друга в чатах не трогать файл, а создание ветки копировало всю гигантскую папку проекта на сервере.

Привет! На связи Юрий Чернышов, ведущий разработчик и технический лидер группы разработки Arc VCS (in-house системы контроля версий Яндекса). В новом выпуске подкаста «Кода Кода» разбираемся в эволюции VCS.


⏩️ Листайте карточки с краткой историей эволюции VCS или слушайте полный выпуск подкаста!


В Яндексе есть своя фишка: если перед тобой задача, которую до этого никто не решал — значит, начинается самое интересное. Только эксперименты, гипотезы, ошибки и попытки сделать то, что казалось невозможным.

Вчера, 13 сентября, мы отмечали День программиста. Каждый невисокосный год этот праздник совпадает с днём рождения Ильи Сегаловича, сооснователя Яндекса (он и придумал название компании). Так что это стало идеальным днем для премьеры документального фильма «Нерешённые задачи».


О чём фильм

Это 30-минутная история о поиске ответов там, где нет готовых инструкций. О том, как амбициозные вызовы, эксперименты и даже ошибки становятся шагами к большим технологическим открытиям. В фильме снялись разработчики из разных команд Яндекса. От нашей команды в съёмках участвовал Антон Самохвалов, Yandex Fellow — он как раз один из тех, кто каждый день берётся за сложные инженерные задачи без готового решения.

🖥️
Смотрите премьеру на
Кинопоиске
и на
YouTube


Приятного просмотра и с Днём программиста!




Под любой из этих праздников можно найти стикер в нашем наборе.

Выбирайте подходящий и поздравляйте друзей ⬇️



19 ta oxirgi post ko‘rsatilgan.