Гугл проказничает опять. На сей раз они начали менять то, как выглядят ссылки в поисковой выдаче. Если раньше в SERP обычно лежали обычные ссылки на целевые сайты, то теперь вместо них можно получить что-нибудь вроде /goto?url=CAESabrakadabra. Такая ссылка сначала ведёт в Google, а уже оттуда вас перенаправляют на нужный сайт.

Для обычного пользователя разницы почти никакой, а вот для скрейпера — уже интереснее, потому что такие ссылки выдаются не всегда и не всем, а если вы их получили, из HTML уже нельзя просто вытащить нормальный целевой URL.

Я поисследовал эту штуку и написал статью о том, что вообще представляют собой новые ссылки /goto, что находится внутри загадочных CAES токенов (спойлер: внутри какая-то криптографическая фиговина, а не просто хитро закодированный URL), насколько их реально декодировать, почему просто вытащить исходный URL из токена не получается и как нормально резолвить такие ссылки на практике.

В общем, приятного чтения:
https://www.scrapingbee.com/blog/google-goto-redirect-urls/