Spark in me


Гео и язык канала: Россия, Русский
Категория: Даркнет


Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
Chat (manually approved)
- t.me/+o-8LwrT-kbEzNGFi


Гео и язык канала
Россия, Русский
Категория
Даркнет
Статистика
Фильтр публикаций




Интересное развитие.
Tldr - не покупайте Copilot или любыe additional purchases.


Репост из: Блог погромиста
Привет, ребятушки!
В школах ввели "разговоры о важном". А я что, хуже? Поэтому сегодня у нас тоже разговор о важном.

Во-первых, я в России и бежать не собираюсь. Я уезжал, уже вернулся, и перегорел. Тут моя родина и я собираюсь быть тут, пока самому не надоест.

Во-вторых, прекрасные люди уже спели "я буду так делать пока где-то во мне ритмично дрожит миокард" и "до тех пор, пока бьётся мой пульс, буду делать всё, даже то чего боюсь". Меня это вдохновляет. Буду делать всё, что считаю правильным, пока могу.

Ну и напоследок: не паникуйте. Сейчас всё, что вам нужно - холодная голова. Лучший план, как по мне - составить дерево решений и дальше ехать по нему, как по рельсам. Типа "если случится foo, то я делаю bar, иначе baz". Глубину дерева выбирайте сами, но не забудьте туда включить вариант "призывают всех wildcard'ом, кто не пришёл - преступник".

Всем мира 🕊


Интересно когда такие возвраты станут массовыми, и станут ли.




Also also - need to wait until people post actual ML tests of say, Gigabyte 4090 (they were FAR superior to ASUS for 3090 in build quality), but looks like 450W TDP makes building 3-4-5 GPU systems not only not practical, but also unfeasible.

Looks like will have to wait until a new GPU similar to A4000 arrives?


image_2022-09-23_21-52-00.png
272.2Кб
Not sure ... if it is 2x more efficient, why 450W TDP?




Ada Lovelace GPUs Shows How Desperate Nvidia Is - AMD RDNA 3 Cost Comparison

https://semianalysis.substack.com/p/ada-lovelace-gpus-shows-how-desperate

TLDR - good for AI, bad for gaming (price-wise):


Due to high wafer costs, GPU die costs are up massively, but the die is only a portion of a GPU’s total bill of materials (BOM). The BOM of a GPU also includes memory, packaging, VRMs, cooling, and various other board-level costs. When moving from the previous generation 3090/3090ti (GA102) to the new 4090 (AD102), these board-level costs remain the same. As such, the MSRP increase from $1499 to $1599 is enough for Nvidia to maintain margins and deliver substantial gains in performance per dollar. The MSRP cannot be compared directly as the 3090ti GPU sells for $999, or even less, meaning performance per dollar in traditional rasterization rendering is flat.

....

In short, AMD saves a lot on die costs by forgoing AI and ray tracing fixed function accelerators and moving to smaller dies with advanced packaging. The advanced packaging cost is up significantly with AMD’s RDNA 3 N31 and N32 GPUs, but the small fan-out RDL packages are still very cheap relative to wafer and yield costs. Ultimately, AMD’s increased packaging costs are dwarfed by the savings they get from disaggregating memory controllers/infinity cache, utilizing cheaper N6 instead of N5, and higher yields. Memory BOM utilizes the full memory bus width using single-sided 16Gb G6 or 16Gb G6x memory.

Nvidia likely has a worse cost structure in traditional rasterization gaming performance for the first time in nearly a decade. Nvidia is desperate to maintain margins, as shown by AD104’s 4080 12GB pricing and branding. They still have far too many GPUs in the channel. If Nvidia wants to maintain its market position, marketing and game partnership teams will need to emphasize areas where their GPUs perform better, such as ray tracing and AI-based rendering. We expect AMD to gain a decent market share in laptops with the N33 GPU and superior mobile APUs. On the desktop, the market share shift will depend on how many wafers AMD allocates to gaming GPUs versus Genoa and Bergamo Zen 4 server CPUs. We expect AMD to rise to 30% to 35% market share on discrete desktop GPUs. AMD could raise its margins aggressively from historical levels to well above 50%. While Nvidia will still retain an advantage in ray tracing and AI-based rendering techniques, many gamers care more about the games they play today than where the industry is headed.


TensorStore for High-Performance, Scalable Array Storage

In ML training engineering it gets complicated, when you deal with 100M+ datasets. Of course you can get away with basic tools like Redis / python's manager / PyTorch even has its version of Redis.

Surprisingly, if you just implement a naïve disk database (i.e. hashed subfolders with a separately stored index), with sufficiently large dataset and small files you can run out of inodes.

Of course, you can easily implement some custom simple chunking strategy (i.e. text data into a dataframe etc). I wonder if this tool can help with this part.

- https://ai.googleblog.com/2022/09/tensorstore-for-high-performance.html

If anyone has experience, please share.




PROPAGANDA TECHNIQUES TO RECOGNIZE:


- https://www.uvm.edu/~jleonard/AGRI183/propoaganda.html


Also remember that refuting bullshit takes 1000x more effort than creating it.


NVIDIA, ARM, and Intel try to make a good FP8 format

http://arxiv.org/abs/2209.05433

- INT8 never became the de facto standard, requires some fiddling, not all modules are supported, etc etc
- Ofc this is not supported by frameworks and hardware
- Paper does not mention any real throughput / latency metrics


If this lands, this will be very cool. Though in my experience FP16 helps with batch size / memory, not speed.


My own brief opinion:

- Key team (including Soumith Chintala) has left;

- The PyTorch / overall ecosystem has matured;

- PyTorch development has slowed and became less focused (I believe so) on getting real shit done;

- Some cuts at Meta;

- AMD presence is good for the public for obvious reasons;

- AWS, GCP, Azure ... probably will help with improving performance ... or developing vendor locked functionality?

- No Intel?

- Are we to expect 100% opposite actions to the stated ones?


Announcing the PyTorch Foundation

Meta has moved PyTorch to a new, independent PyTorch Foundation, under the Linux Foundation, whose governing board consists of representatives from a broad range of tech companies.

...

The project will join the Linux Foundation with a diverse governing board composed of representatives from AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, and Nvidia, with the intention to expand over time.

...

The transition will not entail any changes to PyTorch’s code and core project, including its separate technical governance structure.

https://ai.facebook.com/blog/pytorch-foundation/


A real failed case of applying ML to a real life scenario

A rare specimen. Contrary to the ordinary mantra of just "adding more layers" some info from the real project:

- https://andlukyane.com//blog/medical-chat-bot

Takeaways:

- Too complex
- Data too fuzzy labeling too complex
- Pre-trained models useless for real life cases
- Real life annotation is full of pain and gotchas
- They also used fast-text like tokenization
- Simple models
- Wild, deep, complex in-domain data engineering rules

PS

- So sad to see trillions of rubles spent on chasing trendy topics like image generation and public datasets ... are nowhere
- I wonder what % of trendy projects reported by AI firms are like this
- Lack of leadership and care in corporate world

I appreciate the author's courage in coming out with this ... after he has moved to another country, lol.


Репост из: Silero Bot News
Бот стал лучше

На момент написания этой статьи ботом воспользовалось более 200,000 пользователей, сгенерировав более 4 миллионов аудио и видео. Мы вообще думали, что хайп быстро спадет и ботом люди пользоваться перестанут. Не перестали.

Нас также поддержало много создателей контента по тематике Warcraft 3 и в принципе количество народного творчества нас приятно порадовало. По этой причине мы создали боту отдельный канал в телеграме, чат и страничку на Boosty и впилили кое-какой функционал и сделал ряд улучшений.

По улучшениям:

0. Мы сильно ускорили бота и пофиксили баги
, которые воспринимались пользователями как зависание;

1. Боту сделали инлайн режим. Идем в самого бота как обычно, проходим капчу, потом уже можно пользоваться в чате просто вводя @silero_voice_bot (подробнее в /help или /inline);

2. Мы вернули функцию генерации видосов. В начале сильно тормозила именно заливка видосов в телегу, но мы решили это, просто добавив мощности серверу, где крутится бот;

3. У бота убрали характерное "заикание", которое возникало на запятых;

4. Боту дали возможность генерации диалогов. Подробнее в /help и /speak, а тут просто пример команды:

/speak arthas Весь город должен быть уничтожен!

/speak uther Как ты мог даже подумать об этом?
/speak uther Должен быть какой-то другой путь!

/speak arthas Проклятье, Утер!
/speak arthas Как будущий король я приказываю тебе очистить этот город от солдат тьмы!




Caddy configs are good now

2
years ago I struggled with Traefic and Caddy v1.

Caddy has a huge facelift in its docs.

Looks like this page is 100% intuitive now:

- https://caddyserver.com/docs/caddyfile/concepts#structure

Awesome.


Если у кого-то еще есть счета в ТКС, то краткая выжимка ко вчерашней истории.

Факты / публичная информация:

- Это бунт именно представителей, то есть курьеров, кто возит карты (смотрим на даты постов);

- Началось все уже 2-3 года назад, текущие события были катализатором, якобы стали реально просто не платить гибкую часть по ГПХ;

- Бунты разработчиков тоже были (Уткин, слив инфы про нетитульные нации, разгон одного отдела, еще какой-то не вспомню);

Мои домыслы:

После каждой такой новости я выводил % своих накоплений из ТКС. Мое текущее мнение - все корреляции с продажей и известными событиями - это лишь катализатор. Позиция банка по "разрешили вывод больших сумм, потом запретили" и контент журнала, тоже отчасти намекают.

Ссылки:

- https://www.kommersant.ru/doc/5547249
- https://vc.ru/claim/473187-tinkoff-ne-platit-zarplatu-sotrudnikam
- https://www.banki.ru/news/lenta/?id=10971708
- На прошлые срачи ищите ссылки сами

Показано 20 последних публикаций.