jenyay.net

Всем привет. Наконец-то взял себя в руки и написал обзор книги Мартина Клеппмана "Высоконагруженные приложения"

В оригинале книга называется "Designing Data-Intensive Applications", а в русском переводе из названия не понятно о какой высокой нагрузке идёт речь: о нагрузке на процессор вычислениями или нагрузке данными. Но если почитать введение, то автор с первых же страниц пишет, что речь пойдёт о высоконагруженных приложениях в том смысле, что они обрабатывают большие объёмы данных.

Эта книга в первую очередь о проблемах, которые возникают в распределенных системах, когда нужно согласовывать данные на разных серверах.

Книга скорее теоретическая, в ней нет ни строчки кода или конфига, но при этом упоминается большое количество известного и не очень софта, работающего с данными, и это не только базы данных.

Ссылка на обзор в блоге - https://jenyay.net/blog/2020/05/31/kniga-martina-kleppmana-vysokonagruzhennye-prilozheniya/

#книги #программирование

Всем привет!

Продолжаю выкладывать новые нестабильные версии OutWiker. Изменений, которые заметны пользователю, в них все меньше и меньше, а значит скоро можно будет новую версию назвать стабильной. Каких-то критических проблем с самим OutWiker-ом нет, но хочется довести до ума то, что пользователи не видят: систему сборки и выкладывания программы, а заодно немного почистить внутренний код от предупреждений, найденными разными линтерами.

А пока встречайте новую нестабильную версию OutWiker-а под номером 3.0.0.872. О том, что в ней изменилось, вы можете прочитать в блоге - https://jenyay.net/blog/2020/05/03/outwiker-3-0-0-872-unstable/

Одна из проблем, которая меня интересует, как вести занятия со студентами так, чтобы с одной стороны им было интересно и понятно то, о чем я говорю, но в то же время не скатываться на совсем примитивный уровень в стиле «нажми на кнопку — получишь результат». Поэтому периодически почитываю книжки на тему преподавания и обучения, чтобы понять, как другие люди справляются с этой задачей, что можно исправить в изложении материала.

До карантина мне попалась книга «Безграничный разум», которую написала профессор Стэнфордского университета Джо Боулер. Эта книга посвящена тому, как имеющаяся система образования отбивает желание учиться, а у учеников развивает (не)уверенность, что тот или иной предмет им понять не под силу.

Более подробно об этой книге написал пост в блог - https://jenyay.net/blog/2020/04/24/kniga-dzho-bouler-bezgranichnyjj-razum/

Всем привет!
Python - замечательный язык программирования, но иногда приходится работать с библиотеками, которые написаны на других языках программирования. Обычно это бывает, потому сторонние библиотеки решают нужные вам задачи, и не хочется изобретать велосипед, реализую то же самое на Python. Либо в более редких случаях, когда производительность вашего приложения упирается в особенности языка Python (все-таки интерпретируемые языки по скорости не сравнятся с компилируемыми), и часть кода приходится писать на C или C++.

Для решения такой задачи - использования библиотек, написанных на C/C++, из Python-приложения существует много решений. Одно из них - SIP. Эта утилита изначально разрабатывалась для создания Python-обвязки над такой монстроидальной библиотекой как Qt (получившаяся обвязка - PyQt). Я написал большую статью в двух частях про использование основы использования SIP для создания Python-обвязок над библиотеками. Сегодня я выложил первую часть:

Создание Python-обвязки для библиотек, написанных на C/C++, с помощью SIP. Часть 1 - https://jenyay.net/Programming/Sip1

Чуть позже выложу продолжение.

Я люблю иногда ходить на разные программерские конференции и считаю, что полезно и самому иногда там выступать. В прошлом году в рамках встречи Московского клуба программистов я рассказывал про генетические алгоритмы, а недавно сделал доклад в продолжение этой темы и рассказал про оптимизацию с помощью роя частиц.

Подробности, ссылки и видео смотрите в блоге - https://jenyay.net/blog/2020/03/01/doklad-pro-optimizaciyu-metodom-roya-chastic/

После сравнительно длительного перерыва, связанного с тем, что я переключался на другой проект, продолжаю выкладывать новые версии OutWiker. В ближайшее время я хочу заняться в основном расчисткой кода и переделыванием системы сборки без добавления каких-то крупных новых возможностей. Очень надеюсь, что через месяц-другой очередную версию можно будет назвать стабильной.

Начиная с версии 3.0.0.870 при создании новой заметки вы можете выбирать, куда она будет помещена в списке заметок - в начале, в конец или встанет на место в соответствии с сортировкой по алфавиту. Также обновил несколько плагинов.

Более подробно о новой версии вы может прочитать в блоге - https://jenyay.net/blog/2020/02/23/outwiker-3-0-0-870-unstable/

Я продолжаю писать библиотеку с реализацией различных алгоритмов оптимизации на языке Rust (библиотека называется optlib). Недавно выложил optlib 0.3.0, в которую попало много интересных нововведений. Помимо новых алгоритмов расчета скорости частиц в методе роя частиц, были добавлены структуры, предназначенные для сохранения статистики работы алгоритмов.

Более подробно о новой версии optlib читайте в блоге - https://jenyay.net/blog/2020/01/18/optlib-0-3-0-novaya-versiya-biblioteki-dlya-optimizacii-na-yazyke-rust/

Написал небольшой обзор книги Джейсона Шрейера "Кровь, пот и Пиксели. Обратная сторона индустрии видеоигр" - https://jenyay.net/blog/2020/01/14/kniga-dzhejjsona-shrejjera-krov-pot-i-pikseli/.

Это НЕ техническая книга про то, как рождались игры «Pillars of Eternity», «Uncharted 4», «Stardew Valley», «Diablo III», «Halo Wars», «Dragon Age: Inquisition», «Shovel Knight», «Destiny», «The Witcher 3», «Star Wars 1313» (эта игра так и не вышла).

В первую очередь это книга о сложностях и многочисленных авралах, которые приходилось преодолевать разработчикам игр.

Параллельно с другими проектами я продолжаю заниматься библиотекой optlib, предназначенной для оптимизации функций на языке Rust.

Сегодня выложил новую версию библиотеки optlib, в которую были внесены значительные изменения. Во-первых, был добавлен новый алгоритм оптимизации - алгоритм роя частиц. Во-вторых, из крейта optlib был выделен отдельный крейт optlib-testfunc, который содержит в себе тестовые функции для оптимизации. В-третьих, во многом была переработана структура библиотеки.

Более подробно об изменениях читайте в блоге по ссылке - https://jenyay.net/blog/2019/11/23/optlib-0-2-biblioteka-dlya-optimizacii-na-yazyke-rust/

Одна из тем, которая меня интересует и волнует - как улучшить процесс обучения себя и преподавания другим. Поскольку большинство информации мы черпаем из книг, то нужно как-то более эффективно использовать этот процесс. По крайней мере своим процессом чтения я не очень доволен. Поэтому иногда полезно подсмотреть, как это делают другие.

На эту тему есть много книг, про одну из них - книгу Сергея Калинина "Чтение как образ жизни" - я написал блогозапись - https://jenyay.net/blog/2019/11/20/pro-knigu-sergeya-kalinina-chtenie-kak-obraz-zhizni/

Давно я не ничего писал про библиотеку Matplotlib. Для тех, кто не знает, эта библиотека для языка Python, предназначенная для рисования огромного количества графиков.
Как-то в комментариях мне написали, что один пример не работает. Как оказалось, он действительно сломался после обновления библиотеки Matplotlib. Но вместо того, чтобы просто починить пример (надо было добавить одну строчку) я решил написать более развернутую статью на ту же тему.

В новой версии статьи приводится четыре способа создания анимированных графиков.

Ссылка на статью — https://jenyay.net/Matplotlib/Ion

Всем привет! Наконец-то готова новая нестабильная версия OutWiker под номером 3.0.0.862.

В эту версию было включено огромное количество изменений, связанных как с улучшением интерфейса, так и обновлением движка WebKit под Linux. Однако, не все так хорошо, как хотелось бы - в процессе перехода на новую версию WebKit возникли новые сложности. Подробнее обо всех изменениях читайте в блоге - https://jenyay.net/blog/2019/05/26/outwiker-3-0-0-862-unstable-s-bolshim-kolichestvom-izmenenijj/.

В начале года я решил основательно взяться за изучение нового для себя языка программирования — языка Rust. Я на него уже посматриваю, и мне нравится его идеология, хотя сам язык достаточно тяжелый для изучения.

Я давно хотел сделать библиотеку с различными алгоритмами глобальной оптимизации — генетическим алгоритмом, алгоритмом роя частиц и других. Кроме того мне хотелось сделать такую библиотеку для генетических алгоритмов, чтобы при ее использовании можно было бы легко изменять алгоритмы каждого этапа генетического алгоритма — скрещивания, мутации, отбора и т.д.

Именно такую библиотеку я решил написать на Rust. Так появилась библиотека optlib. Ссылки на исходники и документацию:

Страница на github — https://github.com/Jenyay/rust-optimization
Страница на crates.io — https://crates.io/crates/optlib
Документация — https://docs.rs/optlib

На данный момент в этой библиотеке реализовал только генетический алгоритм, но зато со всеми возможностями, которые хотел. Точнее, там есть еще, что дополнить и улучшить, но в целом структура получилась достаточно гибкая. Генетический алгоритм с использованием библиотеки optlib собирается как из кубиков: алгоритм скрещивания берем этот, алгоритм мутации — тот и т.д.

Помимо документации я написал довольно большую статью про библиотеку optlib и генетический алгоритм, которую можно прочитать тут — https://jenyay.net/Programming/OptlibGenetic

Эту же статью я опубликовал на Хабре — https://habr.com/ru/post/448870/.

Недавно на Хабре появился перевод статьи "Как я пишу конспекты по математике на LaTeX в Vim". Идея в том, что автор настолько виртуозно умеет работать в Vim и знает LaTeX, что вместо написания конспекта ручкой в тетради, успевает оформлять его в электронном виде в формате LaTeX.

В комментариях разгорелись споры по поводу того, нужны ли вообще конспекты в цифровой век.

По этому поводу я написал пост со своим мнением про лекции и конспекты - https://jenyay.net/blog/2019/03/26/pro-lekcii-i-konspekty/

Будет интересно узнать и ваше мнение.

Forwarded from: outwiker