Социальные сети Рунета
Среда, 3 марта 2021

[Перевод] Как прошел 2019 год в области математики и Computer Science Перевод статьи подготовлен специально для студентов базового и продвинутого курсов «Математика для Data Science». Математики и информатики за прошедший год добились больших успехов в теории чисел, теории графов, машинном обучении и квантовых вычислениях, даже пересмотрел...

[Перевод] Напишем и поймем Decision Tree на Python с нуля! Часть 5. Информационная энтропия Данная статья — пятая в серии. Ссылки на предыдущие статьи: первая, вторая, третья, четвертая 5.1 Информационная энтропия (Средний объем информации) При создании дерева решений из данных алгоритм ID3 использует индекс, называемый информационной энтропией, чтобы определить, ...

[Перевод] Как искусственный интеллект научили решать диффуры Сегодня, в преддверии старта нового потока курса «Математика и Machine Learning для Data Science», делимся с вами полезным переводом статьи из MIT Technology Review о том, как исследователи Колтеха научили ИИ решать дифференциальные уравнения частных производных, зачем это н...

[Перевод] Машинное обучение столкнулось с нерешенной математической проблемой Салют, хабровчане! В преддверии запуска новых потоков по продвинутому и базовому курсам «Математика для Data Science» хотим поделиться с вами достаточно интересным переводом. В этой статье не будет практики, но материал интересен для общего развития и обсуждения. Группа ис...

[Перевод] Как мы создали вкладку WebAuthn в Chrome DevTools Сегодня, в преддверии старта нового потока курса по JavaScript, делимся с вами полезным переводом статьи о том, как разрабатывалась вкладка WebAuthn в Chrome DevTools, какие решения принимались и почему, с какой проблемой столкнулись разработчики. Приятного чтения!

T-FLEX CAD 17 - Новые возможности по 3D моделированию и по работе с 3D кривыми. Работа с поверхностями Друзья!В этом материале мы расскажем об основных инструментах по работе с 3D кривыми и новых операциях 3D моделирования, включая новую функциональность по работе с поверхностями САПР T-FLEX CAD 17.В предыдущих статьях был дан короткий обзор ключевых возможностей T-FLEX CAD 1...

[Перевод] Быстрый градиентный бустинг с CatBoost Привет, хабровчане! Подготовили перевод статьи для будущих учеников базового курса Machine Learning. В градиентном бустинге прогнозы делаются на основе ансамбля слабых обучающих алгоритмов. В отличие от случайного леса, который создает дерево решений для каждой выборки, в ...

[Перевод] Нано-нейрон — 7 простых JavaScript функций, показывающих, как машина может «учиться» Нано-нейрон — это упрощенная версия нейрона из концепции нейронной сети. Нано-нейрон выполняет простейшую задачу и натренирован на конвертацию температуры из градусов Целься в градусы Фаренгейта. Код NanoNeuron.js состоит из 7 простых JavaScript функций, затрагивающих обучен...

[Перевод] Как реализовать кластеризацию в Power BI с помощью PyCaret И снова здравствуйте. Сегодня мы продолжаем серию переводов в преддверии старта базового курса «Математика для Data Science». В одной из последних статей мы говорили о том, как создать детектор аномалий в Power BI, интегрировав в него PyCaret, и помочь аналитикам и специа...

[Перевод] Алгоритм AdaBoost Перевод статьи подготовлен в преддверии старта продвинутого курса «Математика для Data Scienсe». Введение Алгоритм AdaBoost можно использовать для повышения производительности любого алгоритма машинного обучения. Машинное обучение стало мощным инструментом, позволяющим д...

[Из песочницы] 9 ключевых алгоритмов машинного обучения простым языком Привет, Хабр! Представляю вашему вниманию перевод статьи «9 Key Machine Learning Algorithms Explained in Plain English» автора Nick McCullum. Машинное обучение (МО) уже меняет мир. Google использует МО предлагая и показывая ответы на поисковые запросы пользователей. Netflix...

Ленивая реализация обхода дерева дочерних элементов класса QObject Введение В статье описана ленивая реализация обхода дерева на языке C++ с использованием сопрограмм и диапазонов на примере улучшения интерфейса работы с дочерними элементами класса QObject из фреймворка Qt. Подробно рассмотрено создание пользовательского представления для р...

[Перевод] Развертывание интерактивных визуализаций данных в реальном времени на Flask и Bokeh Сегодня, в преддверии старта нового потока курса «Python для веб-разработки», делимся с вами полезным переводом статьи о небольшой интерактивной визуализации, для исследований данных о фильмах. Автор использует не только Flask и Bokeh, но и задействуя бесплатную облачную п...

[Перевод] Роль математики в машинном обучении Прямо сейчас OTUS открывает набор на новый поток продвинутого курса "Математика для Data Science", в связи с этим хотим пригласить вас на бесплатный вебинар, в рамках которого наш эксперт - Петр Лукьянченко, подробно расскажет о программе курса, а также ответит на интересующ...

[Перевод] Изучение нейтрино привело к неожиданному открытию в математике Три физика хотели обсчитать процесс изменения нейтрино. В итоге они обнаружили неожиданное взаимоотношение между одними из самых распространённых объектов математики. Однажды в августе, утром после завтрака математик Теренс Тао открыл емейл, написанный тремя физиками, с ко...

[Перевод] Почему алгоритмы так ML трудно настраивать? В машинном обучении линейные комбинации функций потерь встречаются повсюду. На самом деле, они обычно используются в качестве стандартного подхода, несмотря на то, что это опасная область, полная подводных камней. Особенно в отношении того, как линейные комбинации затрудня...

Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные Так выглядит избыточность. Коды избыточности* широко применяются в компьютерных системах для увеличения надёжности хранения данных. В Яндексе их используют в очень многих проектах. Например, применение кодов избыточности вместо репликации в нашем внутреннем объектном хранил...

Математика верстальщику не нужна, или Временные функции и траектории для покадровых 2D анимаций на сайтах «Математика верстальщику не нужна!», — говорили они. «Арифметики за 2 класс школы хватит!», – говорили они. «Верстальщик – не программист, так что нечего себе голову забивать точными науками!», — чего только не услышишь на просторах интернета на тему нужности тех или иных з...

Google запустил проект, который поможет охладить мегаполисы В больших городах температура держится обычно на 3-4 градуса выше, чем в сельской местности, так как здания и асфальт задерживают тепло. Простое и известное решение этой проблемы – посадить больше деревьев в районах с их дефицитом. Для этого Google разработал новый проект Tr...

[Перевод] HDTree: настраиваемое дерево решений на Python Представляем настраиваемую и интерактивную структуру дерева решений, написанную на Python. Эта реализация подходит для извлечение знаний из данных, проверки интуитивного представления, улучшения понимание внутренней работы деревьев решений, а также изучение альтернативных п...

Математика нужна программистам, или задача, которую мне пришлось решать Всем привет!Я работаю над WebRTC - фреймворком для аудио-видео конференций (или звонков? проще говоря - real time communication). В этой статье я хочу описать интересную задачу, вставшую передо мной, и как она была решена. В задаче, по сути, потребовалось минимизировать lcm ...

[Перевод] Ваш первый BERT: иллюстрированное руководство Прогресс в области машинного обучения для обработки естественного языка существенно ускорился за последние несколько лет. Модели покинули исследовательские лаборатории и стали основой ведущих цифровых продуктов. Хорошей иллюстрацией этому служит недавнее заявление о том, чт...

Машинное обучение. Нейронные сети (часть 2): Моделирование OR; XOR с помощью TensorFlow.js Статья является продолжением цикла статей, посвященных машинному обучению с использованием библиотеки TensorFlow.JS, в предыдущей статье приведены общая теоретическая часть обучения простейшей нейронной сети, состоящей из одного нейрона: Машинное обучение. Нейронные сети (ча...

[Перевод] Как машинное обучение помогает открыть мир Древней Японии Богатая история человечества оставила после себя огромное количество исторических документов и артефактов. Однако практически все документы, содержащие рассказы и записанный опыт, имеющие существенное значение для нашего культурного наследия, понятны только специалистам по...

Давайте сделаем переиспользуемый компонент tree view в Angular Я разрабатываю несколько Angular-библиотек, поэтому люблю делать простые и легко переиспользуемые решения для разработчиков. Недавно один из подписчиков в Твиттере спросил меня, как сделать компонент, который выводил бы его данные в виде иерархического дерева — tree view.&nb...

[Из песочницы] Машинное обучение на Android Привет, Хабр! Представляю вашему внимаю перевод статьи из журнала APC. Машинное обучение и интеллектуальный анализ данных – это практические разработки ИИ, благодаря которым появляются приложения различных тематик, начиная от воздухоплавания и заканчивая зоологией. Эти про...

[Перевод] Знакомимся с методом обратного распространения ошибки Всем привет! Новогодние праздники подошли к концу, а это значит, что мы вновь готовы делиться с вами полезным материалом. Перевод данной статьи подготовлен в преддверии запуска нового потока по курсу «Алгоритмы для разработчиков». Поехали! Метод обратного распространени...

[Перевод] Процедурная генерация деревьев методом транспорта питательных веществ Примечание: код для этой статьи выложен на мой Github [здесь]. Я провёл всё лето в восточной Пенсильвании рядом с рекой Делавер, потому что кампус MIT в начале марта закрыли и мне пришлось поехать домой. Время от времени прогуливаясь рядом с домом или работой, я заходил в л...

Настраиваем и автоматизируем развёртывание Active Directory В этой статье я бы хотел предложить вам пошаговый туториал по развёртыванию контроллера домена Active Directory на Windows Server 2016 (с графической оболочкой), а также по вводу рабочей станции в получившийся домен. Чем этот туториал может выделиться на фоне других: Вмест...

[Перевод] 21 канал на YouTube, где вы можете бесплатно изучить ИИ, машинное обучение и Data Science Мы уже не раз делились в своем блоге полезными материалами для развития (их список можно найти в конце этого поста). Сегодня продолжаем это начинание и специально перед стартом новых потоков курсов по Data Analytics и Data Science представляем подборку YT-каналов по Data S...

[Перевод] Каково это было изучать Data Science в 2019 году Эта статья — перевод статьи Томаса Нильда How It Feels to Learn Data Science in 2019 Видение (случайного) леса через деревья (решений) Thomas Nield Follow Feb 4 Время чтения: 16 минут Читать дальше →

[Перевод] Машинное обучение с Dask Перевод статьи подготовлен для будущих учащихся на продвинутом курсе Machine Learning. Обработка даже пары гигабайт данных на ноутбуке может стать сложной задачей, только если он не оснащен большим количеством оперативной памяти и не обладает хорошей вычислительной мощнос...

Как же всё-таки не ошибаться? Всем привет! Меня зовут Виктория Головнева, я работаю джуниор аналитиком. Как и любой джун, я постоянно прохожу какие-то курсы, читаю статьи и книги по рабочей (и околорабочей) тематике, чтобы прокачивать мой уровень знаний в SQL, статистике, методах визуализации данных и мн...

[Перевод] Производитель/потребитель на Kafka и Kotlin Перевод статьи подготовлен в преддверии старта курса «Backend-разработка на Kotlin» В этой статье мы поговорим о том, как создать простое приложение на Spring Boot с Kafka и Kotlin. Читать дальше →

[Перевод] Распределенное обучение XGBoost и параллельное прогнозирование с Apache Spark Привет, Хабр! Уже в конце июля Otus запускает новый курс «Промышленный ML на больших данных». Традиционно, в преддверии старта нового курса, мы подготовили для вас перевод полезного материала. Общие сведения В бустинге (из ансамбля моделей машинного обучения), алгоритмы р...

[Перевод] Локализация в ASP.NET Core Razor Pages — Культуры Привет, хабр! Прямо сейчас OTUS открывает набор на новый поток курса "C# ASP.NET Core разработчик". В связи с этим традиционно делимся с вами полезным переводом и приглашаем записаться на день открытых дверей, в рамках которого можно будет подробно узнать о курсе, а также за...

«Велосипедный набор» или о создании самодельных датасетов для анализа и машинного обучения Несколько лет назад я ненадолго увлекся машинным обучением и анализом данных, даже написал небольшой цикл о моем погружении в этот удивительный мир, с точки зрения полного новичка. Как часто бывает при изучении чего-то нового, мне очень хотелось сделать свой «велосипед». К с...

Как с помощью хакатона столкнуть математиков и ML–щиков, и кто тогда победит Введение Эта статья о том, как мы совместно с роснефтёвой «дочкой» «Самаранефтехимпроект» и Казанским Федеральным Университетом в сентябре 2020 года провели «Хакатон трёх городов», на котором предложили студентам решить классическую задачу сейсмической корреляции отражающих ...

[Перевод] Невероятная производительность ввода-вывода с параллельным Apache Parquet на Python В преддверии старта курса «Data Engineer» подготовили перевод небольшого, но интересного материала. В этой статье я расскажу о том, как Parquet сжимает большие наборы данных в маленький файл footprint, и как мы можем достичь пропускной способности, значительно превышающей ...

[Перевод] Простое объяснение делегирования событий Приветствую. Представляю вашему вниманию перевод статьи «A Simple Explanation of Event Delegation in JavaScript», опубликованной 14 июля 2020 года автором Dmitri Pavlutin В данной статье Дмитрий Павлутин объясняет, на чём основан один из базовых паттернов работы с DOM-событ...

Вейвлет деревья Succinct data structures свежее веяние в алгоритмистике. В русскоязычной школе материала мало, нет даже устоявшегося перевода. Будем восполнять этот пробел. На правах первопроходцев терминологию будем вводить налету. Пусть, скажем, компактные структуры данных. На Хабре уже п...

Игра Matheminecraft обучает детей непростой математике с помощью Minecraft Математик Дэвид Стрютт из EPFL в Лозанне (Швейцария) разработал игру на базе движка Minecraft для обучения детей математическим идеям, которые обычно не преподают в школе. За основу он взял «Эйлеров цикл» – классическую головоломку, из которой вытекает важнейшая для электрон...

[Перевод] Распределенное обучение с Apache MXNet и Horovod Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных» Распределенное обучение на нескольких высокопроизводительных вычислительных экземплярах может сократить время обучения современных глубоких нейронных сетей на большом объеме данных с не...

[Перевод] Data Science — это пузырь? У нас в SkillFactory, как в школе, которая специализируется на обучении дата-сайентистов и дата-аналитиков, внимательно подходят к вопросу восприятия самой профессии как самими студентами, так и их нанимателями. О требованиях к профессии Data Analyst и путанице в вакансиях...

Машинное обучение на R: экспертные техники для прогностического анализа Привет, Хаброжители! Язык R предлагает мощный набор методов машинного обучения, позволяющих быстро проводить нетривиальный анализ ваших данных. Книга является руководством, которое поможет применять методы машинного обучения в решении ежедневных задач. Бретт Ланц научит всем...

Как мы научились делить видео на сцены с помощью хитрой математики За 10 лет существования ivi мы собрали базу из 90000 видео разной длины, размера и качества. Каждую неделю появляются сотни новых. У нас есть гигабайты метаданных, которые полезны для рекомендаций, упрощают навигацию по сервису и настройку рекламы. Но извлекать информацию не...

[Перевод] Реализуем машинное обучение на iOS-устройстве с использованием Core ML, Swift и Neural Engine Привет, хабр! В преддверии старта продвинутого курса «Разработчик iOS», мы традиционно подготовили для вас перевод полезного материала. Введение Core ML — это библиотека машинного обучения, выпущенная в свет Apple на WWDC 2017. Она позволяет iOS разработчикам добавлять ...

Чем различаются реализации неточного поиска в двоичных деревьях Двоичным деревьям поиска посвящено множество глав учебников и статей (например, раз, два, три), но они все концентрируются на общих идеях и поддержании баланса для сохранения эффективности. Методы неточного поиска, без которых двоичное дерево вообще не имеет преимущества пер...

Функциональное программирование на TypeScript: Option и Either Предыдущие статьи цикла: Полиморфизм родов высших порядков Паттерн «класс типов» В предыдущей статье мы рассмотрели понятие класса типов (type class) и бегло познакомились с классами типов «функтор», «монада», «моноид». В этой статье я обещал подойти к идее алгебраических...

Minecraft приспособили для обучения детей математике На платформе Minecraft: Education Edition появилась новая учебная программа, в которой пользователи могут изучать правила математики на базе игры.

[Перевод] Кристиан Вервейс: О сложности или зачем вам Скрам? Кристиан Вервейс: О сложности или зачем вам Скрам? Предисловие переводчика Предупреждение: Это лонгрид и это достаточно серьезный текст, далекий от большинства “простеньких” объяснений что вы могли прочитать на русском про Скрам и Эджайл.  Оригинал статьи...

[Перевод] Единый математический язык для физики и инженерного искусства в 21 веке Конец 18-го и 19-й век были временем колоссального прогресса в математике. Величайшие умы тысячелетия вводили все новые математические системы и языки, такие как алгебры Клиффорда и Грассмана. Хотя эти алгебры вызвали значительный интерес, в то время они воспринимались как п...

[Перевод] Как самые медленные компьютерные программы проливают свет на фундаментальные ограничения математики Как правило, программисты хотят минимизировать время выполнения кода. Но в 1962 году венгерский математик Тибор Радо поставил противоположную задачу. Он задался вопросом: как долго может выполняться простая компьютерная программа, прежде чем она закончит работу? Радо назвал ...

SkillFactory открывает новый набор на полный курс по Data Science Уже наслышаны про достижения в области машинного обучения, нейросетей и ИИ? Хотелось бы работать в этой сфере, но не знаете, с чего начать? Обратите внимание на сферу Data Science! Большие данные дают неиссякаемое количество возможностей — помогают определять вероятность ра...

[Перевод] 15 лучших наборов данных для обучения чат-бота Чтобы быстро решать вопросы пользователей без вмешательства человека, эффективный чат-бот требует огромного количества обучающих данных. Однако основное узкое место в разработке чат-бота — это получение реалистичных, ориентированных на задачи диалоговых данных для обучения э...

[Перевод] Python и разработка простого веб-приложения, использующего технологии машинного обучения Тот, кто занимается машинным обучением (Machine Learning, ML), обычно, реализуя различные проекты, выполняет следующие действия: сбор данных, их очистка, разведочный анализ данных, разработка модели, публикация модели в локальной сети или в интернете. Вот хорошее видео, в ко...

[Перевод] Природные законы и элегантная математика: задачи и решения Если математика может давать нам элегантное объяснение многих физических явлений, то иногда в реальных ситуациях необходимо продираться через заросли численных данных Со времён Пифагора люди верят в особую способность красивой математики раскрыть перед нами все секреты мир...

[Перевод] Sktime: унифицированная библиотека Python для машинного обучения и работы с временными рядами Всем привет. В преддверии старта базового и продвинутого курсов «Математика для Data Science», мы подготовили перевод еще одного интересного материала. Решение задач из области data science на Python – это непросто Почему? Существующие инструменты плохо подходят для реше...

[Перевод] Симуляция эрозии рельефа на основе частиц Примечание: полный исходный код проекта, а также пояснения о его использовании и чтении можно найти на Github [здесь]. Я сделал перерыв в своей работе над магистерской диссертацией, чтобы потрудиться над тем, что уже давно откладывал: улучшенной генерацией рельефа для моего...

[Перевод] Решение уравнения тетраэдра доказано спустя десятки лет после компьютерного поиска Как четыре математика решили вопрос о базовых геометрических фигурах, создав полный список тетраэдров с рациональными углами при помощи методов теории чисел. Все 59 тетраэдров с рациональными двугранными углами можно рассмотреть с разных сторон по ссылке. Тетраэдр — это п...

Ляпы и загогулины. 2 Продолжаю тему ляпов и загогулин, начатую в статье “Ляпы учебников и курьезы учебы”. Напоминаю определения: Ляп – явная или завуалированная ошибка, не носящая, впрочем, фундаментального характера, так что помучившись можно её исправить. Загогулина – фраза, тема, изложенна...

[Перевод] О реализации библиотеки для глубокого обучения на Python Технологии глубокого обучения за короткий срок прошли большой путь развития — от простых нейронных сетей до достаточно сложных архитектур. Для поддержки быстрого распространения этих технологий были разработаны различные библиотеки и платформы глубокого обучения. Одна из осн...

[Перевод] AutoVIML: Автоматизированное машинное обучение Перевод статьи подготовлен специально для студентов курса «Промышленный ML на больших данных»Машинное обучение обладает преимуществом обучения алгоритмов, которые автоматически улучшаются, используя полученный опыт. Существует N различных алгоритмов и методов машинного обуче...

FAST VP в СХД Unity: как это работает Сегодня речь пойдет об интересной технологии, реализованной в СХД Unity/Unity XT, – FAST VP. Если вы впервые услышали о Unity, то по ссылке в конце статьи можно ознакомиться с характеристиками системы. В проектной команде Dell EMC я работал над FAST VP более года. Сегодня хо...

Шифруем по-русски, или отечественные криптоалгоритмы В данной статье простыми словами описаны криптоалгоритмы, являющиеся актуальными на данный момент российскими стандартами защиты информации, и подобраны ссылки на материалы, которые при желании помогут разобраться с ними глубже. А также, в конце статьи приведены работы с рез...

Точные и быстрые вычисления для чисел с плавающей точкой на примере функции синуса. Часть 2: libm Продолжаю цикл статей по работе с плавающей точкой. В первой статье я дал небольшое математическое введение и показал самый простой и очевидный способ вычисления синуса с примерами программ с разными «подводными камнями». Сегодня статья будет немного другая по стилю. Здесь н...

Иван Ященко выступил за то, чтобы сохранить ЕГЭ по базовой математике Руководитель ЦПМ* московского Департамента образования и науки Иван Ященко заявил о том, что ЕГЭ по базовой математике нельзя отменять. По его словам, нужно обязательно сохранить этот экзамен, чтобы уровень подготовки ребят, идущих в массовые профессии, существенно не упал....

Пишем голосового ассистента на Python Введение Технологии в области машинного обучения за последний год развиваются с потрясающей скоростью. Всё больше компаний делятся своими наработками, тем самым открывая новые возможности для создания умных цифровых помощников. В рамках данной статьи я хочу поделиться своим...

Нейросеть — обучение без учителя. Метод Policy Gradient Доброго времени суток, Хабр Настоящей статьей открываю цикл статей о том, как обучать нейронные сети без учителя. (Reinforcement Learning for Neuron Networks) В цикле планирую сделать три статьи по теории и реализации в коде трех алгоритмов обучения нейронных сетей без учи...

[Перевод] Алгоритм сжатия Хаффмана В преддверии старта курса «Алгоритмы для разработчиков» подготовили для вас перевод еще одного полезного материала. Кодирование Хаффмана – это алгоритм сжатия данных, который формулирует основную идею сжатия файлов. В этой статье мы будем говорить о кодировании фиксирован...

[Перевод] Объединяем функции логическими операторами в C++ В преддверии старта занятий в новом потоке группы «Разработчик С++» подготовили перевод интересного материала. Большинство алгоритмов STL в C++ используют всего лишь одну функцию для выполнения некоторой работы над коллекцией. Например, чтобы извлечь все четные числа из ко...

Машина опорных векторов в 30 строчек В этой статье я расскажу как написать свою очень простую машину опорных векторов без scikit-learn или других библиотек с готовой реализацией всего в 30 строчек на Python. Если вам хотелось разобраться в алгоритме SMO, но он показался слишком сложным, то эта статья может быть...

Все, что вы хотели узнать про области видимости в Python, но стеснялись спросить В преддверии старта нового потока по курсу «Разработчик Python», решили поговорить про области видимости в Python. Что из этого вышло? — Читайте в материале ниже. Сегодня мы будем говорить о важных теоретических основах, которые необходимо понимать и помнить, чтобы писат...

Интуитивное объяснение интеграла. Часть I — от умножения натуральных чисел до Ньютона и Лейбница Если у Вас нет математического образования, если Вы хотите по-настоящему разобраться в том, что из себя представляет интеграл и интегрирование, зачем всё это надо, как математика пришла к идее интеграла, то в таком случае Вы пришли по адресу — добро пожаловать! Читать далее

[Перевод] Алгоритм MADDPG OpenAI Начинаем неделю с продолжения серии статей, подготовленных специально для базового и продвинутого курсов «Математика для Data Science». В конце статьи поделимся с вами списком самых интересных материалов по этой теме. Новый подход Мультиагентное обучение с подкреплени...

[Перевод] Математики достигли прорыва в изучении «опасной» задачи Математики считают гипотезу Коллатца «болотом», и предупреждают друг друга, что от неё стоит оставаться подальше. Однако теперь Теренс Тао достиг большего прогресса, чем кто бы то ни было за несколько десятилетий. Возьмите любое число. Если оно чётное, поделите его на два. ...

[Перевод] REST API в Symfony (без FosRestBundle) с использованием JWT аутентификации. Часть 1 Перевод статьи подготовлен в преддверии старта курса «Symfony Framework». В первой части статьи мы рассмотрим самый простой способ реализации REST API в проекте Symfony без использования FosRestBundle. Во второй части, которую я опубликую следом, мы рассмотрим JWT аутентиф...

[Перевод] Мониторинг распределённых систем — опыт Google (перевод главы книги Google SRE) SRE (Site Reliability Engineering) — подход к обеспечению доступности веб-проектов. Считается фреймворком для DevOps и говорит как добиться успеха в применение DevOps-практик. В этой статье перевод Главы 6 Monitoring Distributed Systems книги Site Reliability Engineering о...

[Из песочницы] Точные и быстрые вычисления для чисел с плавающей точкой на примере функции синуса. Введение и часть 1 Внимательно прочитал очень хорошие статьи от ArtemKaravaev по сложению чисел с плавающей точкой. Тема очень интересная и хочется её продолжить и показать на примерах, как работать с числами с плавающей точкой на практике. В качестве эталона возьмём библиотеку GNU glibc (libm...

[Перевод] «Бесполезное» представление, преобразовавшее математику Изначально от теории представлений отказались. Сегодня она играет важнейшую роль в большинстве областей математики. Когда в конце XIX века впервые появилась теория представлений, многие математики сомневались в ценности этого подхода. В 1897 году английский математик Уилья...

Приводим уравнение линейной регрессии в матричный вид Цель статьи — оказание поддержки начинающим датасайнтистам. В предыдущей статье мы на пальцах разобрали три способа решения уравнения линейной регрессии: аналитическое решение, градиентный спуск, стохастический градиентный спуск. Тогда для аналитического решения мы примени...

Чек-лист перед калибровкой модели машинного обучения Часто в теории работа модели выглядит просто и складно, но когда вы получаете набор реальных данных и задачу их посчитать, это может вызвать ступор. Даем 7 полезных советов от Петра Лукьянченко, ex-Team Lead Analytics в Lamoda и руководителя онлайн-курса «Математика для Data...

[Перевод] Вокенизация — новый прорыв в области здравого смысла ИИ? В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning», делимся с вами статьей о вокенизации — новом методе на основе неконтролируемого обучения, который позволяет масштабировать современные небольшие визуально-языковые наборы данных, подобные MS COC...

[Перевод] Дебажим PHP-контейнер с помощью Xdebug и PhpStorm Перевод статьи подготовлен в преддверии старта курса «Backend-разработчик на PHP». Инструкция Docker #9: xdebug Я создам очень простую php-страницу и подебажу ее с помощью xdebug и PhpStorm. Исходные файлы можно найти здесь: github.com/ikknd/docker-study в папке recipe...

SQL HowTo: обрабатываем дерево — упорядочиваем иерархию с рекурсией и без Видимо, это осень так влияет, что за последний месяц на PostgreSQL уже и в «Морской бой» играли, и «Жизнь» Конвея эмулировали… Что уж оставаться в стороне! Давайте и мы потренируем мозг в реализации нетривиальных алгоритмов на SQL. Тем более, сегодняшняя тема родилась из об...

Используем DI в Angular по максимуму — концепция частных провайдеров В Angular очень мощный механизм Dependency Injection. Он позволяет передавать по вашему приложению любые данные, преобразовывать и переопределять их в нужных частях. Поэтому мы можем делать архитектуру приложений более простой и гибкой: понятный поток данных, минимальная св...

[Перевод] Лучшие практики, эмпирический опыт и математика Есть довольно простая идея, высказанная Фейнманом — цель физики найти простейшую теорию, которая сможет объяснить как можно больше явлений природы. Эта та идея, которая стоит за электродинамикой Максвелла или КЭД. Каждая новая большая теория объясняла больше явления природ...

7 причин полюбить математику Знание математики непременно пригодится в жизни — и речь не о решении тригонометрических уравнений.

Учёные вычислили рецепт идеального кофе Учёные-математики вычислили формулу идеального кофе эспрессо. Рецепт оказался не таким, по которому варят в большинстве кофеен.

[Перевод] Риски и предостережения при применении метода главных компонент к задачам обучения с учителем Перевод статьи подготовлен в преддверии старта базового курса по машинному обучению. Пространство высокой размерности и его проклятие Проклятие размерности – это серьезная проблема при работе с реальными наборами данных, которые, как правило, являются многомерными. По мере...

[Перевод] Как преобразовать аудиоданные в изображения Относитесь к обработке звука, как к компьютерному зрению, и используйте аудиоданные в моделях глубокого обучения. Закройте глаза и прислушайтесь к звукам вокруг вас. Независимо от того, находитесь ли вы в переполненном офисе, уютном доме или на открытом пространстве, на прир...

[Перевод] Разрабатываем и развёртываем собственную платформу ИИ с Python и Django Взлёт искусственного интеллекта привёл к популярности платформ машинного обучения MLaaS. Если ваша компания не собирается строить фреймворк и развёртывать свои собственные модели, есть шанс, что она использует некоторые платформы MLaaS, например H2O или KNIME. Многие исследо...

[Перевод] Реализуем простые кооперативные потоки на C Привет, Хабр! Спасибо вам за внимание, проявленное к нашей предыдущей переводной публикации о REST. Сегодня мы предлагаем взглянуть на тему проектирования систем несколько с другой стороны и публикуем перевод статьи Стивена Бреннана, корифея Linux, который рассказывает о со...

Стрелочка поворачивается: поговорим об обобщениях, или зачем программисту математика Привет, Хабр. Прошло довольно много времени с публикации предыдущей статьи об обобщённой реализации паттерна Has, где мы успешно победили скуку и однообразный код при написании инстансов соответствующего класса, заодно поигравшись с дженериками и семействами типов одновремен...

Задача Танежи: новый этап развития математики? Введение Математика XXI века принципиально отличается от античной. И речь идёт не просто о новых достижениях в геометрии и арифметике — науках, базовые принципы для которых сформированы тысячелетия назад. С появлением вычислительной техники изменился приоритет, и теория чисе...

[Перевод] Splay-дерево. Поиск Наихудшая временная сложность таких операций, как поиск, удаление и вставка, для двоичного дерева поиска (Binary Search Tree) составляет O(n). Наихудший случай случай возникает, когда дерево несбалансировано. Мы можем улучшить наихудший результат временной сложности до O(log...

[Перевод] Как создать свою собственную библиотеку AutoML в Python с нуля Библиотеки и сервисы AutoML вошли в мир машинного обучения. Для дата-сайентиста это очень полезные инструменты, но иногда они должны быть адаптированы к потребностям бизнес-контекста, в котором работает дата-сайентист. Вот почему вам нужно создать свою собственную библиотеку...

«Если вы такие умные, почему такие бедные»: математик Эдвард Торп обыграл казино и заработал $800 млн на Уолл-стрит Учёный хотел решать реальные задачи с помощью науки. Сначала он использовал физику и математику в азартных играх. Потом переключился на финансовые рынки, применил количественный метод анализа и открыл два хедж-фонда. ...

Неравенства Белла — физика и математика Эта статья - очередная попытка популярно изложить суть неравенства Белла и парадокса Эйнштейна-Подольского-Розена. Статьи, которые мне попадались ранее, либо сходу начинали с физических формул. и содержали кучу бра-кетов, тензорных произведений и прочих эрмитовых операторов....

[Из песочницы] People meet recommender systems. Factorization Машинное обучение довольно сильно проникло в нашу обыденную жизнь. Некоторые уже не удивляются, когда им рассказывают про нейронные сети в их смартфонах. Одной из больших областей в этой науке являются рекомендательные системы. Они есть везде: когда вы слушаете музыку, читае...

Что такое дерево решений и где его используют? Ребята, привет! Сегодня команда ProductStar подготовила для вас статью, в которой мы рассмотрели общие принципы работы и области применения дерева решений. Читать далее

Заметки Дата Сатаниста: честность модели Один из ключевых фундаментальных принципов обработки данных, согласно GDPR, это право человека на объяснение принятого решения и честность этого решения. И сегодня мы поговорим о том, что же такое честность модели машинного обучения. Картинка взята отсюда И разберем на п...

Математика верстальщику не нужна 2: Матрицы, базовые трансформации, построение 3D и фильтры для картинок В прошлый раз мы говорили о графиках и траекториях для покадровых анимаций, а сегодня речь пойдет про матрицы. Мы разберемся с тем, как строятся базовые трансформации в CSS, SVG и WebGL, построим отображение 3D-мира на экране своими руками, попутно проводя параллель с таки...

Человеческая глупость получила простое научное объяснение Психологи потратили много усилий, пытаясь выяснить, почему люди не всегда делают правильный выбор, даже когда знают о последствиях принятых решений. В теории все мы способны сделать простой и разумный выбор, но вспомните, как часто вы или ваши друзья принимали заведомо невер...

[Перевод] Как искусственный интеллект борется с вредителями Сегодня, в преддверии старта набора на новый поток курса «Machine Learning», делимся с вами переводом поста из блога PyTorch, в котором рассказывается о работе ИИ для борьбы с вредителями, который анализирует ситуацию по фотографиям феромоновых ловушек в условиях индийской г...

Как нарисовать звезду (и не только) в полярных координатах Вопрос о формуле для многоугольника в полярных координатах регулярно возникает на тематических ресурсах — и так же регулярно остаётся без внятного ответа. В лучшем случае попадается решение через функцию остатка от деления — что не является «чистым» с математической точки зр...

[Перевод] Как разработать ансамбль Light Gradient Boosted Machine (LightGBM) В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного буст...

Простой зомби-шутер на Unity Всем привет! Скоро стартуют занятия в первой группе курса «Разработчик игр на Unity». В преддверии начала курса прошел открытый урок по созданию зомби-шутера на Unity. Вебинар провёл Николай Запольнов, Senior Game Developer из Rovio Entertainment Corporation. Он также написа...

Сниппеты. Как сделать процесс работы с документацией проще Привет, Хабр! Меня зовут Павел Лесюк. Я тестировщик нативных мобильных приложений. В своей предыдущей статье я привел список инструментов, которые могут использоваться тестировщиками и некоторыми другими специалистами для повышения продуктивности своей работы. В новой сери...

Создаем калькулятор на Swift 5 В преддверии старта базового курса «iOS-разработчик» публикуем статью, которую написал наш внештатный автор. Всем привет! Прошло уже больше года с того момента, как появился релиз Swift 5, который принес разработчикам много нового. В этой статье я хочу поговорить о мобиль...

[Перевод] 70 вопросов по JavaScript для подготовки к собеседованию Доброго времени суток, друзья! Представляю Вашему вниманию перевод статьи Mark A «70 JavaScript Interview Questions». Надеюсь, эта статья будет полезна как начинающим разработчикам, так и бывалым (я хотел сказать, опытным). Первым для изучения, вторым для повторения. Лич...

Откуда пустынях Сахель и Сахара "лишние" 1,8 миллиона деревьев Благодаря детальным спутниковым снимкам и технологии машинного обучения ученые обнаружили, что на бесплодных просторах пустынь Сахара и Сахель больше зелени, чем считалось ранее. Источник

[Перевод] Основы дискретной математики Эта статья содержит лишь малую часть информации по заявленной теме. Рассматривайте ее как вводный курс перед началом всестороннего изучения предмета. Надеюсь, вы найдете в ней полезную информацию. Знание дискретной математики помогает описывать объекты и задачи в информатике...

[Перевод] Отец искусственного интеллекта Джефф Хинтон: «Глубокое обучение сможет делать всё» В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning», делимся с вами переводом интервью MIT Technology Review с профессором Джеффри Хинтоном, который в 2012 году со своими студентами победил на ImageNet, применив глубокое обучение и добившись таким ...

[Перевод] Тестирование: назад к основам + [Puppeteer][Mocha] Совершенствуйте код с помощью тестового покрытия Перевод статьи подготовлен в преддверии старта курса «Автоматизация тестирования на JavaScript». Меня несколько раз спрашивали о разнице между инженером по обеспечению качества (QA — Quality Assurance) и тестером (QC — Quality Control), и я понял, что даже если люди, разра...

[Перевод] Навигация между представлениями с помощью @EnvironmentObject в SwiftUI Перевод статьи подготовлен в преддверии старта продвинутого курса «Разработчик iOS». Здравствуйте и добро пожаловать на наш туториал! В этой серии мы говорим о том, как перемещаться между представлениями в SwiftUI (без использования навигационного представления!). Хоть эта...

Закономерности в распределении простых чисел Простое число — это натуральное число, имеющее ровно два различных натуральных делителя — единицу и самого себя. Такие числа представляют огромный интерес. Дело в том, что никто так и не смог полностью понять и описать закономерность по которой простые числа располагаются в ...

[Перевод] Как сделать CI на Github для современного фронтенда Совсем скоро, 6 и 18 ноября, у нас стартуют новые потоки курса по JavaScript и курса «Профессия Веб-разработчик», специально к их старту делимся с вами полезным туториалом, как настроить Github Actions для реальных проектов в области фронтенда со множеством линтеров и тест...

[Перевод] Расширьте возможности машинного обучения Azure с помощью расширения VS Code Привет сообществу Python! Прошло много времени с тех пор, как мы последний раз писали об этом, но мы рады представить новые возможности, добавленные в расширение VS Code Azure Machine Learning (AML). Начиная с версии 0.6.12, мы представили изменения в пользовательском интерф...

[Перевод] Как оценивать интеллект? Подход Google От себя: В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras). 64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно изм...

[Перевод] «Потрясающий» математический мост, простирающийся за пределы Великой теоремы Ферма Математики придумали, как удлинить загадочный мост, соединяющий два далёких континента математического мира Когда в начале 1990-х Эндрю Джон Уайлс доказал Великую теорему Ферма, это стало монументальным шагом не только для математиков, но и для всего человечества. Формулир...

[Перевод] Файловые разрешения в Linux Всем привет. Мы активно вливаемся в работу и уже в январе готовим много мощных запусков. Среди прочих, объявлен набор на новый поток полюбившегося всем курса «Администратор Linux». В преддверии запуска традиционно делимся переводом полезного материала. Файловые разрешения...

[Из песочницы] Создание упаковщика x86_64 ELF файлов под linux Введение В данном посте будет описано создание простого упаковщика исполняемых файлов под linux x86_64. Предполагается, что читатель знаком с языком программирования си, языком ассемблера для архитектуры x86_64 и с устройством ELF файлов. В целях обеспечения ясности из приве...

[Перевод] Создаем Gatling скрипты с помощью VS Code Перевод статьи подготовлен в преддверии старта курса «Нагрузочное тестирование». Предисловие Недавно, благодаря комментарию одного из студентов, изучающих мой курс Gatling Fundamentals, я узнал о том, что вы можете создавать Gatling скрипты с помощью Visual Studio Code. Я,...

[Перевод] Splay-дерево. Вставка Перед прочтением этой статьи настоятельно рекомендуется ознакомиться с первой частью: Splay-дерево. ПоискКак упоминалось в предыдущей статье, Splay-дерево — это самобалансирующаяся структура данных, в которой последний ключ, к которому осуществлялся доступ, всегда помещается...

Машинное обучение и главные вопросы мира, вселенной и всего такого Что-то вроде тизера. Без машинного обучения и анализа данных, учёные бы искали бозон Хиггса до сих пор. Тёмную материю тоже можно искать с помощью машинного обучения, и вообще для решения оставшихся перед нами загадок Вселенной, похоже, «старой-доброй» физики маловато. При...

Добавляем CMDB и географическую карту к Zabbix Хабр, конечно, не очень-то подходящая для романтики площадка, но мы не можем не признаться в любви к Zabbix. В очень многих наших проектах по мониторингу мы использовали Zabbix и очень ценим стройность и логичность этой системы. Да, здесь нет модной кластеризации событий и м...

[Из песочницы] Пишем автотест с использованием Selenium Webdriver, Java 8 и паттерна Page Object В этой статье рассматривается создание достаточного простого автотеста. Статья будет полезна начинающим автоматизаторам. Материал изложен максимально доступно, однако, будет значительно проще понять о чем здесь идет речь, если Вы будете иметь хотя бы минимальные представлени...

[Перевод] Простая интеграция RabbitMQ и Spring Boot Перевод статьи был подготовлен в преддверии старта курса «Разработчик на Spring Framework». Всем привет! Я хотел бы поделиться с вами библиотекой с открытым исходным кодом, которая облегчает интеграцию RabbitMQ с приложениями на Spring Boot. Кроме того, эта библиотека пре...

Разбираем EM-algorithm на маленькие кирпичики В этой статье, как Вы уже, наверное догадались, речь пойдет об устройстве EM-алгоритма. Статья прежде всего может быть интересна тем, кто потихонечку уже вступает в сообщество датасайнтистов. Материал изложенный в статье в большей степени будет полезен тем, кто недавно нач...

Дерево отрезков: просто и быстро Накануне очередного запуска курса «Алгоритмы для разработчиков» мы провели открытый урок. На нём поговорили об известной идее дерева отрезков, обсудили, как его строить, обновлять и быстро O(log n) вычислять сумму чисел любого отрезка данного массива. Алгоритм очень простой ...

Склеиваем несколько фотографий в одну длинную с помощью машинного обучения В предыдущих статьях был описан шеститочечный метод разворачивания этикеток и как мы тренировали нейронную сеть. В этой статье описано, как склеить фрагменты, сделанные из разных ракурсов, в одну длинную картинку. Читать дальше →

Как работает Object Tracking на YOLO и DeepSort Object Tracking — очень интересное направление, которое изучается и эволюционирует не первый десяток лет. Сейчас многие разработки в этой области построены на глубоком обучении, которое имеет преимущество над стандартными алгоритмами, так как нейронные сети могут аппроксимир...

[Перевод] Автоматизация обнаружения возможных путей перехвата DLL (DLL Hijacks) Привет, хабровчане. Прямо сейчас открыт набор на новый поток курса «Пентест. Практика тестирования на проникновение». В преддверии старта курса делимся с вами переводом интересного материала. Введение В этой статье мы рассмотрим концепцию перехвата порядка поиска динамическ...

Как машинное обучение спасает деревья в Екатеринбурге Привет, Хабр! Мы сотрудники екатеринбургского офиса NAUMEN. Делимся интересным проектом – интерактивной картой деревьев на основе нейросетевых алгоритмов. В ее создании также участвуют студенты УрФУ и волонтеры нашего города. Многие современные мегаполисы сталкиваются с про...

Интерактивная визуализация алгоритмов на базе Jupyter Jupyter уже давно зарекомендовал себя как удобную платформу для работы в различных областях на стыке программирования, анализа данных, машинного обучения, математики и других. Вот например очень известная книга по анализу данных, состоящая из Jupyter блокнотов. Поддержка , m...

[Из песочницы] Метод нечеткой индукции и его применение для моделирования знаний и информационных систем В настоящей статье предложен разработанный автором метод нечеткой индукции как объединение положений нечеткой математики и теории фракталов, введено понятие степени рекурсии нечеткого множества, представлено описание неполной рекурсии множества как его дробной размерности дл...

Конвертируем TeX в SVG: опенсорс-решение в помощь образовательным проектам Привет! Меня зовут Костя Мамаев, я занимаюсь фронтенд-разработкой в поиске Яндекса. Некоторое время назад мы вместе с другими ребятами из команды помогали образовательным проектам компании. Среди прочего пришлось решить, казалось бы, простую задачку: отображать на экране и р...

Математики нашли способ избавиться от пробок Новое исследование учёных базируется на сформулированных в 1952 году английским математиком и транспортным аналитиком Джоном Гленом Вардропом принципах, которые специалисты из Санкт-Петербурга использовали для современной транспортной обстановки в мегаполисах. «В России зада...

[Перевод] Знакомимся с NestJS Перевод статьи подготовлен в преддверии старта курса «Разработчик Node.js». У современных разработчиков есть много альтернатив, когда речь заходит о создании веб-сервисов и других серверных приложений. Node стал крайне популярным выбором, однако многие программисты предп...

[Перевод] InheritedWidget во Flutter Перевод статьи подготовлен для студентов курса «Flutter Mobile Developer». Корни деревьев виджетов во Flutter могут уходить очень глубоко… Очень глубоко. Компонентная природа виджетов Flutter позволяет создавать очень элегантный, модульный и гибкий дизайн приложений. ...

Изучаем VoIP-движок Mediastreamer2. Часть 3 Материал статьи взят с моего дзен-канала. Улучшаем пример тонального генератора В предыдущей статье мы написали приложение тонального генератора и с его помощью извлекли звук из динамика компьютера. Теперь мы обратим внимание на то, что наша программа, заканчивая работу, не ...

[Перевод] Разворачиваем модель машинного обучения с Docker – Часть 1 Перевод статьи подготовлен в преддверии старта базового и продвинутого курсов по машинному обучению. Расширяем возможности для наших студентов. Теперь в OTUS есть целых два курса по Machine Learning: базовый и продвинутый. Оба курса стартуют в августе, в связи с чем мы приг...

Сбер прогнозирует финпоказатели бизнеса за 1 час благодаря AI Сбер внедрил собственные модели машинного обучения (Machine Learning, ML) для прогнозирования денежных потоков клиентов блока «Корпоративно-инвестиционный бизнес» банка. Новые модели позволили Сберу сократить срок подготовки финансового прогноза корпоративных клиентов для пр...

[Перевод] Мифы о useEffect Доброго времени суток, друзья! Представляю вашему вниманию перевод небольшой заметки Kent C. Dodds, в которой он делится своими соображениями относительно правильного использования хука «useEffect». Я обучил React тысячи разработчиков. Как до, так и после релиза хуков. О...

[Перевод] Специалисты по информатике хотят загнать в угол гипотезу Коллатца Действенная технология SAT-решателей может сработать с печально известной гипотезой Коллатца. Однако шансы на это не слишком велики. В последние несколько лет Марийн Хиюл использовал технологию компьютеризированных поисков доказательств под названием «SAT-решатель» (SAT от...

[Перевод] Эндрю Ын «Страсть к машинному обучению». Перевод глав 47-58 Это вторая статья с переводом отдельных глав книги Эндрю Ына «Страсть к машинному обучению». Перевод предыдущих глав вы можете почитать по ссылке. В этой статье речь пойдёт о сквозном (end-to-end) глубоком обучении, а так же автор книги поделится некоторыми способами анал...

[Перевод] Как создать сервер PostgreSQL на Google Cloud Platform SQL Перевод статьи подготовлен в преддверии старта курса «PostgreSQL». Введение В этой статье я познакомлю вас с GCP SQL и покажу как создать в этом сервисе сервер PostgreSQL. Читать дальше →

SafetyNet Attestation — описание и реализация проверки на PHP В эту тему пришлось детально погрузиться во время работы над обеспечением стандартных механизмов верификации устройств для разных мобильных платформ. Задача сводилась к разработке полноценной реализацию проверки JWS-токенов по протоколу SafetyNet на серверной стороне.После м...

[Перевод] Валидация и обработка исключений с помощью Spring Каждый раз, когда я начинаю реализацию нового REST API с помощью Spring, мне сложно решить, как выполнять валидацию запросов и обрабатывать бизнес-исключения. В отличие от других типичных проблем API, Spring и его сообщество, похоже, не согласны с лучшими методами решен...

[Из песочницы] Разработка встроенного ПО: введение Привет, Хабр! Представляю вашему вниманию перевод статей Chris Svec, оригинал здесь. Публикуется с разрешения автора по лицензии CC-A-NC-ND. Embedded software engineering 101: введение Я запускаю цикл статей по обучению разработке встроенного программного обеспечения. Мы на...

[Из песочницы] Байесовские сети при помощи Питона — что и зачем? Дисклеймер: данная статья является адаптированным переводом. Оригинал можно прочесть здесь. Байесовские сети при помощи Питона — объяснение с примерами Из-за ограниченности информации (особенно на родном русском) и ресурсов работы, байесовские сети окружены рядом проблем. ...

[Перевод] Оптимизация кода на Python с помощью ctypes Перевод статьи подготовлен специально для студентов курса «Разработчик Python». Внимание: код в этой статье лицензирован под GNU AGPLv3. Я написал это руководство, поскольку не смог найти такого, которое будет объединять в себе все полезное о ctypes. Надеюсь, эта статья ...

[Перевод] Эндрю Ын «Страсть к машинному обучению». Перевод глав 36-46 Три года прошло с момента публикации первых глав книги Эндрю Ына (Andrew Ng) «Machine Learning Yearning». Если вы подписаны на хаб «Машинное обучение», то нет никакой нужды представлять вам её автора и скорее всего саму книгу вы уже давно прочитали на языке первоисточника. П...

[Перевод] 5 алгоритмов регрессии в машинном обучении, о которых вам следует знать Источник: Vecteezy Да, линейная регрессия не единственная Быстренько назовите пять алгоритмов машинного обучения. Вряд ли вы назовете много алгоритмов регрессии. В конце концов, единственным широко распространенным алгоритмом регрессии является линейная регрессия, главны...

3 ловушки, в которые попадают начинающие Data Scientist Вот что может случиться, если плохо знаешь математику. Привет! Это Петр Лукьянченко, автор и руководитель онлайн-курсов «Математика для Data Science» в OTUS. Мы на занятиях любим все иллюстрировать кейсами, поэтому здесь тоже каждую проблему, с которой сталкиваются нович...

[Перевод] Цели уровня обслуживания — опыт Google (перевод главы книги Google SRE) SRE (Site Reliability Engineering) — подход к обеспечению доступности веб-проектов. Считается фреймворком для DevOps и говорит как добиться успеха в применение DevOps-практик. В этой статье перевод Главы 4 Service Level Objectives книги Site Reliability Engineering от Goog...

[Перевод] Магия Ensemble Learning Привет, Хабр! Приглашаем Data Engineer'ов и специалистов по Machine Learning на бесплатный Demo-урок «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций». А также мы публикуем статью Luca Monno — Head of Financial Analytics at CDP SpA.Одним из наи...

[Из песочницы] Унификация визуальных компонентов. Часть 1. Стили Данная статья будет, прежде всего, полезна разработчикам, которые не работают с готовыми наборами компонентов, такими как, material-ui, а реализуют свои. Например, для продукта разработан дизайн, отражающий то, как должны выглядеть кнопочки, модальные окна и т.п. Чтобы гра...

[Перевод - recovery mode ] Магистратура по Data Science: советы аспиранта Гарвардского университета Перевод выполнен в рамках набора студентов в онлайн-магистратуру по Data Science с гос.дипломом МИСиС. В этой статье я хотел бы поделиться своим опытом научной карьеры в области Data Science, накопленным за последние полтора года. Это мой первый пост на Medium, поэтому я...

[Перевод] Трехступенчатый фреймворк для решения проблем От автора перевода В компании ВсеИнструменты.ру каждое бизнес-подразделение инициирует проекты, направленные на развитие компании, и те из них, для реализации которых необходимы изменения в IT-системах, приоретизируются и согласовываются совместно с IT. В ходе очередной с...

10 увлекательных задач от советского математика Попробуйте решить головоломки от популяризатора математики Бориса Кордемского, не пользуясь подсказками.

[Перевод] Используем nftables в Red Hat Enterprise Linux 8 Статья подготовлена в преддверии старта курса «Администратор Linux» В Red Hat Enterprise Linux 8 приоритетным низкоуровневым решением является nftables. В этой статье мы поговорим о том, как начать использовать nftables. Наиболее актуальной она будет для системных администр...

[Перевод] Вражеский ИИ: преследование игрока без Navigation2D и поиска пути A* Создаёте игру, в которой враги должны преследовать игрока? Всё начинается с простого — заставим врага бежать к игроку. Но что произойдёт, если он находится за деревом, или за углом стены? Ну, теперь враг будет выглядеть довольно глупо — упрётся в объект, перебирая ногами на ...

[Перевод] Проблемы с DNS в Kubernetes. Публичный постмортем Прим. перев.: это перевод публичного постмортема из инженерного блога компании Preply. В нем описывается проблема с conntrack в Kubernetes-кластере, которая привела к частичному простою некоторых сервисов продакшна. Данная статья может быть полезной тем, кто хочет узнать не...

Интересные материалы: 03.08 С новым дайджестом вы можете стать успешным разработчиком, сделать многопользовательскую игру и даже спасти деревья в Екатеринбурге с помощью машинного обучения.

[Перевод] Неоморфизм с помощью SwiftUI. Часть 1 Салют, хабровчане! В преддверии старта продвинутого курса «Разработчик IOS» мы подготовили еще один интересный перевод. Неоморфный дизайн — это, пожалуй, самый интересный тренд последних месяцев, хотя, по правде говоря, Apple использовала его в качестве своего дизайнерског...

[Перевод] 20 небольших, но вдохновляющих вызовов веб-разработчику Специально к старту нового потока курса «Frontend-разработчик» делимся переводом подборки с 20 проектами для освоения фронтенда. Эта подборка хорошо подходит, если вы хорошо знакомы с какой-то областью разработки ПО и хотите глубже копнуть во фронтенд. Также она прекрасно по...

NeoML: машинное обучение от ABBYY ABBYY открыла свой фреймворк машинного обучения NeoML. NeoML — это кроссплатформенная C++ библиотека, позволяющая организовать полный цикл разработки ML-моделей. Основной фокус в ней сделан на простом и эффективном запуске готовых моделей на различных платформах. Даже если э...

[Из песочницы] Социопатам! [именно так: Социопатам, а не Авторам, принадлежит Хабр] Наивное понимание прикладной социологии гиков характерно для Авторов. Попробуем разобраться. Речь пойдет не о клинических социопатах, зачехлите свои огнеметы. Мне нравятся модели Венката и Чепмена: the Gervais Principle и MOPs. Ниже вольный перевод модели Чепмена об эволюци...

ОТО. Энергия как дополнительное измерение в решении Шварцшильда Habritants! В этой статье описано получение метрики общего вида, включающей метрики Фридмана и Шварцшильда как частные случаи. Для понимания материала необходимы знания алгебры: понятие о производных в большей степени; тензорная — в меньшей. Читать дальше →

Математики решили проблему числа "42", используя "планетарный суперкомпьютер" На свете есть математическая задача, решением которой ученые-математики занимаются на протяжении последних 65 лет, и которая основана на предположении, что каждое из натуральных чисел в диапазоне от 1 до 100 может быть представлено, в виде суммы трех чисел, каждое из которых...

Как забраться на дерево Точнее, как с него спуститься. Но обо всем по порядку. Эта статья немного выбьется из привычного формата статей от PVS-Studio. Мы часто пишем о проверке других проектов, но почти никогда не приоткрываем дверь нашей внутренней кухни. Пришло время это исправить и рассказать о...

Книга «Любовь и математика. Сердце скрытой реальности» Представьте, что вы хотите научиться живописи, а вам объясняют, как красиво и хорошо покрасить забор, вместо того чтобы показать картины Ван Гога, Пикассо или других великих художников, и даже не говорят вам о том, что они существуют. К сожалению, изучение математики в школ...

[Перевод] HyperBand и BOHB. Понимание современных алгоритмов оптимизации гиперпараметров Специально к старту курса «Машинное обучение» в этом материале представляем сравнение BOHB и HyperBand — двух передовых алгоритмов оптимизации гиперпараметров нейронной сети и простого случайного поиска оптимальных гиперпараметров. Сравнение выполняется с помощью платформы n...

ФИНАНСЫ (16.11 – 15.12.2020) «Сбер» внедрил собственные модели машинного обучения для прогнозирования денежных потоков клиентов блока «Корпоративно-инвестиционный бизнес». Срок подготовки финансового прогноза корпоративных клиентов для принятия решения о кредитовании занимает теперь всего 45 мину...

Машинное обучение в кибербезопасности Достижения в области машинного обучения за последние годы позволили создать огромное количество приложений, таких как прикладной анализ данных, голосовые ассистенты или беспилотные автомобили. Успех машинного обучение обеспечен тем, что одни и те же метод, в разной обертке р...

Flutter + arduino nano 33 BLE sense = очень простой BLE sensor В этой статье я хочу рассказать как сделать очень простую bluetooth метеостанцию (куда уж без нее :) ) и написать мобильное приложение на Flutter для нее. Читать дальше →

Полиморфные аллокаторы C++17 Уже совсем скоро в OTUS стартует новый поток курса «C++ Developer. Professional». В преддверии старта курса наш эксперт Александр Ключев подготовил интересный материал про полиморфные аллокаторы. Передаем слово Александру: В данной статье, хотелось бы показать простые прим...

[Перевод] Методы Монте-Карло для марковских цепей (MCMC). Введение Привет, Хабр! Напоминаем, что ранее мы анонсировали книгу "Машинное обучение без лишних слов" — и теперь она уже в продаже. Притом, что для начинающих специалистов по МО книга действительно может стать настольной, некоторые темы в ней все-таки затронуты не были. П...

Как мы прогнозируем эпидемии: математика, медицина, IT 23 июня (вторник) пройдет вебинар «Эпидемиология и эпидемиологическое моделирование инфекционных заболеваний на примере вируса гриппа». Докладчик — Антон Долгих, руководитель отдела AI, Healthcare and Life Sciences, DataArt. О чем ...

[Перевод] Обучение на табличных данных. TABNet. Часть 2. Реализация Продолжение перевода про архитектуру TABNet. Первая часть здесьМы предложили TabNet, новую архитектуру глубокого обучения для табличного обучения. TabNet использует механизм последовательного улучшения выбора подмножества семантически значимых функций для обработки на каждом...

Восемь цветов радуги: о цвете с точки зрения математики Больше пяти лет мы публикуем на Хабре статьи на различные темы компьютерного зрения. Чаще всего они связаны с распознаванием документов, потому что нам всегда очень не терпится поделиться с вами всем крутым и новым, что мы сделали в Smart IDReader. Хотя мы честно стараемся ...

Машинное обучение на помощь руководителю разработки Интро Интерес к теме машинного обучения и искусственного интеллекта неуклонно растет. Ежедневно в новостных сводках мы читаем про победу искусственного интеллекта над человеком. Как правило, описывается решение некоторой сложной задачи (челенджа). От жгучего желания воспрои...

BasicAirData GPS Logger: открытый GPS-трекер для Android BasicAirData GPS Logger — это простое приложение для записи местоположения и пути. Это простой и легкий GPS-трекер, ориентированный на точность и экономию энергии. Вы можете записывать все свои треки, просматривать их в сторонней программе просмотра прямо из списка и р...

[Перевод] Как SQL Server использует bitmap-фильтры Перевод статьи подготовлен в преддверии старта курса «MS SQL Server Developer». Может ли запрос, выполняющийся параллельно, использовать меньше CPU и выполняться быстрее, чем такой же запрос, выполняющийся последовательно? Да! Для демонстрации я буду использовать две та...

[Перевод] Последовательное глубокое обучение для мониторинга кредитных рисков с использованием табличных финансовых данных Машинное обучение играет важную роль в предотвращении финансовых потерь в банковской отрасли. Возможно, наиболее актуальной задачей прогнозирования, является оценка кредитного риска (риска дефолта по долгу). Такие риски могут привести к потерям в миллиарды дол...

S7 Group открывает в МФТИ кафедру «Информационные технологии в авиации» Магистерская программа в Физтех-школе прикладной математики и информатики будет готовить специалистов по управлению данными и внедрению высокоэффективных продуктов. S7 Group и Московский физико-технический институт открывают набор студентов на базовую кафедру «Информационны...

[Перевод] Думать, как фронтенд-разработчик Привет Хабр! У нас стартанул новый поток курса Frontend-разработчик, а я делюсь с вами небольшим чек-листом для фронтендера о том, как мыслить при создании макета, какие вопросы задавать себе самому. Смело кладите её в закладки, если хотите рассказать своему падавану джуну, ...

[Перевод] Математики доказали универсальный закон турбулентности Используя случайные процессы, три математика доказали элегантный закон, лежащий в основе хаотического движения турбулентных систем Представьте себе спокойную реку. А теперь представьте быстрый поток пенящейся воды. Какая между ними разница? Для математиков и физиков она со...

Разработка hexapod с нуля (часть 8) — улучшенная математика передвижения Всем привет! В результате перехода на удаленную работу у меня появилось больше свободного времени на разработку гексапода (+2 часа в день за счет экономии на дороге). Я наконец-то смог сделать универсальный алгоритм для построения траектории движения в реальном времени. Нов...

[Перевод] Радужное доказательство демонстрирует наличие стандартных составных частей у графов Математики доказали, что копиями графов меньшего размера всегда можно идеально покрыть графы большего размера Your browser does not support HTML5 video. 8 января трое математиков опубликовали доказательство теоремы из комбинаторики, сформулированной почти 60 лет назад, извес...

Делаем поиск в веб-приложении с нуля В статье «Делаем современное веб-приложение с нуля» я рассказал в общих чертах, как выглядит архитектура современных высоконагруженных веб-приложений, и собрал для демонстрации простейшую реализацию такой архитектуры на стеке из нескольких предельно популярных и простых техн...

[Из песочницы] Основы измерения повышенной температуры человека с помощью тепловизионной технологии Привет, Хабр! Представляю вашему вниманию перевод и адаптацию оригинальных технических статей по тематике применение телевизоров для температурного скрининга человека: «ELEVATED BODY TEMPERATURE (EBT) FUNDAMENTALS» и «BEST PRACTICES FOR EBT». Цель этой статьи — помочь читат...

Книга «Машинное обучение без лишних слов» Привет, Хаброжители! Все, что вам действительно нужно знать о машинном обучении, может уместиться на паре сотен страниц. Начнем с простой истины: машины не учатся. Типичное машинное обучение заключается в поиске математической формулы, которая при применении к набору входн...

[Из песочницы] Почему бы не сделать свой Lisp для веба? Вот есть JavaScript — прекрасная вещь. И прекрасная она по большей части потому, что дебаггер и отладочные инструменты встроены в каждый Браузер. Без дебаггера и инспектора DOM-дерева было гораздо тяжелее что-либо разрабатывать на JavaScript. Вот я и решил запилить свой Lisp...

Как НЕ стать геймдизайнером (Game Designer) Геймдизайнерами не рождаются, геймдизайнерами становятся В этой статье я расскажу о том, что необходимо делать, чтобы не стать геймдизайнером, что ожидают студии от кандидатов-геймдизайнеров, какими бывают тестовые задания и как не надо их выполнять, какие вопросы задают на ...

[Из песочницы] Koin – это Dependency Injection или Service Locator? Введение В Android-разработке для DI традиционно используют Dagger 2, очень мощный фреймворк с кодогенерацией. Но есть проблема: новичкам сложно его использовать. Сами принципы DI просты и понятны, но Dagger усложняет их. Можно жаловаться на поголовное падение грамотности пр...

[Перевод] Структуры данных и алгоритмы, которыми я пользовался, работая в технологических компаниях Пользуетесь ли вы структурами данных и алгоритмами в повседневной работе? Я обратил внимание на то, что всё больше и больше людей считает алгоритмы чем-то таким, чем, без особой связи с реальностью, технические компании, лишь по собственной прихоти, интересуются на собеседов...

[Перевод] Автоматизация работы с проектом Python Сегодня делимся с вами переводом статьи DevOps инженера из IBM, об автоматизации сборки быстро собираемых и удобно отлаживаемых образов Docker для проектов на Python с помощью Makefile. Этот проект не только упрощает отладку в Docker, но и заботится о качестве кода вашего п...

[Из песочницы] Методы регрессионного анализа в Data Science Накануне запуска курса «Математика для Data Science. Продвинутый курс» мы провели открытый вебинар на тему «Методы регрессионного анализа в Data Science». На нём познакомились с понятием линейных регрессий, изучили, где и как их можно применять на практике, а также узнали, к...

Международная онлайн-олимпиада по математике BRICSMATH.COM+ стартует в семи странах мира Сегодня, 16 ноября, в рамках международной дискуссии ТАСС «Объединяя мир: тренды современного образования» Учи.ру анонсировала старт IV международной онлайн-олимпиады по математике BRICSMATH.COM+. Ожидается, что в соревновании ...

Встречайте чувашский язык в Яндекс.Переводчике: как мы решаем главную проблему машинного перевода Регионы России — это не просто границы на карте. В каждом регионе есть свои культурные традиции, во многих — свои языки. Машинный перевод мог бы помочь сохранять и применять эти языки — в частности, публиковать статьи в Википедии. Но как быть, если данных для обучения машинн...

Основы deep learning на примере дебага автоэнкодера, часть №1 Если почитать обучение по автоэнкодерам на сайте keras.io, то один из первых посылов там звучит примерно так: на практике автоэнкодеры почти никогда не используются, но про них часто рассказывают в обучалках и народу заходит, поэтому мы решили написать свою обучалку про них:...

[Перевод] Учёные всегда будут доказывать теорему о распределении простых чисел Почему математикам нравится доказывать один и тот же результат разными способами? Концентрация простых чисел, обозначенных жёлтыми точками на этой шестиугольной спирали из положительных целых чисел, уменьшается по мере удаления от начала числовой прямой. Эту много раз доказ...

[Перевод] Улучшаем allOf и anyOf в CompletableFuture И снова здравствуйте. В преддверии старта курса «Разработчик Java» подготовили для вас перевод полезного материала. В CompletableFuture есть два метода, дизайн которых меня удивляет: CompletableFuture#allOf CompletableFuture#anyOf В этой статье мы посмотрим, что с ними ...

[Перевод] Тактика Red Team: продвинутые методы мониторинга процессов в наступательных операциях И снова здравствуйте. В преддверии старта курса «Пентест. Практика тестирования на проникновение» перевели для вас еще один интересный материал. В этой статье мы собираемся разобраться в возможностях широко известных утилит мониторинга процессов и продемонстрировать, как ...

Перевод на английский язык в сфере IT на примере PVS-Studio Наша компания PVS-Studio активно публикует статьи на тему разработки, поиска ошибок в коде, техниках по улучшению его качества. Этот пост отличается по тематике – в этот раз рассмотрим вопрос перевода на английский язык русскоязычного контента на тему разработки. В этой ста...

[Перевод] Сортировка в Scala — пример на кошках Привет, Хабр! Выношу на ваш суд русскоязычный перевод моей статьи на Medium: Sorting in Scala — a cat shop example. Статья рассчитана на читателей, знающих синтаксис языка Scala и осведомлённых о базовых инструментах стандартной библиотеки. Читать дальше →

[Перевод - recovery mode ] Помогаем пользователям менять пароли с помощью well-known URL Привет! Делимся переводом небольшой, но полезной статьи о том, как упростить процесс обновления данных для аутентификации. Установите редирект со страницы /.well-known/change-password на страницу смены пароля для вашего сайта. Благодаря этому, менеджеры паролей смогут напра...

[Из песочницы] Истоки математики: логические идеи Привет, Хабр! Представляю вашему вниманию перевод статьи "Math Origins: The Logical Ideas" автора Erik R. Tou (University of Washington Tacoma). От переводчика: В журнале Математической ассоциации Америки был опубликована серия статей об истоках математики вообще ...

[Перевод] Математическое представление нейронных сетей Продолжаем «неделю нейронных сетей». В этом посте вы узнаете о нейронных сетях на примерах математических моделей. Говоря проще, вы узнаете о том, как представить нейронные сети с помощью математических уравнений. Дата-сайентисту или исследователю машинного обучения было бы...

[Перевод] Пишем CRUD-приложение на Go с помощью Mysql, GORM, Echo, Clean Architecture Начнем сначала В этой статье будет сказ о том, как на Clean Architecture написать API с функциями CR(U)D, где в качестве БД взят Mysql, фреймворк – Echo, ORMapper – GORM. Что делаем API с функциями Create, Read, (Update), Delete. Обновление на самом деле реализовать особо н...

[Перевод] Сделайте свое приложение масштабируемым, оптимизировав производительность ORM Перевод статьи подготовлен в преддверии старта курса «Backend-разработчик на PHP». Привет! Я Валерио, разработчик из Италии и технический директор платформы Inspector.dev. В этой статье я поделюсь набором стратегий оптимизации ORM, которые я использую, разрабатывая серв...

[Из песочницы] Unit тесты для RxSwift кода Привет, Хабр! Представляю вашему вниманию перевод статьи "Testing Your RxSwift Code" автора Shai Mishali с сайта raywenderlich.com. Написание реактивных приложений с помощью RxSwift концептуально отличается от написания приложений "обычным путем". Оно отл...

[Перевод] 8 ML/AI-проектов, которые украсят ваше портфолио Автор материала, перевод которого мы сегодня публикуем, предлагает вниманию читателей 8 идей проектов в сферах машинного обучения и искусственного интеллекта. Описание идей сопровождается ссылками на дополнительные материалы. Реализации этих идей способны украсить портфолио ...

Принципы эффективного самообучения для желающих изучить машинное обучение Подходы к обучению можно разделить на принципы "как учить" и непосредственно "что учить". Даже при наличии хорошего учебного плана ("что учить") можно получить малый выхлоп в конце, если учиться неэффективно. Поэтому сначала надо определить, какие принципы эффективны. Об это...

[Из песочницы] Простая машина состояний для VueJS Недавно я наткнулся на интересное обсуждение на Full Stack Radio — Bulding Better UI Components with State Machines. Речь шла о том, что концепция машины состояний может помочь при разработке компонентов Vue. Я начал просматривать готовые решения, но они оказались не столь...

Шаблонные функции в Python, которые могут выполнятся синхронно и асинхронно Сейчас практически каждый разработчик знаком с понятием «асинхронность» в программировании. В эру, когда информационные продукты настолько востребованы, что вынуждены обрабатывать одновременно огромное количество запросов и также параллельно взаимодействовать с большим наб...

[Перевод] Поля расстояний Raymarching-а: объяснение и реализация в Unity Raymarching — это достаточно новая техника, используемая для рендеринга сцен реального времени. Она особенно интересна тем, что полностью вычисляется в шейдере экранного пространства. Другими словами, рендерер не получает доступа к данным мешей и сцена отрисовывается на одн...

[Перевод] Лучшие инструменты с открытым исходным кодом и библиотеки для Deep Learning — ICLR 2020 Experiencebi Сложно найти на Хабре человека, который не слышал бы про нейронные сети. Регулярные новости о свежих достижениях нейронных сетей заставляют удивляться широкую публику, а также привлекают новых энтузиастов и исследователей. Привлеченный поток специалистов способствует не толь...

[Перевод] Объяснение легковесных потоков в 200 строк на Rust Объяснение легковесных потоков в 200 строк на Rust Легковесные потоки (ligthweight threads, coroutines, корутины, green threads) являются очень мощным механизмом в современных языках программирования. В этой статье Carl Fredrik Samson попытался реализовать рантайм для легков...

[Перевод] Почему я разочаровался в хуках Перевод статьи подготовлен в преддверии старта курса «React.js Developer». Чем полезны хуки? Прежде чем я расскажу, в чем и почему разочаровался, я хочу официально заявить, что, вообще-то, я фанат хуков. Я часто слышу, что хуки создали для замены классовых компонентов. К ...

[Перевод] Постоянный поток открытий, связанных с уравнениями жидкости Удивительное экспериментальное открытие, связанное с поведением жидкостей, запустило волну математических доказательств Сложные потоки жидкости в чашке чая вдохновили учёных на несколько важных доказательств Научный прогресс не всегда движется по прямой. Исследователи начи...

[Из песочницы] Некоторые тонкости injection'а коллекций в Spring'е Всем привет! Меня зовут Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. Сейчас в OTUS'е открыт набор на новый поток курса Разработчик на Spring Framework. В преддверии старта к...

Занимательный JavaScript: Почти линейное уравнение Что если взять замечательную математику (а именно линейные уравнения) и наш не менее замечательный JavaScript, а потом наложить одно на другое? То в условиях ограничений и специфики js-среды простая математическая задача может обернуться весьма любопытной и полной подводных ...

[Перевод] 5 вопросов по SQL, которые часто задают дата-сайентистам на собеседованиях Хотя составление SQL-запросов — это не самое интересное в работе дата-сайентистов, хорошее понимание SQL чрезвычайно важно для того, кто хочет преуспеть в любом занятии, связанном с обработкой данных. Дело тут в том, что SQL — это не только SELECT, FROM и WHERE. Чем больше S...

LabVIEW NXG — простые типы данных и приведение типов Это третья статья из цикла о LabVIEW NXG, в которой мы рассмотрим простые типы данных и несложные преобразования между ними. Система типов LabVIEW весьма похожа на "классические" языки программирования. В данной статье мы рассмотрим базовые типы — численные, булев...

[Из песочницы] 7 трюков с Rest и Spread операторами при работе c JS объектами Привет, Хабр! Представляю вашему вниманию перевод статьи «7 Tricks with Resting and Spreading JavaScript Objects» автора Joel Thoms. Всем привет, на днях коллега по работе скинул мне ссылку на статью на английском языке в которой перечисляются разные методы работы с rest и ...

[Перевод] RPA + Машинное обучение = Интеллектуальная Автоматизация Салют, хабровчане! В марте OTUS запускает новый курс «Разработчик программных роботов (RPA) на базе UiPath и PIX». В преддверии старта курса мы перевели для вас полезный материал о том, что будет, если интегрировать RPA в машинное обучение. Роботизированная автоматизаци...

[Из песочницы] Многопоточность. Модель внутренней памяти Java простыми словами Привет, Хабр! Представляю вашему вниманию перевод статьи «Java Memory Model» автора Jakob Jenkov. Прохожу обучение по Java и понадобилось изучить статью Java Memory Model. Перевёл её для лучшего понимания, ну а чтоб добро не пропадало решил поделиться с сообществом. Думаю...

Использование сервисов и обработка их результатов в Xamarin Продолжим обсуждать различные задачи для Xamarin с которыми приходится регулярно сталкиваться, так как статьи по данной тематике появляются не очень часто. Данная статья больше будет полезна начинающим разработчикам, но и более опытным тоже может быть интересно.Итак, почему ...

SLAE — Security Linux Assembly Expert Exam Security Linux Assembly Expert — онлайн-курс и экзамен по основам 32-битного языка ассемблера процессоров семейства Intel в Linux-системах в контексте информационной безопасности. Курс будет полезен пентестерам, инженерам по информационной безопасности и всем, кто желает ра...

Ютуберы собрали 20 миллионов долларов на посадку деревьев по всему миру В октябре ютьюбер Джимми «MrBeast» Дональдсон запустил компанию под названием Team Trees по сбору денег на посадку 20 млн. деревьев в разных уголках нашей планеты из расчета, что каждое дерево обойдется в 1 доллар.

Интернационализация: как сделать веб доступным для всех Ecma International, Technical Committee 39 или по-простому TC39 — это группа JavaScript-разработчиков, создателей реализаций технологий, академиков и других заинтересованных сторон, которые вместе с сообществом поддерживают и развивают JavaScript как платформу. Участники TC...

[Из песочницы] Функциональный Powershell с классами — не оксюморон, я гарантирую это Привет, Хабр! Представляю вашему вниманию перевод статьи "Functional PowerShell with Classes. I promise it’s not an oxymoron" автора Christopher Kuech. Объектно-ориентированная и функциональная парадигмы программирования могут казаться не в ладах друг с другом, но ...

[Перевод] Понимание CSS Grid (2 часть): Grid-линии Приветствую! Представляю вашему вниманию перевод статьи «Understanding CSS Grid: Grid Lines» автора Rachel Andrew В первой статье из серии "Понимание CSS Grid" мы рассмотрели, как создавать родительский grid-контейнер и различные свойства, применяемые к данному эл...

[Перевод] Что покупать для глубокого обучения: личный опыт и советы использования GPU Перевод статьи Тима Деттмерса, кандидата наук из Вашингтонского университета, специалиста по глубокому обучению и обработке естественного языка Глубокое обучение (ГО) – область с повышенными запросами к вычислительным мощностям, поэтому ваш выбор GPU фундаментально определи...

Изучаем VoIP-движок Mediastreamer2. Часть 4 Материал статьи взят с моего дзен-канала. Создаем измеритель уровня сигнала В прошлой статье мы внесли ясность в корректное завершение программ использующих медиастример. В этой статье мы соберем схему измерителя уровня сигнала и научимся читать результат измерения из фильтр...

[Перевод] Framework vs Platform: в чём разница? Привет, Хабр! Представляю вашему вниманию перевод статьи "Framework Vs. Platform What’s The Difference?" автора G. Harris. Исповедуюсь: я педант. Несмотря на личные неудачи на этом поприще, я глубоко верю, что использование правильного языка добавляет множество пре...

Автоматическое обучение моделей с помощью Vowpal Wabbit Всем привет, меня зовут Артем Жаринов, я специалист по анализу данных и машинному обучению команды RnD в Lamoda. Блуждая по нашему сайту вы, возможно, заметили такие полки рекомендаций «С этим товаром покупают» или «Популярные товары». Для персонализированного ранжирования ...

Внедрение Multicast VPN на Cisco IOS (часть 2 — mLDP) В прошлой статье мы познакомились с Вами с исторически первым способом организации построения multicast VPN с помощью технологий PIM и mGRE (Часть 1, Profile 0). На сегодняшний день существуют альтернативы запуску P-PIM в опорной сети. В частности, для организации многоадрес...

Семь хаков по прохождению игры «Посади лес» Собрала для вас семь фишек, которые важно знать, чтобы успешно пройти все уровни в игре «Посади лес». Эта милая мобильная игруха полна секретов и кажется простой только на первый взгляд. Вначале немного вводных для тех, кто еще не в курсе, что это за зверь такой «Посади лес»...

[Перевод] Блокчейн — потрясающее решение, но для чего? Прим. перев.: эта вызывающая статья про блокчейн была написана и опубликована около двух лет назад на нидерландском языке. На днях её перевели на английский, что вызвало новый всплеск интереса со стороны ещё большего ИТ-сообщества. Несмотря на то, что некоторые цифры за это ...

Оконные функции с «форточкой» или как пользоваться фреймом Всем привет. 26 февраля в OTUS стартовали занятия в новой группе по курсу «MS SQL Server разработчик». В связи с этим я хочу поделиться с вами своей публикацией про оконные функции. Кстати, в ближайшую неделю еще можно записаться в группу ;-). Оконные функции прочно вошл...

Ошибки, которые погубят проект любой сложности. Опыт менеджеров Redmadrobot Мы, электрические, запускаем проекты с 2008 года, и за 11 лет сформировали сильную команду робоменеджеров. Прокачивать железных помогают боевые задачи и одна из самых сложных — управлять проектом. Ситуации, при которых появляется необходимость взять на себя обязанности PM ...

Готовый шаблон для тестирования с использованием Spring Представляю вам — готовый шаблон для тестирования с использованием Spring. Введение Цель этой статьи показать, что писать автотесты со Spring проще нежели на чистой Java. Так же хочу продемонстрировать, насколько Java + Spring упрощает жизнь тестировщикам. Для кого эта ...

F#, алгоритм маркировки связных компонентов изображения Поиск и маркировка связных компонентов в бинарных изображениях — один из базовых алгоритмов анализа и обработки изображений. В частности, этот алгоритм может быть использован в машинной зрении для поиска и подсчета единых структур в изображении, с последующих их анализом. В...

Квантовое машинное обучение: знакомимся с Tensorflow Quantum На Хабре практически нет информации про квантовое машинное обучение (Quantum Machine Learning), и в этой статье я постараюсь подробнее раскрыть тему. Сразу скажу, что промышленных квантовых компьютеров сегодня не существует, все основные разработки в этой области носят теоре...

[Перевод] Современные решения старых CSS-задач (1 часть): Удержание футера внизу страницы Приветствую. Представляю вашему вниманию перевод статьи «Keep the Footer at the Bottom: Flexbox vs. Grid», опубликованной 8 апреля 2020 года автором Stephanie Eckles Это первая статья из серии, посвящённой ознакомлению с современными способами решения CSS-проблем, с которы...

MQTTv5.0: Обзор новых функций. Часть 2 Всем привет! Приведенный ниже материал является продолжением статьи о функционале, добавленном в новой версии MQTTv5.0. Если вы уже успели ее изучить, то для вас не составит труда заметить, что большинство новых функций базируется на понятии свойств, которые можно добавлят...

[recovery mode] AutoML великий и могущественный На текущий момент, пожалуй, нет ни одного человека, кто интересуется информационными технологиями и не слышал о том, что машинное обучение, интеллектуальный анализ данных, системы поддержки принятия решений являются одними из ключевых направлений для реализации сценариев циф...

PHP и регулярные выражения: азы для новичков В преддверии старта нового потока по курсу «Backend-разработчик на PHP», а также смежного с ним курса «Framework Laravel», хотим поделиться статьей, которую подготовил наш внештатный автор. Внимание! данная статья не имеет отношения к программе курса и будет полезна только ...

[Перевод] Разбираемся с not в Python В этой статье из серии про синтаксический сахар в Python я займусь на первый взгляд очень простым синтаксисом, но на самом деле, чтобы разобраться в механике его работы, нужно погрузиться вглубь на несколько слоев. Мы будем говорить о not.Определение звучит на...

[Перевод] Создание масштабируемой и отказоустойчивой архитектуры с помощью динамических микросервисов И снова здравствуйте. Как вы знаете, в марте OTUS запускает абсолютно новый курс «Архитектура и шаблоны проектирования». В преддверии старта курса перевели для вас большой материал про Создание масштабируемой и отказоустойчивой архитектуры с помощью динамических микросервисо...

Мониторим основные сервисы в AWS с Prometheus и exporter’ами для CloudWatch Если вы используете в облачных провайдерах managed-инсталляции серверных служб вроде RDS или ElastiCache от AWS, то несомненно задавались темой мониторинга инфраструктуры, а главное — оповещений по произошедшим инцидентам. При реализации возникают понятные вопросы: Как можно...

[Из песочницы] Новый взгляд на code style Как знания нейропсихологии могут помочь программисту в стилизации кода? До того как заняться программированием, я очень долго и глубоко изучал нейропсихологию. Впоследствии, эти знания помогли мне добиться высоких результатов в разработке, за короткий промежуток времени. В...

Amazon выпустила открытую библиотеку для создания ИИ-моделей несколькими строками кода Благодаря AutoGluon можно создавать модели искусственного интеллекта, использующие изображения, текст и табличные наборы данных, путём написания небольшого количества строк кода.Создание таких приложений - задача непростая, поскольку разработчики должны знать, как настраиват...

Устройство расширений для браузера Firefox (WebExtensions) Для людей, работа которых связана с использованием сети Интернет, расширения браузера могут быть очень полезными инструментами. С помощью них можно избавить пользователя от повторения одних и тех же действий и лучше организовать рабочий процесс. Можно составить набор инструм...

[Перевод] Как классифицировать мусор с помощью Raspberry Pi и машинного обучения Arm NN ML на основе нейросетей открывает для программного обеспечения новые возможности в области логического вывода. Как правило, ML-модели выполняются в облаке, а это означает, что для классификации или прогнозирования необходимо отправить данные по сети внешнему сервису. Про...

Курьеры начали вешать смартфоны на деревья для получения заказов Курьеры Amazon нашли необычный способ получать заказы раньше других. Они развешивают на деревьях рядом с центрами сортировки посылок смартфоны.

[Перевод] Как физика дала математикам новую геометрическую структуру для их игр Симплектическая геометрия – относительно новая область знаний, оказывающая влияние на большую часть современной математики. И вот, в чём она заключается. В начале XIX века Уильям Роуэн Гамильтон обнаружил новое геометрическое пространство с практически волшебными свойствам...

Обзор работы «Learnability Can Be Undecidable» Эта статья является моим вольным пересказом работы Learnability can be undecidable, Shai Ben-David, et al. Недавно на Хабре вышла статья Машинное обучение столкнулось с нерешенной математической проблемой, которая является переводом одноименного обзора в Nature News статьи Ш...

[Из песочницы] Теория графов в машинном обучении для самых маленьких Сложность представления данных для глубокого обучения растет с каждым днем. Нейронные сети на основе данных в виде графа (Graph Neural Network, GNN) стали одним из прорывов последних лет. Но почему именно графы набирают все большую популярность в машинном обучении? Конечной ...

Positive-Unlabeled learning and where to find it Привет! В этой статье я начну рассказ про Positive-Unlabeled (PU) learning. Расскажу, что это за область машинного обучения и в каких задачах она применяется. В конце будет немного про наше применение PU  learning для поиска коррупции в аукционах государственных закупок. Ч...

[Перевод] Когда математика становится слишком сложной Математики давно пытаются привыкнуть к тому, что некоторые задачи в принципе невозможно решить Мы любим повторять, что всё возможно. В книге Джастера Нортона «Мило и волшебная будка» король отказывается сообщить Мило, что его цель недостижима, поскольку «многое становится ...

Иван Ященко заявил, что дистанционное обучение открыло новые возможности для столичных школ Непростая эпидемиологическая обстановка весной 2020 года привела к решению о переводе столичных школ на дистанционный формат работы. При этом перед ними открылись широкие возможности для индивидуализации учебного процесса. По словам главы ЦПМ московского Департамента образов...

Mail.ru Group будет бесплатно готовить специалистов по анализу данных и машинному обучению в Академии MADE В Академию смогут попасть те, кто успешно пройдет вступительный отбор. Заявки принимаются до 1 августа на сайте проекта.Слушатели Академии больших данных MADE научатся разрабатывать модели машинного обучения для высоконагруженных сервисов, освоят прикладной анализ данных, о...

[Перевод] Реализация epoll, часть 1 Сегодня мы публикуем перевод первой статьи из серии материалов, посвящённых реализации epoll в ядре Linux 3.16.1*. Автор исходит из предположения о том, что читатели знакомы с API и с использованием epoll. Он уделяет основное внимание реализации подсистемы epoll в ядре Linux...

Функциональное программирование на TypeScript: паттерн «класс типов» Предыдущие статьи цикла: Полиморфизм родов высших порядков В предыдущей статье я рассказал, как можно в TypeScript эмулировать полиморфизм родов высшего порядка. Давайте же теперь посмотрим, какие возможности это даёт функциональному программисту, и начнем мы с паттерна «...

WSL эксперименты. Часть 1 Привет, хабр! В октябре OTUS запускает новый поток курса «Безопасность Linux». В преддверии старта курса делимся с вами статьёй, которую написал один из наших преподавателей — Александр Колесников. В 2016 году компания Microsoft представила IT сообществу новую технологи...

Как работают профайлеры в Ruby и Python? Перевод статьи подготовлен в преддверии старта продвинутого курса «Разработчик Python». Всем привет! В качестве аперитива к профайлеру на Ruby я хотела рассказать о том, как работают уже существующие профайлеры на Ruby и Python. Также это поможет дать ответ на вопрос, к...

[Перевод] Использование ИИ для сверхсжатия изображений Управляемые данными алгоритмы, такие как нейронные сети, взяли мир штурмом. Их развитие вызвано несколькими причинами, в том числе дешевым и мощным оборудованием и огромным объемом данных. Нейронные сети в настоящее время находятся в авангарде во всем, что касается «когнити...

[Из песочницы] Получение meterpreter сессии внутри NAT сети, с помощью Chrome и Pivot машины Вводная Всем привет, в этой статье я хочу поделиться своим опытом в эксплуатации уязвимости Chrome FileReader UAF, проведении техники pivoting, ну и написать свою первую статью конечно. Так как я являюсь начинающим Pentest инженером, то потратил на освоение и понимание этой...

[Перевод] Машинное обучение: ансамбль смешивания на Python Смешивание — это ансамблевый алгоритм машинного обучения. Это разговорное название для стекового обобщения (stacked generalization) [далее будем использовать термин «пакетирование» вместо принятого в научных работах термина «стекинг»] или ансамбля пакетирования, где вместо т...

Как и почему в InnoDB появились индексы на основе В-дерева Всем хорошо известно, что индексы на основе структуры данных В-дерево помогают нам быстрее читать и находить записи в таблицах. В сети можно найти огромное количество информации по этому поводу, но я постараюсь показать, с какими проблемами нам пришлось бы столкнуться без ис...

Потоковая передача колоночных данных с помощью Apache Arrow Перевод статьи подготовлен специально для студентов курса «Data Engineer». За последние несколько недель мы с Nong Li добавили в Apache Arrow бинарный потоковый формат, дополнив уже существующий формат файлов random access/IPC. У нас есть реализации на Java и C++ и привяз...

Развертывание в Docker и Kubernetes образа StatsD+Grafana В начале моего изучения Docker и Kubernetes мне нехватало простого и понятного примера, с которым можно было бы «поиграться», изучая особенности этой среды. Этой статьей хотелось бы закрыть этот пробел. Здесь я расскажу об интеграции .NET Core приложения с Telegraf и Grafana...

Что такое «лунные деревья» и где они растут? «Лунное дерево», посаженное в американском штате Индиана Было бы очень логично, если так называемые «лунные деревья» произрастали на поверхности спутника Земли. Но нет — находящаяся от нас в 384 тысячах километров Луна практически пуста. «Лунными» называются деревья, выращен...

Проклятье Циолковского и благодать Оберта Здравствуйте, уважаемые читатели Хабра. Продолжаем изучать орбитальную механику на пальце и двух энергиях. В этой статье вы узнаете о формуле Циолковского, эффекте Оберта, чем энергия отличается от импульса, как работают ракеты и всё это на максимально простых примерах с к...

В рамках Ютуб-кампании TeamTrees первые деревья высадят в США, Индии и Кении Как уже сообщалось, благодаря кампании ютубера Джимми «MrBeast» Дональдсона TeamTrees, было собрано 21,5 млн. долларов, на которые планируется закупить и посадить более 21 млн. деревьев в США, Австралии, Бразилии, Канаде, Китае, Франции, Гаити, Индонезии, Ирландии, Мадагаска...

[Перевод] Реконструкция нейронных карт по данным электронной микроскопии с помощью глубокого обучения Ручная многоракурсная стереореконструкция биологической нейронной сети занимает десятки тысяч часов. Специально к старту нового потока продвинутого курса «Machine Learning Pro + Deep Learning» делимся материалом, в котором рассказывается о том, как исследователи института Ма...

[Перевод] Концепции nginx, о которых мне хотелось бы знать много лет назад Nginx — это веб-сервер, в котором используется архитектура «Master-Slave». В nginx имеются обратный прокси-сервер, балансировщик нагрузки, почтовый прокси-сервер и HTTP-кеш. Определение это сложное, полное специальных терминов. Если вы тоже так думаете — значит, эта статья ...

Huawei подтянула математику. Компания открыла новый НИИ Запреты со стороны правительства США в адрес Huawei очень сильно влияют на бизнес смартфонов, однако они не так сильно отражаются на развитии компании в других направлениях. Вчера китайский производитель провел торжественное открытие своего научно-исследовательского цен...

[Перевод] bdshemu: эмулятор шелл-кода в Bitdefender Совсем скоро, 19 ноября, у нас стартует курс «Этичный хакер», а специально к этому событию мы подготовили этот перевод о bdshemu — написанном на языке C эмуляторе с открытым исходным кодом в Bitdefender для обнаружения эксплойтов на 32- и 64-битной архитектуре. Эмулятор очен...

У человеческой глупости есть простое научное объяснение Психологи потратили много усилий, пытаясь выяснить, почему люди не всегда делают правильный выбор, даже когда знают о последствиях принятых решений. В теории все мы способны сделать простой и разумный выбор, но вспомните, как часто вы или ваши друзья принимали заведомо невер...

[Перевод] 10 научных статей о реставрации с помощью глубокого обучения, которые должен прочитать каждый В скором времени у нас стартует новый поток продвинутого курса «Machine Learning Pro + Deep Learning», а сегодня мы делимся постом, в котором рассказывается о подходах к реставрации с помощью глубокого обучения. Реставрация изображений в разрезе глубокого обучения — это зада...

Функциональное программирование на TypeScript: полиморфизм родов высших порядков Привет, Хабр! Меню зовут Юрий Богомолов, и вы (возможно) можете меня знать по моей работе над серией #MonadicMondays в твиттере, по каналу на ютьюбе или статьям на Medium или dev.to. В русскоязычном сегменте интернета очень мало информации по функциональному программированию...

Школьники со всей РФ участвуют в дистанционных уроков лучших московских учителей-математиков Сейчас ученики 5-11 классов могут принимать участие в дистанционных уроках по математике, алгебре и геометрии, которые для них проводят лучшие учителя математики из Москвы. Взяв слово на недавнем селекторном совещании Департамента образования и науки города Москвы, директор ...

Пишем шеллкод под Windows на ассемблере В этой статье я хочу показать и подробно объяснить пример создания шеллкода на ассемблере в ОС Windows 7 x86. Не смотря на солидный возраст данной темы, она остаётся актуальной и по сей день: это стартовая точка в написании своих шеллкодов, эксплуатации переполнений буферо...

Swift Sunburst Diagram: многоуровневая круговая диаграмма на SwiftUI Swift Sunburst Diagram — простое создание диаграмм на основании дерева объектов, круговая диаграмма, только многоуровневая. Написано на SwiftUI, нужен Xcode 11+ и Swift 5.1+. Исходники: https://github.com/lludo/SwiftSunburstDiagram

Когда параллельные потоки буксуют Мы давно уже живем в мире многоядерных процессоров и многозадачных приложений и знаем, что наиболее очевидным способом увеличения производительности является распараллеливание выполняемых задач на несколько потоков или процессов. Точнее настолько насколько позволяют, в перву...

[Перевод] Почему единственный вид деревьев не победил все остальные? «Лес красив, дремуч, высок», — писал Роберт Фрост. Этот ямб вспоминается мне каждый раз, когда я начинаю путь по расположенной недалеко от моего дома лесной тропе. Тропу назвали в честь Фроста, который провёл несколько лет в этой части Массачусетса, обучая мальчиков в блейз...

[Перевод] Как предотвратить появление неверных данных в ваших идеальных конвейерах Для команд специалистов DS сломанные конвейеры данных, шаткие информационные панели и пожарные учения в 5 часов утра – это норма, особенно потому, что рабочие процессы принимают всё больше и больше данных из разрозненных источников. Черпая вдохновение в разработке программн...

[Из песочницы] Нужно ли нам озеро данных? А что делать с хранилищем данных? Это статья перевод моей статьи на medium — Getting Started with Data Lake, которая оказалась довольно популярной, наверное из-за своей простоты. Поэтому я решил написать ее на русском языке и немного дополнить, чтобы простому человеку, который не является специалистом по раб...

Flutter BloC паттерн + Provider + тесты + запоминаем состояние Эта статья выросла из публикации “BLoC паттерн на простом примере” где мы разобрались, что это за паттерн и как его применить в классическом простом примере счетчика. По комментам и для своего лучшего понимания я решил попробовать написать приложение в котором будут получены...

[Перевод] Что же такого особенного в IAsyncEnumerable в .NET Core 3.0? Перевод статьи подготовлен в преддверии старта курса «Разработчик C#». Одной из наиболее важных функций .NET Core 3.0 и C# 8.0 стал новый IAsyncEnumerable<T> (он же асинхронный поток). Но что в нем такого особенного? Что же мы можем сделать теперь, что было невозмо...

Agile в ИТ-компаниях. Как увидеть лес за деревьями В этой статье хотелось немного поговорить о том, как используется Agile в ИТ-компаниях. И начнем сразу с главного: для большинства таких компаний Agile в виде Scrum, Kanban, Lean или XP – это не просто эфемерная атмосфера всеобщей гибкости, а вполне себе конкретный производс...

[Перевод] После столетий поисков получено точное решение задачи о козе на привязи Математики с давних времён пытались решить задачу о пасущейся козе, привязанной к изгороди. Но до настоящего времени они могли предложить только приблизительные решения. Вот вам простая на первый взгляд задачка. Представьте себе изгородь в форме окружности, с точно известн...

[Перевод] Философия преподавания Data Science и Deep Learning от fast.ai Рейчел Томас, соосновательница fast.ai, профессор USF Data Institute Пол Локхард – кандидат наук в области математики Колумбийского университета, бывший профессор университета Брауна и учитель математики средних классов – в своем важном эссе «Плач математика» описывает уж...

[Перевод] Как экономить память и удваивать размеры моделей PyTorch с новым методом Sharded Модели глубокого обучения улучшаются с увеличением количества данных и параметров. Даже с последней моделью GPT-3 от Open AI, которая использует 175 миллиардов параметров, нам ещё предстоит увидеть плато роста количества параметров. Для некоторых областей, таких как NLP, ра...

Об ошибках в коде QuantConnect Lean В данной статье рассматриваются ошибки в проекте с открытым исходным кодом, найденные с помощью статического анализатора. Говорится о некоторых простых вещах, которые могут помочь избежать их появления. Например, используя синтаксические конструкции языка начиная с C# 8.0. ...

[Перевод] Реализация SOLID и слоистой архитектуры в Node.js с TypeScript и InversifyJS Привет, Хабр! Предлагаю вашему вниманию перевод статьи Implementing SOLID and the onion architecture in Node.js with TypeScript and InversifyJS автора Remo H. Jansen В этой статье мы рассмотрим архитектуру, известную как слоистая (onion). Слоистая архитектура — подход к пост...

На iOS и Android вышла настольная игра The Tree: выращиваем дерево быстрее других На мобильных устройствах появилась цифровая настольная игра под названием The Tree или просто — Дерево. В нём нам предстоит состязаться с другими геймерами в следующем: кто-то должен успеть первым вырастить дерево. Для этого в начале сессии выдаются различные элементы (фрукт...

[Перевод] Семь практических советов по массовой загрузке данных в PostgreSQL Вольный перевод статьи «7 Best Practice Tips for PostgreSQL Bulk Data Loading» Иногда возникает необходимость в несколько простых шагов загрузить в БД PostgreSQL большой объём данных. Данная практика обычно называется массовым импортом, когда в качестве источника данных служ...

[Перевод] Как исследуют рост клеток органов с помощью машинного обучения на основе физики … а также глубокого обучения на основе облачных вычислений и акустического моделирования Для выращивания тканей органов из клеток в лаборатории исследователям нужен неинвазивный способ удержания клеток в одном месте. Одним из перспективных подходов является акустическое стру...

Работа в Google. Из Украины в Кремниевую долину Он решил пару математических задач и устроился на стажировку в Facebook, уехал из Украины в Кремниевую долину, перешел в Google и теперь работает из дома 4 дня из 5. Мы пообщались с Вовой, инженером компании Google, который поделился историей, как он попал на стажировку в Fa...

[Перевод] Аспирантка решила топологическую задачу полувековой давности У Лизы Пиччирилло ушло меньше недели на поиски ответа на старый вопрос о странном узле, открытом более пятидесяти лет назад легендарным математиком Джоном Конвеем. Летом 2018 года на конференции по низкоразмерной топологии и геометрии Лиза Пиччирилло услышала о небольшой м...

Интервальное голодание и паттерны продления жизни Lifext Интервальное голодание — паттерн питания в котором регулируются циклы с едой и без нее. Этот паттерн питания сейчас стал довольно популярным и, так как Lifext методика изначально уделяла большое внимание паттернам питания, то мы решили написать подробный разбор и перевести и...

Пошаговое руководство по настройке Laravel 6 в Google Cloud Run с непрерывной интеграцией Всем привет! В преддверии старта курсов «Framework Laravel» и «Backend-разработчик на PHP», продолжаем делиться интересным материалом по теме. Поехали. За последние несколько лет популярность Laravel резко возросла. Сообщество Laravel даже придерживается мнения, что Larave...

Как клеить по 13 девушек в час используя машинное обучение и Tinder *Исключительно ради изучения Machine Learning, разумеется. Под немного недовольным взглядом любимой жены. Наверное, нет столь простого до уровня спинно-мозговых рефлексов приложений, как Tinder. Для того чтобы им пользоваться достаточно одного пальца, чтобы свайпать и немно...

Управление кластером Docker Swarm с помощью Swarmpit Доброго времени суток, %username%. Пора расчехлить блог после 6 лет простоя и попробовать опять что-то полезное принести сообществу. Я крайне удивлен, что на хабре до сих пор нет ни одной статьи про Swarmpit. Я конечно понимаю, что наверняка большинство изучая Docker оста...

[Перевод] 5 малоизвестных секретов Pandas Pandas не нуждается в представлении: на сегодняшний день это главный инструмент для анализа данных на Python. Я работаю специалистом по анализу данных, и несмотря на то, что пользуюсь pandas каждый день, не перестаю удивляться разнообразию функционала этой библиотеки. В это...

Как сделать поиск по файлоболотам в 104 строки кода на python Продолжая тематику коротких полезных скриптов, хотелось бы познакомить читателей с возможностью построения поиска по контенту файлов и изображений в 104 строки. Это конечно не будет умопомрачительным по качеству решением — но вполне годным для простых нужд. Также в статье не...

[Перевод] Продуктовые стратегии для затрат перехода Перевод статьи подготовлен в преддверии старта курса «Product Manager IT-проектов». В своей предыдущей статье мы говорили о трех категориях затрат перехода: финансовых, процедурных и реляционных. Как можно использовать затраты перехода, чтобы повысить ценность вашего прод...

«Хочется поработать, поштурмить»: приятели раз в год открывают магазин ёлок с оборотом 15 млн рублей в месяц Интернет-магазин хвойных деревьев «Господин Ёлкин» начинался с «офиса» в McDonald’s, арендованной машины вместо склада и 5000 рублей. В 2020 году он получает сотни заказов, выращивает деревья в питомниках, сотрудничает с «Самокатом» — и всё ещё работает только с друзьями. ...

[Из песочницы] Погружение в Delta Lake: принудительное применение и эволюция схемы Привет, Хабр! Представляю вашему вниманию перевод статьи «Diving Into Delta Lake: Schema Enforcement & Evolution» авторов Burak Yavuz, Brenner Heintz and Denny Lee. Данные, как и наш опыт, постоянно накапливаются и развиваются. Чтобы не отставать, наши ментальные модели ми...

Архитектура мозга. Концепция каналов В данной статье я расскажу об одной своей гипотезе касательно архитектуры мозга. Рассуждения строятся на очень простой концепции каналов. Возможно, читателю она даже покажется наивной. Тем не менее, мне пришлось приложить огромные усилия, чтобы додуматься до этого. Это не н...

Машинное обучение без учителя. Отрывок из книги Привет, Хаброжители! Пока наши новинки печатаются в типографии, а офис сидит на удаленке, мы решили поделиться отрывком из книги Пола и Харви Дейтелов «Python: Искусственный интеллект, большие данные и облачные вычисления» Практический пример: машинное обучение без учителя,...

Прощай, Google! 15 Альтернативных поисковиков, которые не шпионят, а сажают деревья и раздают воду Аве Кодер! В этой статье речь пойдет о крутых инди поисковиках, которые могут составить конкуренцию поисковым гигантам, а также удовлетворить вкусы как утонченного мусьё, так и идейного борца за личную жизнь. Читать дальше →

[Из песочницы] Создаем прогрессивный PWA интернет-магазин на Nuxt.js 2 пошаговое руководство Часть 1 Статья ориентированна на людей, которые уже имеют понимание работы Vue, на котором основан Nuxt, поэтому я буду заострять внимание только на специфических для Nuxt вещах. Но даже если вы не знакомы с ними, то статья даст общее представление как выглядит проект с PWA Nuxt. Вы...

[Перевод] Сжатие ответов в GRPC для ASP.NET CORE 3.0 Перевод статьи подготовлен в преддверии старта курса «C# ASP.NET Core разработчик». В этом эпизоде моей серии статей о gRPC и ASP.NET Core мы рассмотрим подключение функции сжатия ответов (response compression) служб gRPC. ПРИМЕЧАНИЕ: В этой статье я рассказываю о некото...

[Перевод] Настройка среды Amazon SageMake на локальной машине Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных» Amazon SageMaker дает не просто возможность управлять notebook-ами в Jupyter, а предоставляет конфигурируемый сервис, который позволяет создавать, обучать, оптимизировать и разворачи...

Как устроена графика в Linux: обзор различных сред оформления рабочего стола Эта статья о том, как устроена графика в Linux и из каких компонентов она состоит. В ней много скриншотов с различными реализациями сред рабочих столов.  Если вы не сильно различаете KDE и GNOME или различаете, но хотели бы узнать, какие еще есть альтернативы, то эта статья...

[Перевод] Vulkan-tutorial. Урок 1.1 — Вступление В связи с тем, что у меня не так много времени для ресерча каких-то новых штук и написания статей о них, я решил перевести серию уроков по Vulkan. Надеюсь, что мои переводы будут кому-то полезны и не очень плохого качества. Для начала обучения — прошу под кат. Автор ориги...

Первая печать после сборки Sapphire S от Two Trees Всем привет. Ребята, хочу с вами поделиться с моим опытом использования первого 3D принтера от два дерева Sapphire S сейчас это продолжение Sapphire Pro. В этой статье хочу показать вам, что я распечатал в первую очередь на чём я учился как печатать и к какому выводу пришел ...

Визуализация данных при отладке в Visual Studio Code Вообще Debugger Visualizers для обычного Visual Studio — это очень старая тема (статья 2009 года), но не очень популярная. В большинстве случаев принято учить сразу дебажить, представляя процессы в голове, а штуки вроде сортировок и списков показываются на доске. В вебе ча...

В Москве стартовал пригласительный школьный этап ВсОШ 15 апреля в столице РФ объявили о начале проведения пригласительного школьного этапа Всероссийской олимпиады (ВсОШ). Этот этап проводится в онлайн-формате в связи с распространением коронавирусной инфекции. С полным расписанием дисциплин можно ознакомиться на официальном пор...

Человек-маркировщик вместо тестировщика? Стоит ли изучать Selenium в 2020? Продолжение интервью «Кому еще нужен Selenium? Использует ли кто BDD в 2020? Машинное обучение в Selenium» В диалоге участвовали: Всеволод Брекелов и Дарья Манухина(программный комитет конференции Heisenbug); Анна Чернышова, разработчик библиотеки Akita и нового инстру...

[Перевод] Восемь интересных возможностей PostgreSQL, о которых вы, возможно, не знали Привет, Хабр! Приглашаем на бесплатный Demo-урок «Параллельный кластер CockroachDB», который пройдёт в рамках курса «PostgreSQL». Также публикуем перевод статьи Тома Брауна — Principal Systems Engineer at EnterpriseDB. В этой статье рассмотрим несколько полезных со...

Сколько лет живут деревья (таблица) Еще в детских сказках часто встречается выражение «столетний дуб». Именно это дерево кажется классическим долгожителем. Конечно, столетием жизнь дуба далеко не ограничена, но это и далеко не рекордный показатель. Более того, близкие и привычные нам деревья тоже могут жить оч...

«Хочется поработать, поштурмить»: зачем и как приятели каждый год открывают магазин ёлок с оборотом в 15 млн рублей Интернет-магазин хвойных деревьев «Господин Ёлкин» начинался с «офиса» в McDonald’s, арендованной машины вместо склада и 5000 рублей. В 2020 году он получает сотни заказов, выращивает деревья в питомниках, сотрудничает с «Самокатом» — и всё ещё работает только с друзьями. ...

[Перевод] В сообществе машинного обучения есть проблема токсичности Токсичность везде. Во-первых, нарушен процесс независимой экспертизы (peer review). Четверть работ с конференции NeurIPS выкладывается на arXiv. В DeepMind есть исследователи, которые публично преследуют рецензентов, критикующих их представление ICLR. Кроме того, статьи изв...

[Перевод] Как я регулярно улучшаю точность моделей обучения с 80% до 90+% Если вы закончили хотя бы несколько собственных проектов по Data Science, вы, вероятно, уже поняли, точность в 80% — это не так уж плохо. Но для реального мира 80% уже не годятся. На деле, большинство компаний, в которых я работал, ожидают минимальную точность (или любую дру...

[Перевод] История интерпретируемости в распознавании изображений Распознавание изображений (т. е. классификация того, какой объект отображается на изображении) является основной задачей в области компьютерного зрения, так как она позволяет использовать различные последующие приложения (автоматическая маркировка фотографий, помощь слабов...

Оценка. Рассчитать и уложиться Предсказуемость сроков выполнения играет важную роль в разработке IT-проектов. И в связи с высокой сложностью процессов оценка задач является непростой проблемой, у которой нет явного алгоритма или простого плана. Усугубляется это тем, что в процессе общения об оценках бизне...

[Перевод] «Давайте использовать Kubernetes!»: как получить 8 проблем Это перевод вводной статьи об использовании Kubernetes: «Let’s use Kubernetes!» Now you have 8 problems Если вы используете Docker, то следующим логичным шагом будет Kubernetes, известный как K8s. Именно так вы обеспечиваете эксплуатацию своих продуктов, верно? Ну, возможн...

[Перевод] Разбираемся с системными вызовами в Linux с помощью strace Перевод статьи подготовлен специально для студентов базового и продвинутого курсов Administrator Linux. Системный вызов — это механизм взаимодействия пользовательских программ с ядром Linux, а strace — мощный инструмент, для их отслеживания. Для лучшего понимания работы о...

Анатомия телевизора: всё, что вы хотели спросить о современных ТВ-технологиях Нельзя просто взять и выбрать телевизор в 2020 году. Конечно, можно ткнуть пальцем в первую от входа модель в магазине, или первую по списку на онлайн-витрине. Можно положиться на интуицию или мнение второй половинки. Но осознанный выбор всё-таки требует какого-то понимания ...

[Из песочницы] Desktop pet на C# WPF Desktop pet — пусть и бесполезное, но весьма забавное украшение рабочего стола. В данной статье показана, наверное, самая простая его реализация. Гифка под катом! Читать дальше →

Пишем API на Rust с помощью процедурных макросов Процедурные макросы в Rust — это очень мощный инструмент кодогенерации, позволяющий обходиться без написания тонны шаблонного кода, или выражать какие-то новые концепции, как сделали, к примеру, разработчики крейта async_trait. Тем не менее, многие вполне обоснованно побаива...

Изучаем VoIP-движок Mediastreamer2. Часть 7 Материал статьи взят с моего дзен-канала. Используем TShark для анализа RTP-пакетов В прошлой статье мы собрали схему дистанционного управления из генератора и детектора тональных сигналов, связь между которыми осуществлялась с помощью RTP-потока. В этой статье мы продолжа...

[Из песочницы] Получение видео из Tik Tok без водяного знака Добрый день, всем любителям habr. В этой статье я хочу поделиться с Вами как можно получить видео с Tik Tok без водяного знака, с помощью такого языка как PHP. В настоящее время Tik Tok набирает популярность и было бы не прилично не написать про него маленькую статейку, и ...

[recovery mode] Аудит кошельков в CryptoNote Аудит криптовалютного кошелька — это возможность для третьей стороны («аудитора») видеть транзакции этого кошелька и рассчитывать его корректный актуальный баланс без права на трату средств. В статье рассматриваются различные способы обеспечения такой возможности в крипто...

Скачиваем и устанавливаем Google Play Store 18.7.18 — самая свежая версия В конце прошлой недели в сети появился дистрибутив свежей версии фирменного магазине приложений Google Play Store. Новый билд проходит под индексом 18.7.18. Мы традиционно делимся ссылками на свежий дистрибутив для тех, кто хочет установить его самостоятельно, благо делает...

Наивно. Супер: код и архитектура простой игры Мы живём в сложном мире и, кажется, стали забывать о простых вещах. Например, о бритве Оккама, принцип которой гласит: «Что может быть сделано на основе меньшего числа, не следует делать, исходя из большего». В этой статье я расскажу про простые и не самые надёжные решения, ...

Причины побед Чингисхана — ответ кроется в деревьях Каждое кольцо дерева уникально, так как его ширина зависит от того, насколько дождливым был год, когда кольцо образовывалось. Составляя базы данных «отпечатков пальцев» деревьев, растущих в разных частях света, ученые могут взглянуть на климат прошлого, ушедшие экосистемы и ...

[Перевод] Гениальность микропроцессоров RISC-V Войны между RISC и CISC, проходившие в конце 1990-х, уже давно отгремели, и сегодня считается, что разница между RISC и CISC совершенно не имеет значения. Многие заявляют, что наборы команд несущественны. Однако на самом деле наборы команд важны. Они накладывают ограничени...

Реализация ARP-спуфинга на Python Введение В данной статье я бы хотел продемонстрировать то, как можно реализовать собственную программу ARP-спуфинга на Python. Реализаций уже тысячи, но почти все они с использованием библиотеки Scapy и пары методов. Возможно данную библиотеку использовать эффективнее, не сп...

[Перевод] Реализация epoll, часть 2 Публикуя перевод первой статьи из цикла материалов о реализации epoll, мы провели опрос, посвящённый целесообразности перевода продолжения цикла. Более 90% участников опроса высказались за перевод остальных статей. Поэтому сегодня мы публикуем перевод второго материала из эт...

[Перевод] Как QA-команда GitLab использует GitLab Performance Tool Перевод статьи подготовлен в преддверии старта курса «DevOps практики и инструменты». Мы запустили ряд инициатив по улучшению производительности GitLab и нам нужен был новый инструмент для бенчмарков. Тестирование производительности — это сложный процесс, отличающийся от...

Слишком большое количество СО2 в атмосфере меняет деревья в худшую сторону Исследователи из Лидского университета (Великобритания) описали изменение роли деревьев в механизме поглощения выбросов углекислого газа. Глобальное потепление привело к ускорению роста на планете зеленой массы, но это не плюс, а минус, потому что новые деревья стали недолго...

[Из песочницы] Визуализируя нейронный машинный перевод (seq2seq модели с механизмом внимания) Привет, Хабр! Представляю вашему вниманию перевод статьи "Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)" автора Jay Alammar. Sequence-to-sequence модели (seq2seq) – это модели глубокого обучения, достигшие больших успех...

Как стать Java-разработчиком без опыта в IT и на старте зарабатывать от 100 000 рублей в месяц Программистам завидуют: они хорошо зарабатывают, могут трудиться удалённо и точно не останутся без работы. Если вы тоже хотите стать перспективным специалистом, причём как можно более универсальным, советуем присмотреться к Java. Это мощный и производительный язык, достаточн...

Бесплатный вебинар «Machine Learning: что нужно для старта?» Вебинар для вас, если вы много слышали про машинное обучение и искусственный интеллект, но всё ещё не знаете, как к ним подступиться и что изучать. На вебинаре вы узнаете какие разделы математики и программирования нужно знать...

О репозиториях замолвите слово В последнее время на хабре, и не только, можно наблюдать интерес GO сообщества к луковой/чистой архитектуре, энтерпрайз паттернам и прочему DDD. Читая статьи на данную тему и разбирая примеры кода, постоянно замечаю один момент — когда дело доходит до хранения сущностей пре...

[Перевод] Нововведения JavaScript ES2020 с простыми примерами Представляем вам перевод статьи из блога Carlos Caballero на сайте Medium.com. Ранее мы публиковали материал этого автора о функциях ES10, появившихся в 2019 году. Читать дальше →

Лучшие выжигатели по дереву: ТОП-10 в 2020 году Выжигание по дереву – не просто хобби, а настоящее искусство, к которому может приобщиться практически каждый. Все, что потребуется для него – недорогой выжигатель, комплект дощечек и фантазия. Мы подобрали для вас 10 лучших приборов с полным набором функций.

Запускаем трансфлективный TFT дисплей на SSD1283A с помощью STM32 Введение Модель дисплея называется H016IT01. Данный дисплей интересен прежде всего тем, что он является транфлективным(transflective). Это означает, что изображение на нем должно быть видно даже под ярким солнцем. А также это чуть ли не единственная доступная модель с этой о...

[Перевод] CSS: полное руководство по функции calc() В CSS есть особая функция calc(), применяемая для выполнения простых вычислений. Вот пример её использования: .main-content {   /* Вычесть 80px из 100vh */   height: calc(100vh - 80px); } Здесь с CSS-кодом, в котором используется calc(), можно поэкспериментировать. Авто...

[Перевод] Устранение узких мест в PostgreSQL при высоких нагрузках Всем привет. Прямо сейчас в OTUS открыт набор на новый поток курса «PostgreSQL». В связи с этим, мы традиционно подготовили для вас перевод полезного материала по теме. Взяв за основу статью Петра Зайцева об узких местах в производительности MySQL (MySQL Performance Bottle...

Что такое ссылка с анкором и ссылка безанкорная На сегодняшний день одной из самых популярных и востребованных профессий является веб – мастер. Многие специалисты в этой сфере деятельности получают образование самостоятельно или на онлайн курсах. Безусловно, порой возникают вопросы, которые требуют более детального поясне...

«Пандемия» научных публикаций о COVID-19 В современном информационном обществе любые социально-важные процессы, которые к тому же влияют на безопасность и здоровье граждан, сопровождаются потоком ложной информации. Чем больше участников процесса и чем сложнее предметная область, тем шире пространство для манипуляци...

Кодирование для чайников, ч.1 Не являясь специалистом в обозначенной области я, тем не менее, прочитал много специализированной литературы для знакомства с предметом и прорываясь через тернии к звёздам набил, на начальных этапах, немало шишек. При всём изобилии информации мне не удалось найти простые ста...

Как я участвовал в IOCCC-'19 (и проиграл). Часть 2: «Симулятор NOR» Это вторая часть цикла статей о том, как я участвовал в IOCCC'19 Как я участвовал в IOCCC-'19 (и проиграл). Часть 1: «Крестики-нолики» Как я участвовал в IOCCC-'19 (и проиграл). Часть 2: «Симулятор NOR» Я надеюсь, что данная статья поможет вам при разборе чужого кода и...

Простой способ редактирования, хранения и передачи параметров между job'ами Jenkins Как и любой здоровый человек — могу назвать себя в меру ленивым. Так, например, мне лень писать длинный pipeline (вообще писать руками pipeline лень). И мне не нравится идея гонять туда — сюда файлик, в который придётся писать параметры, для чего городить огород из лишнего ...

Разработка простейшего логического анализатора на базе комплекса Redd В прошлой статье цикла мы потренировались сохранять данные из потокового интерфейса в память средствами DMA. Пришла пора сделать какую-то полезную поделку, используя полученные навыки. Очень полезная при удалённой отладке вещь — анализатор. Вообще, при работе с комплексом ск...

[Перевод] Статистика в Data Science — исчерпывающий гид для амбициозных практиков ML В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning» представляем вашему вниманию пост, который смело можно класть в закладки, — гид по статистике для амбициозных практиков машинного обучения. От ответа на вопрос, что такое статистика, до весьма под...

Как профессионалу оставаться востребованным Мир становится сложнее, тренды сменяют друг друга, не успев наметиться, цифровизация всего и вся идет полным ходом. С развитием технологий и машинного обучения, все больше привычных и рутинных процессов в которых участвуют люди, будут автоматизированы. Невозможно предугада...

[Перевод] Подсчет запросов: Базовое тестирование производительности на Django Всем привет. Мы подготовили перевод еще одного полезного материала для студентов курса «Web-разработчик на Python», который стартовал вчера. Очень часто можно услышать о методах тестирования, таких как TDD, и о том, как тестировать бизнес-логику приложения. Однако тестиро...

[Перевод] Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python Всем привет. В преддверии старта курса «Нейронные сети на Python» подготовили для вас перевод еще одного интересного материала. Рады представить вам PyCaret – библиотеку машинного обучения с открытым исходным кодом на Python для обучения и развертывания моделей с учителем...

Сознание это просто или что не так с временем В данной статье простым языком объясняется, почему некоторые аспекты сознания на самом деле легко поддаются понимаю. Можно даже приблизиться к пониманию физической реализации искусственного сознания. И все это становится понятно всего лишь после рассмотрения такого понятия,...

Книга «Golang для профи: работа с сетью, многопоточность, структуры данных и машинное обучение с Go» Привет, Хаброжители! Вам уже знакомы основы языка Go? В таком случае эта книга для вас. Михалис Цукалос продемонстрирует возможности языка, даст понятные и простые объяснения, приведет примеры и предложит эффективные паттерны программирования. Изучая нюансы Go, вы освоите...

Цифровая логистика: решение транспортной задачи спроса и предложения с помощью библиотеки DOcplex от IBM Всем привет, меня зовут Дмитрий Кузин (Application Development Senior Analyst в Accenture), и в своей статье я делюсь историей о том, как запрос на решение задачи в корпоративной рассылке привел к освоению Python библиотеки DOcplex от IBM, предназначенной для решения оптими...

[Из песочницы] Получение котировок акций при помощи Python Привет, Хабр! Представляю вашему вниманию перевод статьи «Historical Stock Price Data in Python» автора Ishan Shah. Статья о том, как получить ежедневные исторические данные по акциям, используя yfinance, и минутные данные, используя alpha vantage. Читать дальше →

[Перевод] Создание зомби-шутера от третьего лица с помощью DOTS Салют, хабровчане. Как мы уже писали январь богат на новые запуски и сегодня мы анонсируем набор на новый курс от OTUS — «Разработчик игр на Unity». В преддверии старта курса делимся с вами переводом интересного материала. Мы пересобираем ядро Unity с помощью нашего стек...

#ГИС-волонтер: новая платформа для поиска добровольцев Оцифровать лесные пожары, провести съемку с коптера и даже просто сфотографировать разные объекты в лесу – такие задачи часто встают перед природоохранными организациями. Теперь они могут попросить помощи в их решении у добровольцев посредством платформы #ГИС-волонтер, созд...

Как перестать бояться и полюбить 1-wire Мне очень нравится протокол 1-wire своей простотой и удобством для применения в системах «умный дом». Недавно я писал программную эмуляцию одной микросхемы и погрузился во внутренности этого протокола. Чтобы накопленные знания могли принести пользу не только мне, я решил нап...

Как с помощью Android решать задачи по математике и не только Думаю, всем доводилось слышать, что компьютеры – это машины, которые способны решать самые сложные задачи. Но это теперь я знаю, о каких задачах шла речь, а в детстве мне казалось, что можно подсунуть компьютеру задачку по математике и заставить его решать именно её. Правда...

[Перевод] Напишем и поймем Decision Tree на Python с нуля! Часть 3. Библиотека для анализа данных Pandas Привет, Хабр! Представляю вашему вниманию перевод статьи "Pythonで0からディシジョンツリーを作って理解する (3. データ分析ライブラリPandas編)". Это третья статья из серии. Ссылки на предыдущие статьи: первая, вторая В данной статье я объясню, как работать с библиотекой Pandas, чтобы создавать De...

SQL HowTo: пишем while-цикл прямо в запросе, или «Элементарная трехходовка» Периодически возникает задача поиска связанных данных по набору ключей, пока не наберем нужное суммарное количество записей. Наиболее «жизненный» пример — вывести 20 самых старых задач, числящихся на списке сотрудников (например, в рамках одного подразделения). Для различны...

Искусственный интеллект, машинное и глубокое обучение — в чём разница Сейчас много пишут и говорят об искусственном интеллекте (ИИ). Наряду с другими связанными понятиями — такими, как машинное обучение (machine learning) и глубокое обучение (deep learning). Многие люди склонны неправильно понимать термины, используемые в контексте...

[Перевод] Дерево синтаксиса и альтернатива LINQ при взаимодействии с базами данных SQL В этой статье, на примере простых логических выражений, будет показано, что такое абстрактное синтаксическое дерево и что с ним можно делать. Так же будет рассмотрена альтернатива выражениям LINQ для выполнения запросов к SQL базам данных. Читать дальше →

[Перевод] Классификация изображений на Android с помощью TensorFlow Lite и сервиса Azure Custom Vision Классификация изображений позволяет нашим приложениям Xamarin распознавать объекты на фотографиях. Все более и более распространенной становится возможность сделать фотографию и распознать ее содержимое. Мы можем наблюдать это в наших банковских приложениях при внесении мо...

Доступность — это не так просто Привет, Хабр! В предыдущей статье я рассказывал о простых случаях проблем с доступностью, исправив которые можно сделать свой сайт или web-приложение гораздо доступнее. Я упоминал о правиле 80/20 и писал о проблемах, которые при наименьших затратах дают наибольший результа...

[Перевод] Участие в тестировани Incentivized Testnet — глобальной децентрализованной мультиагентной системы Специально к старту курса «Машинное обучение» в этом материале знакомим читателей Хабра с Fetch.ai — децентрализованной платформой для оптимизации существующих технологий с помощью искусственного интеллекта, машинного обучения и интеллектуального обмена данными. Платформу мо...

BMG Mini на Voxelab Aquilla Статья больше рассчитана на "чайников" и идет как продолжение - этой.Многие в личке просили подробно обьяснить как поставить другой механизм подачи и как это прописать в принтере. По методу установки\креплению в принципе все механизмы одинаковые, я напишу на примере BMG Mini...

Что такое Data Science и как начать работать с большими данными Нейросети и машинное обучение можно смело назвать трендом на ближайшие несколько лет, если не больше. Что же такое машинное обучение? Если вкратце, это инструмент, который позволяет программировать системы на автоматическое обучение и совершенствование с приобретением новог...

[Из песочницы] Java простое веб-приложения. Логин и регистрация Всем доброго времени суток. Эта статья рассчитана для новичков в мире Web и Java. Мы рассмотрим стандартную архитектуру веб-приложения и сделаем небольшой проект с нуля. Будем использовать Spring (Огромный фреймворк для веба), но по минимуму. Если не иметь предыдущего опыта ...

Павел Клеменков, NVIDIA: Мы стараемся уменьшить разрыв между тем, что data scientist умеет, и тем, что он должен уметь Стартовал второй набор студентов магистерской программы по data science и business intelligence Ozon Masters – а чтобы решиться оставить заявку и пройти онлайн-тестирование было проще, мы расспросили преподавателей программы о том, чего стоит ожидать от обучения и работы с д...

Touch slider на JavaScript Когда я начинал изучать JavaScript, мне очень хотелось понять как работают и делаются слайдеры, которые можно перелистывать свайпами или мышью, но материалов с хорошим объяснением именно того, что мне надо, я не нашел. Через какое-то время мне удалось сделать нечто подобное....

Mail.ru Group будет бесплатно готовить специалистов по анализу данных и машинному обучению Обучение в Академии больших данных MADE стартует 7 сентября и продлится три семестра. Учеба будет занимать 15–20 часов в неделю.

[Из песочницы] Многопоточность на Node.js. Event Loop Инфа будет полезна JS-разработчикам, которые хотят глубоко понимать суть работы с Node.js и Event Loop. Вы сможете осознанно и более гибко управлять потоком выполнения программы (web-сервера). Эту статью я составил по материалам своего недавнего доклада для коллег. В конце с...

[Перевод] Новый квантовый алгоритм, наконец, нашёл подход к нелинейным уравнениям Две команды исследователей нашли разные способы обсчёта нелинейных систем на квантовых компьютерах посредством их маскировки под линейные Иногда компьютерам просто предсказать будущее. Простой процесс, типа течения сока растения по древесному стволу, довольно просто реализо...

[Перевод] Абелевскую премию по математике разделили двое пионеров в областях вероятностей и динамики Хилель Фарстенберг, 84 лет, и Григорий Маргулис, 74 лет, профессора на пенсии, разделили математический эквивалент нобелевской премии Хилель Фарстенберг Двое математиков, продемонстрировавших, как недооценённое ответвление области исследований можно применить для решения в...

Kubernetes в духе пиратства: наш путь к микросервисам и готовый шаблон для внедрения Привет, я Юрий Буйлов, занимаюсь разработкой в CarPrice, а также внедряю практики DevOps, микросервисы и Kubernetes. Хочу рассказать про Kubernetes в духе пиратства — только не про управление большим красивым кораблем на парусах, а, скорее, про флот маленьких неприглядных ...

Как правильно и легко рассчитать прибыль на инвестиции или калькулятор ROI на Python Пусть у вас есть вложения активов в некую стратегию (даже если buy and hold), и вы хотите рассчитать return on investment (ROI). Если вы не производили никаких выводов или депозитов, тогда всё просто - используем школьную формулу.Однако если в период инвестиций вы делали выв...

Доступность — это просто, Или 5 смертных грехов доступности Привет, Хабр! Меня зовут Алексей Устинов, я Frontend-разработчик в Delivery Club. В свободное время я интересуюсь вопросами доступности интерфейсов. Это первая из двух статей, в которых я хочу рассказать о проблемах с доступностью в вебе. Я расскажу про 5 простых правил, соб...

[Перевод] Как сделать Data Science приложение для Windows (и не только) с графическим интерфейсом с помощью PySimpleGUI Работать с Data Science в Jupyter, конечно, очень приятно, но если вы хотите пойти дальше и развернуть свой проект или модель на облачном сервере, то здесь есть много отличных решений — с помощью Flask, Django или Streamlit. Хотя облачные решения по-прежнему самые популярные...

[Перевод] Новое доказательство приближает математиков к подтверждению любимой гипотезы Эрдёша Два математика доказали первый этап любимой гипотезы Эрдёша о закономерностях в последовательностях чисел Пара математиков доказала первую часть одной из наиболее знаменитых гипотез, касающихся аддитивных свойств целых чисел. Её более 60 лет назад предложил легендарный вен...

Настраиваем экспорт IPFIX на VMware vSphere Distributed Switch (VDS) и последующий мониторинг трафика в Solarwinds Привет, Хабр! В начале июля Solarwinds анонсировал релиз новой версии платформы Orion Solarwinds — 2020.2. Одно из нововведений в модуле Network Traffic Analyzer (NTA) — поддержка распознавания IPFIX-трафика от VMware VDS. Анализ трафика в среде виртуального коммутатора ...

Алгоритм Kosaraju по полкам На самом деле, уже есть статья на Хабре по этому алгоритму, но она не освещает доказательство корректности и некоторых шагов алгоритма. Я решил создать более справочную версию той статьи с полным разбором.Этот пост будет полезен студентам, изучающим дисциплину "Алгоритмы и Т...

[Из песочницы] Расчет временных ограничений для ПЛИС простым языком Здравствуйте. Эта статья написана для самых-самых новичков в мире ПЛИС. В ней я попытаюсь максимально просто и понятно рассказать что такое временны́е ограничения (timing constraints), накладываемые на проекты под ПЛИС. Статья создана на основе собственного опыта попыт...

[Из песочницы] Рендеринг на клиенте, на сервере и генерация статических сайтов Приветствую всех профессионалов и любителей сайтостроения! Предлагаю вашему вниманию перевод статьи "Client-Side Rendering vs Server-Side Rendering vs Static-Site Generation" от Malcolm Laing. Фронтендеры часто используют эти термины для описания своих приложений. ...

[Перевод] Python, pandas и решение трёх задач из мира Excel Excel — это чрезвычайно распространённый инструмент для анализа данных. С ним легко научиться работать, есть он практически на каждом компьютере, а тот, кто его освоил, может с его помощью решать довольно сложные задачи. Python часто считают инструментом, возможности которог...

[Из песочницы] Ваш C# уже «функциональный», просто позвольте ему это Привет, Хабр! Представляю вашему вниманию перевод оригинальной статьи «Your C# is already functional, but only if you let it» автора Igal Tabachnik. Несколько дней назад я написал в Твиттере фрагмент кода C#, реализующий FizzBuzz, используя некоторые из новых «фичи» в C# 8....

SVM. Объяснение с нуля, имплементация и подробный разбор Привет всем, кто выбрал путь ML-самурая! Введение: В данной статье рассмотрим метод опорных векторов (англ. SVM, Support Vector Machine) для задачи классификации. Будет представлена основная идея алгоритма, вывод настройки его весов и разобрана простая реализация своими рука...

[Перевод] Руководство по Deno: примеры работы со средой выполнения TypeScript Доброго времени суток, друзья! Представляю Вашему вниманию перевод статьи «The Deno Handbook: A TypeScript Runtime Tutorial with Code Examples» автора Flavio Copes. В этой статье мы научимся работать с Deno. Мы сравним его с Node.js и создадим с его помощью простой RES...

Как сделать не стареющее тело? Общий принцип Что есть общего между человеком и снежинкой? И человек и снежинка могут расти и, причём основной – базовый принцип создания тела снежинки и тела человека одинаковый. В математике и в информатике этот принцип известен под названием клеточные автоматы. Принцип заключается в то...

Unreal Features of Real Types, или Будьте осторожны с REAL После публикации статьи об особенностях типизации в PostgreSQL, первый же комментарий был про сложности работы с вещественными числами. Я решил бегло пробежаться по коду доступных мне SQL-запросов, чтобы посмотреть, насколько часто в них используется тип REAL. Достаточно час...

[Перевод] Linux-контейнеры в паре строчек кода В продолжение прошлой статьи о KVM публикуем новый перевод и разбираемся, как работают контейнеры на примере запуска Docker-образа busybox. Эта статья о контейнерах является продолжением предыдущей статьи о KVM. Я бы хотел показать, как именно работают контейнеры, запустив D...

[Из песочницы] Flutter. Асинхронность и параллельность Привет, Хабр! Представляю вашему вниманию перевод статьи "Futures — Isolates — Event Loop" автора Didier Boelens об асинхронности и многопоточности в Dart (и Flutter в частности). TLDR: В целом, статья ориентирована на новичков и не изобилует откровениями. Если вы ...

[Перевод] 5 уроков, которые я извлек для себя, продолжая осваивать ZIO Всем привет. В преддверии старта курса "Scala-разработчик" подготовили для вас полезный перевод.Еще в январе 2020 года я написал два поста (I, II) о подводных камнях, с которыми могут столкнуться новички в начале работы с ZIO. Прошло 9 месяцев. На этот период пришелся релиз ...

Топ-3 HTML-элемента, которые мы забыли Привет, Хабр! Представляю вашему вниманию перевод статьи «Top 3 HTML elements that we forgot» автора Stas Melnikov. Недавно я прочитал спецификации и понял, что мы используем ограниченный набор HTML-элементов. Поэтому хотел бы рассказать о трёх элементах, которые мы забыли,...

Компьютер насчитал в пустынях Сахара и Сахель 1,8 млрд деревьев Учёные проанализировали детальные спутниковые снимки, используя алгоритмы машинного обучения. Так исследователи выяснили, что в пустынях Сахара и Сахель насчитывается 1,8 млрд деревьев.

[Перевод] Рецепт раствора для омеднения любых поверхностей В статье представлен вариант экономичного и простого решения по замешиванию собственного раствора для гальванизации различных поверхностей с возможностью дальнейшей пайки. Как обычно, автор приводит множество фотографий и сопуствтвующее описание, а в конце дает сам рецепт. ...

[Перевод] Введение в асинхронное программирование на Python Всем привет. Подготовили перевод интересной статьи в преддверии старта базового курса «Разработчик Python». Введение Асинхронное программирование – это вид параллельного программирования, в котором какая-либо единица работы может выполняться отдельно от основного потока в...

[Перевод] Машинное обучение в Unity: учим МО-агентов перепрыгивать через стены За последние несколько лет в обучении с подкреплением (reinforcement learning, RL) произошли серьезные прорывы: от первого успешного его использования в обучении по сырым пикселям до обучения Open AI роборуки, ― и для дальнейшего прогресса становятся необходимы все более сло...

[Перевод] Выводы Grofers после двух лет Kubernetes в production Прим. перев.: эта статья — опыт миграции на Kubernetes одного из крупнейших в Индии онлайн-магазинов продуктов. В ней Vaidik Kapoor, software engineer из Grofers, рассказывает о главных ошибках и препятствиях этого долгого путешествия, а также делится своими мыслями о целесо...

[Из песочницы] 3D своими руками. Часть 1: пиксели и линии Этот цикл статей я хочу посвятить читателям, желающим изучить мир 3D-программирования с нуля, людям, которые хотят узнать основы создания 3D-составляющей игр и приложений. Каждую операцию мы будем реализовывать с чистого листа, чтобы понимать каждый аспект, даже если есть ...

[Из песочницы] Алгоритмы рандома В этой статье вы увидите самые разнообразные велосипеды алгоритмы для генерации случайных чисел. Про что статья Про алгоритмы генерирующие псевдослучайные числа, которые отличаются между собой качеством результата и скоростью исполнения. Статья будет полезна тем, кто хочет ...

6 бесплатных курсов для безопасников от Microsoft Привет, Хабр! Сегодня мы продолжаем дополнительную серию подборок бесплатных курсов к основной серии подборок бесплатных курсов, которая вышла в прошлом году. В этот раз делимся 6 курсами, которые будут полезны специалистам по облачной информационный безопасности. Кстати! ...

ELFийские трюки в Go В этой заметке мы научимся получать машинный код Go функции прямо в рантайме, распечатаем его с помощью дизассемблера и по пути узнаем несколько фокусов вроде получения адреса функции без её вызова. Предупреждение: ничему полезному эта мини-статья вас не научит. Читать даль...

8 No-Code платформ машинного обучения для мобильных разработчиков В этой статье мы рассмотрим некоторые из лучших no-code инструментов машинного обучения, доступных прямо сейчас.

[Перевод] Полируем UI в Android: StateListAnimator Привет, Хабр! В преддверии старта курса «Android Developer. Professional» мы подготовили для вас перевод еще одного интересного материала. Большую часть времени разработки нашего Android-приложения мы тратим отнюдь не на работу над пользовательским интерфейсом — мы просто...

Новый фронтенд Одноклассников: запуск React в Java. Часть I Многие слышали название GraalVM, но опробовать эту технологию в продакшене пока довелось не всем. Для Однокласснииков эта технология уже стала «священным Граалем», меняющим фронтенд. В этой статье я хочу рассказать о том, как нам удалось подружить Java и JavaScript, и нач...

[Перевод] Flutter.dev: Простое управление состоянием приложения Всем привет. В сентябре OTUS запускает новый курс «Flutter Mobile Developer». В преддверии старта курса мы традиционно подготовили для вас полезный перевод. Теперь, когда вы знаете о декларативном программировании пользовательского интерфейса и разнице между эфемерным сос...

Количественные характеристики отношений Теория отношений в математике и в ряде предметных областей (принятие решений, базы знаний и данных, математическая лингвистика, моделирование процессов, и др.) играет весьма заметную роль, но пока далека от завершения. Как и в других отраслях математического знания ее изве...

[Из песочницы] Академия плохого кода: переводы строк, пробелы и отступы Привет, Хабр! Представляю вашему вниманию перевод статьи «Dark code-style academy: line breaks, spacing, and indentation» автора zhikin2207 Привет, народ! Позвольте мне продолжить рассказ про нашу академию плохого кода. В этом посте мы раскроем другой путь замедления чте...

[Из песочницы] Science Garage на русском. Опыт перевода американского шоу В этой статье я поделюсь своим опытом перевода американского автомобильного научно-популярного шоу, расскажу о некоторых особенностях перевода. Статья будет полезна тем, кто собирается переводить и озвучивать что-то техническое с английского языка. Вы узнаете с чем вам приде...

[Перевод] Проверяем на уязвимости любой сайт с помощью Nikto Всем привет! В марте OTUS запускает новый курс «Практикум по Kali Linux». В преддверии старта курса подготовили для вас перевод полезного материала. Также хотим пригласить всех желающих на бесплатный урок по теме: «Denial of Service атаки и защита от них». Перед тем как ат...

Иван Ященко заявил, что дистанционное обучение открыло новые возможности для столичных школ Непростая эпидемиологическая обстановка весной 2020 года привела к решению о переводе столичных школ на дистанционный формат работы. При этом перед ними открылись широкие возможности для индивидуализации учебного процесса. По словам главы ЦПМ московского Департамента образо...

[Перевод] 10 вещей, которые вы могли не знать о scikit-learn В этой переведенной статье ее автор, Rebecca Vickery, делится интересными функциями scikit-learn. Оригинал опубликован в блоге towardsdatascience.com. Фото с сайта Unsplash. Автор: Sasha • Stories Scikit-learn является одной из наиболее широко используемых библиотек Pytho...

Windows 10 May 2020 Update входит в следующую фазу развертывания Ранее сегодня Microsoft незаметно обновила свою документацию, чтобы подтвердить, что обновление Windows 10 May 2020 Update вступило в следующую фазу развертывания. Кроме того, Microsoft начала процесс перевода тех пользователей, кто все еще работает с неподдерживаемой версие...

Как реализовать игнор заблокированных пользователей в группах Telegram? UPD: благодаря помощи Tkachov эта статья всё-таки превратилась из просьбы о помощи в работающую инструкцию. В комментариях он дал работающий код для создания игнора в десктопном клиенте Телеграм. Я на всякий случай расположу объяснение в конце статьи. Далее статья продолжа...

Сетевая утилита для iPhone и другие приложения App Store со скидками Ежедневно мы мониторим App Store и десятки сайтов со скидками, чтобы выбрать лучшие приложения и опубликовать и здесь. Сегодня можно скачать полезную сетевую утилиту, калькулятор, который может считать все, что угодно, и минималистичную головоломку, чтобы размять мозги на к...

Нескучный Data Science. Пишем на языке R собственный детектор спама Для подписчиковРаботать в Data Science, как ты мог слышать, – престижно и денежно. В этой статье я познакомлю тебя с азами языка R, который используют в «науке о данных». Конструируя программу, ты увидишь, как сухая скучная математика может быть вполне наглядной и полезной, ...

Как инженеры с рутинными проблемами справлялись: несколько кейсов монтажа оборудования Привет, Хабр! Меня зовут, Денис Сёмин, я руководитель отдела реализации клиентских и сетевых решений Orange Business Services в Самаре. В прошлый раз мой коллега Антон Кисляков рассказывал о том, как мы реализуем проекты в экстремальных условиях, например, при температуре...

«Вы уж простите, обознался...» или распознаем малину и контроллеры с помощью Tensorflow Object Detection API В конце прошлого года, я написал статью, о том как был заинтригован возможностью распознавания объектов на изображениях с помощью нейронных сетей. В той статье мы с помощью PyTorch классифицировали на видео либо ягоду малину, либо ардуино-подобный контроллер. И не смотря на ...

[Перевод] Автоматизация тестирования. Да или нет? Перевод статьи подготовлен в преддверии старта курса «Python QA Engineer». Прежде чем спрашивать: «Что автоматизировать?», нужно ответить на такой вопрос: «Рационально ли вообще автоматизировать что-либо в рамках текущего проекта?». Если ответ положительный (что означает...

[Перевод] Я спросил GPT-3 о «вопросе 42». Ответ мне не понравился. И вам тоже не понравится Известно, что ответ на вопрос жизни, Вселенной и всего такого — 42. Однако, несмотря на согласованные усилия лучших умов человечества, соответствующий вопрос всё ещё ускользает от нас. Специально к старту нового потока курса «Машинное обучение» делимся материалом, автор кото...

[Из песочницы] Create ML в iOS Искусственный интеллект становится ближе с каждым годом, ещё вчера он был доступен только для ограниченного числа людей. Сегодня же мы можем сами создавать модели машинного обучения и использовать их в своих проектах. В этой статье мы познакомимся с инструментами Create ML...

Организуем платформу обработки потоковых данных из Kafka, Spark и Greenplum Привет, Хабр! Меня зовут Иван Хозяинов, а работаю в ITSumma, где изучаю и применяю технологии, связанные с большими данными, машинным обучением и аналитикой. В этой статье хочу рассказать о системе хранения и обработки данных и инструментах, которые встречаются на пути ...

Локализация своих скриптов на BASH Создание меню на BASH — задача сама по себе не сложная: "case тебе в руки и echo в спину". Решая её в очередной раз, мне захотелось добавить возможность отображать текст на других языках. Осталось решить, как сделать сам процесс локализации меню более удобным. Если...

[Перевод] 10 интересных репозиториев на GitHub, полезных любому разработчику Представляем вам перевод статьи Simon Holdorf, опубликованной на сайте medium.com. В ней вы найдете ссылки на полезные репозитории, с помощью которых можно прокачать навык разработки ПО. Фото с ресурса Unsplash. Автор: Vishnu R Nair GitHub — это лучшая платформа для обме...

CreateRemoteThread для Linux В WinAPI есть функция CreateRemoteThread, позволяющая запустить новый поток в адресном пространстве другого процесса. Её можно использовать для разнообразных DLL-инъекций как с нехорошими целями (читы в играх, кража паролей, и т. д.), так и для того, чтобы на лету исправить ...

[Перевод] Масштабирование Redux-приложения с помощью ducks В преддверии старта курса «React.js разработчик» подготовили перевод полезного материала. Как масштабируется front-end вашего приложения? Как сделать так, чтобы ваш код можно было поддерживать полгода спустя? В 2015 году Redux штурмом взял мир front-end разработки и заре...

Проводим бесплатный воркшоп по итеративной разработке для новичков Привет! Если ты новичок в IT-мире и хочешь разобраться в итеративно-инкрементальной разработке с помощью инструмента для управления проектами, присоединяйся к нашему бесплатному воркшопу 3-го июня. В простом и интерактивном zoom-формате мы расскажем, как определять приорит...

Новая статья: Отрасли и направления искусственного интеллекта: взгляд «с высоты птичьего полёта» Как мы убедились раньше, искусственный интеллект является междисциплинарной отраслью науки и благодаря этому находит множество применений. Посмотрите на интеллект-карту ИИ по подходу: Здесь наглядно показано, какие алгоритмы относятся к какому типу ИИ: символическому, субсим...

[Перевод] Как устранить слепые зоны с помощью визуального тестирования Перевод статьи подготовлен в преддверии старта курса «Python QA Engineer». Визуальные ошибки – это ошибки в представлении приложения. Они появляются на протяжении всего времени жизни приложения, и очень часто всплывают, когда приложение отображается на экранах мобильных у...

[Перевод] Математики нашли закономерность, разбираясь в том, как избежать её появления Мы, наконец, узнали, насколько большим должно быть множество чисел, чтобы в нём гарантировано содержалась закономерность под названием «многочленная прогрессия» Некоторые закономерности в математике настолько редкие, что их можно искать всю жизнь и не найти. Другие же встр...

Отлаживаем ядро из командной строки с bpftrace Это очередная статья из цикла «BPF для самых маленьких» (0, 1, 2) и первая из серии практических статей про трассировку Linux современными средствами. Из нее вы узнаете о программе и языке bpftrace — самом простом способе погрузиться в мир BPF с практической точки зрения, да...

Временные ограничения для внешних интерфейсов ПЛИС Здравствуйте. В данной статье я хочу по возможности максимально просто и понятно рассказать о том, как рассчитываются временны́е ограничения (timing constraints) на синхронные интерфейсы ПЛИС. Просто — не значит коротко, но зато простыми словами, которые вы сможете легк...

Полный набор gRPC, RESTful JSON API и Swagger из одного .proto файла. От введения до нюансов и тонкостей grpc-gateway В этой статье я опишу процесс создания сервера с gRPC и RESTful JSON API одновременно и Swagger документацию к нему. Эта статья — продолжение разбора различных способов реализаций API-сервера на Golang с автогенерацией кода и документации. Там я обещал более подробно остано...

[Перевод] Настраиваем DRBD для репликации хранилища на два CentOS 7 сервера Перевод статьи подготовлен в преддверии старта курса «Администратор Linux. Виртуализация и кластеризация». DRBD (Distributed Replicated Block Device — распределённое реплицируемое блочное устройство) представляет собой распределенное, гибкое и универсально реплицируемое р...

Многокомпонентный конвейерный дозатор Реализация многокомпонентного конвейерного дозатора веществ В текущей статье я хотел бы продемонстрировать одну из возможных реализаций автоматического многокомпонентного конвейерного дозатора веществ а так же поделиться полученным опытом. Изначальное техническое задание б...

[Перевод] Создание математической библиотеки будущего Небольшое сообщество математиков использует программу Lean для создания новой цифровой базы. Они надеются, что она обеспечит будущее их научной области. Ежедневно десятки математиков-единомышленников встречаются в чате Zulip, чтобы работать, как они считают, над созданием ...

[Из песочницы] Расширенный HTML В этой статье хотел бы рассказать немного про библиотеку, первую версию которой я создал еще в конце прошлого года. Суть очень простая — расширить возможности языка HTML, чтобы можно было без JavaScript'а писать простые и рутинные вещи: отправка формы в json формате, загрузк...

Простой rpm репозиторий используя Inotify и webdav В этом посте рассмотрим хранилище rpm артефактов c помощью простого скрипта с inotify + createrepo. Заливка артефактов осуществляется через webdav используя apache httpd. Почему apache httpd будет написано ближе к концу поста. Итак, решение должно отвечать cледующим требован...

[Из песочницы] Разбор UI/UX на примере прототипа в Figma и основные принципы Кому адресована статья В данной публикации я хочу помочь начинающим и «не очень» бизнес-аналитикам, менеджерам проектов, владельцам продуктов, желающим сделать свой первый сайт и всем-всем, кому надо сделать макет сайта или приложения, а он не знает с какой стороны подступит...

Объяснение: почему wc на Haskell оказался «быстрее» аналога на С После недавних статей (№10xd34df00d, №2chapuza, №3picul) сравнивающих скорость работы реализаций упрощенной утилиты wc у меня оставался только один вопрос — Как простая реализация на Haskell оказалась быстрее [простой реализации на C ?! Читать дальше →

IntelliJ IDEA 2020.3 Привет Хабр! Представляем последнее большое обновление IntelliJ IDEA в этом году. Версию 2020.3 можно скачать с нашего сайта, установить через приложение Toolbox, обновиться прямо в IDE или, если вы пользуетесь Ubuntu, с помощью snap-пакетов. IntelliJ IDEA 2020.3 несет в с...

[Перевод] Возможно, вам не нужно машинное обучение Машинное обучение — модная технология, поэтому её часто используют в ситуации, когда существует более простое, эффективное и надёжное решение. На днях мне попался наглядный и забавный пример: «Нейросетевые машины и генетические алгоритмы». Всю эту навороченную систему легко...

Вжух, и прогоны автотестов оптимизированы. Intellij IDEA плагины на службе QA Automation Привет, Хабр. Я работаю QA Automation инженером в компании Wrike и хотел бы поговорить о том, как нам удалось оптимизировать процесс код-ревью для репозитория с 30 000+ автотестов при помощи IntelliJ IDEA плагина. Я расскажу о внутреннем устройстве плагина и о том, какие п...

Как работают квантовые компьютеры. Собираем паззл Квантовые компьютеры и квантовые вычисления — новый баззворд, который добавился в наше информационное пространство наряду с искусственным интеллектом, машинным обучением и прочими высокотехнологическими терминами. При этом мне так и не удалось найти в интернете материал, ко...

[Перевод] Окна будущего: прозрачная древесина вместо стекла История отношений человечества и древесины насчитывает миллионы лет. Из дерева строят дома и корабли, его используют как источник топлива. Древесина, в отличие от нефти и газа, ресурс не только полезный, но и возобновляемый. Кроме того, деревья удаляют избыток углекисло...

[Перевод] Использование VueJS вместе с Django Перевод статьи подготовлен в преддверии старта курса «Web-разработчик на Python». Введение Сейчас я работаю над очень интересным проектом. И в нем все сложно, потому что сам проект очень масштабный, а я занимаюсь им один в свободное время, при этом работая полный рабочий ...

[Перевод] Beep, Beep, I'm a sheep В новой переводной статье обсуждаем, как создать бипер на разных платформах. Аудио-ввод-вывод — непростая тема, пугающая многих музыкантов, которые занимаются программированием, и программистов, которые увлекаются музыкой. Давайте попробуем разобраться в этом вопросе! В этой...

16 советов по разработке для андроид на языке Kotlin. Часть 3 И еще раз здравствуйте! В преддверии старта базового курса по Android-разработке, делимся заключительной частью статьи «16 советов по разработке для андроид на языке Kotlin». Читать первую часть Читать вторую часть LATEINIT Одной из ведущих особенностей Kotlin является е...

[Перевод] Рейт лимиты с помощью Python и Redis В этой статье мы рассмотрим некоторые алгоритмы рейт лимитов на основе Python и Redis, начиная с самой простой реализации и заканчивая продвинутым обобщённым алгоритмом контроля скорости передачи ячеек (Generic Cell Rate Algorithm, GCRA). Для взаимодействия с Redis (pip in...

Как стать специалистом по Data Science? На карантине многие начали осваивать новые профессии. Большинство офлайн-бизнесов вряд ли переживут пандемию, и нет ничего удивительного в том, что люди стали активно интересоваться программированием, машинным обучением и другими специальностями, которые не только будут наи...

Сбер прогнозирует финпоказатели бизнеса за 1 час благодаря AI Сбер внедрил собственные модели машинного обучения (Machine Learning, ML) для прогнозирования денежных потоков клиентов блока «Корпоративно-инвестиционный бизнес» банка. Новые модели позволили Сберу сократить срок подготовки финансового прогноза корпоративных клиентов для п...

Информационная безопасность как предмет: история преподавателя GeekBrains Привет, Хабр. Меня зовут Владимир Душкевич, я специалист по информационной безопасности, преподаватель факультета «Информационная безопасность». Несколько лет назад я присоединился к команде GeekBrains и хочу рассказать об этом. В конце статьи будет небольшой анонс для тех ...

[Перевод] Как «подружить» инженеров и дата-сайентистов с помощью одной библиотеки Представьте, что у вас имеется большой проект по машинному обучению. Естественно, сначала над ним работали дата-сайентисты, а затем инженеры-программисты, которые оптимизировали модель для быстрого выполнения на определенных GPU. В итоге модель изменилась так сильно, что дат...

[Перевод] Алгоритм быстрого и простого объёмного рендеринга Недавно я написал небольшой ShaderToy, выполняющий простой объёмный рендеринг, а затем решил опубликовать пост с объяснением его работы. Сам интерактивный ShaderToy можно посмотреть здесь. Если вы читаете с телефона или ноутбука, то рекомендую посмотреть эту быструю версию....

10 лет AliExpress: полезные товары с предраспродажи: мощный монокуляр, солнцезащитные очки и многие другие Всем привет, дорогие читатели. В данной публикации я собрала для вас полезные и интересные товары с сайта Aliexpress, а также хочу напомнить, что уже 27.03.20 стартует большая распродажа в честь юбилея интернет магазина. Но уже сейчас вы можете добавить любые интересующие ва...

Использование TSDuck для мониторинга IP(TS)-потоков На сегодняшний день существуют готовые (проприетарные) решения для мониторинга IP(TS)-потоков, например VB и iQ, они обладают достаточно богатым набором функций и обычно подобные решения имеются у крупных операторов, имеющих дело с ТВ-сервисами. В этой статье описывается реш...

Как добавить кодек в FFmpeg FFmpeg — это грандиозный Open Source проект, своего рода мультимедийная энциклопедия. С помощью FFmpeg можно решить огромное число задач компьютерного мультимедиа. Но все-таки иногда возникает необходимость в расширении FFmpeg. Стандартный способ — это внесение изменений в к...

Rust. Borrow checker через итераторы Привет, Хабр! Я уже около года изучаю и, в свободное время, пишу на расте. Мне нравится как его авторы решили проблему управления памятью и обошлись без сборщика мусора — через концепцию заимствования. В этой статье подойду к этой идее через итераторы. Последнее время scal...

[Перевод] Наш путь к нулевым простоям при непрерывном обновлении с помощью Ambassador Мы в Lifion строим распределенную платформу и портфель продуктов для клиентов по всему миру. С учетом этого важно, чтобы мы могли выпускать обновления нашей платформы непрерывно прямо во время ее работы, прозрачно для наших пользователей, которым важна доступность системы, ...

Простой способ улучшить камеру почти любого смартфона. На примере Vsmart Live Сегодня большая часть смартфонов на Android выпускается с разнокалиберными процессорами Qualcomm. На рынке, конечно, также множество моделей с Kirin, Exynos, MediaTek, Unisoc и некоторыми другими. Но описываемый в этой статье способ подойдёт исключительно для аппаратов с ч...

Новые архитектуры нейросетей Новые архитектуры нейросетей Предыдущая статья «Нейросети. Куда это все движется» В этой статье кратко рассматриваются некоторые архитектуры нейросетей, в основном по задаче обнаружения объектов, чтобы найти (или хотя бы попытаться найти) будущие направления в этой быстро р...

GPU Bound. Часть вторая. Бескрайний лес Практически в каждой игре необходимо наполнять игровые уровни объектами, которые создают визуальное богатство, красоту и вариативность виртуального мира. Возьмите любую игру с открытым миром. Там деревья, трава, земля и вода основные «заполнители» картинки. Сегодня GPGPU бу...

Oracle: разница между deterministic и result_cache От переводчика: свой путь на habr я решил начать не с попытки написать какой-то уникальный текст с нуля, а с перевода относительно свежей (от 17.08.2020) статьи классика PL/SQL-разработки Стивена Фойерштайна, в которой он достаточно подробно рассматривает разницу между двумя...

Informatica Data Engineering поможет эффективнее использовать ИИ, машинное обучение и аналитику DIS Group, мастер-дистрибутор Informatica, теперь предлагает на российском рынке новую линейку решений Informatica Data Engineering. Линейка включает в себя полный набор инструментов для специалистов в области Big Data. Она обеспечивает ...

Ученые выяснили причину бессмертия знаменитого дерева гинкго Биолог Ричард Диксон из Университета Северного Техаса по результатам исследования дерева гинкго пришел к выводу, что это растение не стареет в принципе. С точки зрения биологии, оно практически бессмертно – гингко может погибнуть от внешнего воздействия, но не от того, что с...

[Перевод] Transformer в картинках В прошлой статье мы рассматривали механизм внимания (attention) – чрезвычайно распространенный метод в современных моделях глубокого обучения, позволяющий улучшить показатели эффективности приложений нейронного машинного перевода. В данной статье мы рассмотрим Трансформер (T...

Товары с Aliexpress, на которые стоит обратить внимание: смарт-часы, светящаяся декоративная роза и другие товары Всем привет, дорогие читатели. В данной публикации я собрала для вас полезные и интересные товары с сайта Aliexpress, а также хочу напомнить, что уже 27.03.20 стартует большая распродажа в честь юбилея интернет магазина. Но уже сейчас вы можете добавить любые интересующие ва...

20 SEO-мифов, которые должны умереть в 2020 Хабр читают не только разработчики, и не только люди связанные с IT, некоторые из моих клиентов иногда кидали мне ссылки на Хабр, и среди них были такие, которые совсем далеки от IT. Поэтому в этой статье будет максимально простым языком объясняться некоторые аспекты SEO. К ...

[Перевод] Как работает рендеринг 3D-игр: текстурирование и фильтрация текстур В третьей статье о рендеринге в 3D-играх мы узнаем, что происходит с 3D-миром после завершения обработки вершин и растеризации сцены. Текстурирование — один из самых важных этапов рендеринга, несмотря на то, что на нём всего лишь вычисляются и изменяются цвета двухмерной се...

Management = Team + Product. Раскрываем формулу этого года: самое полезное про людей и для людей на DUMP 2020 В этом году впервые секция Management на DUMP примет вид Team + Product — два отдельных потока на полный день. Давайте же посмотрим, какое развитие получила эта секция, о чем пойдет речь в этом году и кто уже собирается к нам приехать :) Полюбуйтесь еще видом зала management...

[Перевод] Как корпоративные команды разработчиков используют GitLab и Mattermost ChatOps для ускорения разработки И снова здравствуйте! В феврале OTUS запускает новый курс «CI/CD на AWS, Azure и Gitlab». В преддверии старта курса подготовили перевод полезного материала. Полноценный набор DevOps инструментов, мессенджер с открытым исходным кодом и ChatOps – как тут не влюбиться? Нико...

Ambarella показала на CES 2020 новую робототехническую платформу Компания Ambarell, специализирующаяся на разработке процессоров для машинного зрения, продемонстрировала на выставке CES 2020 свою новую робототехническую платформу. Основанная на архитектуре Ambarella CVflow, она нацелена на использование в автоматически управляемых тр...

[Перевод] Антипаттерн “Репозиторий” в Android Перевод статьи подготовлен в преддверии старта курса «Android Developer. Professional». Официальное руководство по архитектуре приложений Android рекомендует использовать классы репозитории (Repository) для «предоставления чистого API, чтобы остальная часть приложения мог...

[Перевод] Актуальные инструменты контроля версий данных в 2020 году Все мы знаем и любим Git. И, конечно же, были придуманы его аналоги для управления версиями данных, чтобы эксперименты с данными были воспроизводимыми, а действия команд — согласованными. Сегодня, в преддверии старта нового потока курса по Data Science, делимся с вами матери...

[Из песочницы] Простой Telegram-бот на Flask с информированием о погоде Всем привет, в этой статье я расскажу как сделать простейшего телеграмм бота на Python для отправки текущей погоды в Москве. Статья расчитана на новичков в Python, которые бы хотели узнать больше о том, как взаимодействовать с внешними сервисами по API. Технологии и API: Py...

[Перевод] 10 практических рекомендаций по безопасности образов Docker. Часть 1 Перевод статьи подготовлен специально для студентов курса «Безопасность Linux». В этой статье мы хотели бы сосредоточиться на Docker и обсудить советы и рекомендации, которые обеспечивают более безопасный и качественный процесс обработки образов Docker. Итак, начнем с н...

С чего начать DevOps? Понятие DevOps знакомо многим, но в своей практике я часто наблюдаю такую ситуацию, когда соискатель на должность DevOps-инженера в нашу компанию не может ответить на вопрос “А что же такое DevOps?”. В данной статье я хочу упорядочить и структурировать знания и основные пон...

Решение нескольких задач от Amazon на примере JavaScript Доброго времени суток. Представляю вашему вниманию перевод статьи «Amazon Coding Interview Questions» автора Trung Anh Dang. В этой статье автор приводит несколько (три, если быть точнее) задач от Amazon (как он утверждает) и свои варианты решений. После ознакомления с ...

[Перевод] Великий раскол в import: проясняем неопределенность с импортом в Typescript Перевод статьи подготовлен в преддверии старта курса «Разработчик React.js» Я довольно долго работаю с typescript, и у меня было много проблем с тем, чтобы разобраться с его модулями и советующими настройками, и должен сказать, вокруг них и вправду много непонятного. Прос...