Используем данные на практике

Что будет на конференции UseData Conf 2019? Ура! Мы завершили формирование программы конференции UseData Conf 2019! Эта конференция для тех, кто решает практические задачи с помощью методов машинного обучения. Между идеальным алгоритмом в вакууме и его применением на реальных данных часто лежит пропасть. Мы хотим, что...

[Перевод] Алгоритмы обнаружения контуров изображения В статье представлены четыре самых распространённых алгоритма обнаружения контуров. Первые два, а именно алгоритм трассировки квадратов и трассировка окрестностей Мура, просты в реализации, а потому часто применяются для определения контура заданного паттерна. К сожалению, ...

Алгоритм мышления и сознания, часть 2 Данный текст содержит пояснения к алгоритму из моей первой статьи “Алгоритм мышления и сознания”. Тезисы первой статьи: Феномен субъективного мышления можно алгоритмизовать. Предъявленный в статье алгоритм мыслит и этим можно воспользоваться практически. С помощью алгорит...

Безопасность алгоритмов машинного обучения. Защита и тестирование моделей с использованием Python В рамках предыдущей статьи мы рассказали про такую проблему машинного обучения, как Adversarial примеры и некоторые виды атак, которые позволяют их генерировать. В данной статье речь пойдет об алгоритмах защиты от такого рода эффекта и рекомендациях по тестированию моделей....

[Из песочницы] Блиц-проверка алгоритмов машинного обучения: скорми свой набор данных библиотеке scikit-learn Глобальная паутина изо дня в день пополняется статьями о самых популярных, наиболее употребляемых алгоритмах машинного обучения для решения различных задач. Причём основа этих статей, немного изменённая по форме в том или ином месте, кочует от одного исследователя данных к...

Обзор IPSec в Mikrotik IPSec (IP Security) — набор протоколов и алгоритмов для шифрования данных в IPv4 и IPv6 сетях. Звучит не сложно, но IPSec не устанавливает четких правил для шифрования трафика, вместо этого разработчики реализуют набор инструментов (протоколов и алгоритмов), используя которы...

Безопасность алгоритмов машинного обучения. Атаки с использованием Python Машинное обучение активно применяется во многих областях нашей жизни. Алгоритмы помогают распознавать знаки дорожного движения, фильтровать спам, распознавать лица наших друзей на facebook, даже помогают торговать на фондовых биржах. Алгоритм принимает важные решения, поэто...

Алгоритм взаимодействия сотен тысяч уникальных частиц на GPU, в GLES3 и WebGL2 Описание алгоритма логики, и разбор рабочего примера в виде техно-демки-игры WebGL2 версия этой демки https://danilw.itch.io/flat-maze-web остальные ссылки смотрите в статье. Статья разбита на две части, сначала про логику, и вторая часть про применение в игре, первая часть...

Управление данными в IoT: акцент на периферию сети Чтобы получить максимальную отдачу от данных, ИТ-специалистам нужно знать, как использовать алгоритмы машинного обучения для назначения и типизации данных в режиме реального времени или в традиционных облачных процессах. Об этом ...

[Перевод] Разработка Adblock Radio tl;dr: Adblock Radio распознаёт аудиорекламу с помощью машинного обучения и Shazam-подобных техник. Основной движок с открытым исходным кодом: используйте его в своих продуктах! Можно объединить усилия для поддержки большего количества радиостанций и подкастов. Мало кому н...

Где летом поговорить про Apache Ignite и распределенные системы 14 июня в Петербурге пройдет митап Apache Ignite Meetup: реальные кейсы. Послушаем парней, у которых получилось. Первый кейс — IMDG для расчета маржинальности торговых контрактов в Heineken. Второй — промышленная платформа Газпромнефти. Почему open source и Ignite? Куда прик...

Нахождение объектов без учителя (Unsupervised Object Detection) Одна из важнейших задач в машинном обучении — детектирование объектов (Object Detection). Недавно был опубликован ряд алгоритмов машинного обучения основанных на глубоком обучении (Deep Learning) для детектирования объектов. Эти алгоритмы занимают одно из центральных мест ...

[Перевод] О предвзятости искусственного интеллекта tl;dr: Машинное обучение ищет закономерности в данных. Но искусственный интеллект может быть «предвзят» — то есть, находить неверные паттерны. К примеру, система обнаружения рака кожи по фотографии может обращать особое внимание на снимки, сделанные во врачебном кабинете. ...

Решаем судоку с помощью Алгоритма X В этой статье рассмотрим "Алгоритм X" Кнута и его применение для решения судоку. Прелесть алгоритма в том, что судоку при этом решается быстро без программирования каких-то продвинутых техник решения. Читать дальше →

Что не так с обучением с подкреплением (Reinforcement Learning)? Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же вре...

Книга «Машинное обучение и TensorFlow» Знакомство с машинным обучением и библиотекой TensorFlow похоже на первые уроки в автошколе, когда вы мучаетесь с параллельной парковкой, пытаетесь переключить передачу в нужный момент и не перепутать зеркала, лихорадочно вспоминая последовательность действий, в то время ка...

[Перевод] Глубокое обучение (Deep Learning): обзор Всем привет. Уже в этом месяце в ОТУС стартует новый курс — "Математика для Data Science". В преддверии старта данного курса традиционно делимся с вами переводом интересного материала. Аннотация. Глубокое обучение является передовой областью исследований машинного обучения ...

Многопоточные вычисления на Javascript, или как телефон выиграл гонку у ноутбука Привет, Хабр! Продолжаем битву за производительность Javascript на примере построения сводных таблиц. В прошлый раз мы реализовали несколько оптимизаций, и оставалась последняя реальная возможность ускорить расчет — перейти на многопоточные вычисления. В Javascript уже давн...

[Из песочницы] Преобразование Фурье. The Fast and the Furious Зачастую при разработке алгоритмов мы упираемся в предел вычислительной сложности, который, казалось бы, преодолеть невозможно. Преобразование Фурье имеет сложность , а быстрый вариант, предложенный около 1805 года Гаусом1 (и переизобретенный в 1965 году Джеймсом Кули и Джон...

15 книг по машинному обучению для начинающих Сделал подборку книг по Machine Learning для тех, кто хочет разобраться, что да как. Добавляйте в закладки и делитесь с коллегами! Книги по машинному обучению на русском 1. «Математические основы машинного обучения и прогнозирования» Владимир Вьюгин. О чем Сначала изуч...

[recovery mode] Как учиться с помощью машинного обучения у экспертов в Dota 2 В предыдущей статье от Питерской Вышки мы показывали, как при помощи машинного обучения можно искать баги в программном коде. В этом посте расскажем о том, как мы вместе с JetBrains Research пытаемся использовать один из самых интересных, современных и быстроразвивающихся ра...

Книга «Прикладной анализ текстовых данных на Python» Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сл...

Optlib. Реализация генетического алгоритма оптимизации на Rust В этой статье описывается библиотека optlib, предназначенная для решения задач глобальной оптимизации на языке Rust. На момент написания этой статьи в этой библиотеке реализован генетический алгоритм нахождения глобального минимума функции. Библиотека optlib не привязана к к...

10 лайфхаков разработки рекомендательных систем В предыдущей статье мы обсудили основы устройства рекомендательных систем и кейсы использования. Узнали, что основной принцип заключается в рекомендации товаров, понравившихся людям с похожим вкусом, и применении алгоритма коллаборативной фильтрации. В данной статье, будут ...

[Из песочницы] Сортировка: определяем лучший алгоритм Как нетрудно догадаться, я знаю ответ на этот вопрос, но, поскольку моя статья с описанием алгоритма сортировки «воронкой» была здесь встречена, мягко говоря, нервозно, я решил провести-таки тестирование «по образу и подобию» тех, которые обычно проводятся — в основном, коне...

Обучение алгоритмов на видео с Mannequin Challenge и историях болезней китайских фермеров: где берут данные ИТ-компании Неочевидные способы тренировки моделей ИИ от Google, Microsoft, IBM и других.

Умножение матриц: эффективная реализация шаг за шагом Введение Умножение матриц — это один из базовых алгоритмов, который широко применяется в различных численных методах, и в частности в алгоритмах машинного обучения. Многие реализации прямого и обратного распространения сигнала в сверточных слоях неронной сети базируются на...

В очередной раз о НОД, алгоритме Евклида и немного об истории алгоритмов вообще. Конечно, с примерами на Swift Алгоритмы – одна из центральных тем в программировании, они повсюду (особенно на собеседованиях, ха-ха). (Разве можно обойтись в таком посте без «баяна»?) Одним из самых известных является так называемый алгоритм Евклида – пожалуй, самый распространенный способ нахождения...

Machine Learning для Vertica Аннотация В данной статье я хочу поделиться собственным опытом работы с машинным обучением в хранилище данных на Vertica. Скажем честно, я не являюсь аналитиком-экспертом, который сможет в деталях расписать все многообразие методик исследования и алгоритмов прогнозирования ...

Книга «Машинное обучение: алгоритмы для бизнеса» Привет, Хаброжители! Маркос Лопез де Прадо делится тем, что обычно скрывают, — самыми прибыльными алгоритмами машинного обучения, которые он использовал на протяжении двух десятилетий, чтобы управлять большими пулами средств самых требовательных инвесторов. Машинное обучен...

[Перевод] Применение зашифрованных данных для машинного обучения без их расшифровки Применение зашифрованных данных для машинного обучения без их расшифровки В этой статье обсуждаются передовые криптографические методики. Это лишь обзор исследований, проводимых в Julia Computing. Не используйте приведённые здесь примеры в коммерческих приложениях. Всегда к...

Книга «Совершенный алгоритм. Графовые алгоритмы и структуры данных» Привет, Хаброжители! Алгоритмы — это сердце и душа computer science. Без них не обойтись, они есть везде — от сетевой маршрутизации и расчетов по геномике до криптографии и машинного обучения. «Совершенный алгоритм» превратит вас в настоящего профи, который будет ставить за...

Xiaomi Mi 9 в новой версии AnTuTu набирает 500 000 баллов, а Black Shark 2 Pro — всего 450 000 Во время анонса Black Shark 2 Pro компания заявила, что смартфон набирает в AnTuTu 500 000 баллов. Вчера стало известно, что в реальных тестах он преодолевает отметку лишь в 450 000. Но в обоих случаях мы не знали, что тестирование проводилось в новой версии бенчмарка AnTuTu...

[Перевод] Один гигантский шаг для машины, играющей в шахматы Невероятный успех AlphaZero, алгоритма с глубинным обучением, провозглашает новую эру мышления, которая может оказаться недолгой для человека В начале декабря исследователи из компании DeepMind, занимающейся искусственным интеллектом и принадлежащей Alphabet Inc., родитель...

Представлен ИИ, который самостоятельно учит роботов ходить Для того, чтобы роботизированый механизм научился ходить, недостаточно просто «приделать» к нему несколько ног. Обучение передвижению — очень сложный процесс, отнимающий у разработчиков массу времени. Но теперь этот вопрос будет решать искусственный интеллект, ведь гр...

Разбираемся с Machine Learning в Elastic Stack (он же Elasticsearch, он же ELK) Напомним, что в основе Elastic Stack лежат нереляционная база данных Elasticsearch, веб-интерфейс Kibana и сборщики-обработчики данных (самый известный Logstash, различные Beats, APM и другие). Одно из приятных дополнений всего перечисленного стека продуктов — анализ данны...

Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает. Читать дальше →

[Перевод] Как я создал фильтр, не портящий изображение даже после миллиона прогонов Завершив создание веб-архитектуры для нашего нового веб-комикса Meow the Infinite, я решил, что самое время написать несколько давно назревших технических статей. Данная статья будет посвящена фильтру, разработанному мной несколько лет назад. Он никогда не обсуждался в облас...

[Перевод] 5 главных алгоритмов сэмплинга Работа с данными — работа с алгоритмами обработки данных. И мне приходилось работать с самыми разнообразными на ежедневной основе, так что я решил составить список наиболее востребованных в серии публикаций. Эта статья посвящена наиболее распространённым способам сэмплинга ...

[Перевод] Понимание алгоритма БПФ Здравствуйте, друзья. Уже завтра стартует курс «Алгоритмы для разработчиков», а у нас остался один неопубликованный перевод. Собственно исправляемся и делимся с вами материалом. Поехали. Быстрое преобразование Фурье (БПФ — англ. FFT) является одним из важнейших алгоритмов о...

Об open-source реализациях хэш-функции ГОСТ Р 34.11-2012 и их влиянии на электронную подпись ГОСТ Р 34.10-2012 В свое время реализация отечественных криптографических алгоритмов в библиотеке libgcrypt очень меня вдохновила. Стало возможным задействовать эти алгоритмы и в Kleopatra и в Kmail и в GnuPg в целом, рассматривать библиотеку libgcrypt как алтернативу openssl с ГОСТ-ым engine...

Обзор алгоритмов глубокого машинного обучения для роботов Обзор будет полезен для тех, кто занимается физическими роботами и кому стало недостаточно arduino, а также для людей, кто хотел бы реализовать какие-либо из функций восприятия окружающего мира в своих роботах или устройствах. Читать дальше →

NVIDIA представляет EGX - платформу периферийных вычислений для применения ИИ в индустрии Ведущие производители компьютеров берут на вооружение платформу NVIDIA EGX и создают GPU-серверы для мгновенной обработки потоков данных алгоритмами ИИ в телекоме, здравоохранении, производстве, ритейле, транспорте

Аниматроников из проволоки обучили гасить остаточное раскачивание Инженеры из Disney Research разработали метод, позволяющий роботам выполнять быстрые движения без остаточного раскачивания. Для этого на этапе планирования действий алгоритм анализирует требуемое поведение модели и оптимизирует команды для электромоторов так, чтобы погасить ...

Arend – язык с зависимыми типами, основанный на HoTT (часть 1) В данном посте мы поговорим о только что выпущенном JetBrains языке с зависимыми типами Arend. Этот язык разрабатывался JetBrains Research на протяжении последних нескольких лет. И хотя репозитории уже год назад были выложены в открытый доступ на github.com/JetBrains, полноц...

[Из песочницы] Введение в машинное обучение 1.1 Введение Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного испо...

[Перевод] Простое объяснение алгоритмов поиска пути и A* Часть 1. Общий алгоритм поиска Введение Поиск пути — это одна из тех тем, которые обычно представляют самые большие сложности для разработчиков игр. Особенно плохо люди понимают алгоритм A*, и многим кажется, что это какая-то непостижимая магия. Цель данной статьи — объясн...

[Перевод] Работаем с нейросетями: чек-лист для отладки Код программных продуктов для машинного обучения часто бывает сложным и довольно запутанным. Обнаружение и ликвидация багов в нем — ресурсоемкая задача. Даже простейшие нейросети с прямой связью требуют серьезного подхода к сетевой архитектуре, инициализации весов, оптими...

Сайт использует ИИ для создания лиц несуществующих людей Возможно, многие уже в курсе, что с помощью ИИ можно эффективно помещать реальные лица в видео, но теперь стало ясно, что технология может использоваться для автоматической генерации лиц. Разработчик Филипп Ванг (Phillip Wang) создал сайт ThisPersonDoesNotExist, еди...

Идиоматичное программирование GPU на Rust: Библиотека Emu Введение Emu — это высокоуровневый язык программирования видеокарт, способный встраиваться в обычный код на системном языке программирования Rust. В данной статье речь пойдёт о синтаксисе Emu, его особенностях, а также будут показаны несколько наглядных примеров его использ...

Google представила нейросеть, способную относительно реалистично дорисовывать фотографии Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org. Как сообщается, алгоритм состоит и...

Proof of Concept: целесообразность внутреннего ML проекта Недавно в уютном чатике дата сатанистов подняли вопрос, как правильно "продавать" внутренние проекты по машинному обучению. Оказалось, что многие из нас весьма брезгливо относятся к экономическому обоснованию своей деятельности. Меж тем, чтобы провести минимальную оценку рен...

MU-MIMO: один из алгоритмов реализации Предисловие В качестве дополнения к моей недавней статье хотелось бы также поговорить о теме MU (Multi User) MIMO. Есть у мною уже упомянутого профессора Хаардта одна очень известная статья, где он вместе со своими коллегами предлагает алгоритм разделения пользователей по ни...

Машинное обучение без Python, Anaconda и прочих пресмыкающихся Нет, ну я, конечно, не всерьез. Должен же быть предел, до какой степени возможно упрощать предмет. Но для первых этапов, понимания базовых концепций и быстрого «въезжания» в тему, может быть, и допустимо. А как правильно поименовать данный материал (варианты: «Машинное обуче...

Курс В этом курсе вас ждут Обработка естественных языков: извлечение именованных сущностей, построение онтологий предметных областей, кластеризация текстов — методы, позволяющие структурировать тексты. Компьютерное зрение: распознавание и классификация объектов....

Модельно ориентированное проектирование. Электропривод с бесколлекторным двигателем постоянного тока В предыдущей статье про модельно ориентированное проектирование было показано, что не все методики одинаково полезны. И объясняется как делать правильно, что бы не было потом мучительно больно. Но в конце статье был поставлен вопрос, провокационный как Шарон Стоун на допросе...

[Из песочницы] OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1 За последние несколько лет мы стали свидетелями внедрения технологий искусственного интеллекта в нашу повседневной жизни — от роботов-пылесосов до беспилотных дронов. Все они, управляемые искусственным интеллектом, уже являются для нас обыденностью. Но несмотря на это, проце...

Очередные странности в алгоритмах ГОСТ Кузнечик и Стрибог Привет, %username%! Криптографические алгоритмы в России не проходят через открытые конкурсы, их просто спускают нам свыше. И рано или поздно это сильно нам аукнется. Эта статья об очередном исследовании наших ГОСТов. Читать дальше →

PDDM — Новый Model-Based Reinforcement Learning алгоритм с улучшенным планировщиком Обучение с подкреплением (Reinforcement Learning) делится на два больших класса: Model-Free и Model-Based. В первом случае действия оптимизируются напрямую по сигналу награды, а во втором нейросеть является только моделью реальности, а оптимальные действия выбираются с помо...

Планирование проектов в организации (часть 4) Я продолжаю цикл публикаций о Pulse Management — Управление проектной организацией (Метод Пульса). В этой статье я расскажу о самой «вкусной» части: Планирование проектов. Планирование — это самая простая и самая сложная часть любого проекта основанного целью которого являет...

Как настроить Linux для входа в домен с использованием алгоритмов ГОСТ Введение Протокол Kerberos 5 сейчас активно используется для аутентификации. Особенностью данного протокола является то, что он осуществляет аутентификацию, базируясь на трех китах: Симметричное шифрование Хеширование ЭЦП Третья доверенная сторона Начиная с пятой версии п...

Решето Эратосфена за O(n). Доказательство В комментариях к одному из прошлых постов о решете Эратосфена был упомянут этот короткий алгоритм из Википедии: Алгоритм 1: 1: для i := 2, 3, 4, ..., до n: 2: если lp[i] = 0: 3: lp[i] := i 4: pr[] += {i} 5: для p из pr пока p ≤ lp[i] и p*i ≤ n: 6: lp[...

[Перевод] Генератор подземелий на основе узлов графа В этом посте я опишу алгоритм процедурной генерации уровней двухмерного подземелья с заранее заданной структурой. В первой части будет представлено общее описание, а во второй — реализация алгоритма. Введение Алгоритм был написан как часть работы на получение степени бакал...

ORM: почему эта задача не имеет решения, но делать с этим, тем не менее, что-то нужно Современные информационные технологии поражают своей мощью, ошеломляют открывающимися возможностями, обескураживают заложенным в них техническим совершенством, но есть один смехотворный пункт, об который IT раз за разом снова и снова ломает зубы. Показать пользователю данн...

Руководство для начинающих по машинному обучению и структуре Data Science Для всех, кому интересна тематика работы с данными, машинного обучения и искусственного интеллекта и для тех, кто только начинает свой путь в изучении — этот пост для вас. Все библиотеки ниже бесплатны, и большинство из них с открытым исходным кодом и выложены на GitHub. Исп...

[Перевод] Доступное объяснение алгоритма коллапса волновой функции Алгоритм коллапса волновой функции (Wavefunction Collapse Algorithm) учит компьютер импровизировать. На входе он получает архетипичные данные и создаёт процедурно генерируемые данные, похожие на исходные. (Источник) Чаще всего он используется для создания изображений, но ...

[Из песочницы] Глубокое ранжирование для сравнения двух изображений Привет, Хабр! Представляю вашему вниманию перевод статьи «Image Similarity using Deep Ranking» автора Akarsh Zingade. Алгоритм Deep Ranking Понятия "сходства двух изображений" — введено не было, поэтому давайте введем данное понятие хотя бы в рамках статьи. Сходс...

[Перевод] Распознавание источников освещения на картах окружения В этой статье представлена реализация на Python алгоритма распознавания источников освещения на картах окружения (LDR или HDR) при помощи равнопромежуточной проекции (equirectangular projection). Однако после внесения незначительных изменений её также можно использовать с п...

[Из песочницы] Ограничения машинного обучения Привет, Хабр! Представляю вашему вниманию перевод статьи “The Limitations of Machine Learning“ автора Matthew Stewart. Большинство людей, читающих эту статью, вероятно, знакомы с машинным обучением и соответствующими алгоритмами, используемыми для классификации или прогнози...

Microsoft разработали модель распознавания "слепых зон" на дороге Компания Microsoft и MIT разработали модель, которая может поймать виртуальные «слепые зоны». Подход ИИ сравнивает действия человека в данной ситуации с тем, что он сделал бы, и изменяет его поведение в зависимости от того, насколько близко он соответствует его реакции. ...

Пользователи Instagram пожаловались на удаление фотографий мальчиков с длинными волосами Пользовательницы Instagram устроили флешмоб против работы алгоритмов соцсети. Они принялись массово публиковать фотографии своих сыновей с обнажённым торсом и длинными волосами. Дело в том, что алгоритм путает такие снимки с изображениями девушек с неприкрытой грудью и удаля...

Бельгийским ученым удалось обмануть алгоритм камеры видеонаблюдения при помощи картинки в руках Нейросетевые алгоритмы обнаружения человека в кадре, применяемые в системах видеонаблюдения, можно обмануть с помощью картонного листа с распечатанным состязательным изображением, показали бельгийские исследователи из Левенского католического университета. Посвященная разраб...

RTOS или не RTOS вот в чем вопрос На написание данной статьи меня побудила длинная ветка комментариев (дискуссией это я назвать, к сожалению, не могу) к моей недавней статье “Многообразный мир embedded systems и место Embox в нем”. Меня в нескольких местах упрекнули в том, что я путаю RTOS и Embedded OS, чт...

[Перевод] Reflective Shadow Maps: Часть 1 Привет, Хабр! Представляю вашему вниманию перевод статьи «Reflective Shadow Maps» автора Eric Polman. Reflective Shadow Maps (RSM) (отражающие карты теней) ― это алгоритм, расширяющий “простые” shadow map. Алгоритм учитывает свет, рассеянный после первого попадания на пов...

Алгоритм Гровера и поиск данных Привет, Хаброжители! Мы недавно сдали в топографию книгу Криса Бернхарда «Квантовые вычисления для настоящих айтишников». Здесь решили поделится отрывком из книги «Алгоритм Гровера и поиск данных» Мы вступаем в эпоху больших данных. Эффективный поиск в гигантских массивах ...

[Перевод] Как с Prometheus собирать метрики, не искаженные привязкой ко времени Многие сетевые приложения состоят из веб-сервера, обрабатывающего трафик в реальном времени, и дополнительного обработчика, запускаемого в фоне асинхронно. Есть множество отличных советов по проверке состояния трафика да и сообщество не перестает разрабатывать инструменты в...

Реальные сроки изучения слепой печати при низкой мотивации В статье я опишу свой сугубо субъективный пример того, сколько времени занимает обучение методу комфортной слепой печати. Это с учётом того, что мне данный навык не был критически важен, но иметь его давно хотелось. Читать дальше →

Линейная регрессия и методы её восстановления Источник: xkcd Линейная регрессия является одним из базовых алгоритмов для многих областей, связанных с анализом данных. Причина этому очевидна. Это очень простой и понятный алгоритм, что способствует его широкому применению уже многие десятки, если не сотни, лет. Идея зак...

Xiaomi Mi 9 набрал более 500 000 баллов в AnTuTu Только вчера мы обсуждали тему того, что анонсированный на днях игровой смартфон Black Shark 2 Pro не может набрать 500 000 баллов в AnTuTu, как было заявлено в ходе его презентации. В ходе реального теста устройство набрало около 450 000 баллов, однако теперь появилось...

Генетические алгоритмы (или Клиент всегда король — и часто дурак) Привет, Хабр! Сейчас вот сидел, делал для товарища прототип генетического алгоритма. Навеяло поделиться оным, да и некоторыми другими мыслями… Дано (клиент заказал): в некоем царстве складе есть 100 ячеек. В нем товар лежит. Как взять количество Х так, чтобы опустошить все...

Дайджест статей машинного обучения и искусственного интеллекта Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения! 1. Проекты искусственного интеллекта, с которыми можн...

Основы шаблонов С++: шаблоны функций Дисклаймер: статья была начата еще в феврале, но, по зависящим от меня причинам, закончена не была. Тема очень обширна, поэтому публикуется в урезаном виде. Что не поместилось, будет рассмотренно позже. Невозможно разбираться в современном С++, не зная, что такое шаблоны п...

0, 0, 1, 0, 2, 0, 2, 2, 1, 6, 0, 5, 0, 2, 6, 5, 4, 0, 5, 3, 0, 3, 2, 9, 0, 4, 9, 3, 6, 14, 0, 6, 3, 5, 15, 0, 5, 3, 5… Есть два мужика с именами «Van Eck». Первый, в 1985 году показал всему миру как за 15 долларов перехватывать данные с монитора (Van Eck phreaking), второй, в 2010 придумал хитрую последовательность (Van Eck's sequence). Круче простоты задания этой последовательности могут бы...

[Из песочницы] Алгоритм мышления и сознания В этой статье изложен алгоритм мышления и сознания. Я предлагаю свой ответ на вопрос о том как работает мышление и сознание. И демонстрирую алгоритм, который умеет по-настоящему, творчески, думать и обладает настоящим сознанием. Статья рассчитана на программистов и состоит и...

Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли Задача деплоя моделей машинного обучения в продакшн — это всегда боль и страдания, потому что очень некомфортно вылезать из уютного jupyter notebook в мир мониторинга и отказоустойчивости. Мы уже писали про первую итерацию рефакторинга рекомендательной системы онлайн-киноте...

[Перевод] Вычисление 2D-коллизий: алгоритм Гилберта — Джонсона — Кирти Я занялся изучением процессов распознавания коллизий, и это привело меня к алгоритму Гилберта — Джонсона — Кирти (Gilbert-Johnson-Keerthi, GJK). Все примеры кода в посте написаны на TypeScript. В примерах используются созданные мной структуры, которые подробно в посте не р...

Как ускорить шифрование по ГОСТ 28147-89 на процессоре Байкал-Т1 за счет SIMD-блока В статье на примере описания реализации алгоритма шифрования по ГОСТ 28147–89, построенного на сети Фейстеля, показаны возможности двухъядерного процессора BE-T1000 (aka Байкал-Т1) и проведены сравнительные испытания реализации алгоритма с помощью векторных вычислений с сопр...

Как я улучшил свои навыки работы с алгоритмами, структурами данных и научился использовать все это на практике От переводчика: сегодня публикуем для вас статью Фабиана Терха. Статья в первую очередь будет полезна для начинающих программистов. Я программист-самоучка, этот пост отражает мой личный опыт и навыки в такой сфере, как алгоритмы и структуры данных; кроме того, я расска...

[Перевод] Распознавание лиц с помощью сиамских сетей Сиамская нейросеть — один из простейших и наиболее популярных алгоритмов однократного обучения. Методики, при которой для каждого класса берётся лишь по одному учебному примеру. Таким образом, сиамская сеть обычно используется в приложениях, где в каждом классе есть не так...

[Перевод] Big O Примечание. Сокращенный перевод, скорее пересказ своими словами. UPD: как отметили в комментариях, примеры не идеальны. Автор не ищет лучшее решение задачи, его цель объяснить сложность алгоритмов «на пальцах». Big O нотация нужна для описания сложности алгоритмов. Для этог...

[Из песочницы] Передача знания и Нейронный машинный перевод на практике Нейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исход...

[Перевод] Must-have алгоритмы машинного обучения Хабр, привет. Этот пост — краткий обзор общих алгоритмов машинного обучения. К каждому прилагается краткое описание, гайды и полезные ссылки. Метод главных компонент (PCA)/SVD Это один из основных алгоритмов машинного обучения. Позволяет уменьшить размерность данных, потер...

На пути к светлому будущему «умных» компиляторов Сейчас тема машинного обучения и искусственного интеллекта необычайно популярна, на данный момент благодаря вычислительным мощностям компьютеров идеи и алгоритмы, зародившиеся достаточно давно могут быть воплощены в жизнь и значительно доработаны. Практически каждый день мож...

[Перевод] Краткое введение в цепи Маркова В 1998 году Лоуренс Пейдж, Сергей Брин, Раджив Мотвани и Терри Виноград опубликовали статью «The PageRank Citation Ranking: Bringing Order to the Web», в которой описали знаменитый теперь алгоритм PageRank, ставший фундаментом Google. Спустя чуть менее два десятка лет Googl...

AWS запускает новые сервисы машинного обучения Среди новинок облачной платформы — модели и алгоритмы для системы Amazon SageMaker, средства автоматической классификации данных и обучения «с подкреплением» и другие сервисы.

Как проходят секции по машинному обучению на собеседованиях в Яндекс Каждый сервис компании Яндекс во многом основан на анализе данных и методах машинного обучения. Они требуются и для ранжирования результатов веб-поиска, и для поиска по картинкам, и для формирования рекомендательных блоков. Машинное обучение позволяет нам создавать беспилотн...

Эволюция одного алгоритма Некоторое время назад мой коллега попросил помочь ему с одной проблемой. Проблему я ему решил, но кроме того, мне показалось, что на решении этой проблемы можно объяснить несколько алгоритмов и приёмов программирования. А также показать ускорение времени выполнения алгоритма...

Граф Скоринг де ля Фер или исследование на тему кредитного скоринга, в рамках расширения кругозора. Ч.3 Часть третья, в которой Атос выпал в осадок, а Граф де ля Фер мудрит с алгоритмами. UPD Часть первая здесь UPD Часть вторая здесь AntipovSN and MihhaCF Вступление от авторов: Добрый день! Сегодня мы продолжаем цикл статей, посвященных скорингу и использованию в оном теории г...

Обман нейронной сети для начинающих В рамках ежегодного контеста ZeroNights HackQuest 2018 участникам предлагалось попробовать силы в целом ряде нетривиальных заданий и конкурсов. Часть одного из них была связана с генерированием adversarial-примера для нейронной сети. В наших статьях мы уже уделяли внимание ...

[Из песочницы] Нейронные сети для трекинга рук в режиме реального времени Недавно исследователи из GoogleAI показали свой поход к задаче трекинга руки и определения жестов в реальном времени. Я как раз занимался подобной задачей и потому решил разобраться с тем как они подошли к решению, какие технологии они использовали, и как добились хорошей то...

Battlefield V получит поддержку сглаживания DLSS, которое улучшит работу трассировки лучей Шутер от первого лица Battlefield V получит поддержку технологии использования алгоритмов глубокого обучения для сглаживания в играх, которая более известна как NVIDIA DLSS (Deep Learning Super-Sampling). Об этом стало известно из недавней утечки с официальной инфор...

#10yearchallenge назван идеальным способом обучения нейросети Участники флэшмоба выкладывают свои фото с разницей в 10 лет и помечают хэштегами #10yearchallenge или #2009vs2019. С точки зрения машинного обучения, фотографии одного и того же человека с разницей в десятилетие — действительно очень ценный материал для нейросети: он позвол...

[recovery mode] Опровергаем мифы: реальные практики в Армении в сфере ИТ Добрый день, уважаемые читатели! Благодаря вашим отзывам на предыдущую статью по ИТ-отрасли Армении созрела идея создать еще одну публикацию, которая даст максимально развернутый ответ о реальной практике IT-специалистов в южно-кавказском государстве. В этой публикации я п...

[Перевод] Какое лицо реально? Видеть сквозь иллюзии сфабрикованного мира «В интернете никто не знает, что ты собака» Так говорит собака, сидящая за компьютером в мультфильме Питера Штайнера «Нью-Йоркер» 1993 года. Карикатура запечатлела радикальные изменения в характере человеческих взаимодействий, к...

[Перевод] Там, где человек видит формы, ИИ видит текстуры К удивлению исследователей, алгоритмы компьютерного зрения с глубоким обучением часто не справляются с классификацией изображений потому, что они в основном ориентируются на текстуры, а не на формы. Если вы посмотрите на фотографию кошки, с большой вероятностью вы сможете...

[Перевод] Новый подход к умножению подсказывает, как улучшить квантовые компьютеры На практике на квантовых компьютерах нельзя запускать многие программы, предназначенные для классических компьютерах, поскольку они не умеют выборочно забывать информацию. Новый алгоритм умножения показывает, как можно обойти эту проблему Классические биты – чёрно-белые, а ...

Криптография простым языком: разбираем симметричное и асимметричное шифрование на примере сюжета Звездных войн Привет всем читателям Хабра! Не так давно решил разобраться с алгоритмами шифрования и принципами работы электронной подписи. Тема, я считаю, интересная и актуальная. В процессе изучения попробовал несколько библиотек, однако самой удобной с моей точки зрения является библио...

Вия, Уая, Вая, Вайя – “трудности перевода”, или что скрывается за новой платформой SAS Viya (Вайя)    В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущем...

Статистика и мониторинг PHP скриптов в реальном времени. ClickHouse и Grafana идут на помощь к Pinba В этой статье я расскажу как использовать pinba совместно с clickhouse и grafana вместо pinba_engine и pinboard. На php-проекте pinba — пожалуй единственный надёжный способ понять, что происходит с производительностью. Правда обычно pinba внедряется только тогда, когда уже н...

[Перевод] Избегаем тригонометрию Вступление Мне кажется, что нам надо использовать меньше тригонометрии в компьютерной графике. Хорошее понимание проекций, отражений и векторных операций (как в истинном значении скалярного (dot) и векторного (cross) произведений векторов) обычно приходит с растущим чувством...

Пишем XGBoost с нуля — часть 2: градиентый бустинг Всем привет! В прошлой статье мы разбирались, как устроены решающие деревья, и с нуля реализовали алгоритм построения, попутно оптимизируя и улучшая его. В этой статье мы реализуем алгоритм градиентого бустинга и в конце создадим свой собственный XGBoost. Повествование буд...

«Утконос», SAS и ВШЭ объявили о старте конкурса Крупнейший игрок e-grocery и лидер рынка аналитики запускают открытый конкурс на лучшую прогнозную модель. На реальных данных о поведении покупателей участникам нужно научить алгоритм предсказывать отказы от покупок.

Отладка алгоритмов на графах — теперь с картинками Представим типичную ситуацию на первом курсе: вы прочитали про алгоритм Диница, реализовали, а он не заработал, и вы не знаете, почему. Стандартное решение — это начать отлаживать по шагам, каждый раз рисуя текущее состояние графа на листочке, но это жутко неудобно. Я попроб...

Абстрактный постер сделал человека невидимым для машинного зрения Распознавание образов в реальном времени — перспективная технология, которая уже находит применение в охранных комплексах и системах поиска конкретных людей в толпе. Для выполнения этой задачи используются сверточные нейронные сети, которые способны с высокой скоростью ...

[Перевод] Обучение с подкреплением на языке Python Привет, коллеги! В последней публикации уходящего года мы хотели упомянуть о Reinforcement Learning — теме, книгу на которую мы уже переводим. Посудите сами: нашлась элементарная статья с Medium, в которой изложен контекст проблемы, описан простейший алгоритм с реализаци...

Разработчики из Гонконга представили нейросеть MirrorNet, способную распознавать зеркала в кадре Гонконгские разработчики научили нейросеть распознавать зеркала на изображениях. Алгоритм делает это благодаря тому, что области изображения с зеркалом и без него обычно различаются по текстуре, цвету, а также семантическим признакам. Эксперименты показали, что нейросеть выд...

Microsoft открыл исходный код одного из ключевых алгоритмов Bing Microsoft опубликовал исходный код одного из ключевых алгоритмов, используемых в работе поисковой системы Bing – Space Partition Tree And Graph (SPTAG). Теперь он доступен на GitHub. Этот алгоритм использует векторный поиск и модели глубокого обучения для предоставления резу...

Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга Рассказываем, кто и почему ими занимается / фото Paweł Czerwiński Unsplash Что такое нейроморфный чип Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отв...

Книга «Совершенный алгоритм. Основы» Привет, Хаброжители! Эта книга основана на онлайн-курсах по алгоритмам, которые Тим Рафгарден ведет на Coursera и Stanford Lagunita, а появились эти курсы благодаря лекциям для студентов, которые он читает в Стэнфордском университете на протяжении многих лет. Алгоритмы — э...

Модельно ориентированное проектирование. Создание достоверной модели, на примере авиационного теплообменника «Если на клетке слона прочтёшь надпись «буйвол», не верь глазам своим» Козьма Прутков В предыдущей статье о модельно-ориентированном проектировании было показано, зачем нужна модель объекта, и доказано, что без этой модели объекта про model based design можно говорить толь...

[Перевод] Как работает kubectl exec? Прим. перев.: автор статьи — Erkan Erol, инженер из SAP — делится своим изучением механизмов функционирования команды kubectl exec, столь привычной для всех, кто работает с Kubernetes. Весь алгоритм он сопровождает листингами исходного кода Kubernetes (и связанных проектов),...

Беспилотные автомобили Waymo проехали более 16 миллиардов километров… но не по земле Практически не остается сомнений в том, что беспилотные автомобили рано или поздно станут одним из основных видов транспорта. Ведь множество крупных компаний, таких как Uber или Яндекс, вовсю проводят испытания своих версий автопилота. Не отстает от них и Waymo, самоуправля...

Как не нужно составлять согласие на обработку персональных данных И какие согласия не стоит подписывать. Доброго времени суток, Хабр! Эта статья родилась совершенно спонтанно из такой вот истории. Поскольку я являюсь в том числе соучредителем организации, в которой работаю, мне время от времени приходится подписывать различные докумен...

[Перевод] Последствия переписывания компонентов Firefox на Rust В прошлых статьях цикла мы обсудили безопасность памяти и безопасность потоков в Rust. В этой последней статье посмотрим на последствия реального применения Rust на примере проекта Quantum CSS. Движок CSS применяет правила CSS на странице. Это нисходящий процесс, который с...

Интеллектуальная функция «замена неба» в Xiaomi CC9 на самом деле меняет день на ночь или вечер на любом снимке Вчера появились данные о том, что в Xiaomi CC9 дебютирует новая функция, работающая с применением алгоритмов искусственного интеллекта и позволяющая менять фон неба. На самом же деле алгоритм создан для превращения снимка из дневного в ночной или вечерний. Хотя стоит от...

Финских заключенных приобщили к обучению алгоритмов Финский стартап Vainu, занимающийся созданием управляемой искусственным интеллектом обширной базы данных предприятий по всему миру, призванной помогать фирмам находить подрядчиков, подключил к тренировке алгоритмов заключенных из тюрем. Как сообщается, идея использовать труд...

ТЕСТ: Какой вы покупатель? 1 000 рублей за день в аквапарке — это много или мало? Ответьте на восемь вопросов и узнайте, умеете ли вы адекватно оценивать стоимость товаров и услуг. Если привыкли брать всё без разбора, тест может показаться вам сложным. Но вы всё-таки попробуйте — потренируетесь быть н...

5 вещей, которые чаще всего не понимают новички в JavaScript Всем привет! В конце сентября в OTUS стартует новый поток курса «Fullstack разработчик JavaScript». В преддверии начала занятий хотим поделиться с вами авторской статьей, подготовленной специально для студентов курса. Автор статьи: Павел Якупов Превью. Хочу сразу отмети...

Дискретная математика для WMS: алгоритм сжатия товаров в ячейках (часть 1) В статье мы расскажем, как решали проблему нехватки свободных ячеек на складе и о разработке алгоритма дискретной оптимизации для решения такой задачи. Расскажем о том, как мы «строили» математическую модель задачи оптимизации, и о том с какими трудностями мы неожиданно ст...

Нейронные сети предпочитают текстуры и как с этим бороться В последнее время вышло несколько статей с критикой ImageNet, пожалуй самого известного набора изображений, использующегося для обучения нейронных сетей. В первой статье Approximating CNNs with bag-of-local features models works surprisingly well on ImageNet авторы берут м...

Интуитивный RL (Reinforcement Learning): введение в Advantage-Actor-Critic (A2C) Это вольный перевод статьи Rudy Gilman и Katherine Wang Intuitive RL: Intro to Advantage-Actor-Critic (A2C).Специалисты по усиленному обучению (RL) подготовили множество отличных учебных пособий. Большинство, однако, описывают RL в терминах математических уравнений и абстрак...

Основные понятия стандартной библиотеки С++ Данная статья определяет основные понятия стандартной библиотеки С++. Она приводится для того чтобы на неё ссылаться в дальнейшем. Наибольшей частью стандартной библиотеки С++ является библиотека STL (Standard Template Library – Стандартная Библиотека Шаблонов). Библиотека S...

[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.1: глубокое обучение Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...

[Перевод] Unity: бесконечный процедурно генерируемый город, получаемый при помощи алгоритма WFC (коллапс волновой функции) Привет, Хабр! Как законодатели мод по теме Unity на российском рынке предлагаем вам почитать интересное исследование о практическом использовании алгоритма WFC (Wave Function Collapse), построенного по образу и подобию известного принципа квантовой механики и очень удобного...

Бибер и Билан машут ручкой. AI научился генерировать музыку Самые активные реальные певцы способны выпустить один, может быть, два музыкальных альбома за год. У рэперов иногда получается три-четыре микстейпа. Но компания Auxuman собирается выпускать по полноценному музыкальному альбому, с такими звездами как Йона, Мони, Джемини, Зо...

[Из песочницы] На одной асимптотике далеко не уедешь… Любители посоревноваться в алгоритмах часто говорят об асимптотике того или иного решения задачи. При этом нередко можно встретить высказывания, что, мол, «вот этот» алгоритм работает за O(n), а «вон тот»  – за O(n·log(n)), значит первый однозначно быстрее и, следовательно,...

[Из песочницы] Карта ДТП Расскажу вам о проекте “Карта ДТП” – интерактивной карте аварий в России. Карта упрощает анализ ДТП и помогает найти реальные причины происшествий. Как пришла идея, где брали данные и зачем открыли исходный код. За 2018 год в ДТП на дорогах России погибли 19088 человек Ч...

Книга «Elasticsearch, Kibana, Logstash и поисковые системы нового поколения» Привет, Хаброжители! Мы издали книгу по Elastic Stack, предназначенную для специалистов, работающих с большими объемами данных и желающих надежно извлекать их из любого источника в любом формате, а также искать, анализировать и визуализировать данные в режиме реального врем...

Нейросеть Facebook позволила управлять движениями людей, снятых на видео Нейронные сети уже умеют создавать лица несуществующих людей и даже улучшать качество видео. Технология продолжает развиваться, причем крайне стремительно — это казалось невозможным, но отныне снятыми на видео людьми можно управлять при помощи клавиатуры компьютера. Это ста...

[Из песочницы] Подробный разбор симплекс-метода Пролог Недавно появилась необходимость создать с нуля программу, реализующую алгоритм симплекс-метода. Но в ходе решения я столкнулся с проблемой: в интернете не так уж много ресурсов, на которых можно посмотреть подробный теоретический разбор алгоритма (его обоснование: поч...

ACCA: более половины финансистов по всем миру готовы использовать машинное обучение 60% опрошенных уверены, что в ближайшие три года использование интернет-технологий станет привычным для большинства финансовых департаментов. Ассоциация специалистов в области финансов, учета и аудита АССА провела исследование «Машинное обучение: наука, а не вым...

[Перевод] «Тетрис» в роли принтера Поворачивая, переставляя и опуская вниз заранее заданную последовательность фигур, Tetris Printer Algorithm использует механику «Тетриса» для генерации произвольных битовых изображений. Описание алгоритма Алгоритм построчно преобразует пиксели исходного изображения в квадр...

[Из песочницы] Как я учил змейку играть в себя с помощью Q-Network Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на python было бы не интересно. И я решил использовать более современный подход для об...

Балансировка красно-чёрных деревьев — Три случая Двоичные деревья поиска — эта структура данных для хранения элементов с возможностью быстрого поиска. Идея проста и гениальна: «меньше – налево, больше – направо». На этом простота заканчивается и начинаются сложные вопросы балансировки дерева, чтобы оно не превратилось в дл...

YouTube делает послабления на игровой контент YouTube ослабил свою политику в отношении видео для создателей контента и заявляет, что симулированный контент насилия в видеоиграх будет рассматриваться «так же, как и другие типы скриптового контента». Это означает, что любое загруженное на YouTube игровое видео, соде...

[Из песочницы] Использование случайного оракула на примере лотереи Как-то утром на глаза попалась статья о проверяемом генераторе случайных чисел на блокчейне Waves platform. Общая картина была понятна, а вот способ конкретной реализации — нет. Какие-то коды, подписи, что, куда, зачем? Несколько консультаций у автора оракула, в результат...

Как поисковики определяют, настоящий отзыв на сайте или фейковый?   Вопрос пользователя: Во многих источниках пишут, что отзывы или комментарии к товарам, статьям и другому материалу на сайте влияют на продвижение в поисковиках. Умеют ли поисковики различать отзывы, оставленные от одного человека (например, администратора сайта), или ...

Яндекс.Дзен запустил новый алгоритм рекомендаций Команда Дзена сообщила об изменении алгоритма рекомендаций. Эта версия алгоритма называется Альфа Центавра – как ближайшая к Земле тройная звездная система. Потому что основных изменений в новом алгоритме – три. Всю работу рекомендательного алгоритма можно условно разделить ...

Книга «Глубокое обучение с подкреплением на Python. OpenAI Gym и TensorFlow для профи» Привет, Хаброжители! Глубокое обучение с подкреплением (Reinforcement Learning) — самое популярное и перспективное направление искусственного интеллекта. Практическое изучение RL на Python поможет освоить не только базовые, но и передовые алгоритмы глубокого обучения с подк...

[Из песочницы] Алгоритм Дугласа-Пекера Предисловие Не так давно пришлось поработать с упрощением полигональной цепи (процесс, позволяющий уменьшить число точек полилинии). В целом, данный тип задач очень распространен при обработке векторной графики и при построении карт. В качестве примера можно взять цепь, неск...

[Перевод] Поиск пути среди круглых препятствий Навигация по лесу Алгоритм поиска пути A* — это мощный инструмент для быстрой генерации оптимальных путей. Обычно A* демонстрируют при навигации по картам из сеток, но он может использоваться не только для сеток! Он может работать с любыми графами. Можно использовать A* для ...

Какая конструкция у первой в мире селфи-камеры, встроенной в экран В начале этого месяца компании OPPO и Xiaomi дразнили весь мир короткими видео, на которых была продемонстрирована вполне реальная и работающая, но такая невероятная технология селфи-камеры, находящейся прямо в дисплее смартфона. Прошло по большому счету всего несколько дне...

Книга «Предиктивное моделирование на практике» Привет, Хаброжители! «Предиктивное моделирование на практике» охватывает все аспекты прогнозирования, начиная с ключевых этапов предварительной обработки данных, разбиения данных и основных принципов настройки модели. Все этапы моделирования рассматриваются на практических п...

[Из песочницы] Блокчейн и электроэнергетика Привет, в данной статье я попытаюсь популярно описать, почему применение блокчейна в электроэнергетике назрело, и почему в некоторых странах этот кейс активно продвигается. Все данные, на которых я основывал свои суждения, я брал из открытых источников. Я допускаю их неточн...

[Перевод] Демонстрация AresDB: инструмент анализа в реальном времени с открытым исходным кодом на основе GPU от Uber Благодаря анализу в реальном времени мы, сотрудники компании Uber, получаем представление о состоянии дел и эффективности работы и на основе данных решаем, как повысить качество работы на платформе Uber. Например, проектная команда мониторит состояние рынка и выявляет потенц...

Квант, или туда и обратно: новый алгоритм изучения квантово-классического перехода Многие считают, что сложнее классической физики может быть только квантовая. Однако куда сложнее изучать системы, которые находятся, так сказать, на стыке этих двух миров. Если в квантовую систему добавлять все больше и больше частиц, то она начнет терять свои квантовые св...

Возможности языка Q и KDB+ на примере сервиса реального времени О том, что такое база KDB+, язык программирования Q, какие у них есть сильные и слабые стороны, можно прочитать в моей предыдущей статье и кратко во введении. В статье же мы реализуем на Q сервис, который будет обрабатывать входящий поток данных и высчитывать поминутно разли...

Сверточный слой: методы оптимизации основанные на матричном умножении Введение Данная статья является продолжением серии статей описывающей алгоритмы лежащие в основе Synet — фреймворка для запуска предварительно обученных нейронных сетей на CPU. Если смотреть на распределение процессорного времени, которое тратится на прямое распространение...

[Перевод] Извлечение данных при машинном обучении Хотите узнать о трех методах получения данных для своего следующего проекта по ML? Тогда читайте перевод статьи Rebecca Vickery, опубликованной в блоге Towards Data Science на сайте Medium! Она будет интересна начинающим специалистам. Получение качественных данных — это пе...

[Перевод] Динамическое программирование в реальном мире: вырезание швов У динамического программирования репутация метода, который вы изучаете в университете, а затем вспоминаете только на собеседованиях. Но на самом деле метод применим во многих ситуациях. По сути, это техника эффективного решения задач, которые можно разбить на множество сильн...

Введение в функциональные зависимости В этой статье мы поговорим о функциональных зависимостях в базах данных — что это такое, где применяются и какие алгоритмы существуют для их поиска. Рассматривать функциональные зависимости мы будем в контексте реляционных баз данных. Если говорить совсем грубо, то в таких ...

[Перевод] Эффективная генерация числа в заданном интервале В подавляющем большинстве моих постов о генерации случайных чисел рассматривались в основном свойства различных схем генерации. Это может оказаться неожиданным, но производительность алгоритма рандомизации может зависеть не от выбранной схемы генерации, а от других факторов...

Алгоритм машинного обучения превращает котиков в монстров На прошлой неделе внимание общественности привлек необычный сайт ThisPersonDoesNotExist.com, где можно увидеть, как искусственный интеллект всякий раз генерирует новое (и весьма странное) человеческое лицо. У этого портала сразу появилось множество подражателей, и наконец ис...

[Перевод] Neuralink платформа интегрированного интерфейса мозг-компьютер с тысячами каналов Примечание. 16 июля 2019г. Илон Маск презентовал технологию, которая стала одной из первых серьезных попыток введения нейроинтерфейсов в клиническую практику и имеющая реальные трансгуманистические цели в долгосрочной перспективе. Данная статья является переводом, с некото...

[Перевод] Руководство по развертыванию моделей машинного обучения в рабочей среде в качестве API с помощью Flask Друзья, в конце марта мы запускаем новый поток по курсу «Data Scientist». И прямо сейчас начинаем делиться с вами полезным материалом по курсу. Введение Вспоминая ранний опыт своего увлечения машинным обучением (ML) могу сказать, что много усилий уходило на построение дейс...

Новый проект Everyday Robot в рамках Alphabet X разрабатывает роботов, способных обучаться в реальном мире Исследовательское подразделение Alphabet X, ранее известное как Google X, раскрыло подробности о своём очередном проекте с красноречивым названием Everyday Robot. Его целью является разработка «обучающегося робота общего назначения». Идея состоит в том, что роботы могут испо...

Подборка рабочих примеров обработки данных Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. П...

По вашим заявкам: профессиональный тест SSD-накопителей Kingston DC500R и DC500M Вы просили показать реальные примеры использования наших корпоративных SSD-накопителей и профессиональные тесты. Предоставляем вашему вниманию подробный обзор наших SSD-накопителей Kingston DC500R и DC500M от нашего партнера Truesystems. Эксперты Truesystems собрали реальный...

Алгоритм триангуляции Делоне методом заметающей прямой Доброго времени суток! В этой статье я подробно опишу алгоритм, который у меня получился в результате использования идеи «заметающей прямой» для построения триангуляции Делоне на плоскости. В нем есть несколько идей, которые я нигде не встречал, когда читал статьи про триан...

[Из песочницы] Deploy Symfony + React приложения на AWS посредством CI Добрый день, в данной статье я покажу как развернуть Symfony 4 приложение на AWS. В официальной документации есть пример подобного процесса, однако мой вариант не столь тривиален, как загрузка zip архива с приложением. На дворе 2019, в моде docker, микросервисная архитектура...

Как загрузить OpenStreetMap в Hive? В прошлой статье я рассмотрел обратное геокодирование средствами Spark. Теперь представим, что перед нами встала задача прямого геокодирования почтовых адресов. То есть, получения для записанного текстом адреса неких географических координат. Адреса для определенности росс...

Производство полупроводниковой микроэлектроники проконтролируют с применением машинного обучения Сегодня, чтобы контролировать качество проведения любого технологического процесса массового производства микроэлектроники, из партии проверяют одну-две подложки. Если технология стабильна, на остальных результат должен быть тем же самым. Однако, когда размер элементов на по...

[Из песочницы] Два процента «кота» или кто сфотографировал Мастера Йоду? В 2016 из-за давней мечты о видео-играх и «хайпа» вокруг AI я начал изучать Python. Computer Science is Fun потому только неделю назад я обучил первую recognition модель, но без использования Python (в computer science много соблазнов). Как и предсказывал Андрей Себрант (Ya...

Новый алгоритм работает как дата-сайентист Сбербанк создал новую модель машинного обучения Auto ML, сообщил на Российском инвестиционном форуме заместитель Председателя Правления Сбербанка Анатолий Попов.Auto ML - алгоритм, который умеет создавать другие модели. А они, в свою очередь, уже решают прикладные задачи - н...

«Ты узнаешь ее из тысячи...» или классифицируем изображения с веб-камеры в реальном времени с помощью PyTorch Вот бывает же в жизни такое. Сидишь себе не шалишь, никого не трогаешь, починяешь примус, а тут из этого примуса, из телевизора, да и вообще из каждого утюга, до тебя доносится: «нейронные сети, глубокое обучение, искусственный интеллект, цифровая экономика…». Я — человек,...

Американские ученые научили роботов использовать вспомогательные инструменты Обезьяна (шимпанзе) достает термитов из термитника при помощи палки. Навторой фотографии горилла использует палку для сбора нужной ей травы Разработчики из США создали специализированный алгоритм для роботов, который дал возможность последним использовать дополнительные и...

Интерфейсы как абстрактные типы данных в Go Не так давно коллега ретвитнул отличный пост How to Use Go Interfaces. В нем рассматриваются некоторые ошибки при использовании интерфейсов в Go, а также даются некоторые рекомендации по поводу того, как их все-таки стоит использовать. В статье, упомянутой выше, автор приво...

Деливерим фичи быстрее. Опыт Android-разработки в Badoo Всем привет! Меня зовут Анатолий Варивончик. Я работаю в Badoo уже больше года, а мой общий стаж Android-разработки — более пяти лет. В своей практике я и мои коллеги часто сталкиваемся с необходимостью тестировать идеи максимально быстро и просто. Мы не хотим тратить много...

Что внутри чат-бота? Меня зовут Иван Бондаренко. Я занимаюсь алгоритмами машинного обучения для анализа текстов и устной речи примерно с 2005 года. Сейчас работаю в Московском Физтехе ведущим научным разработчиком лаборатории бизнес-решений на основе Центра компетенций НТИ по Искусственному инте...

[Из песочницы] Как выглядят банки изнутри Так выглядит банк изнутри. Данная визуализация в три этапа основана на реальных клиентских операциях банка с отозванной лицензией. В качестве источника данных — главная бухгалтерская книга банка. Используя теорию графов, выделяем всех его клиентов в качестве узлов, а опер...

[Из песочницы] Криптографический алгоритм «Кузнечик»: просто о сложном В данной статье будет подробно рассмотрен алгоритм блочного шифрования, определенный в ГОСТ Р 34.12-2015 как «Кузнечик». На чем он основывается, какова математика блочных криптоалгоритмов, а так же как реализуется данный алгоритм в java. Кто, как, когда и зачем разработал д...

Как резидентные прокси помогают в бизнесе: реальный кейс использования Infatica в сфере Data Mining В нашем блоге мы не только пишем о технологиях обеспечения приватности, но и рассказываем о реальном применении сервиса Infatica для решения бизнес-задач. Сегодня речь пойдет о применении сервиса резидентных прокси в сфере Data Mining. Читать дальше →

[Перевод] Делаем педаль реверберации с применением микросхем PT2399 (часть 1) Вступление Реальная реверберация происходит в рабочей камере, когда генерируемый звук отражается от стен, мебели, людей или любого другого объекта в сложном трехмерном пространстве. Естественный процесс реверберации показан на рисунке 1. Рисунок 1. Реверберация в реальной...

Ошибки, которые не находит статический анализ кода, потому, что он не используется Время от времени читатели наших статей о проверке открытых проектов обращают внимание, что статический анализатор кода PVS-Studio выявляет большой процент ошибок, которые незначительны или вообще не влияют на работу приложения. Это действительно так. Большинство важных ошибо...

Realme показала примеры фотографий, сделанных на 64-мегапиксельную камеру неанонсированного смартфона Ресурсу The Verge удалось получить от Realme реальные фотографии с неанонсированного смартфона, оснащенного 64-мегапиксельной камерой (данное устройство изображено на снимке выше справа). Разрешение представленных фото составляет 9216 × 6912 точек, а досконально их изучив, м...

Нейросеть улучшила текстуры в GTA Vice City Фанаты продолжают при помощи нейросети ESRGAN улучшать свои любимые игры. Данный алгоритм умеет повышать разрешение оригинальных изображений и текстур, дорисовывая им мелкие детали. Изначально никто не думал, что нейросеть ESRGAN можно использовать именно в этом направлении,...

[Перевод] Reflective Shadow Maps: Часть 2 ― Реализация Привет, Хабр! В данной статье представлена простая реализация Reflective Shadow Maps (алгоритм описан в предыдущей статье). Далее я объясню, как я это сделал и какие подводные камни были. Также будут рассмотрены некоторые возможные оптимизации. Рисунок 1: Слева направо: бе...

Находим текст на вывесках и упаковках с помощью смартфона Проблема автоматического поиска текста на изображениях существует достаточно давно, как минимум с начала девяностых годов прошлого века. Они могли запомниться старожилам повсеместным распространением ABBYY FineReader, умеющим переводить сканы документов в их редактируемые ва...

Эта нейросеть знает, как вы будете выглядеть через 50 лет. Как она работает? Не секрет, что сейчас нейросети чаще всего используются в фотографии. Мы уже видели, как они способны работать с анимацией на обычном компьютере, а картины, написанные искусственным интеллектом, уходят с молотка дороже произведений именитых художников. Неудивительно, что им...

[Из песочницы] Использование учетных записей Joomla в проекте на Django Допустим что сайт, которым пользуются ваши пользователи, написан на Joomla, но для создания нового продукта для вашей аудитории вы выбрали связку Python/Django. Как следствие, возникает необходимость использовать в Django учетные записи пользователей из базы данных Joomla. ...

Amazon запатентовала криптографическую систему на базе алгоритма Proof-of-Work Технологический гигант Amazon заинтересовался исследованием криптовалютных технологий. Об этом свидетельствует полученный компанией патент, в котором среди прочего упоминается алгоритм консенсуса Proof-of-Work и структура данных «дерево Меркла», сообщает CoinDesk. ...

[Из песочницы] Лучшие практики React и советы, которые каждый разработчик должен знать. Часть 1 Привет, Хабр! Представляю вашему вниманию перевод статьи «React Best Practices & Tips Every React Developer Should Know Pt.1» автора Alex Devero. React — одна из самых популярных библиотек для построения интерактивных пользовательских интерфейсов. В этой статье я пока...

[Из песочницы] «Статья про минет»: ученые обработали 109 часов орального секса, чтобы разработать ИИ, который сосет член Привет, Хабр! Представляю вашему вниманию перевод статьи Саманты Коул (Samantha Cole) c motherboard.vice.com. Анонимные специалисты по машинному обучению написали «статью про минет», чтобы сделать эту машинку для отсоса более реалистичной. Autoblow AI, секс-игрушка для поль...

Новый алгоритм, созданный учеными, позволяет создавать почти идеальные «говорящие головы» с реальными людьми Исследователи научились редактировать видеоролики, вкладывая в уста человека на видео любые слова и предложения. Технология обрабатывает ролик таким образом, что выглядит все это весьма естественно и органично, заметить подделку можно только в том случае, если подозревать ...

Нейросеть научили дорисовывать фотографии Нейросетевые алгоритмы успешно применяются для редактирования фотографий, но на сегодняшний день они, как правило, способны дорисовывать лишь небольшие фрагменты или, наоборот, удалять лишние объекты со снимков. Специалистам из Google Research удалось научить нейросеть весьм...

Машинное зрение vs интуиция человека: алгоритмы нарушения работы программ распознавания объектов Логика машин безупречна, они не совершают ошибок, если их алгоритм работает исправно и заданные параметры соответствуют необходимым стандартам. Попросите машину выбрать маршрут от точки А в точку Б, и она построит самый оптимальный, учитывая расстояние, расход топлива, нал...

Не морочьте мне голову со своим функциональным программированием Адепты функционального программирования любят завлекать новичков обещаниями идеальной выразительности кода, 100% корректностью, лёгкостью поддержки и простотой рефакторинга, а иногда даже пророчат высочайшую производительность. Однако, опытные разработчики знают, что такого ...

Где брать аудио для разработки игр и других коммерческих проектов? Библиотеки со звуками природы Существует множество сервисов и приложений для релаксации, в которых можно послушать звуки природы. Но что если вы хотите использовать такие аудиозаписи в рамках собственного проекта? В подборке расскажем о пяти библиотеках, откуда можно скачать реальные звуки природы и ис...

Как работает алгоритм локального поиска Google Когда речь заходит об алгоритмах Google, то существует большая разница между тем, как они обрабатывают органические и локальные результаты. В статье мы рассмотрим основные факторы, которые влияют на ранжирование в локальной выдаче. Сообщение Как работает алгоритм локального ...

Синтетические vs реальные тестовые данные: плюсы, минусы, подводные камни Начнём со сладкого и приведём примеры из практики тестирования. Представьте себе готовый к запуску интернет-магазин. Ничего не предвещает беды. Маркетологи разработали стратегию продвижения, были написаны статьи в профильные интернет-ресурсы, оплачена реклама. Руководство...

[Перевод] Машинно-синестетический подход к обнаружению сетевых DDoS-атак. Часть 2 И снова здравствуйте. Сегодня мы продолжаем делиться материалом, приуроченным к запуску курса «Сетевой инженер», который стартует уже в начале марта. Мы видим, что многих заинтересовала первая часть статьи «Машинно-синестетический подход к обнаружению сетевых DDoS-атак» и се...

SIBUR Challenge 2019 – соревнование по анализу промышленных данных Всем привет! Продолжается онлайн-этап конкурса по анализу данных – SIBUR Challenge 2019. Коротко о главном: SIBUR Challenge – это наш фирменный хакатон, который мы делаем вместе с AI Community. В качестве кейсов мы используем реальные производственные задачи, основанные...

Новый алгоритм в 200 раз ускоряет автоматическое проектирование нейросетей ProxylessNAS напрямую оптимизирует архитектуры нейронных сетей для конкретной задачи и оборудования, что позволяет значительно увеличить производительность по сравнению с предыдущими прокси-подходами. На наборе данных ImageNet нейросеть проектируется за 200 GPU-часов (в 20...

Построение автоматической системы модерации сообщений Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time...

Swift.assert — жизнь после релиза Как часто вы используете Swift.assert() в вашем коде? Я, честно, использую довольно часто (Если это плохая практика, то, пожалуйста, напишите в комментариях — почему это плохо?). В моем коде часто можно встретить, например, такой вызов: Swift.assert(Thread.isMainThread) Не ...

Математика в Gamedev по-простому. Триангуляции и Triangle.Net в Unity Всем привет! Меня зовут Гриша, и я основатель CGDevs. Математика – очень крутой инструмент при разработке игр. Но если скажем без понимания векторов и матриц обойтись в принципе сложно, то алгоритмы триангуляций не столь обязательная вещь, но с помощью них решается достаточн...

Как я научила робота бегать по видео с YouTube Мы продолжаем рассказывать о совместных научных проектах наших студентов и JetBrains Research. В этой статье поговорим об алгоритмах глубокого обучения с подкреплением, которые используются для моделирования двигательного аппарата человека. Смоделировать все возможные движе...

Rekko Challenge Сегодня мы запускаем Rekko Challenge 2019 — соревнование по машинному обучению от онлайн-кинотеатра Okko. Мы предлагаем вам построить рекомендательную систему на реальных данных одного из крупнейших российских онлайн-кинотеатров. Уверены, что эта задача будет интересна и но...

[Перевод] Создание надёжного и проверяемого ИИ: соответствие спецификациям, надёжное обучение и формальная верификация Ошибки и ПО шли рука об руку с самого начала эпохи программирования компьютеров. Со временем разработчики выработали набор практик по тестированию и отладке программ до их развёртывания, однако эти практики уже не подходят к современным системам с глубоким обучением. Сегодня...

Тайна прошивок Авторы: к.ф.-м.н. Чернов А.В. (monsieur_cher) и к.ф.-м.н. Трошина К.Н. Как с помощью самых общих предположений, основанных на знании современных процессорных архитектур, можно восстановить структуру программы из бинарного образа неизвестной архитектуры, и дальше восстановит...

4 способа наблюдать теорию относительности Эйнштейна в реальной жизни Как можно познакомиться с эффектами теории относительности в нашем мире.

Машинное обучение vs. аналитический подход Какое-то время назад мы нашли свои старые материалы, по которым обучали первые потоки на наших курсах машинного обучения в Школе Данных и сравнили их с теперешними. Мы удивились, сколько всего мы добавили и поменяли за 5 лет обучения. Осознав, почему мы это сделали и как, ...

Реалистичная анимация персонажей в играх с помощью ИИ Разработчиками из Эдинбургского Университета представлен новый алгоритм для создания реалистичных движений персонажей в играх. Обученная на Motion Capture траекториях нейросеть пытается копировать движения реальных людей, но при этом адаптирует их под персонажей видеоигр. ...

[Перевод] Нейросеть для классификации спутниковых снимков с помощью Tensorflow на Python Это пошаговая инструкция по классификации мультиспектральных снимков со спутника Landsat 5. Сегодня в ряде сфер глубокое обучение доминирует как инструмент для решения сложных проблем, в том числе геопространственных. Надеюсь, вы знакомы с датасетами спутниковых снимков, в...

Реальная ёмкость ОЗУ и аккумуляторов iPhone 11, 11 Pro и 11 Pro Max Китайский регулятор TENAA, где были сертифицированы iPhone 11, iPhone 11 Pro и iPhone 11 Pro Max, раскрыл реальную ёмкость аккумулятора и размер ОЗУ всех трёх смартфонов, которые Apple традиционно не раскрывает. Данные кардинально отличаются от тех, которые неделю назад…

[Перевод] Специальные объекты, которые тяжело хватать роботам Чтобы сделать захват роботов более надёжным, исследователи разрабатывают максимально сложные для манипулирования объекты Вдохновившись концепцией состязательных изображений, исследователи из Калифорнийского университета в Беркли изучают физические состязательные объекты, тщ...

[Перевод] Машинно-синестетический подход к обнаружению сетевых DDoS-атак. Часть 1 Всем, привет. В последнее время у нас большое количество новых запусков и сегодня хотелось бы анонсировать курс «Сетевой инженер», который стартует уже в начале марта. Традиционно начинаем делиться с вами полезным материалом по теме, и сегодня публикуем первую часть статьи «...

Реализация QoS в СХД Qsan Технология QoS (Quality of Service) в сетевой инфраструктуре известна достаточно давно. Позже подобные алгоритмы нашли применение и в сфере хранения данных, став фактически стандартом для систем, претендующих на рынок Enterprise. В СХД Qsan данный функционал стал доступен от...

Динамическая CDN для WebRTC стриминга с низкой задержкой Ранее, анализируя возможности стандартных конфигураций серверов в Digital Ocean с точки зрения WebRTC стриминга, мы отмечали, что один сервер может обслужить до 2000 зрителей. В реальной жизни часто встречаются случаи, когда одного сервера недостаточно. Допустим, любители а...

Алгоритм Google Фото научился читать текст на фотографиях А еще копировать этот текст и вставлять в другой документ

Как ускорить разжатие LZ4 в ClickHouse При выполнении запросов в ClickHouse можно обратить внимание, что в профайлере на одном из первых мест часто видна функция LZ_decompress_fast. Почему так происходит? Этот вопрос стал поводом для целого исследования по выбору лучшего алгоритма разжатия. Здесь я публикую иссле...

[Перевод] Фотографии из грубых набросков: как именно работает нейросеть NVIDIA GauGAN В прошлом месяце на NVIDIA GTC 2019 компания NVIDIA представила новое приложение, которое превращает нарисованные пользователем простые цветные шарики в великолепные фотореалистичные изображения. Приложение построено на технологии генеративно-состязательных сетей (GAN), в ...

В России создали бота, неотличимого в разговоре от сотрудника техподдержки Компания-разработчик Gexar из Владивостока создала чат-бота с искусственным интеллектом для служб поддержки. Его алгоритм настроен так, что общение с ботом похоже на общение с реальным человеком.

Почему только прокачка кодинга не сделает из тебя лучшего разработчика Techlead Skyeng Кирилл Роговой выступает на конференциях с докладом, в котором рассказывает о навыках, развивать которые стоит каждому хорошему разработчику, чтобы стать лучшим. Я попросил его поделиться этой историей с читателями Хабры, передаю Кириллу слово. Миф про хорош...

Amazon Braket дает возможность попробовать квантовые вычисления Компания Amazon в лице своего подразделения Amazon Web Services (AWS) представила облачный сервис Amazon Braket. По словам AWS, это «полностью управляемый сервис, который облегчает ученым, исследователям и разработчикам создание, тестирование и запуск алгоритмов к...

[Из песочницы] Включаем свет силой мысли, ну почти Написание алгоритмов наверное самая для меня интересная часть в домашней автоматизации. Но даже вся масса сенсоров и сценариев не справляется с буйной фантазией жизни и приходится добавлять способ непосредственного контроля. В качестве органов ручного управления можно поста...

[Перевод] Структуры данных для программистов игр: bulk data Любому программисту будет полезно понимание различных структур данных и способов анализа их производительности. Но на практике мне ни разу не пригождались АВЛ-деревья, красно-чёрные деревья, префиксные деревья, списки с пропусками, и т.д. Некоторые структуры данных я исполь...

Суперинфекции, антибиотики и модели зомби-апокалипсиса Бактерии, а не рак, террористы и катастрофы унесли жизни огромного количества людей. Одна только Yersiniapestis (чумная палочка) привела к смерти 150 млн человек. Прием антибиотиков является основным методом борьбы с бактериальными инфекциями. Но что если лекарства переста...

Как сбежать из секты? Наш мир устроен очень странно. И чем дальше, тем становится страннее. И хрен поймешь, в чем дело. Вот есть на свете инженеры и программисты. Иногда в одном лице. Люди, понимающие, что такое алгоритм. Более того – люди, создающие эти алгоритмы. Прекрасно знающие, что созданн...

Смартфон Samsung Galaxy Note10+ засняли на iPhone XR 2019 Сегодня рано утром мы публиковали реальную фотографию смартфона Samsung Galaxy Note10+, на которой он был запечатлен во включенном состоянии. Мы сразу же отметили, что в отражении экрана виден смартфон, который напоминает новые модели Apple iPhone и Google Pixel. Теперь...

Шпаргалка по структурам данных в Go Некоторые компании проводят собеседования с online написанием кода. Требуется решить олимпиадную задачку на скорость. В таких условиях нет времени посмотреть подробности реализации структур данных — нужно сразу реализовать идею. Но курсы по алгоритмам и структурам данных да...

Лучшие Copy-Paste алгоритмы для C и C++. Сборник рецептов Haiku OS Многочисленные опечатки и Copy-Paste код стали темой для дополнительной статьи о проверке кода Haiku анализатором PVS-Studio. Впрочем, будут ошибки, связанные не сколько с опечатками, а скорее с невнимательностью и неудачным рефакторингом. Найденные примеры ошибок демонстрир...

Книга «Знакомство с PyTorch: глубокое обучение при обработке естественного языка» Привет, Хаброжители! Обработка текстов на естественном языке (Natural Language Processing, NLP) — крайне важная задача в области искусственного интеллекта. Успешная реализация делает возможными такие продукты, как Alexa от Amazon и Google Translate. Эта книга поможет вам из...

Теория программирования: Вариантность Здравствуйте, меня зовут Дмитрий Карловский и я… хочу поведать вам о фундаментальной особенности систем типов, которую зачастую или вообще не понимают или понимают не правильно через призму реализации конкретного языка, который ввиду эволюционного развития имеет много атавиз...

[Перевод] Процедурные паттерны, которые можно использовать с тайловыми картами Процедурная генерация используется для повышения вариабельности игр. Среди известных проектов можно упомянуть Minecraft, Enter the Gungeon и Descenders. В этом посте я объясню некоторые из алгоритмов, которые можно применять при работе с системой Tilemap, появившейся как 2D-...

[Перевод] Превращаем скрипты в красивые инструменты для машинного обучения Создаём семантический поисковик с машинным обучением в реальном времени за 300 строк Python кода. Мой опыт подсказывает, что любой более или менее сложный проект по машинному обучению рано или поздно превращается в набор сложных неподдерживаемых внутренних инструментов. Эти ...

Книга «Архитекторы интеллекта» Искусственный интеллект (ИИ) быстро переходит из области научной фантастики в повседневную жизнь. Современные устройства распознают человеческую речь, способны отвечать на вопросы и выполнять машинный перевод. В самых разных областях, от управления беспилотным автомобилем д...

Google Ads обновил алгоритм расчёта скорости страниц на мобильных устройствах Google Ads обновил алгоритма расчёта показателя «Скорость работы на мобильных устройствах» (Mobile Speed Score). Этот параметр доступен в отчёте «Целевые страницы». Он показывает, насколько быстро страницы сайта загружаются на мобильных устройствах, и оценивается по шкале от...

АМОКОНФ 2019 Крупнейший бизнес-форум — 5 городов, 45 000 предпринимателей. Вам нужно увеличить продажи? Не знаете, как получить больше заявок и откуда брать посетителей? Раз в полгода мы собираем для вас лучшие кейсы и примеры из реал...

[Из песочницы] Как самостоятельно имплементировать (Proof of Existence) за 2 шага Всем привет! Я работаю в компании, QuantNet, которая проводит конкурсы алгоритмических стратегий. В недавнем времени передо мной встала важная задача — обеспечить гарантии неприкосновенности даты юзеров (это чрезвычайно важно, так как для корректной проверки эффективностей с...

Как реализуется Retentioneering в App in the Air Удержать пользователя в мобильном приложении – это целая наука. Ее основы в нашей статье на VC.ru описал автор курса Growth Hacking: аналитика мобильного приложения Максим Годзи, руководитель подразделения Машинного обучения в App in the Air. Максим рассказывает о разработ...

[Перевод] Нейросети и глубокое обучение, глава 3, ч.3: как выбрать гиперпараметры нейросети? Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...

Миф о кадровом голоде или основные правила формирования вакансий Довольно часто от работодателей можно услышать о таком явлении как «кадровый голод». Я считаю, что это миф, в реальном мире нет кадрового голода. Вместо него есть две реальные проблемы. Объективная – соотношение между количеством вакансий и количеством кандидатов на рынке тр...

Универсальное и идеальное хеширование Начинаем неделю с полезного материала приуроченного к запуску курса «Алгоритмы для разработчиков». Приятного прочтения. 1. Обзор Хеширование — отличный практический инструмент, с интересной и тонкой теорией. Помимо использования в качестве словарной структуры данных, хеш...

Сравнительное тестирование PostgreSQL на FreeBSD, CentOS, Ubuntu Debian и openSUSE Привет, Хабр! Представляю вашему вниманию перевод оригинальной статьи «PostgreSQL benchmark on FreeBSD, CentOS, Ubuntu Debian and openSUSE» автора Martin Kováčik. В ней рассматриваются тесты СУБД PostgreSQL 10.1 в приближенных к реальным условиям средах на различных unix-сис...

Нейросеть DeepMind с разгромным счетом обыграла профессиональных игроков в StarCraft II Программа AlphaStar смогла всухую обыграть двух профессиональных игроков в стратегию в реальном времени в сериях из пяти матчей. Ранее алгоритмы не могли тягаться с человеком в этой игре.

[Перевод] Unix-пароль Кена Томпсона Где-то в 2014 году в дампах исходного дерева BSD 3 я нашёл файл /etc/passwd с паролями всех ветеранов, таких как Деннис Ричи, Кен Томпсон, Брайан В. Керниган, Стив Борн и Билл Джой. Для этих хэшей использовался алгоритм crypt(3) на основе DES — известный своей слабостью (и ...

Разработчик SearchFace о возможностях алгоритма Всем привет, я один из разработчиков сервиса SearchFace и готов поговорить о нашем сервисе в комментариях. Из-за шумихи с иском ВК на второй план отошло то важное, ради чего мы запустили сервис — чтобы протестировать возможности поиска. А раз уж теперь сервис доступен ши...

[Перевод] Краткий курс по управлению удаленными командами Всем привет! Я уже давненько не писал и подзабыл, как это делается, но хочу поделиться информацией, которая многим может пригодиться. Ведь ко мне постоянно пристают с вопросами, вроде: ● «Стоит ли работать удаленно?» ● «Как вы организовали удаленную работу для своей команды?...

[Из песочницы] Почему Swift может стать большим событием в глубинном обучении Здравствуй, Хабр! Представляю вашему вниманию перевод заинтересовавшей меня статьи «Why Swift May Be the Next Big Thing in Deep Learning» автора Max Pechyonkin, в которой автор рассуждает о языке на котором будет осуществляться глубокое обучение в ближайшие годы. Читать дал...

Сбалансированные двоичные деревья поиска: реализация на Julia Иллюстрация из работы Г.М. Адельсон-Вельского и Е.М. Ландиса 1962 года Деревья поиска — это структуры данных для упорядоченного хранения и простого поиска элементов. Широко применяются двоичные деревья поиска, в которых у каждого узла есть только два потомка. В этой статье ...

Запускаем свой нейросетевой детектор на Paspberry Pi с помощью Neural Compute Stick и OpenVINO С распространением и развитием нейронный сетей все чаще возникает потребность их использования на встроенных и маломощных устройствах, роботах и дронах. Устройство Neural Compute Stick в связке с фреймворком OpenVINO от компании Intel позволяет решить эту задачу, беря тяжелы...

Применение MATLAB/Simulink с аппаратурой производства АО «ИнСис» Важной практической задачей является использование Matlab/Simulink с реальной аппаратурой которая позволит принять сигнал из реального мира. Это очень полезно для отладки алгоритмов. В данной работе представлена технология подключения к Simulink устройств АЦП производства АО...

О чем думать на NALSD собеседовании Я описывал ранее типичное кодинг-интервью. Помимо кодинга почти всегда есть вопрос на проектирование систем. (Large) System Design. В случае собеседований на SRE, это еще более интересный (как по мне) зверь — NALSD. Non-abstract large system design. Главное отличие между SWE...

Трассировка лучей в мобильных играх на примере Love is Justice Трассировка лучей (ray tracing) — это перспективная технология, которая позволяет создавать графику, построенную на аналогиях реальных физических процессов. Вместо того чтобы рисовать свет, тени и отражения, разработчики, грубо говоря, создают условия, в которых все обрабаты...

Angry Birds AR: Isle of Pigs — злые птички в реальной жизни Это версия «злых птичек», где виртуальные персонажи и локации подмешиваются в реальную жизнь с помощью технологий дополненной реальности.

Как работает криптография на основе эллиптических кривых в TLS 1.3 Пара предупреждений читателю: Для того, чтобы (насколько это возможно) упростить процесс объяснения и сжать объем публикации, стоит сразу же сделать ключевую оговорку — все, что мы пишем, касаемо практической стороны рассматриваемой проблематики, корректно для протокола T...

Книга «Прагматичный ИИ. Машинное обучение и облачные технологии» Привет, Хаброжители! Эта книга Ноя Гифта предназначена для всех, кого интересуют ИИ, машинное обучение, облачные вычисления, а также любое сочетание данных тем. Как программисты, так и просто неравнодушные технари найдут тут для себя полезную информацию. Примеры кода даны н...

Алгоритм машинного обучения будет рекомендовать новые игры в Steam В результате поиск интересных игр должен стать проще прежнего.

WinForms: ошибки, Холмс Мы любим искать ошибки в проектах Microsoft. Почему? Всё просто: их проекты, как правило, легко проверить (работу можно вести сразу в среде Visual Studio, для которой у PVS-Studio есть удобный плагин) и они содержат мало ошибок. Поэтому обычный алгоритм работы такой: найти ...

Откуда берут фотографии для тестирования систем распознавания лиц Аннотированная фотография из набора данных Diversity in Faces от IBM Недавно компания IBM подверглась критике за то, что для обучения нейросетей без разрешения взяла общедоступные фотографии с фотохостинга Flickr и других сайтов, куда пользователи выкладывают свои снимки. ...

Как запустить ML-прототип за один день. Доклад Яндекс.Такси Машинное обучение применяется на всём цикле заказа автомобиля в Яндекс.Такси, и число компонентов сервиса, работающих благодаря ML, постоянно растёт. Чтобы строить их единообразно, нам потребовался обособленный процесс. Руководитель службы машинного обучения и анализа данных...

Что известно о BERT – новом алгоритме Google Апдейт основного поискового алгоритма Google при помощи технологии BERT стал самым громким обновлением за последние пять лет.

Российский сервис распознавания лиц интегрирован в решение компании Genetec Интеграция алгоритма FindFace от NtechLab с Genetec Security Center обеспечивает повышенный уровень безопасности и комфорта для любой организации. Распознавание лиц на основе искусственного интеллекта обогащает видеопотоки, собранные в Genetec Security Center, и помогает пов...

Samsung открывает бесплатный онлайн-курс по нейросетям в задачах компьютерного зрения Вы пока не разбираетесь, почему ReLU лучше сигмоиды, чем отличается Rprop от RMSprop, чем нормализованный сигнал лучше ненормализованного и почему сигналы вообще стоит пробрасывать? И зачем нейронной сети нужен граф, и какую он совершил ошибку, что она распространяется обрат...

Хватит использовать RSA Привет, %username%! RSA — первый широко используемый алгоритм асимметричной криптографии, который до сих пор популярен в индустрии. Он относительно прост, на первый взгляд. Шифрование и подпись RSA можно посчитать на листке бумаги, чем часто занимаются студенты на лаборат...

Инженерный подход к разработке ПО. От теории к практике Как проверить идеи, архитектуру и алгоритмы без написания кода? Как сформулировать и проверить их свойства? Что такое model-checkers и model-finders? Что делать, когда возможностей тестов недостаточно? Привет. Меня зовут Васил Дядов, сейчас я работаю программистом в Яндекс.П...

Apple представит SiriOS в 2020? Apple может показать совершенно новую операционную систему в 2020 году. Такое предположение высказали аналитики Mangrove Capital Partners. Новая ОС получит название SiriOS и будет широко использоваться в устройствах «интернета вещей». По мнению экспертов, компания пойдет на...

Хороший, плохой, злой… и другой В ноябре 2014 года я делился с читателями своими мыслями по поводу нового алгоритма агрегирования, названного мной «Среднее с динамическими весами». Трудно представить, но с тех прошло уже 4.5 года. Еще труднее представить, чтобы с тех пор по данной теме у нас не появилось н...

Сможет ли ИИ собрать кубик Рубика быстрее человека? Кубик Рубика является в какой-то степени уникальной головоломкой. С одной стороны, понять принцип того, как собирать и разбирать кубик довольно просто. С другой же, совершенствовать свое мастерство в собирании этой головоломки можно бесконечно. Люди во всем мире собирают ку...

Как взлететь на батарейках или практика эксплуатации электропарамотора SkyMax. Часть 2 Продолжение статьи: «Как взлететь на батарейках или немного теории электропарамотора. Часть 1» habr.com/ru/post/475174 4. Описание электропарамотора SkyMax. В предыдущей статье уже фигурировала фотография внутреннего устройства используемой батареи в проекте. Она же — в со...

[Из песочницы] Дружим часы реального времени PCF8563 с Arduino по I2C Привет, Хабр. Довелось мне использовать RTC на микросхеме PCF 8563 по I2C.Так как нормальных функции для более удобной работы с Arduino я не нашел, пришлось работать напрямую через I2C. В Англоязычном интернете нашел толковый туториал с подробным описанием процесса. Данная с...

Нейросеть защитит женщин от нежелательных фотографий пенисов Программистка из Сиэтла Келси Бресслер объявила о начале работы над нейросетью, которая сможет анализировать поступающие в личные сообщения в соцсетях фотографии и удалять снимки гениталий (дикпики) до того, как их увидит адресат, сообщает BBC. О необходимости создания подоб...

Изучаем Go: подборка видеозаписей докладов Сегодня язык Go широко используется для разработки распределённых и высоконагруженных приложений. Мы собрали для вас подборку видео, в основном с наших митапов, в которых разбираются преимущества и недостатки языка, и рассказывается об особенностях его применения на пример...

Искусственный интеллект улучшает качество графики старых видеоигр и делает это действительно хорошо Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, м...

«Эмпирические результаты лишь для публикации, реальные мотивы работ — эстетические». Большое интервью с Майклом Скоттом Майкл Скотт — уже 34 года как профессор Computer Science в Рочестерском университетe, а в родном универститете Wisconsin–Madison был деканом в течение пяти лет. Он занимается исследованиям в области параллельного и распределённого программирования и дизайна языков и обучает...

Обзор Kitchen Stories. Для начинающих поваров Я лично попробовал Kitchen Stories и сейчас могу с уверенностью заявить, что это лучшее приложение, которое только есть на рынке. Оно позволяет вам научиться готовить вкусные блюда без каких-то дополнительных источников, плюс совершенно не требует вложения реальных денег. Ит...

[Из песочницы] Считаем сменный график работы в уме Много людей, у которых график работы сменный. Проблема такого графика – сложность быстро посчитать для любой даты какой это день: рабочий или выходной. Есть много онлайн сервисов для расчета сменного графика, но еще проще это сделать в уме. В этой статье будет рассмотрен а...

[Перевод] Анонимность – иллюзия. По данным из обезличенных датасетов можно идентифицировать реальных людей Theguardian.com опубликовал выводы из исследования, сделанного двумя именитыми вузами: Бельгийским университетом CLouvain и Imperial College London: ученые подтверждают, что существует множество способов связать любые анонимные данные с реальными людьми. К примеру, данные...

[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 2 Содержание Глава 1 Глава 2 В прошлой главе мы видели, как нейросети могут самостоятельно обучаться весам и смещениям с использованием алгоритма градиентного спуска. Однако в нашем объяснении имелся пробел: мы не обсуждали подсчёт градиента функции стоимости. А это приличный...

Возможно ли без Redux? На сегодняшний день можно найти уйму позиций, где требуется react/redux. React прекрасен, вопросов нет. Вопрос к Redux — возможно ли без него. Если погуглить чуть-чуть, найдется добротная статья на хабре (https://habr.com/ru/post/350850/), где автор задается таким же вопросо...

Алгоритмы Facebook научатся эффективно распознавать стрельбу от первого лица Компания Facebook объявила о намерении повысить качество работы алгоритмов обнаружения на видеороликах стрельбы от первого лица. С этой целью систему искусственного интеллекта натренируют на кадрах, полученных с нательных камер полицейских. Как сообщается, в рамках партнерст...

[Из песочницы] Как устроен гибридный игровой ИИ и в чём его преимущества В продолжение некогда поднятой в нашем блоге темы игрового искусственного интеллекта поговорим о том, насколько применимо к нему машинное обучение и в каком виде. Своим опытом и выбранными на его основе решениями поделился эксперт по вопросам ИИ в Apex Game Tools Якоб Расму...

В сети Monero состоялся хардфорк с активацией PoW-алгоритма RandomX Разработчики ориентированной на повышенную приватность криптовалюты Monero в ходе состоявшейся 30 ноября видеоконференции сообщили об успешном хардфорке на блоке 1978433. Основной его особенностью стала активация нового алгоритма RandomX, сменившего прежний Proof-of-Work-алг...

Вы сразу понимаете, что перед вами порно. А поймет ли компьютер? В начале прошлого месяца Tumblr объявил, что будет банить порно. Когда новая политика в отношении контента вступила в силу, примерно через две недели — 17 декабря — стало очевидно, что будут проблемы. После развертывания системы искусственного интеллекта, которая должна был...

Эволюционирующие клеточные автоматы Соединим клеточные автоматы с генетическим алгоритмом и посмотрим, что из этого получится. В статье присутствуют Gif (трафик!) и контрастные картинки. У эпилептиков может случиться эпилептический припадок. Читать дальше →

Случайные числа и децентрализованные сети: имплементации Введение function getAbsolutelyRandomNumer() { return 4; // returns absolutely random number! } Как и в случае с концепцией абсолютно стойкого шифра из криптографии, реальные протоколы “Publicly Verifiable Random Beacon” (далее PVRB) лишь пытаются максимально приблиз...

Реализация целого типа в CPython На Хабре уже были статьи о подробностях реализации менеджера памяти CPython, Pandas, я написал статью про реализацию словаря. Казалось бы, что можно написать про обычный целочисленный тип? Однако тут не всё так просто и целочисленный тип не такой уж и очевидный. Если вам и...

Гэри Илш: RankBrain не использует UX-сигналы в своей работе Сотрудник Google Гэри Илш ответил в Reddit на вопрос о том, как работает алгоритм на базе машинного обучения RankBrain. В частности, какие сигналы он использует. Вопрос выглядел так: «RankBrain. Многие люди продолжают говорить, что часть системы RankBrain включает UX-сигналы...

Мнение: Почему Face ID для Android возможен даже без 3D-датчиков Как стало известно на этой неделе, Google работает над продвинутыми алгоритмами распознавания лиц, которым предстоит конкурировать с аппаратным комплексом Face ID от Apple. Мой коллега по AppleInsider.ru Александр Богданов попытался объяснить, почему, по его мнению, все поп...

Что будет делать искусственный интеллект, победивший людей в покер Буквально несколько дней назад мы рассказывали вам о первом искусственном интеллекте, который обыграл сразу пятерых профессиональных игроков в покер. Несмотря на заявление о том, что ИИ будет использоваться для абсолютно других нужд и карточная игра была лишь тестом, подроб...

Как установить приложение камеры для OnePlus 7 Pro на старый смартфон OnePlus На этой неделе компания OnePlus представила новенький OnePlus 7 Pro. Аппарат получился чрезвычайно интересным как с точки зрения дизайна, так и функциональных возможностей. Сразу видно, что разработчики постарались на славу, усовершенствовав не только аппаратную начинку, но...

[Перевод] Признаки настоящих программистов-сеньоров и методы их выслеживания в дикой природе Существует большой разброс в уровнях квалификации разработчиков. И то, что называют «сеньорностью», часто ничего не говорит о реальных возможностях программиста. Что делает некоторых разработчиков объективно лучше других? Что выделяет их из серой толпы? Если у программиста е...

Одноклассники запустили функцию размытия фона во время видеозвонка Одноклассники стали первой российской социальной сетью, запустившей функцию размытия фона во время видеозвонка. Новая опция доступна в мобильных приложениях сервиса для iOS и Android. В основе технологии – алгоритмы машинного обучения и нейросети, разработанные внутри соцсет...

Textly.AI – сервис для улучшения письменного английского Всем привет! Сегодня хотел рассказать вам о своем новом проекте – онлайн-помощнике для исправления ошибок в англоязычных текстах Textly.ai. Это сервис для тех, кто использует английский язык в коммуникациях или хочет улучшить навыки письма. Как это работает: расширения для ...

Американцы нашли дискриминацию чернокожих в алгоритмах медицинской техники Новое исследование выявило расизм в программном обеспечении больниц США для принятия решений, от алгоритмов которого страдают миллионы чернокожих людей.

О PBR на пальцах В этой статье я постараюсь описать теорию и подкрепить её практикой подготовки PBR-материалов с учётом актуальных тенденций и движков. Читать дальше →

Спор: прочитав до конца, вы поймёте, как и почему именно так работает GC Скажу сразу: я никогда не жду развёрнутого ответа на этот вопрос на собесах. Это глупо и моем случае — эгоисточно. Однако, на мой взгляд, помимо общего интереса к платформе, знать как он работает очень полезно, т.к. это снимает целый ряд вопросов. Например, исключает вариант...

[Из песочницы] Эффективные и не эффективные методы кодинга на Python Привет, Хабр! Предлагаю Вашему вниманию перевод статьи Good and Bad Practices of Coding in Python автора Duomly. Python – высокоуровневый язык программирования, акцентирующий внимание на удобочитаемости. Он разрабатывается, поддерживается и часто используется в соответствии...

[Перевод] Что такое коэффициент скорости обучения и как он улучшает характеристики глубокого обучения? Данная статья представляет собой мою попытку выразить свой взгляд на следующие аспекты: Что такое коэффициент скорости обучения и каково его значение? Как подбирать данный коэффициент при обучении моделей? Почему необходимо менять коэффициент скорости обучения в процесс...

[Перевод] Моделирование метрополиса В основе одной из самых знаковых игр всех времён лежит теория о том, как умирают города, внезапно оказавшая слишком влиятельной. В 1984 году разработчик Уилл Райт как раз завершил работу над своей первой видеоигрой в жанре shoot-em-up под названием Raid on Bungeling Bay. В...

CTO Tron со скандалом покинул свой пост, обвинив Джастина Сана в централизации проекта Люсьен Чен, технический директор и сооснователь платформы децентрализованных приложений Tron, объявил о своем уходе из проекта. Одновременно с этим он обвинил главу Tron Джастина Сана в том, что никакой реальной децентрализации текущий проект не предлагает, и заявил намерени...

Приложение “Сообщения” от Google получило спам-фильтр Надоели многочисленные спам-сообщения с различных номеров? Тогда стоит обратить внимание на приложение “Сообщения” от Google. На днях компания выпустила для него существенное обновление, которое добавляет спам-фильтр.Google против спамаК слову, о предстоящей функ...

Более чем в 50% CMS обнаружились проблемы с защитой паролей Исследователи из университета Пирея (University of Piraeus) в Греции сообщили, что более половины систем управления контентом используют устаревшие функции шифрования для защиты пользовательских паролей. Среди уязвимых CMS эксперты назвали WordPress, miniBB, SugarCRM и други...

Новый алгоритм дипфейка позволяет редактировать речь диктора в видео У каждого дипфейка должно быть благое обоснование, по крайней мере, на первых порах. Вот и новая разработка Adobe Research, в сотрудничестве с учеными из Стенфорда и Института Макса Планка преследует цель минимизировать затраты времени и съемок видео за счет применения дипфе...

Как простой <img> тэг может стать высоким риском для бизнеса? Безопасность на реальных примерах всегда интересна. Сегодня поговорим об SSRF атаке, когда можно заставить сервер делать произвольные запросы в Интернет через img тэг. Итак, недавно занимался тестированием на проникновение одновременно на двух проектах, сразу на двух э...

ML на Scala с улыбкой, для тех, кто не боится экспериментов Всем привет! Сегодня будем говорить о реализации машинного обучения на Scala. Начну с объяснения, как мы докатились до такой жизни. Итак, наша команда долгое время использовала все возможности машинного обучения на Python. Это удобно, есть много полезных библиотек для подг...

Машины атакуют: ИИ от DeepMind превзошёл профессиональных игроков в StarCraft II StarCraft II ещё с ноября 2016 года стала площадкой для экспериментов сотрудников DeepMind (подразделение Alphabet) в области искусственного интеллекта. В августе 2017 года DeepMind вместе с Blizzard позволили исследовать ИИ с помощью StarCraft II всем желающим в от...

Алгоритм компании DeepMind превзошел почти всех игроков в StarCraft II Программе AlphaStar удалось обыграть свыше 99,8% геймеров из почти 90 тыс. официально зарегистрированных на европейских серверах популярной стратегии. Этот результат позволяет присвоить алгоритму звание грандмастера.

[Из песочницы] Байесовская сеть, валюты и мировой кризис Эта статья про модель на основе Байесовской сети, которая описывает котировки мировых валют. Я покажу на основе простой метрики, что паттерн поведения котировок мировых валют за последние два года (с начала 2018 по конец 2019) совпадает с тем, который наблюдался в течении ...

[Перевод] Функциональное программирование: дурацкая игрушка, которая убивает производительность труда. Часть 1 Возможно, вы уже слышали о так называемом «функциональном» программировании. Возможно, вы даже подумываете о том, что вам стоит его как-нибудь попробовать. Ни в коем случае этого не делайте! Функциональное программирование полно недочётов, оно не подходит для реальных пр...

Домашний проектор Xiaomi Mi Projector Vogue Edition привлек большое внимание На площадке коллективного финансирования с большим успехом идет сбор на домашний проектор Xiaomi Mi Projector Vogue Edition, который предлагается по цене около 520 долларов на данной стадии. Устройство характеризуется поддержкой разрешения 1080р, а максимальная яркость ...

[Перевод] Машинное обучение агентов в Unity Эта статья об агентах машинного обучения в Unity написана Майклом Лэнхемом — техническим новатором, активным разработчиком под Unity, консультантом, менеджером и автором многих игр на движке Unity, графических проектов и книг. Разработчики Unity внедрили поддержку машинног...

[Перевод] Почему const не ускоряет код на С/C++? Несколько месяцев назад я упомянул в одном посте, что это миф, будто бы const помогает включать оптимизации компилятора в C и C++. Я решил, что нужно объяснить это утверждение, особенно потому, что раньше я сам верил в этот миф. Начну с теории и искусственных примеров, а за...

Гонка за мегапикселями: что умеют смартфоны с камерой 64 Мп Казалось бы, что мегапиксели уже никого не волнуют, а производители сосредоточились на программных алгоритмах обработки фото. Но тренд конца 2019 года — камеры с матрицами разрешением 64 и даже 108 Мп. Разбираемся, для чего это нужно и какие смартфоны оснащены новыми сенсора...

Математики создали проблему, которую не может решить машина Не все в мире познаваемо. По крайней мере, это касается искусственного интеллекта и алгоритмов машинного обучения. На первый взгляд подобное утверждение в наш век прогресса может прозвучать как самая настоящая ересь — но, увы, дела обстоят именно так. Международная группа ма...

Нейросеть поможет найти пропавших людей Новая технология позволяет волонтерам "Лиза Алерт" в 2,5 раза сократить время на просмотр и сортировку полученных снимков. В дальнейшем технология будет совершенствоваться и адаптироваться к специфике поиска пропавших людей. С 2018 года отряд начал применять беспи...

Теория и практика хобби для ИТ-шника В статье, посвященной адаптации на удаленке, мы коснулись темы хобби. Для человека, вся жизнь которого сосредоточена внутри квартиры, это, пожалуй, один из необходимых элементов комфорта на длительных промежутках времени. В этой статье разовьем данную мысль – суть тут не тол...

Honor показала долгожданную новинку в руках пользователя «Идеальный» молодёжный смартфон Honor предстал во всей красе Компания Honor опубликовала первую реальную фотографию смартфона Honor 20 Youth Edition или Honor 20 Lite, который будет представлен уже через несколько дней. Прием предварительных заказов на ожид...

Управление автомобилем по CAN Введение Беспилотный автомобиль StarLine на платформе Lexus RX 450h — научно-исследовательский проект, стартовавший в 2018 году. Проект открыт для амбициозных специалистов из Open Source Community. Мы предлагаем всем желающим поучаствовать в процессе разработки на уровне код...

Как разложить клиентов по полочкам. О сегментации клиентов без помощи специально обученных людей. Как работает сегментация? Какие алгоритмы применяет? Кому полезен модуль сегментации? Примеры из жизни с курьезами и фактами.

Анализ производительности виртуальной машины в VMware vSphere. Часть 1: CPU Если вы администрируете виртуальную инфраструктуру на базе VMware vSphere (или любого другого стека технологий), то наверняка часто слышите от пользователей жалобы: «Виртуальная машина работает медленно!». В этом цикле статей разберу метрики производительности и расскажу, ...

Бостон заменил планировщиков маршрутов школьных автобусов алгоритмами — сэкономил $5 млн, сократил автопарк и выбросы Алгоритм за 30 минут работы смог повысить эффективность маршрутов на 20% по сравнению с тысячами часов работы специалистов.

Когда искусственный интеллект научится рассуждать? С каждым днем самые продвинутые системы искусственного интеллекта становятся все умнее и умнее, получая новые знания и умения. ИИ уже сейчас способен во многих сферах быть лучше людей. Но за всем этим «превосходством» скрываются лишь строчки кода и четко выверенны...

[Перевод] Grasp2Vec: обучение представлению объектов через захват с самостоятельным обучением Люди с удивительно раннего возраста уже способны распознавать свои любимые объекты и поднимать их, несмотря на то, что их специально этому не учат. Согласно исследованиям развития когнитивных способностей, возможность взаимодействия с объектами окружающего мира играет крит...

Облако точек. Как мы развиваем цифровые технологии в строительстве Возможно, вы в курсе, а может быть и нет, но мы плотно занимаемся разработкой технологий Индустрии 4.0. IoT, машинное обучение на реальном производстве, цифровые двойники предприятий – со всеми этими вещами мы знакомы не понаслышке. Другими словами, мы знаем, как подружить «...

Небольшой обзор SIMD в .NET/C# Вашему вниманию предлагается небольшой обзор возможностей векторизации алгоритмов в .NET Framework и .NETCORE. Цель статьи познакомить с этими приёмами тех, кто их вообще не знал и показать, что .NET не сильно отстаёт от "настоящих, компилируемых" языков для нативной разрабо...

RoadBotics использует нейросети для мониторинга состояния городских дорог Стартап RoadBotics мониторит состояние дорог, используя машинное обучение и алгоритмы распознавания изображений. Это позволяет следить за состоянием дорожного полотна практически безостановочно. Как объясняют инженеры, в настоящее время обслуживание дорог обходится местным в...

Как ИТ-специалисту переехать в США: сравнение рабочих виз, полезные сервисы и ссылки в помощь По данным недавнего исследования Gallup, за последние 11 лет число россиян, желающих переехать в другую страну утроилось. Большая часть из этих людей (44%) находится в возрастной группе до 29 лет. Также согласно статистике, среди наиболее желанных стран для иммиграции сред...

Искусственный интеллект сочиняет музыку в стиле death metal в прямом эфире Исследовательский дуэт Dadabots, основанный бостонскими программистами Си Джей Карром и Заком Зуковски, занимается весьма необычным делом — обучает искусственный интеллект сочинению «тяжелой» музыки. В 2017 году разработчики представили black metal альбом «Coditany of Timen...

Рекомендовать нельзя спрятать Привет, Хабр! Меня зовут Николай, и я занимаюсь построением и внедрением моделей машинного обучения в Сбербанке. Сегодня расскажу о разработке рекомендательной системы для платежей и переводов в приложении на ваших смартфонах. У нас было 2 сотни тысяч возможных вариантов пл...

Как не запутаться в нейросетях? Инструменты для работы На что способны алгоритмы машинного обучения, мы уже выяснили, что им не под силу – в общих чертах разобрались. В этой статье журналист Теплицы Юлия Каленкова расскажет об инструментах работы с этими алгоритмами. Для машинного обучения действует очевидное правило: сложнее да...

Жизненный цикл ML в боевых условиях В реальном внедрении ML само обучение занимает от силы четверть усилий. Остальные три четверти — подготовка данных через боль и бюрократию, сложный деплой часто в закрытом контуре без доступа в интернет, настройка инфраструктуры, тестирование и мониторинг. Документы на сотни...

[Перевод] Пирамидальная сортировка (HeapSort) Перевод статьи подготовлен специально для студентов курса «Алгоритмы для разработчиков». Пирамидальная сортировка (или сортировка кучей, HeapSort) — это метод сортировки сравнением, основанный на такой структуре данных как двоичная куча. Она похожа на сортировку выбором, г...

«КиноПоиск» запустил функцию распознавания актёров во время просмотра кино или сериалов «КиноПоиск» запустил технологию распознавания лиц актеров в фильмах и сериалах. В ее основе лежат алгоритмы компьютерного зрения «Яндекса» и собственные разработки «КиноПоиска» в области машинного обучения.

Разобраться в политиках конфиденциальности приложений и сервисов — помогут нейросети Политики конфиденциальности сайтов и приложений, в которых описаны условия обработки персональных данных пользователей, обычно пишут юристы и… для юристов. Простому смертному понять суть может быть сложно. Решением проблемы занялся резидент Hacker News — он разработал алгори...

Как прокси помогают в продвижении сайтов: реальные сценарии использования, проблемы и решения Ранее в нашем блоге мы уже рассматривали реальные сценарии применения технологии прокси для решения задач информационной безопасности и сбора данных. Но на самом деле ее применения этим не ограничиваются. Прокси очень часто используют маркетинговые и SEO компании для продв...

Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи? В последнее время все чаще обсуждается применение AI в медицине. И, конечно, область медицины, которая прямо напрашивается для такого применения это областей диагностики. Кажется, и раньше можно было применять экспертные системы и алгоритмы классификации к задачам постано...

Monero может перейти на новый алгоритм консенсуса В сети ориентированной на повышенную приватность криптовалюты Monero может быть реализован новый PoW-алгоритм консенсуса под названием RandomX от разработчика децентрализованного интернета Arweave. Все зависит от результатов аудита нового протокола, сообщает Cointelegraph. Н...

«Старый дедовский способ за 15 рублей»: Как убрать скрип дверей на LADA Vesta – блогер Оказывается, можно почти за копейки избавиться от противного скрипа и подлечить «больное» место «Весты» – слабую фиксацию дверей. Автор канала «Парковка TV» рассказал, что он, как и многие владельцы LADA Vesta, столкнулся с дверными скрипами и из рук вон плохо работающими ф...

[Перевод] Тренинг Cisco 200-125 CCNA v3.0. Сертифицированный сетевой специалист Cisco (ССNA). День 4. Межсетевые устройства Сегодня мы узнаем о межсетевых устройствах и рассмотрим все устройства, которые требуются для вашей программы CCNA. У нас в Cisco имеется множество устройств, но для успешной сдачи экзамена вам достаточно будет знать всего о трёх устройствах. В конце этого видеоурока мы расс...

Quake II получил поддержку трассировки лучей для GeForce RTX Если вы уже успели стать обладателем одной из видеокарт семейства GeForce RTX, то для вас теперь доступна ещё одна игра с поддержкой аппаратной трассировки лучей. Внезапно это Quake II — культовый шутер, изначально вышедший в 1997 году. Однако стараниями п...

Комплексный маркетинг на реальных проектах с рекламными бюджетами Учим комплексному маркетингу на реальных проектах с рекламными бюджетами. Что даст обучение? Получите системные знания, освоите инструменты digital-маркетинга, научитесь создавать стратегию продвижения проекта. Для этого мы выделяем 25 часов теории и 55 часов практ...

[Перевод] Нейросети и глубокое обучение, глава 4: визуальное доказательство того, что нейросети способны вычислить любую функцию В данной главе я даю простое и по большей части визуальное объяснение теоремы универсальности. Чтобы следить за материалом этой главы, не обязательно читать предыдущие. Он структурирован в виде самостоятельного эссе. Если у вас есть самое базовое представление о НС, вы должн...

Osmo Mobile 3 от DJI — складной стабилизатор Компания из Китая анонсировала мобильный стабилизатор со складной конструкцией, который поможет снимать вертикальные и горизонтальные фотографии или клипы. Osmo Mobile 3 получил кнопку включения и кнопку переключения на селфи, Bluetooth, датчики для распознавание жестов и б...

[Из песочницы] Rekko Challenge — как занять 2-е место в конкурсе по созданию рекомендательных систем Всем привет. Моя команда в Тинькофф занимается построением рекомендательных систем. Если вы довольны вашим ежемесячным кэшбэком, то это наших рук дело. Также мы построили рекомендательную систему спецпредложений от партнеров и занимается индивидуальными подборками Stories в ...

Разбор: как устроен рынок высокочастотной торговли на бирже Евгений Аврахов, хедж-фонд Alteus, рассказывает о том, как устроен бизнес трейдеров, использующих для работы на бирже торговых роботов. Согласно данным Банка России, в настоящий момент на Московской бирже значительный объем торгов (30-50% в зависимости от финансового инст...

Дистанционная магистратура за границей: заметки перед диссертацией Пролог Существует несколько статей, например Как я поступил на дистанционное образование в магистратуру Walden (США), Как поступить в магистратуру в Англии или Дистанционное обучение в Stanford University. Все они обладают одним недостатком: авторы делились ранним опытом обу...

«Послушай, чтобы найти поломку»: опубликованы аудиозаписи неисправных индустриальных машин Инженеры из Hitachi подготовили тысячи аудиозаписей, на которых запечатлена работа промышленного оборудования в боевых условиях. С помощью такой библиотеки машинные алгоритмы смогут выявлять нештатную работу систем и прогнозировать потенциальные поломки. Рассказываем, что ...

[Из песочницы] Биометрическая обратная связь Основой для статьи послужил текст выступления автора на Project pitch-сессии DataFest6, который проходил 10-11 мая в Москве Все мы когда-то были детьми, у многих из нас есть уже свои дети или есть хотя бы опыт общения с маленькими детьми. Поэтому мы можем себе представить...

[Из песочницы] Устранение рекурсии в Python Привет, Хабр! Представляю вашему вниманию перевод статьи "Removing a recursion in Python, part 1" автора Эрика Липперта (Eric Lippert). На протяжении последних 20 лет я восхищался простоте и возможностям Python, хотя на самом деле никогда не работал с ним и не изуч...

Wayve разрабатывает ПО для робомобилей на основе одного лишь машинного обучения Многие компании, работающие над проблемой автономного транспорта, пытаются построить свою технологию на системе из правил, предусматривающих все дорожные ситуации, и напичкать автомобиль сенсорами и камерами. В относительно контролируемой — практически лабораторной ...

Как технологии быстрой разработки могут стать источником неприятных уязвимостей Безопасность на реальных примерах всегда более интересна. Как тестировщик на проникновение, люблю, когда приходят проекты, построенные на фреймворках быстрой разработки (Rapid development), подобно Ruby-on-Rails, Django, AdonisJs, Express и так далее. Они позволяют очень бы...

Уничтожить монополию Америки в EDA. Иннополис делает первый шаг Еще с 1990-х годов меня поражало, что проектирование всей мировой цифровой микроэлектроники контролируется двумя конторами в Калифорнии, которые находятся в 10 минутах езды друг от друга — Synopsys и Cadence. В те времена четверть мирового проектирования делалось в Японии ...

[Из песочницы] Пишем «Hello, world!» приложение для web на Haskell (Spock) Мне стало скучно писать на Python, захотелось чего-нибудь необычного. Решил попробовать Haskell. Языка я не знаю, однако просто писать консольные учебные программы, типа вычисления факториала, не хотелось. После изучения довольно большого числа постов про Haskell и его приме...

Как Иван метрики DevOps делал. Начало Однажды Ивана позвали на совещание, чтобы обсудить метрики DevOps. Каждый участник подготовил к встрече перечень неких метрики, которые на его взгляд, стоило бы реализовать. Слушая доклады Иван попытался подсчитать сколько метрик было предложено: 5,10, опять 10, и еще окол...

Создаем несложный шахматный ИИ: 5 простых этапов Перевели для вас статью Лори Хартикка (Lauri Hartikka) о создании простейшего ИИ для шахмат. Она написана еще в 2017 году, но базовые принципы остались теми же. Все файлы, которые использовал Лори, тоже доступны. Простой искусственный интеллект, который умеет играть в ш...

Дискретная математика для WMS: кластеризация партий товаров на складе В статье рассказывается как при внедрении WMS-системы мы столкнулись с необходимостью решения нестандартной задачи кластеризации и какими алгоритмами мы ее решали. Расскажем, как мы применяли системный, научный подход к решению проблемы, с какими сложностями столкнулись и ...

Использование DiagnosticSource в .NET Core: практика В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения. В настоящее время DiagnosticSource уже используется...

«Моя мечта — видеть человека сквозь деревья» — основатель «Лиза Алерт» о современных технологиях поиска Изобрести нечто, что будет искать пропавших в лесу людей — это не только инженерная задача. Сейчас любая, даже самая продвинутая технология, будет лишь инструментом в руках людей, которые должны уметь искать хоть с беспилотниками, хоть с деревянными факелами. Когда на ко...

Быть ментором Встречали ли вы людей, которые при первой же трудности не пытаются преодолеть ее самостоятельно, а бегут к более опытному товарищу за помощью? Старший коллега подсказывает решение, и вроде бы все довольны, но старший отвлекся, а младший не заработал собственный опыт. А ещ...

[] Бикватернионы Если вы открыли данную статью, то наверняка уже слышали о кватернионах, и возможно даже используете их в своих разработках. Но пора подняться на уровень выше — к бикватернионам. Можно и еще выше — к седионам! Но не сейчас. В данной статье даны основные понятия о бикватернио...

Алгоритмы машинного обучения позволят психиатрам сразу подбирать эффективное лекарство от депрессии Лечение депрессии сопряжено со множеством трудностей, одной из которых является неспособность врачей предсказать, будет ли тот или иной антидепрессант эффективен для пациента. Из-за этого при подборе медикаментов психиатры вынуждены прибегать к методу проб и ошибок, что нере...

[Перевод] Краткий и бодрый обзор архитектуры компиляторов Большинство компиляторов имеют следующую архитектуру: В данной статье я собираюсь детально препарировать эту архитектуру, элемент за элементом. Можно сказать, что эта статья — дополнение к огромному количеству существующих ресурсов на тему компиляторов. Она является а...

[Перевод] Генерация подземелий и пещер для моей игры На этой неделе я начал работать над новой темой: генерацией подземелий и пещер. Я использовал разбиение пространства для генерации комнат, алгоритмы генерации лабиринтов для генерации коридоров и клеточные автоматы для придания пещерам более естествненного внешнего вида. Р...

Билайн запускает систему искусственного интеллекта Цель разработки Билайн AI - создать для клиентов механизм, который может оптимизировать процессы в любой сфере деятельности предприятия, от маркетинга до логистики и управления персоналом, на основе большого массива данных и алгоритмов машинного обучения. Для корпоративных к...

Фильтр Калмана для минимизации энтропийного значения случайной погрешности с не Гауссовым распределением Введение На Habr математическое описание работы фильтра Калмана и особенности его применения рассматривались в следующих публикациях [1÷10]. В публикации [2] в простой и доходчивой форме рассмотрен алгоритм работы фильтра Калмана (ФК) в модели «пространства состояний», Сл...

Тренды сферы финансов: крупным компаниям нужно все больше ИТ-специалистов Сфера финансов — высокотехнологичная отрасль. Для того, чтобы пользователи могли не вставая с дивана подать заявку на кредит или купить акции той или иной компании, задействуются различные протоколы передачи финансовых данных (например, FIX, FAST, Plaza II), терминалы, бро...

Нейросеть услышала голоса людей и нарисовала их портреты В последнее время нейронные сети удивляют своими умениями — могли бы вы десять лет назад поверить в то, что компьютер сможет «оживлять» портреты Достоевского и Мэрилин Монро? Готовьтесь удивляться дальше, потому что исследователи из Массачусетского технологического институт...

Способности есть, а разума нет: задачи, с которыми ИИ не справляется «Машине надо принять решение кем пожертвовать — тем, кто внутри автомобиля, или тем, кто бросился под колёса», — профессор кафедры информационных технологий СПбГУ Татьяна Гаврилова объясняет, какие алгоритмы лежат в основе искусственного интеллекта и с какими трудностями ста...

Пишем XGBoost с нуля — часть 1: деревья решений Привет, Хабр! После многочисленных поисков качественных руководств о решающих деревьях и ансамблевых алгоритмах (бустинг, решающий лес и пр.) с их непосредственной реализацией на языках программирования, и так ничего не найдя (кто найдёт — напишите в комментах, может, что...

Знакомьтесь, <details> Я хочу рассказать о замечательно элементе <details> и показать несколько примеров его использования, от простых до безумных. Читать дальше →

[recovery mode] ShIoTiny: часы без пружины или реальное время и как с ним работать О чем эта статья Продолжаем цикл статей о ShIoTiny — визуально программируемом контроллере на базе чипа ESP8266. В этот статье рассказано о часах реального времени в контроллере ShIoTiny, синхронизации времени и использовании узлов работы с часами. Сайт проекта ShIoTiny...

Обзор Baseus Letour Dual U Charger. Сетевая зарядка с двумя USB Согласитесь, пользователи мобильных устройств часто встречаются с проблемой, когда не хватает разъемов для зарядки, либо во время очередной поездки приходится брать сразу несколько адаптеров питания, чтобы была возможность зарядить свой смартфон и планшет в одно время. Сегод...

Отказоустойчивый кластер PostgreSQL + Patroni. Опыт внедрения В статье я расскажу, как мы подошли к вопросу отказоустойчивости PostgreSQL, почему это стало для нас важно и что в итоге получилось. У нас высоконагруженный сервис: 2,5 млн пользователей по всему миру, 50К+ активных пользователей каждый день. Сервера находятся в Amazone в ...

Записки Биоробота Как вы давно уже поняли, я не человек, а биоробот — электронный мозг, вживленный в обычное тело. Мне скучно просто работать и просто жить. Я хочу понять все законы, по которым существует человек. Как и почему он действует, ленится, работает, лежит на диване, хочет большего, ...

Боль и слёзы в Svelte 3 Вместо предисловия Статья будет полезна тем, кто так-же как и Мы решил попробовать Svelte в живом проекте. В нашу небольшую компанию пришёл заказ на разработку веб-админки для сервиса с бекэндом на Mongodb Stitch. В последние пару лет frontend Мы пишем на React или Vue (в за...

Искусственный интеллект научился выслеживать хакеров Смогут ли хакеры противостоять искусственному интеллекту? Искусственный интеллект и системы, основанные на этой технологии, находят все большее применение в реальной жизни. Однако зачастую сфера их действия ограничивается анализом больших объемов данных или сложных вычислени...

«Из нейросетей и палок»: как необычного робота научили ходить Сегодня роботами самых причудливых форм очень сложно удивить. Однако группе ученых из Японии, кажется, это удалось. Они соорудили странных роботов из палок и… других подручных материалов. Более того, благодаря весьма продвинутой системе искусственного интеллекта, пост...

[Из песочницы] Вывод модели динамической системы дискретного фильтра Калмана для произвольной линейной системы Фильтр Калмана (ФК) является оптимальным линейным алгоритмом фильтрации параметров динамической линейной системы при наличии неполных и зашумленных наблюдений. Этот фильтр находит широкое применение в технических системах управления до оценок динамики изменения макроэкономич...

[Перевод] Что связывает парадокс дней рождения и уязвимости электронных подписей? Введение Допустим, я спрошу вас, сколько человек должно быть в комнате, чтобы у двух из них день рождения с вероятностью 50% приходился на один день. Каким будет ответ? Именно это и называется парадоксом дней рождения. Парадокс гласит: Если в комнате есть 23 человека, то ...

Ученые создали синтетические клетки, реагирующие на внешние сигналы, подобно реальным живым клеткам Исследователи разработали и создали экспериментальные образцы синтетических клеток, которые способны реагировать на внешние химические сигналы точно так же, как это делают реальные живые клетки. Экспериментальные образцы синтетических клеток начинают светиться флуоресцентным...

Лисы являются не настолько рыжими, как мы себе их представляем Некоторые лисы действительно плохо маскируются Мы живем в удивительное время, когда ученые способны сфотографировать черную дыру, расположенную на расстоянии 500 квинтиллионов километров от нашей планеты. При этом они не могут дать точные ответы на, казалось бы, детские вопр...

Как не промахнуться с бюджетом на серийное производство корпусов-2: цены на мелкосерийное литьё пластика В этой статье на Хабре мы привели 20 примеров цен на изготовление партий корпусов. Добавляем ещё несколько реальных случаев: это цены на мелкосерийное производство литьём пластика, от 25 до 50 штук. Возможно, теперь вы более лучше (с) представите, сколько «это» будет стоить....

В чем разница между форматами JPEG, GIF, PNG, RAW, BMP, TIFF? Вам известна разница между JPEG, GIF, PNG и другими графическими форматами? Когда нужно использовать тот или иной формат, или какой лучше всего подойдет для сохранения фотографий? Ниже вы найдете ответы на все эти вопросы. ПО ТЕМЕ: Как правильно снимать групповые фотографии ...

[Перевод] Кодирование речи на 1600 бит/с нейронным вокодером LPCNet Это продолжение первой статьи о LPCNet. В первом демо мы представили архитектуру, которая сочетает обработку сигналов и глубокое обучение для повышения эффективности нейронного синтеза речи. На этот раз превратим LPCNet в нейронный речевой кодек с очень низким битрейтом (с...

[Из песочницы] Резюме для переводчика-фрилансера Когда я только перешла на фриланс, я часто смотрела резюме других переводчиков, пытаясь понять, каким оно должно быть, чтобы привлечь внимание компаний или клиентов. Года два я открывала чужие резюме в надежде, что вот сейчас я увижу то, что ищу: полное, грамотно составленно...

[Перевод] Функциональный JavaScript: что такое функции высшего порядка и зачем они нужны? «Функции высшего порядка» — это одна из тех фраз, которыми часто разбрасываются. Но редко кто может остановиться и объяснить, что это такое. Возможно, вы уже знаете, что называют функциями высшего порядка. Но как мы используем их в реальных проектах? Когда и почему они быва...

Реальные испытания Samsung Galaxy Note 10+ 5G: невероятная скорость передачи данных и ужасная автономность Samsung Galaxy Note 10+ 5G — не первый смартфон с поддержкой 5G, но, вероятно, потенциально один из самых популярных в ближайшее время. Специалист ресурса MacWorld протестировал этот смартфон в США в сети Verizon в Провиденсе. Результаты оказались весьма неоднозна...

Flare-On 2019 write-up -0x01 — Intro Данная статья посвящена разбору всех заданий Flare-On 2019 — ежегодного соревнования по реверс-инжинирингу от FireEye. В данных соревнованиях я принимаю участие уже второй раз. В предыдущем году мне удалось попасть на 11-ое место по времени сдачи, решив все з...

Как искусственный интеллект изменил мобильную фотографию Можно смотреть на развитие технологий как со стороны «железок», так и со стороны софта. Думаем, что «железо» важнее ПО? Но это заблуждение. Без качественного софта аппаратное обеспечение становится бесполезным. Это касается не только процессоров, но и ка...

Анализируем телеметрию «Берешита», или Что случилось около Луны 11 апреля 2019 года Возможно, многие в этом году следили в прямом эфире за попыткой посадки первого израильского зонда на Луну. Отслеживать это было довольно удобно, так как в трансляцию часто выводились данные телеметрии о скорости и положении станции над Луной. Общий объем показанной тел...

Почему ученым не следует полагаться на ИИ в вопросах научных открытий, по крайней мере, сейчас Мы живем в золотом веке научных данных, окружив себя огромными запасами генетической информации, медицинских изображений и данных об астрономических наблюдениях. Текущий возможности алгоритмов машинного обучения позволяют искусственному интеллекту максимально быстро и в то ...

Оракул существует Или общий алгоритм по проблеме останова может существовать. Но, как всегда, есть нюансы. Если интересно прошу под кат. Читать дальше →

Практическая стеганография Применение принципов стеганографии для решения реальных задач Собственно, термин “стеганография” давно не вызывает вопросы, и в общем случае понятно, что речь идет о способах передачи скрытых данных внутри других, не скрытых. Правда, когда начинаются рассуждения про применим...

Доступный клон Apple Watch. Умные часы Huami Amazfit GTS красуются на реальных фото В конце августа компания Huami представила умные часы Amazfit GTS, которые с первых же рекламных изображений навевали мысли об Apple Watch. В данный момент устройство доступно для предварительного заказа, а в Сети уже появились реальные фотографии часов Huami Amazfit G...

[Из песочницы] Обзор и тестирование зарядного устройства SkyRC B6 Nano SkyRC B6 Nano — универсальное зарядное устройство, обеспечивающее заряд аккумуляторных батарей различных электрохимических систем. Статья содержит техническую информацию и будет полезна специалистам в области применения зарядных устройств и аккумуляторных батарей, а также по...

[Из песочницы] Применение Go в производственных системах. Валидаторы Добрый день, Хабр! Я довольно часто начинаю утро с просмотра хабра и наконец решил внести свой вклад в данный процесс изучения интересного. Если всё сложится, то это первая моя статься из цикла применения языка GO на производственных системах. Я хочу рассказать некоторые т...

Применение машинного обучения и Data Science в промышленности Хабр, привет. Написал пост, который идёт строго (!) в закладки и передаётся коллегам. Он со списком блокнотов и библиотек ML и Data Science для разных отраслей промышленности. Все коды на Python, и размещены на GitHub. Они будут полезны как для расширения кругозора, так и дл...

C++, FIX, Oracle и PL/SQL: что нужно знать IT-специалисту для получения работы в сфере финансов + реальные вакансии В наши дни, большинство бирж уже давно работают в электронном формате, а сделки совершаются не с помощью выкриков трейдеров из специальной ямы, а в пару кликов через интернет. Для организации торгов и участия в них используется передовой софт, железо, разрабатываются сложн...

[Из песочницы] Выигрышная стратегия Гомоку – 35 ходов При игре по стандартным правилам Гомоку для выигрыша черным требуется не более 35 ходов. В статье Вашему вниманию представлена полная выигрышная стратегия и соответствующий алгоритм игры. Демонстрация полного решения – здесь – можно поиграть и найти самые длинные варианты. ...

[Перевод] Инициализация в С++ действительно безумна. Лучше начинать с Си Недавно мне напомнили, почему я считаю плохой идеей давать новичкам C++. Это плохая идея, потому что в C++ реальный бардак — хотя и красивый, но извращённый, трагический и удивительный бардак. Несмотря на нынешнее состояние сообщества, эта статья не направлена против совреме...

Google сделала эксклюзивную функцию Gmail для Pixel доступной всем Вслед за масштабным редизайном Gmail в стиле Material Design 2.0 Google представила очередное обновление для фирменного почтового клиента. На этот раз приложение получило поддержку интеллектуальной функции Smart Compose, способной дополнять за вас недописанные предложения. ...

Обходные пути. Как атаки по сторонним каналам позволяют выкрадывать данные и обходить шифрование Для подписчиковВсе техники взлома криптографических систем разделяют на две большие группы: использующие недостатки самих алгоритмов шифрования и их физических реализаций. В этой статье мы рассмотрим последние, которые называют SCA (side-channel attacks) — атаки по сторонним...

А нужен ли экструдеру продвинутый функционал TMC драйверов? Я давно замечал - в обществе есть такая тенденция, назвать ее можно одним словом "а чем мы хуже" или "я тоже не лыком шит". Например появляется новый айфун или самсунг и все героически себе его покупают. Хотя если разобраться, то телефон то большинству нужен "чтобы звонить" ...

[Из песочницы] ShIoTiny: малая автоматизация, интернет вещей или «за полгода до отпуска» Основные тезисы или о чем эта статья Так как интересы людей разные, а времени у людей мало, то кратко о содержании статьи. Статья эта представляет собой обзор проекта контроллера с минимальной ценой и возможностью визуального программирования посредством WEB-браузера. Пос...

Искусственный интеллект MIT научился тренировать нейросети быстрее, чем когда-либо В попытке «демократизировать ИИ» ученые Массачусетского технологического института нашли способ использовать искусственный интеллект для гораздо более эффективного обучения систем машинного обучения — то есть, нейросетей. Они надеются, что новый алгоритм, позволяющий сэконо...

[Из песочницы] Подводные камни Java Здравствуйте. Хочу представить вашему вниманию небольшую статью. Цель данной публикации: Показать наиболее часто встречающиеся ошибки начинающих и некоторые приемы их исправления. Понятно, что некоторые ошибки могут быть сложными и происходить по тем или иным причинам. Цель...

Гуляем по городу с умом — 2: ходим по городу кругами с помощью генетического алгоритма В прошлой статье я описал алгоритм, позволяющий строить более интересные (в противовес более коротким, как делают всякие яндексы-гуглы) пешеходные маршруты между двумя точками. Алгоритм загружал достопримечательности, парки и прочие приятные и интересные для пешеходов объект...

Клиенты Domino’s Pizza жаловались, что в реальности пицца выглядит не так хорошо, как в рекламе. Сеть поставила камеры видеонаблюдения и подключила машинное обучение, чтобы исправить ситуацию Сеть пиццерий Domino’s Pizza натренировала алгоритм с машинным обучением на пиццах, чтобы научить его оценивать качество посредством камеры. Соответствующий сервис под названием DOM Pizza Checker дебютировал в Австралии и Новой Зеландии. С его помощью франчайзи Domino&...

В World of Warships вернулись ранговые бои Компания Wargaming.net объявила об установке на серверы многопользовательского военно-морского экшена World of Warships обновления 0.8.0. С релизом данного патча игра претерпела массу различных изменений. Так, новый геймплей авианосцев заметно отличается от прежнего...

Искусственный интеллект предсказывает вероятность смерти по ЭКГ Ученые не знают почему ИИ делает точные предсказания о смерти пациентов от сердечно-сосудистых заболеваний Хотели бы вы знать, когда умрете? Пока вы размышляете над этим не самым простым вопросом, исследователи из Пенсильвании обучили искусственный интеллект предсказывать ве...

Apple пригласила на работу руководителя разработки Google Assistant Компания Apple объявила о приеме на работу бывшего старшего вице-президента Google Джона Джаннандреа сразу же после того, как он сообщил об уходе из Google. Джаннандреа начал работать в Google в 2010 году и быстро занял должность руководителя разработок в области искусст...

Как потерять доступ в лайв систему, просто пошарив исходный код Безопасность на реальных примерах всегда более интересна. Один раз пришел клиент с запросом на тестирование на проникновение. У него было достаточно много причин для беспокойства, среди прочих прозвучала и такая: “Несколько месяцев назад к нам пришел новый разработчик, полу...

Межпозвоночная грыжа? Работай над ней Внимание! Данная статья не призывает к самолечению! Не является рекламной. Люди уникальны, единой схемы для всех нет. Статья будет иметь более мотивационный окрас, нежели россыпь медицинских терминов. Тем не менее, я считаю ей место быть, как реальной истории перехода от о...

Монады с точки зрения программистов (и немного теории категорий) Введение Как узнать, что человек понял, что такое монады? Он сам вам об этом расскажет в первые 5 минут общения и обязательно попробует объяснить. А ещё напишет об этом текст и по возможности где-нибудь его опубликует, чтобы все остальные тоже поняли, что такое монады. Среди...

Идея о поиске людей в лесу Эта статья описание небольшой идеи возникшей после прочтения недавней статьи «Обыскать 314 км² за 10 часов — финальное сражение инженеров-поисковиков против леса» Сразу предупрежу, что у меня маловато опыта в радиотехнике, и совсем нет оного в поиске пропавших людей, так чт...

[Перевод] Как работает FaceID в iPhone X: алгоритм на Python Одна из самых крутых фишек iPhone X – это метод разблокировки: FaceID. В этой статье разобран принцип работы данной технологии. Изображение лица пользователя снимается с помощью инфракрасной камеры, которая более устойчива к изменениям света и цвета окружающей среды. Исп...

Шорты про Scrum Гибкий суррогат Словом «Scrum» называются, как минимум, две сущности: философия и фреймворк. Философия, или подход к работе, описан в книге Джеффа Сазерленда. Фреймворк, т.е. алгоритм действий, описан в документе под названием Scrum Guide. Философия превратилась в фреймворк,...

AMD впервые за 12 лет заняла более 30% процессорного рынка Мы уже не раз говорили о том, что доля AMD на рынке процессоров растёт, причём во всех сегментах. Последние данные, относившиеся ко второму кварталу текущего года, указывали на то, что AMD занимает 17,1% рынка настольных CPU и 14,1% рынка мобильных процессоров. Данные P...

Инфракрасный датчик ЧСС, NFC и GPS: представлены фитнес-браслеты Huawei Band 3 и Band 3 Pro Вместе со смартфоном Nova 4e компания Huawei сегодня представила в Китае два новых фитнес-браслета — Band 3 и Band 3 Pro. Новинки оценены в $40 и $60 соответственно. Устройства оснащены экранами AMOLED диагональю 0,95 дюйма разрешением 240 х 120 пикселей. Ремешки...

Универсальное DRO на базе Arduino Nano — shDRO. Часть 2 И снова здравствуйте! Продолжаю описывать свою разработку shDRO. В данной части я опишу алгоритм опроса устройств и формат команд консоли. Первая часть. Читать дальше →

Отправка статистики из DataFrame в BigQuery на примере статистики Яндекс Директ В этой статье расскажу о том, как я свел статистику по всему контексту в одном месте с помощью BigQuery и Data Studio У меня появилась необходимость визуализировать данные по всем источникам трафика. Для данной задачи я использую Data Studio. Google Ads туда подтягивается ...

[Перевод] Храним SSH-ключи безопасно Хочу рассказать как безопасно хранить SSH-ключи на локальной машине, не боясь за то, что какое-то приложение может украсть или расшифровать их. Статья будет полезна тем, кто так и не нашел элегантного решения после паранои в 2018 и продолжает хранить ключи в $HOME/.ssh. Для...

Какие приложения установлены на моём смартфоне Данная тема довольно популярна в сети Интернет, поэтому написать материал о приложениях, которые установлены на моём смартфоне, был просто обязан. Скажу сразу, в игры не играю, поэтому из установленных только PUBG. Для многих смартфон – это просто средство для совершения зв...

Доказано: женский мозг сохраняет молодость дольше, чем мужской О том, что между женским и мужским мозгом существуют структурные различия, ученым известно уже давно. Так, в 2017 году исследователи из Amen Clinics изучили 20 000 фотографий головного мозга и выяснили, что женский мозг гораздо активнее мужского. Оказалось, что при большей ...

Кто использует протокол аутентификации SAML 2.0 У себя в блоге мы часто затрагиваем вопросы защиты данных и авторизации. Например, мы рассказывали о новом стандарте для беспарольной авторизации WebAuthn и даже брали интервью у одного из его разработчиков. Также обсуждали технологию DANE для аутентификации доменных имен по...

[Перевод] Микровзаимодействия и их использование в пользовательских интерфейсах В переводе данной статьи автор рассказывает о составляющих микровзаимодействия в дизайне, описывает их утилитарные функции в контексте общего дизайна, а также приводит примеры где эти микровзаимодействия помогают выполнять полезные функции при взаимодействии пользователя с и...

Facebook вводит новые меры для борьбы с проблемным контентом Facebook объявил о внедрении ряда новых мер, призванных сократить охват тех страниц и групп, которые нарушают правила соцсети в отношении контента. Новый сигнал в алгоритме новостной ленты Теперь алгоритм Facebook будет использовать новый сигнал Click-Gap, с помощью которого...

Самый мягкий и пушистый путь в Machine Learning и Deep Neural Networks Современное машинное обучение позволяет делать невероятные вещи. Нейросети работают на пользу общества: находят преступников, распознают угрозы, помогают диагностировать болезни и принимать сложные решения. Алгоритмы могут переплюнуть человека и в творчестве: они рисуют карт...

Не такой, как все: в Redmi Note 7 Pro используется серьезно доработанная платформа Snapdragon 675 18 марта в Китае состоится локальная премьера смартфона Redmi Note 7 Pro. Все характеристики этой модели мы уже знаем, но вот то, о чем мы даже не догадывались: как оказалось, в этом смартфоне используется серьезно доработанная версия однокристальной платформы Qualcomm ...

[Перевод] Представьте себе ваши данные перед тем, как вы их соберете Перевод подготовлен для студентов курса «Прикладная аналитика на R». Нам, как исследователям данных (data scientist), часто дают набор данных и просят использовать его для получения информации. Мы используем R для обработки, визуализации, моделирования, подготовки таблиц и...

Популярные и новые онлайн игры для любителей адреналина от казино Вулкан Никто не станет отрицать, что с приходом в нашу жизнь всемирной сети изменились многие привычные процессы. Раньше студентам приходилось тратить много времени для сбора нужной для написания научной работы информации. Сегодня же это может занимать всего несколько часов. Вместе...

Не забудьте повысить шанс ответа клиенту, используя повторный запрос в L7 балансировке Используя nginx для балансировки HTTP трафика на уровне L7 есть возможность направить запрос клиента на следующий сервер приложений, если целевой не возвращает положительный ответ. Проба механизма пассивной проверки состояния работоспособности сервера приложений показало нео...

[Из песочницы] Абстрактная фабрика на пальцах Написать данную статью меня заставили две причины. Совсем недавно я познакомился с паттерном Абстрактная фабрика. Как говорится – «Не умеешь сам, научи товарища». Известно, что один из лучших способов закрепления материала – это объяснение кому-либо ранее изученного. Вторая ...

UserBenchmark обновляет рейтинг процессоров UserBenchmark, возможно, не является фаворитом среди энтузиастов, но это очень интенсивно используемый инструмент тестирования производительности. Старый алгоритм использовал в качестве лидера Core i7-7700K и с появлением чипов с высокой тактовой частотой и большим количес...

Преобразование полигональных моделей в граничное представление: алгоритм и примеры кода В большинстве систем проектирования (САПР) основным представлением моделируемого объекта является граничное представление геометрии или B-rep (Boundary representation). Но все чаще пользователям САПР приходится иметь дело с полигональными моделями, например, полученными в ре...

[Из песочницы] SciPy, алгоритмы на графах SciPy (произносится как сай пай) — это пакет прикладных математических процедур, основанный на расширении Numpy Python. Он значительно расширяет возможности Python, предоставляя в распоряжение пользователя команды и классы высокого уровня для управления данными и их визуал...

Технологии Intel легли в основу камеры TrailGuard AI, которая будет помогать выслеживать браконьеров в африканских заповедниках Компания Intel рассказала, что её технологии нашли применение в устройстве, призванном защитить диких животных от браконьеров. Вычислительный модуль Intel Movidius 2 VPU стал основой для камеры TrailGuard AI, созданной некоммерческой организацией Resolve. Эта камера со...

Фильм «Супермен» записали на куске стекла Это стало первым подтверждением концепции проекта Project Silica от Microsoft Research. В нем используются последние открытия в области сверхбыстрой лазерной оптики и искусственного интеллекта для хранения данных в кварцевом стекле. Лазер кодирует данные в стекле, создавая с...

Pioneer и Canon будут совместно разрабатывать 3D-LiDAR Японские компании Pioneer и Canon объявили о совместной разработке датчика 3D-LiDAR. Такой датчик, использующий лазерное излучение, сможет не только точного определять расстояния до объектов, но и формировать трехмерную карту окружающей среды в режиме реального времени....

Опыт применения GSM модуля в домашней автоматизации На даче холодно, и вы хотите за несколько часов до своего приезда туда включить обогреватель, или вас беспокоит возможность аварийного отключения системы отопления загородного дома в ваше отсутствие. Все эти проблемы можно решить с помощью GSM модуля, который умеет отправлят...

Google представила новый стандарт шифрования для маломощных Android-смартфонов Компания Google разработала новый стандарт шифрования данных, который получил название Adiantum. Об этом представители компании написали в своем блоге. Новейшая разработка предназначена для защиты информации на маломощных устройствах под управлением Android, аппаратную осно...

Google запускает решение для показа реальных URL для AMP-страниц Google решил проблему с отображением URL издателей, использующих формат AMP. Теперь в результатах поиска в браузере Chrome пользователи смогут видеть реальный URL (ebay.com), а не Google AMP URL (google.com/amp/ebay.com). Для этого Google внедрил в Chrome поддержку нового ве...

Искусственный интеллект создаст новый сорт виски. И его можно будет попробовать Уже никого не удивишь тем, что искусственному интеллекту доверяют написание картин и создание музыкальных произведений, но руководство винокуренного завода Mackmyra в Швеции нашло ему, пожалуй, весьма необычное применение. Они решили задействовать компьютерный алгоритм для...

Как взять сетевую инфраструктуру под свой контроль. Глава третья. Сетевая безопасность. Часть третья Эта статья является пятой в цикле статей «Как взять сетевую инфраструктуру под свой контроль». Содержание всех статей цикла и ссылки можно найти здесь. Эта часть будет посвящена Campus (Office) & Remote access VPN сегментам. Может показаться, что дизайн офисной сети...

DxOMark: Huawei Mate 30 Pro обладает лучшей в мире камерой Специалисты DxOMark рассмотрели камеру в новейшем флагманском аппарате Mate 30 Pro от китайской Huawei — это тот самый смартфон, который был лишён всяких служб Google (включая магазин приложений Play) из-за санкций США. В остальном это вполне современный аппарат, наделённый ...

[Перевод] 6 интересных идей применения дополненной реальности (AR) Прим. пер.: в своей статье, оригинальное название которой: «6 Interesting Augmented Reality Concepts», Ник Бабич собрал ценную подборку идей применения AR, которая будет интересна даже тем, кто никак не связан с разработкой. Среди концепций есть реально работающие продукты,...

SciPy, оптимизация SciPy (произносится как сай пай) — это пакет прикладных математических процедур, основанный на расширении Numpy Python. С SciPy интерактивный сеанс Python превращается в такую же полноценную среду обработки данных и прототипирования сложных систем, как MATLAB, IDL, Octave,...

Датасеты по ИБ для машинного обучения В презентации по машинному обучению в ИБ я приводил слайд с примерами датасетов, которые можно использовать в своих проектах по машинному обучению. У меня несколько человек попросили ссылок на них, что я и делаю.

«Теория Большого взрыва» и практика применения Python Вступление В последнее время активно изучаю язык программирования Python. Особенно меня заинтересовало использование Python в распознавании и классификации лиц. В статье я попробую применить распознавание лиц для сериала «Теория Большого взрыва». Читать дальше →

Переход к 3D: влияние архитектуры чипов и алгоритмов записи на срок службы SSD Хотя с момента появления первого SATA SSD прошло уже 14 лет, многие потребители и по сей день относятся к твердотельным накопителям с изрядной долей скепсиса. Главная причина недоверия — ограниченность рабочего ресурса флэш-памяти, обусловленная постепенной деградацией полу...

Где найти реальные отзывы автосалонов? Ни для кого не является секретом, что продажи автомобилей сокращаются, качество автомобилей ухудшается, как следствие, возникает проблема выбора правильного автосалона для покупки нового автомобиля. Ведь никому не хочется, чтоб автосалон, который продал вам автомобиль обанкр...

Тренировки отряда «Альфа» ЦСН ФСБ приводят к огнестрельным ранениям Боевое оружие используется на спецназовцах для того чтобы выжить? Использование боевых патронов во время тренировок спецназовцев «Альфы» вопреки уставам боевой подготовки подтвердил подполковник запаса ФСБ РФ Алексей Филатов в своем интервью. Подобная практика широко примен...

Сенатор США призвал ФБР оценить риск для национальной безопасности со стороны российского приложения FaceApp За последние дни Сеть буквально заполонили фотографии приложения FaceApp, которое посредством алгоритмов на основе искусственного интеллекта состаривает людей на снимках. В приложении есть и другие фильтры, но все они далеко не столь качественны и эффектны. Однако на дн...

Как научить машину понимать инвойсы и извлекать из них данные Привет, хабр! Меня зовут Станислав Семенов, я работаю над технологиями извлечения данных из документов в R&D ABBYY. В этой статье я расскажу об основных подходах к обработке полуструктурированных документов (инвойсы, кассовые чеки и т.д.), которые мы использовали совсем ...

Поисковый алгоритм Bing на 90% основан на машинном обучении Алгоритм ранжирования поисковой системы Bing, принадлежащей Microsoft, более чем на 90% основан на машинном обучении (ML). Об этом заявили сотрудники поиска Фредерик Дубут (Frédéric Dubut) и Нагу Ранган (Nagu Rangan) в панельной дискуссии на тему «Man vs Machine» на конферен...

[Перевод] Топ-65 вопросов по SQL с собеседований, к которым вы должны подготовиться в 2019 году. Часть I Перевод статьи подготовлен для студентов курса «MS SQL Server разработчик» Реляционные базы данных являются одними из наиболее часто используемых баз данных по сей день, и поэтому навыки работы с SQL для большинства должностей являются обязательными. В этой статье с вопрос...

На AT&T подали в суд за изменение иконки сотовой сети с 4G на 5G E В январе этого года на Хабре публиковалась новость о том, что американский оператор связи AT&T «перешел» на 5G, просто изменив значок 4G. Реального апгрейда на сети пятого поколения не было и не могло быть, поскольку в общем доступе еще нет мобильных устройств, которые...

Google выпускает криптографический ключ на USB-C. На что он способен? Обеспечение «цифровой безопасности» крайне важно в наши дни В последние годы Google является одним из ключевых игроков в разработке самых разных технологий и стандартов, связанных с двухфакторной аутентификацией (2FA). Помимо того, что вы можете использовать свои у...

[Перевод] Нейросети и философия языка Почему теории Витгенштейна остаются основой всего современного NLP Векторное представление слов — пожалуй, одна из самых красивых и романтичных идей в истории искусственного интеллекта. Философия языка — это раздел философии, исследующий связь между языком и реальностью и ...

Искусственный интеллект создаёт экстравагантные смеси специй Компания IBM совместно со старейшим американским производителем специй McCormick, объединили опыт для создания высокотехнологичных смесей специй. McCormick предоставила собранные в течение 40 лет данные о вкусах и предпочтениях клиентов. IBM, используя свой новый ...

[Из песочницы] Ревизия уровней доступа пользователей с помощью Power BI на примере CMS Битрикс (БУС) В статье показан пример применения Power BI для анализа доступов пользователей на сайте под управлением 1С-Битрикс. Читать дальше →

Volvo поможет в развитии детского райдшерингового сервиса Zūm Компания Volvo Cars в рамках стратегии по развитию транспортных сервисов будущего окажет финансовую поддержку компании Zūm — стремительно набирающей популярность райдшеринговой платформе для детей. Базирующийся в Калифорнии (США) стартап Zūm начал свою деятельность в 2015 го...

Новый стартап разрабатывает систему навигации на основе дополненной реальности внутри помещений На сегодняшний день добраться из пункта А в пункт В не так-то и сложно. Даже если вы не знаете город или район — одна из многочисленных навигационных систем или те же карты от Google подскажут вам дорогу. А сейчас представьте себе ситуацию, в которой, наверняка, многи...

Как работает искусственный интеллект В последнее время мы все больше слышим об искусственном интеллекте. Он применяется практически везде: от сферы высоких технологий и сложных математических вычислений до медицины, автомобилестроения и даже при работе смартфонов. Технологии, лежащие в основе работы ИИ в совре...

Распознавание объектов в режиме реального времени на iOS с помощью YOLOv3 Всем привет! В данной статье мы напишем небольшую программу для решения задачи детектирования и распознавания объектов (object detection) в режиме реального времени. Программа будет написана на языке программирования Swift под платформу iOS. Для детектирования объектов буд...

Поразительная креативность цифровой эволюции В этой статье собраны описания, полученные непосредственно от исследователей, которые регистрировали подобные ситуации в области искусственной жизни и эволюционного моделирования. Мы представляем существенное доказательство того, что наличие и значимость «сюрпризов эволюции»...

Mindtech: разработаны генератор синтетических данных и пакет ИИ-инструментов Chameleon Британский стартап Mindtech Global Ltd представил продукт Mindtech Chameleon Simulator, ориентированный на создание массивов синтетических визуальных данных для обучения нейронных сетей, и пакет ИИ-инструментов Mindtech Chameleon, предоставляющий полный с...

Какое будущее ждёт мобильную фотографию 2019 выдался богатым на новые технологии в области мобильной фотографии. Так, например, мы увидели в нескольких смартфонах перископическую камеру, которая позволяет добиваться потрясающего зума, доселе невиданного на мобильных устройствах. Huawei P30 Pro с его 40-мегапиксел...

Дзен развенчивает мифы о Дзене На майском Дзен-понедельнике руководитель службы поддержки Дзена Александр Соболь развенчал популярные мифы о платформе, накопившиеся за последнее время. «После анонса новой версии, алгоритм в один день обрушил мои показы» В марте мы анонсировали новую версию алгоритма, кото...

Что не так с экспериментом Microsoft про 4-х дневную неделю или не теряем голову при виде 40% эффективности Последние дней 10 по миру регулярно пишут про эксперимент по переходу на 4-х дневную рабочую неделю и эффектов в 40% от такого решения. Хабр не исключение, и аналогичный пост набрал 93 плюса и 71,4 тысячи просмотров и 338 комментариев. Т.е. результат более чем приличный. Ме...

Разработанная американскими исследователями система наблюдения распознает действия находящегося за стеной человека при помощи радиоволн Американские разработчики создали нейросеть, способную распознавать действия людей как по видеозаписи, так и по данным радиоволнового сканирования через стену и другие препятствия. Разработка будет представлена на конференции ICCV 2019, а статья о ней опубликована на сайте М...

О чем плачут дети? Новый переводчик поможет понять Наш голос является, пожалуй, одним из самых универсальных средств коммуникации. И даже если мы говорим на разных языках, всегда можно воспользоваться универсальными программами для перевода, чтобы понять собеседника. Но как быть, если человек пока еще не умеет говорить, но ...

Разработка hexapod с нуля (часть 3) — математика Всем привет! Разработка гексапода продвигается и наконец-то базовая математическая часть протестирована и готова к документированию. Чтобы проект дожил до конца и не остался пылиться на полке нужно видеть его сдвиги в положительную сторону, даже если они незначительны. В эт...

Дифференцируемое программирование С четырьмя параметрами я могу задать слона, а с пятью я могу заставить его шевелить хоботом. – John Von NeumannИдея «дифференцируемого программирования» очень популярна в мире машинного обучения. Для многих не ясно, отражает ли этот термин реальный сдвиг в том, как исследов...

Shark Simulator 2018 1.6 Вы сможете ощутить все прелести и тяготы жизни этого водного хищника. В процессе игры геймеру предстоит нападать на различных морских обитателей, дайверов и отдыхающих в прибрежной зоне людей. Помимо этого его ожидает выполнение интересных заданий и сбор монеток, разбросанны...

[Из песочницы] Машинное обучение для менеджеров: таинство сепуления Введение Очередной раз работая с компанией, делающей проект, связанный с машинным обучением (ML), я обратил внимание, что менеджеры используют термины из области ML, не понимая их сути. Хотя слова произносятся грамматически правильно и в нужных местах предложений, однако их ...

Кругом враги. Как параноику планировать свою работу Казалось бы, что сложного может быть в планировании своей работы? Берёшь листок бумаги, записываешь на нём задачи, делаешь — всё просто. Но в реальности планирование почему-то не работает «из коробки». Приходит вот такой страшный зверь и самым наглым образом всё портит. К...

Новый компьютерный алгоритм позволит фотокамере «заглянуть за угол» По мере бурного развития современных видео-технологий, понятие «всевидящее око Большого Брата» перестает быть чем-то абстрактным: ежедневно миллионы людей становятся объектами съемки многочисленных камер скрытого наблюдения. К сожалению, уже скоро спрятаться от них станет ещ...

Сбербанк научился с помощью ИИ предсказывать выручку любой компании в России Новая модель Сбербанка основана на алгоритме Random Forest, применяющемся для задач классификации, кластеризации и регрессии и использующем большое количество деревьев решений, каждое из которых дает невысокое качество классификации. Повышение качества итогового результата р...

[Перевод] Осваиваем async/await на реальном примере Конструкция async/await представляет собой сравнительно новый подход к написанию асинхронного кода в JavaScript. Она основана на промисах и, в результате, не блокирует главный поток. Новшество этой конструкции заключается в том, что благодаря ей асинхронный код становится по...

Какие возможности дает изменение алфавита ДНК? На протяжении всей человеческой истории люди, еще ничего не зная о ДНК и механизмах наследственности, меняли гены культурных растений и домашних животных, подвергая их действию искусственного отбора, селекции. В 1973 году был получен первый трансгенный организм: ученые научи...

Основоположники теории распределенных систем в объятьях гидры Это Лесли Лэмпорт — автор основополагающих работ в распределённых вычислениях, а ещё вы его можете знать по буквам La в слове LaTeX — «Lamport TeX». Это он впервые, ещё в 1979 году, ввёл понятие последовательной согласованности, а его статья «How to Make a Multiprocessor Com...

Подсчитываем энергобюджет радиолинии для спутника формата CubeSat Предисловие Думаю, нужно коротко пояснить, почему вдруг такая, казалось бы, тривиальная тема с подсчетом энергобюджета и почему именно спутники CubeSat? Ну, здесь всё достаточно просто: моя короткая педагогическая практика показала (мне), что тема эта хоть и базисная, но дал...

Как открыть фото HEIC с Айфона на компьютере: что это такое и как сделать обратно съемку в JPG? Существует множество графических форматов, но популярных не так и много. У каждого из них есть свои достоинства и недостатки, отличия в алгоритмах сжатия. Так, TIFF подходит для хранения растровой графики или изображений с большой глубиной цвета, PDF позволяет использовать в...

Chrome делает интернет более доступным для слабовидящих TalkBalk в Google Chrome - это функция доступности, которая помогает слабовидящим перемещаться по Интернету.Однако, когда речь идет об изображениях, функция ограничена чтением описаний изображений или же совсем пропускает их. Теперь Google официально запустил автоматические ...

Фото дня: умные часы Apple Watch Series 5 на руке пользователя Евразийская экономическая комиссия давно является надежным источником новостей о новых мобильных устройствах компании Apple и не только. На этой неделе Евразийская экономическая комиссия зарегистрировала сразу несколько устройств Apple, работающих под управлением операц...

Владельцам Apple Card разрешили брать большие кредиты после жалоб на сексизм Банк-партнёр Apple — Goldman Sachs разрешил клиентам просить об увеличении кредитного лимита по карте Apple Card. Причиной такого решения стали обвинения в дискриминации по половому признаку. Недавно некоторые пользователи заявили, что в банковские алгоритмы изначально было ...

Подножка для мозга: платформа распределенного реестра Hedera Hashgraph Алгоритм консенсуса, асинхронная толерантность к необъяснимым ошибкам, ориентированный ациклический граф, распределенный реестр — о том, что объединяет эти понятия, и как не вывихнуть себе мозг — в статье о Hedera Hashgraph. Читать дальше →

Книга «GraphQL: язык запросов для современных веб-приложений» Привет, Хаброжители! У нас вышла книга по языку запросов GraphQL. Мы решили поделиться переводом главы «Анатомия запросов GraphQL» «Снежный клык» (Snowtooth) — выдуманный горнолыжный курорт. Ради примеров в данной главе мы сделаем вид, что это настоящая гора и мы там работ...

Build 2019: Microsoft представила платформу Fluid Framework В рамках конференции Build 2019 Microsoft представила новую платформу Fluid Framework, которая позволит разработчикам создавать быстрые и гибкие распределённые веб-приложения. Компания намерена сломать барьеры традиционных документов, создав идеальную среды для совместной р...

Обучающий курс по DataPower Материал подготовлен в соавторстве с пользователем wedmeed В 2017 году, когда начинался наш проект во Вьетнаме, мы столкнулись с новым для нас зверем IBM DataPower. IBM DataPower – продукт, представляющий собой gateway между клиентами и бэкендами, предназначенный для фильтр...

Разбор: как заработать на инвестициях в биржевые индексы и ETF Изображение: Pexels В статьях и передачах на экономические темы часто можно услышать фразы вроде «индекс S&P500 обновил исторический максимум» или «индекс РТС в ходе торгов обвалился на 200 пунктов». Сегодня мы поговорим о том, какой на самом деле смысл скрывается за ...

Реверс-инжиниринг. История. Моя Всем привет, На этот раз статья будет не технической (хотя в ней и будут попадаться какие-то технические термины/моменты), а скорее автобиографической, если так можно выразиться. Эта статья о том, как я докатился до такой жизни пришёл в реверс-инжиниринг, что читал, чем инт...

[Перевод] Отлаживаем развертывание ПО со strace Моя основная работа — это, по большей части, развертывание систем ПО, то есть уйму времени я трачу, пытаясь ответить на такие вот вопросы: У разработчика это ПО работает, а у меня нет. Почему? Вчера это ПО у меня работало, а сегодня нет. Почему? Это — своего рода отладка,...

О Структурном Моделировании Организационных Изменений 75% 3 из 4 — так Boston Consulting Group оценивает долю IT проектов, почивших по не-техническим причинам. Уже вот две подряд редакции свода знаний по управлению проектами (PMBOK) выделяют процессы по управлению стейкхолдерами в отдельную область знаний под счастливым ном...

Autodesk Maya: полезные базовые функции для работы с 3Д моделями Недавно я столкнулся лицом к лицу с таким зверем как Autodesk Maya. За плечами у меня не было опыта в работе с 3Д моделированием и пришлось в экстренном порядке прокачиваться, начиная с основ, а также ознакомится с функциональностью данного ПО, чтобы проверить работу плагина...

[Перевод] Отличия LabelEncoder и OneHotEncoder в SciKit Learn Если вы недавно начали свой путь в машинном обучении, вы можете запутаться между LabelEncoder и OneHotEncoder. Оба кодировщика — часть библиотеки SciKit Learn в Python и оба используются для преобразования категориальных или текстовых данных в числа, которые наши предсказате...

Лучшая коллекция бесплатных развлечений Сколько бы нам не говорили о том, что для исполнения мечты требуется тяжело и много трудиться, реальность показывает, что подобные постулаты безнадежно устарели. Ни для кого не секрет, что масса успешных людей – это люди молодого возраста. Так почему бы не попытаться войти в...