Социальные сети Рунета
Вторник, 21 мая 2019
24 сентября 2018   11:58

Как мы написали еще один алгоритм RFM-анализа

Недавно мы рассказали, почему придумали свой RFM-сегментатор, который помогает сделать RFM-анализ за 20 секунд, и показали, как использовать его результаты в маркетинге. Теперь рассказываем, как он устроен. Читать дальше →

Подробности на сайте: habr.com

[Перевод] Понимание алгоритма БПФ Здравствуйте, друзья. Уже завтра стартует курс «Алгоритмы для разработчиков», а у нас остался один неопубликованный перевод. Собственно исправляемся и делимся с вами материалом. Поехали. Быстрое преобразование Фурье (БПФ — англ. FFT) является одним из важнейших алгоритмов о...

[Перевод] RethinkDB: почему мы закрылись Когда мы объявили, что RethinkDB закрывается, я пообещал написать критический анализ посмертно. Я взял некоторое время, чтобы переосмыслить полученный опыт, и сейчас могу его четко изложить. Читать дальше →

Тайна прошивок Авторы: к.ф.-м.н. Чернов А.В. (monsieur_cher) и к.ф.-м.н. Трошина К.Н. Как с помощью самых общих предположений, основанных на знании современных процессорных архитектур, можно восстановить структуру программы из бинарного образа неизвестной архитектуры, и дальше восстановит...

О статическом анализе начистоту Последнее время все чаще говорят о статическом анализе как одном из важных средств обеспечения качества разрабатываемых программных продуктов, особенно с точки зрения безопасности. Статический анализ позволяет находить уязвимости и другие ошибки, его можно использовать в про...

Что нового в Upsource 2018.2 Всем привет! Недавно вышла новая версия Upsource 2018.2, упрощающая процесс работы с код-ревью. В новой версии улучшена автоматизация, помогающая вам сосредоточиться на анализе кода вместо выполнения административных задач. Теперь расскажем более подробно. Читать дальше →

[Перевод] Как без особенных усилий создать ИИ-расиста Предостерегающий урок. Сделаем классификатор тональности! Анализ тональности (сентимент-анализ) — очень распространённая задача в обработке естественного языка (NLP), и это неудивительно. Для бизнеса важно понимать, какие мнения высказывают люди: положительные или отрицате...

Как правильно использовать статический анализ Сейчас все больше говорят о статическом анализе для поиска уязвимостей как необходимом этапе разработки. Однако многие говорят и о проблемах статического анализа. Об этом много говорили на прошлом Positive Hack Days, и по итогам этих дискуссий мы уже писали о том, как устрое...

[Из песочницы] Фреймворк: анализ DLT-систем Данная работа нацелена на определение, является ли анализируемый объект DLT-системой. Полученные результаты, хорошо подходят для сравнительного анализа разных проектов, начиная от структуры управления, заканчивая определением ссылок, на которые ссылаются транзакции. Distrib...

Машинное обучение без Python, Anaconda и прочих пресмыкающихся Нет, ну я, конечно, не всерьез. Должен же быть предел, до какой степени возможно упрощать предмет. Но для первых этапов, понимания базовых концепций и быстрого «въезжания» в тему, может быть, и допустимо. А как правильно поименовать данный материал (варианты: «Машинное обуче...

[Перевод] Поддержка Python в Power BI Мы рады сообщить, что Python, язык программирования, широко используемый статистиками, учеными и аналитиками, теперь интегрирован в наш open-source Power BI Desktop. После включения функции в настройках вы cможете использовать Python для очистки, анализа и визуализации данны...

[Из песочницы] Анализ Minor Violations Java кода на платформе Duerank.com (часть 1) Введение Что мы знаем об ошибках в коде приложений, написанных на Java? Ну, мы наверняка знаем, что они там встречаются. А насколько часто встречаются? Как много делает разнообразных ошибок в своём коде разработчик? Под ошибками мы понимаем не только баги, но и наличие раз...

История о том, как мы иконку PVS-Studio меняли Релиз 7.0 ознаменовал новую веху в истории анализатора PVS-Studio – теперь доступен анализ не только кода, написанного на C, C++, C#, но также и Java. Кроме этого глобального нововведения продолжают улучшаться и дорабатываться существующие механизмы анализа, добавляются ди...

Chrome Audit на 500: Часть 1. Лендинг В инструментах разработчика браузера хром есть вкладка «Audit». На ней расположился инструмент который называется Lighthouse, служит он для анализа насколько хорошо сделано веб приложение. Недавно я решил протестировать одно приложение и ужаснулся результатам. Сразу по нес...

Google открыл доступ к AI-инструменту для анализа изображений Google опубликовал новый инструмент, который позволяет получать развёрнутый анализ изображений, сделанный с помощью алгоритма машинного обучения. Этот инструмент является демонстрацией возможностей Cloud Vision API, который относится к линейке продуктов Cloud Vision. Cloud V...

Запускаем инспекции IntelliJ IDEA на Jenkins IntelliJ IDEA на сегодня обладает наиболее продвинутым статическим анализатором кода Java, по своим возможностям оставившим далеко позади таких «ветеранов», как Checkstyle и Spotbugs. Её многочисленные «инспекции» проверяют код в различных аспектах, от стиля кодирования до х...

Анализ производительности WSGI-серверов: Часть вторая Данная статья является переводом статьи Кевина Голдберга «A Performance Analysis of Python WSGI Servers: Part 2» dzone.com/articles/a-performance-analysis-of-python-wsgi-servers-part с небольшими дополнениями от переводчика. Введение В первой части этой серии Вы познакоми...

Книга «Прикладной анализ текстовых данных на Python» Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сл...

Исследование: СМИ идут за контентом в Телеграм-каналы В вебе только и разговоров, что о Телеграм-каналах. Однако, ещё никто не оценил численно: какое влияние оказывают Телеграм-каналы на СМИ? Сегодня мы попытаемся это исправить — и сделаем первый шаг в анализе связки медиа и Телеграма. Ключевой вопрос исследования: Какую роль ...

[Из песочницы] Пятница программиста, или как я писал библиотеку для лексического и синтаксического анализа кода Всем привет! Я, как программист, всегда ищу пути для улучшения своих навыков. В один пятничный вечер, в мою голову пришла мысль — «А не написать ли мне компилятор?» Кому интересно узнать, что из этого получилось, добро пожаловать под кат. Читать дальше →

[Перевод] Анализ 112654 тестовых заданий и тренды рынка труда программистов 2019 года Материал, перевод которого мы публикуем сегодня, посвящён анализу рынка труда разработчиков программного обеспечения. А именно, компания Devskiller, которая работает в сфере рекрутинга, делится здесь результатом исследования 112654 тестовых заданий, которые выполнили програм...

RFM-анализ одной кнопкой или как мы облегчили клиентам жизнь С тех пор как в компании Mindbox впервые произнесли Machine Learning, общей целью стала Большая Зеленая Кнопка. Это такая кнопка во весь экран, при нажатии на которую всё работает само и приносит прибыль. В аналитическом проекте «RFM» цель менее амбициозная — Маленькая зе...

КлассикAI жанра: ML ищет себя в поэзии Сейчас в прессе часто встречаются новости вида “AI научился писать в стиле автора Х”, или “ML создает искусство”. Посмотрев на это, мы решили – было бы здорово, если эти громкие заявления можно было бы проверить на деле. Можно ли устроить борьбу ботов по написанию стихотво...

Обнаружение уязвимостей в теории и на практике, или почему не существует идеального статического анализатора Сегодня разработку качественного программного обеспечения трудно представить без использования методов статического анализа кода. Статический анализ программного кода может быть встроен в среду разработки (стандартными методами или с помощью подключаемых модулей), может вы...

Exactly once is NOT exactly the same: анализ статьи Введение Решил проанализировать статью, описывающую некоторые интересные детали потоковой обработки ровно один раз: exactly-once. Дело в том, что некоторые авторы очень странно понимают термины. Разбор статьи как раз позволит прояснить многие детали более глубже, т.к. выявле...

Российская AI-система диагностики онкологических заболеваний Botkin.AI. Теперь в Azure Marketplace Решение способно с точностью до 95% выявлять онкологические заболевания на ранних стадиях благодаря анализу медицинских изображений с помощью технологий искусственного интеллекта. Размещение Botkin.AI на платформе Microsoft Azure Marketplace сделает систему еще более доступн...

[Перевод] Машинное обучение всё чаще используется в физике частиц Эксперименты на Большом адронном коллайдере каждую секунду выдают порядка миллиона гигабайт данных. Даже после уменьшения и сжатия, данные, полученные на БАК всего за час, по объёму оказываются сравнимыми с данными, полученными Facebook за целый год. К счастью, специалист...

[Перевод] Тестирование Node.js-проектов. Часть 2. Оценка эффективности тестов, непрерывная интеграция и анализ качества кода → Тестирование Node.js-проектов. Часть 1. Анатомия тестов и типы тестов Сегодня, во второй части перевода материала, посвящённого тестированию Node.js-проектов, мы поговорим об оценке эффективности тестов и об анализе качества кода. Читать дальше →

[] Парсер 2GIS в семь строчек кода, или почему важно контролировать лимиты запросов на сервер Наверное любому из тех, кто хоть как-то причастен к области анализа данных хотя-бы раз приходилось сталкиваться с поиском сторонних источников получения этих самых данных. Сегодня я хотел бы поделиться с Вами одним из самых неожиданных для меня мест, где эти данные лежат поч...

Сканирование на уязвимости и безопасная разработка. Часть 1 В рамках профессиональной деятельности разработчикам, пентестерам, безопасникам приходится сталкиваться с такими процессами, как Vulnerability Management (VM), (Secure) SDLC. Под этими словосочетаниями скрываются различные наборы практик и используемых инструментов, которы...

Анализ кода CUBA Platform с помощью PVS-Studio Для Java программистов существуют полезные инструменты, помогающие писать качественный код, например, мощная среда разработки IntelliJ IDEA, бесплатные анализаторы SpotBugs, PMD и другие. Всё это уже используется в разработке проекта CUBA Platform, и в этом обзоре найденных...

[Из песочницы] Сравнительный анализ рынков б.у. Автомобилей Германии и Франции в B и C сегменте Привет, Хабр! В этом посте я хотел поделиться опытом использования нескольких питоновых инструментов для сравнительного анализа рынка подержанных машин в Европе на примере Германии и Франции. Читать дальше →

Создаем инструменты для глубокого анализа рейтинга приложений в Google Play Store От переводчика: сегодня публикуем для вас совместную статью трех разработчиков, Akaash Chikarmane, Erte Bablu и Nikhil Gaur, в которой рассказывается о методе прогнозирования рейтинга приложений в Google Play Store. В этой статье мы покажем способы обработки информации,...

Для чего нам в СИБУРе продвинутая аналитика Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий раз. Что бы вы ни делали, от небольших мобильных приложений до громоздких информационных систем, у ошибки всегда ...

Результаты нового опроса IDC среди клиентов Commvault Недавно независимое аналитическое агентство IDC провело выборочный опрос клиентов Commvault из разных стран для независимого подтверждения преимуществ, которые Commvault предоставляет своим клиентам. В новом документе IDC White Paper «Quantifying the Business Value of Commva...

Применение графового анализа в кредитовании МСП Юрий ЖИДКОВ, АО «Газпромбанк», директор Центра корпоративного моделирования Вадим КУЛИК, АО «Газпромбанк», заместитель председателя правления Анализ связей заемщиков с другими юридическими и физическими лицами часто проводится экспертно, что влечет ...

[Перевод] Jupyter Notebook в Netflix В последнее время Jupyter Notebook стал очень популярен среди специалистов Data Science, став де-факто стандартом для быстрого прототипирования и анализа данных. В Netflix, стараемся раздвинуть границы его возможностей еще дальше, переосмысливая то, чем может быть Notebook, ...

[Перевод] Исследование Ivy — нового компилятора Angular «Я думаю, что компиляторы — это очень интересно», — говорит Ури Шейкед, автор материала, перевод которого мы сегодня публикуем. В прошлом году он написал статью, в которой шла речь о реверс-инжиниринге компилятора Angular и об имитации некоторых этапов процесса компиляции, п...

Сравнительный и подробный анализ плагинов кеширования для WordPress Плагинов кеширования много с большим набором параметров и функций – без тщательного анализа невозможно сделать грамотный выбор. Полистав интернет, не нашел реально нормальных сравнений. Есть только посты исключительно для привлечения внимания – описания плагинов. Обычное де...

Компания J’son & Partners Consulting представляет результаты исследования: «Анализ потенциала импортозамещения в микроэлектронике: Интегральные схемы по технологическому процессу не более 32 нм» J’son & Partners Consulting продолжает серию отчетов по импорту и производству микроэлектроники в России, и представляет краткие результаты анализа …

[Перевод] Iodide: интерактивный научный редактор от Mozilla Изучение аттрактора Лоренца, а затем редактирование кода в Iodide В последние десять лет произошёл настоящий взрыв интереса к «научным вычислениям» и «науке о данных», то есть применению вычислительных методов для поиска ответов на вопросы, анализа данных в естественных и ...

Эволюция CI в команде мобильной разработки Сегодня большинство программных продуктов разрабатываются в командах. Условия успеха командной разработки можно представить в виде простой схемы. Написав код, вы должны убедиться, что он: Работает. Ничего не ломает, в том числе код, который написали ваши коллеги. Если ...

«Анализ данных на Python» в двух частях Курсы по анализу данных в CS центре читает Вадим Леонардович Аббакумов — кандидат физ.-мат. наук, он работает главным экспертом-аналитиком в компании Газпромнефть-Альтернативное топливо. Лекции предназначены для двух категорий слушателей. Первая — начинающие аналитики, кот...

[Перевод] Grafana как еще один инструмент для технического мониторинга создаваемых нами программных продуктов Очередная статья в серии «Инструменты мониторинга Logicify» рассказывает о Grafana. Это программное средство мы используем для визуализации и анализа данных как внутренних, так и внешних проектов. Статья может быть полезна техническим директорам, разработчикам, DevOps, систе...

App Store не позвонит. Или как я сделала своё приложение, но оно не попадёт к пользователям Когда-то я думала, что для того, чтобы запустить своё приложение достаточно написать код. Чуть позже я узнала, что неплохо дополнять код дизайном. Ещё позже я поняла, что необходимо искать аудиторию и продвигать ей свой продукт. Но всё это может быть лишним, если не следоват...

Эволюция программного проекта и ООП Осваивая рецепты эффективного развития программного проекта, постарался для себя найти причины, делающие полезным использование принципов развития архитектуры SOLID (статья Как не понимать принципы развития архитектуры SOLID). Анализ этих принципов позволил выделить несколь...

За Oracle JDK нужно будет платить. Какие теперь варианты? Споры об актуальности Java продолжаются. Одни твердят о том, что она отживает свое и на смену приходят более усовершенствованные языки. Другие не соглашаются, ссылаясь на количество специалистов, которые из года в год выбирают Java своим профильным навыком. В любом случае, н...

Компьютеры пишут прозу, но все еще уступают людям. Почему? Два года назад в японском литературном конкурсе чуть не выиграла повесть, написанная искусственным интеллектом. Она называется «День, когда компьютер написал роман». Пусть это и звучит как дурацкое воплощение анекдота «лучший способ заработать миллион — написать книгу, как...

Алгоритм сжатия без потерь Broo и дельта-кодирование, сравнение с Xdelta3. Развитие домашнего проекта Рады Вас приветствовать. Прошел почти год с момента публикации последней статьи и мы готовы рассказать, что происходило с самим алгоритмом и как тут замешано дельта-кодирование. Вступление. После выпуска статьи об улучшениях алгоритма Broo, мы столкнулись с преградой в улуч...

[Из песочницы] Операционные vs аналитические базы: колоночное vs построчное хранение данных Базы данных можно реализовать с помощью Excel, GSheet или при помощи больших ORM систем. В своей практике бизнес-аналитика я сталкивался с разными решениями. А поскольку в бизнес-анализ я пришёл из финансов и аудита, то каждый раз встречая новую систему задавался вопросами —...

[Перевод] Тестирование PostgreSQL с HugePages в Linux Ядро Linux предоставляет широкий спектр параметров конфигурации, которые могут повлиять на производительность. Главное — выбрать правильную конфигурацию для вашего приложения и рабочей нагрузки. Как и любой другой базе данных, PostgreSQL необходима оптимальная настройка ядра...

[Перевод] Реверс-инжиниринг рендеринга «Ведьмака 3» Недавно я начал разбираться с рендерингом «Ведьмака 3». В этой игре есть потрясающие приёмы рендеринга. Кроме того, она великолепна с точки зрения сюжета/музыки/геймплея. В этой статье я расскажу о решениях, использованных для рендеринга The Witcher 3. Она не будет такой ...

«Я перестал делать то, в чем не вижу смысла»: проджект-менеджеры о своей работе и обучении Помочь корпорации увеличить прибыль с помощью анализа данных, запустить новый сайт или приложение, которые понравятся пользователям; сделать классный продукт вместе с командой для внешних клиентов — эти и другие задачи выполняют проектные менеджеры. Перед стартом нового курс...

[Перевод] Изучаем Python: модуль argparse Если вы занимаетесь обработкой и анализом данных с использованием Python, то вам, рано или поздно, придётся выйти за пределы Jupyter Notebook, преобразовав свой код в скрипты, которые можно запускать средствами командной строки. Здесь вам и пригодится модуль argparse. Для но...

Искусственный интеллект улучшает качество графики старых видеоигр и делает это действительно хорошо Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, м...

Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи? В последнее время все чаще обсуждается применение AI в медицине. И, конечно, область медицины, которая прямо напрашивается для такого применения это областей диагностики. Кажется, и раньше можно было применять экспертные системы и алгоритмы классификации к задачам постано...

Приручаем multicast Остановимся на анализе мультикаст трафика через IGMP протокол. Рассмотрим реализацию работы протокола IGMP, работы протокола PIM, отправки JOIN запросов. После анализа проблемы была разработана оптимальная конфигурация сетевого оборудования, эффективная настройка QOS. Данная...

[Из песочницы] Интеграция React Native и C++ для iOS и Android Недавно мне предложили поработать над одним интересным проектом. Требовалось разработать мобильное приложение для американского стартапа на платформах iOS и Android с помощью React Native. Ключевой технической особенностью и фактором, который однозначно решил мое участие в п...

Искусcтвенный интеллект на службе безопасности сети. Часть 2 Часть 2. Часть 1 по ссылке. В нашем случае система аналитки поведения Introspect из класса продуктов User and Entity Behavior Analytics (сокращённо UEBA) является единой точкой входа для большого количества разнообразной машинной информации, собираемой с имеющейся инфрастру...

[Из песочницы] Карта ДТП Расскажу вам о проекте “Карта ДТП” – интерактивной карте аварий в России. Карта упрощает анализ ДТП и помогает найти реальные причины происшествий. Как пришла идея, где брали данные и зачем открыли исходный код. За 2018 год в ДТП на дорогах России погибли 19088 человек Ч...

Как Android-троян Gustuff снимает сливки (фиат и крипту) с ваших счетов Буквально на днях Group-IB сообщала об активности мобильного Android-трояна Gustuff. Он работает исключительно на международных рынках, атакуя клиентов 100 крупнейших иностранных банков, пользователей мобильных 32 криптокошельков, а также крупных e-commerce ресурсов. А вот...

Как сделать расширение на PHP7 сложнее, чем «hello, world», и не стать красноглазиком. Часть 2 Краткое содержание первой части В первой части я сделал болванку расширения, заставил ее правильно работать в IDE Clion, написал функцию-аналог my_array_fill() и проверил ее работоспособность в php. Что теперь? Теперь я запилю код библиотеки libtrie в наше расширение. Немно...

Как и какие кластеры можно выделять в клиентской базе Сегодня мы добавим в анализе еще один аспект — сегментацию и кластеризацию клиентской базы. Как я уже не раз писал, анализ клиентской базы остается не полным, если мы смотрим на наших клиентов, как на большую кучу одинаковых людей. Клиенты разделяются на типы и по-разному по...

Пишем XGBoost с нуля — часть 1: деревья решений Привет, Хабр! После многочисленных поисков качественных руководств о решающих деревьях и ансамблевых алгоритмах (бустинг, решающий лес и пр.) с их непосредственной реализацией на языках программирования, и так ничего не найдя (кто найдёт — напишите в комментах, может, что...

[Из песочницы] Микроэлектроника, нейрофизиология и машинное обучение, взболтать, но не перемешивать В середине 2018 года была опубликована работа по электрофизиологии головного мозга крыс, совместно с которой был выложен в открытый доступ один уникальный набор данных. Уникальность датасета состоит в том, что в нем присутствуют одновременные записи локального полевого потен...

Первый байндинг для Exonum: почему мы выбрали Java Ядро нашего фреймворка для разработки приватных блокчейнов Exonum написано на Rust, поскольку этот ЯП ориентирован на безопасность работы с памятью. Однако наряду со многими преимуществами, Rust имеет ряд особенностей, усложняющих «взаимодействие» с ним: его синтаксис неприв...

[Из песочницы] Python + Raspberry Pi + Pixhawk и квадрокоптер. Или как не надо делать роботов Привет, Хабр! Меня зовут Алексей, уже 7 лет я ведущий разработчик Smart TV-решений в крупной компании из Ижевска, занимающейся заказной разработкой. Каждый год у нас проводится конкурс новогодних украшений, и каждый раз мы ничего не украшаем, а пилим всякие технологичные шт...

Исследование статистической вероятности значения бита в нонсе bitcoin Считается, что функция sha256( sha256( BlockHeader ) ), которая используется в алгоритме хэширования bitcoin весьма надежна. Надежна настолько, что существует только один единственный способ подобрать голден нонсе для очередного блока в блокчейне — путем перебора в процесс...

Топ 10 ошибок в C++ проектах за 2018 год Вот уже три месяца, как 2018 год позади. Для многих он пролетел почти незаметно, но для нас, разработчиков PVS-Studio, он оказался весьма насыщенным. Мы трудились в поте лица, бесстрашно боролись за продвижение статического анализа в массы и искали новые ошибки в открытых пр...

IntelliJ IDEA, ReSharper, SonarLint и SonarQube находят те же ошибки, что и PVS-Studio — ну и зачем нам PVS-Studio? Иногда люди задают вопрос, который, на первый взгляд, про одно, а на самом деле про другое. Как говорится, грамотно поставленный вопрос содержит половину ответа. На днях я вернулся с конференции JPoint, на которой впервые был представлен наш новый анализатор PVS-Studio для ...

Алгоритм триангуляции Делоне методом заметающей прямой Доброго времени суток! В этой статье я подробно опишу алгоритм, который у меня получился в результате использования идеи «заметающей прямой» для построения триангуляции Делоне на плоскости. В нем есть несколько идей, которые я нигде не встречал, когда читал статьи про триан...

Облачные сервисы Amazon и анализ инвестиционного портфеля В последнее время на фондовых рынках наблюдается высокая волатильность, когда, например, стабильная бумага известной компании может враз потерять сразу несколько процентов на новостях о санкциях против ее руководства или наоборот взлететь до небес на позитивном отчете и ожид...

Проектирование "на глаз", генеративный дизайн или топологическая оптимизация, что выбрать? Хочу поделиться некоторыми наблюдениями касательно выбора методов проектирования и анализа, а именно - какой результат ожидать от инженера-конструктора и какие инструменты использовать для его улучшения.На днях поручили одному инженеру спроектировать кронштейн бачка для посл...

Серьёзные математические ошибки NHTSA позволили Tesla заявить о безопасности автопилота Национальная администрация безопасности дорожного движения (NHTSA) крупно рискует своей репутацией после разгромного отчёта, который опубликовала маленькая исследовательская и консалтинговая фирма под названием Quality Control Systems. Этот отчёт посвящён анализу доклада NH...

CryptoHound сделала процесс анализа криптовалютных операций менее сложным Процесс анализа криптовалютных операций становится менее трудоемким. Теперь вместо того, чтобы каждый раз начинать настройку параметров поиска с нуля, пользователи могут возобновлять процесс блокчейн-анализа в любой момент времени без привлечения лишнего инструментария. К др...

Гайд по автоматическому аудиту смарт-контрактов. Часть 2: Slither Анализатор: Slither Описание: Open-source static analysis framework for Solidity githib: https://github.com/trailofbits/slither Это статический анализатор кода, написанный на python. Он умеет следить за переменными, вызовами, и детектирует вот такой список уязвимостей. У каж...

Создаем несложный шахматный ИИ: 5 простых этапов Перевели для вас статью Лори Хартикка (Lauri Hartikka) о создании простейшего ИИ для шахмат. Она написана еще в 2017 году, но базовые принципы остались теми же. Все файлы, которые использовал Лори, тоже доступны. Простой искусственный интеллект, который умеет играть в ш...

[Из песочницы] Профилируем Unity проект с Android Studio Всем день добрый! Это статья о том, как профайлить Unity игры на Android с Android Studio. Я расскажу о том, как настроить Android Studio и получить максимальное кол-во данных. Вопросы анализа и выводов на основе полученного результата находятся вне рамок данной статьи. Чита...

Ещё один dsl на Kotlin или как я печатал PDF из react Нельзя просто взять и распечатать страницу написанную на React: есть разделители страниц, поля для ввода. Кроме того, хочется один раз написать рендеринг, чтобы он генерил как ReactDom, так и обычный HTML, который можно сконвертить в PDF. Самое сложное, что у React свой d...

[Перевод] Приходится выбирать, какой софт вам нужен: написанный вовремя или качественный Надеюсь, что смог привлечь ваше внимание таким провокационным (и, признаться, утрированным) заголовком. Хорошо. Теперь позвольте его переформулировать в чуть более изящном и менее завлекающем виде: В принципе, софт можно написать либо вовремя, либо хорошо, но не то и друг...

[Перевод] Как закодировать секретное сообщение в отпечатке пальца Отпечатки пальцев перестали быть просто способом идентификации людей – теперь их можно использовать для передачи личных сообщений Анализ отпечатков пальцев, найденных на месте преступления – классический способ опознания преступника, случайно оставившего свою уникальную по...

Apple купила платформу, которая позволит ей найти нового Джастина Бибера Компания Apple стала новым владельцем американского стартапа Asaii, который занимается анализом музыкальных предпочтений пользователей. Алгоритм, разработанный Asaii, использует в работе системы искусственного интеллекта и машинного обучения. Asaii анализирует данные из...

Анализ Outlook-бэкдора кибергруппы Turla Turla (Snake, Uroboros) – кибершпионская группа, получившая известность в 2008 году после взлома защищенных объектов, включая сеть Центрального командования ВС США. С тех пор специализируется на атаках на военные объекты и дипломатические ведомства по всему миру. Среди извес...

Картина, написанная искусственным интеллектом, продана на аукционе за 432 000 долларов На аукционе Christie's впервые продана картина, созданная искусственным интеллектом. Ожидалось, что лот принесет от 7 000 до 10 000 долларов, но окончательная цена оказалась равна 432 000 долларов. Произведение под названием «Портрет Эдмонда Белами» вхо...

Как вы выбираете продукты в магазине? Самая главная формула успеха — знание, как обращаться с людьми. Теодор Рузвельт В прошлой статье попытался рассказать про основы аналитики ценообразования. Теперь давайте поговорим о более интересных вещах. Вы когда-нибудь задумывались о том, почему вы покупаете определенны...

[Из песочницы] VotingClassifier в sсikit-learn: построение и оптимизация ансамбля моделей классификации В рамках реализации большой задачи по Sentiment Analysis (анализ отзывов) я решил уделить некоторое время дополнительному изучению её отдельного элемента — использованию VotingClassifier из модуля sklearn.ensemble как инструмента для построения ансамбля моделей классификации...

Perl 5: как в макросах ошибки прятались Для пополнения списка языков программирования с открытым исходным кодом, которые были проверены с помощью статического анализатора кода PVS-Studio, был выбран Perl 5. Эта статья о найденных ошибках и трудностях просмотра результатов анализа. Количество макросов в коде столь...

Full stack Data analyst "Анализ данных" часто организован так: вот у нас разработчики хранилища, а вот у нас аналитики. В DWH (data warehouse, хранилище) умеют SQL, а аналитики у нас умеют работать c экселем. Если нам нужно что-то проанализировать, то идете к аналитикам, а они идут за данными к DWH...

Отчет о хакатоне Tele2 18-19 августа компания Теле2 устраивала Хакатон по Data Science. Этот хакатон ориентирован на анализ диалогов техподдержки в социальных сетях, ускорение и упрощение взаимодействия с клиентами. Задание не имело конкретной метрики, которую надо оптимизировать, задачу можно ...

Технологии, используемые в анализаторе кода PVS-Studio для поиска ошибок и потенциальных уязвимостей Краткое описание технологий, используемых в инструменте PVS-Studio, которые позволяют эффективно обнаруживать большое количество паттернов ошибок и потенциальных уязвимостей. Статья описывает реализацию анализатора для С и C++ кода, однако приведённая информация справедлива...

Samsung разрабатывает свой аналог Google Night Sight Одним из наиболее активно развивающихся направлений в 2018 году стало программное улучшение фотографий при съемке в условиях недостаточной освещенности. Сначала нас действительно впечатлил Huawei P20 Pro, который собирает воедино несколько фотографий, сделанных с разной выде...

Как живут фрилансеры: дизайн книжных обложек, собственное производство рюкзаков и работа в путешествиях Героиня нового выпуска интервью с Фрилансим — Наташа Байдужа, дизайнер и человек-пароход. За годы фриланса успела пожить в Москве, Одессе, Черногории, придумать свою марку рюкзаков (сшить и продать первую партию), написать детскую книгу, сделать бесчисленное множество иллюст...

Создаем Shape Map карту РФ в Power BI Всем привет! Сегодня поговорим о "пространственном" анализе в Power BI. О самой платформе для бизнес аналитики, можно прочитать здесь. Я в посте разберу один аспект — как нарисовать карту РФ в Shape Map. Читать дальше →

[Из песочницы] 7 рекомендаций по анализу топ-70 параметров роста сайта в 2019 году в «Яндексе» В 2018 г. вышел аналитический отчёт от компании «Ашманов и партнёры». Там много страниц. Разберём один график. Ссылка на отчёт Читать дальше →

Bluetooth LE не так уж и страшен, или Как улучшить пользовательский опыт без особых усилий Недавно мы в команде придумали и реализовали функцию передачи денег по воздуху с помощью технологии Bluetooth LE. Я хочу рассказать вам, как мы это сделали и что Apple предоставляет нам из инструментов. Многие разработчики думают что Bluetooth — это сложно, ведь это достаточ...

Вейвлет — анализ.Часть 1 Введение Рассмотрим дискретное вейвлет – преобразования (DWT), реализованное в библиотеке PyWavelets PyWavelets 1.0.3. PyWavelets — это бесплатное программное обеспечение с открытым исходным кодом, выпущенное по лицензии MIT. При обработке данных на компьютере может выполня...

Как тестируют в Автотеке: MindMap’s, статический анализ кода и MockServer Привет! Хочу рассказать вам, как устроено тестирование в проекте Автотека, сервисе проверки автомобилей по VIN. Под катом — о том, какие инструменты мы используем для тестирования требований, планирования спринта, как устроен процесс тестирования в нашем проекте. Читать д...

Яндекс и РЭШ открыли совместную программу дополнительного образования Школа анализа данных (ШАД) и Российская экономическая школа (РЭШ) открыли совместную программу дополнительного образования «Экономика и анализ данных». Она предназначена для тех, кто хочет решать задачи на стыке экономики и анализа данных.Программа обучения двухгодичная. Она...

AI-интерфейсы и где они обитают Недавно мы написали на Хабр колонку о том, как выпустили собственную онлайн-игрушку. Одной из фишек, над которой мы серьезно заморочились, стала AI-генерация аватарок для своего персонажа «на лету» по фотографии (пока работает в прототипе и частью игры не является). При этом...

[Перевод] Основные структуры данных. Матчасть. Азы Все чаще замечаю, что современным самоучкам очень не хватает матчасти. Все знают языки, но мало основы, такие как типы данных или алгоритмы. Немного про типы данных. Еще в далеком 1976 швейцарский ученый Никлаус Вирт написал книгу Алгоритмы + структуры данных = программы. ...

Мы включили TLS 1.3. Почему вам стоит сделать то же самое В начале года, в отчете о проблемах и доступности интернета за 2018-2019 мы уже писали, что распространение TLS 1.3 неизбежно. Некоторое время назад мы сами развернули версию 1.3 протокола Transport Layer Security и, после сбора и анализа данных, наконец, готовы рассказать...

КП в контекстной рекламе: анализ 80 ведущих агентств на рынке Вебинар будет полезен заказчикам, специалистам, бизнесу. Разбираем коммерческие предложения начиная от фрилансеров, заканчивая бутиковыми агентствами. Программа вебинара Анализ КП от «бутиков»: от «Гусарова» до Rush Agency Анализ КП от&nbs...

Summ3r 0f h4ck: результаты летней стажировки в Digital Security Уже третий год подряд мы успешно продолжаем традицию летних стажировок. Как и в прошлые годы, мы взяли стажеров на два технических направления: в отдел исследований и в отдел анализа защищенности. С результатами предыдущих стажировок можно ознакомиться вот здесь: отдел ис...

Поиск похожих изображений, разбор одного алгоритма Пришлось мне недавно решать задачку по оптимизации поиска дубликатов изображений. Существующее решение работает на довольно известной библиотеке, написанной на Python, — Image Match, основанной на работе «AN IMAGE SIGNATURE FOR ANY KIND OF IMAGE» за авторством H. Chi Wong...

Четыре пути из Школы анализа данных Яндекса Яндекс готовит специалистов в области data science с 2007 года. Студенты ценят Школу анализа данных за актуальность учебных программ и курсов, но они не всегда понимают, что их ждет по ее окончании. Работа с данными в Яндексе или в другой крупной компании? Но какая? Изнач...

SEL: мартовский апдейт Google не имел конкретной направленности Издание Search Engine Land поделилось результатами опроса, призванного выяснить особенности последнего обновления основного алгоритма Google. Опрос был проведён среди англоязычных SEO-специалистов. В нём приняли участие более 500 человек. Среди них также значились те вебмаст...

Julia. Генераторы отчётов и документации Одной из актуальных проблем во все времена, является проблема подготовки отчётов. Поскольку Julia — язык, пользователи которого непосредственно связаны с задачами анализа данных, подготовки статей и красивых презентаций с результатами расчётов и отчётов, то эту тему просто ...

[recovery mode] Небольшое исследование свойств простой U-net, классической сверточной сети для сегментации Cтатья написана по анализу и изучению материалов соревнования по поиску корабликов на море. Попробуем понять, как и что ищет сеть и что находит. Статья эта есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических з...

[Из песочницы] Разбор Memory Forensics с OtterCTF и знакомство с фреймворком Volatility Привет, Хабр! Недавно закончился OtterCTF (для интересующихся — ссылка на ctftime), который в этом году меня, как человека, достаточно плотно связанного с железом откровенно порадовал — была отдельная категория Memory Forensics, которая, по сути, представляла из себя анализ ...

[Перевод] Изучаем Docker, часть 1: основы Технологии контейнеризации приложений нашли широкое применение в сферах разработки ПО и анализа данных. Эти технологии помогают сделать приложения более безопасными, облегчают их развёртывание и улучшают возможности по их масштабированию. Рост и развитие технологий контейнер...

[Перевод] Демонстрация AresDB: инструмент анализа в реальном времени с открытым исходным кодом на основе GPU от Uber Благодаря анализу в реальном времени мы, сотрудники компании Uber, получаем представление о состоянии дел и эффективности работы и на основе данных решаем, как повысить качество работы на платформе Uber. Например, проектная команда мониторит состояние рынка и выявляет потенц...

Итоги эксперимента с четырёхдневной рабочей неделей для офисных работников Новой Зеландии В ноябре 2018 года новозеландская компания Perpetual Guardian стала одной из первых в мире, кто перешёл на четырёхдневную рабочую неделю, в которой количество рабочих часов уменьшено с 37,5 до 30. Это сделано по результатам предварительного эксперимента, который помогли пров...

ИИ научился распознавать программистов по «фирменному почерку» Для тестирования алгоритма исследовательницы воспользовались образцами программ, написанных в рамках Google Code Jam - ежегодного международного соревнования по программированию, проводимого под эгидой Google. В результате искусственный интеллект смог правильно определить ав...

Машинное обучение vs сигнатурный анализ при обнаружении атак на веб-приложение О том, как мы разрабатывали модуль машинного обучения, почему отказались от нейронных сетей в сторону классических алгоритмов, какие атаки выявляются за счет расстояния Левенштейна и нечеткой логики, и какой метод обнаружения атак (ML или сигнатурный) работает эффективнее....

LibreOffice: страшный сон бухгалтера LibreOffice — мощный офисный пакет, который бесплатен для частного, образовательного и коммерческого использования. Его разработчики делают замечательный продукт, который во многих сферах используется в качестве альтернативы Microsoft Office. Команде PVS-Studio всегда интер...

Ломаем простую «крякми» при помощи Ghidra — Часть 2 В первой части статьи мы при помощи Ghidra провели автоматический анализ простой программы-крякми (которую мы скачали с сайта crackmes.one). Мы разобрались с тем, как переименовывать «непонятные» функции прямо в листинге декомпилятора, а также поняли алгоритм программы «верх...

3M купила технологический бизнес M*Modal за 1 млрд долларов M*Modal развивает облачные сервисы, которые, используя искусственный интеллект, помогают врачам в работе и улучшают уход за пациентами за счет сбора и анализа данных.

Signpost: когда брейкпоинтов недостаточно В предыдущей статье мы узнали о причинах нестабильности unit-тестов и способах борьбы с этим. Теперь мы хотим рассмотреть один из новых инструментов Apple для отладки и профилирования кода. Речь о представленном на WWDC 2018 фреймворке для логирования os_log, который был рас...

[Перевод] Объясняем бэкдор в event-stream Если вы работаете с Javascript, то скорее всего вы заметили много шума об уязвимости в npm-пакете event-stream. (На Хабре тоже опубликовали пост об этом — пер.) К сожалению, детальный анализ ситуации похоронен под более чем 600 комментариями в issue на Github, большая часть ...

Картина, написанная искусственным интеллектом, продана на аукционе за 432 000 долларов На аукционе Christie's впервые продана картина, созданная искусственным интеллектом. Ожидалось, что лот принесет от 7 000 до 10 000 долларов, но окончательная цена оказалась равна 432 000 долларов. Произведение под названием «Портрет Эдмонда Белами&raq...

Earth Observing System предложила украинским аграриям передовую ИИ-платформу для эффективного мониторинга земельных угодий Earth Observing System (EOS) анонсировала новую платформу, которая позволит эффективно мониторить земельные угодья и их состояние благодаря анализу данных спутников, комбинируя их с данными «с поля». В основе фирменной разработки EOS лежат передовые алгоритмы анализа полей с...

[Перевод] Анализ TSDB в Prometheus 2 База данных временных рядов (TSDB, time series database) в Prometheus 2 – это отличный пример инженерного решения, которое предлагает серьёзные улучшения в сравнении с хранилищем v2 в Prometheus 1 в плане скорости накопления данных и выполнения запросов, эффективности испо...

Защитит ли портфель от просадок крипты? Ни для кого не секрет, что рынок криптовалют обладает феноминальной волатильностью, по причине своей молодости и отсутствию регулирования. На регулируемых рынках в борьбе с волатильностью помогает портфель, представляющий собой набор активов с периодической ребалансировкой. ...

[Из песочницы] Tableau Software представляет интерфейс естественного языка для создания визуализации Привет, Хабр! Представляю вашему вниманию перевод статьи «Tableau talks up natural language interface for creating visualizations» Peter Sayer. Поставщик BI стремится упростить и автоматизировать анализ данных в рамках растущей тенденции к внедрению возможностей AI (искусс...

[Перевод] Ускорение разведочного анализа данных с использованием библиотеки pandas-profiling Первым делом, приступая к работе с новым набором данных, нужно понять его. Для того чтобы это сделать, нужно, например, выяснить диапазоны значений, принимаемых переменными, их типы, а также узнать о количестве пропущенных значений. Библиотека pandas предоставляет нам множе...

Анализ интернет-рекламы: Google Signals и другие отчеты в Google Analytics Чем хороша Google Signals (beta) — новая функция в Google Analytics, и какие другие отчеты есть для анализа рекламных кампаний и отслеживания конверсии.

Кейс банка CenterCredit: как избежать «ошибки выжившего» при анализе performance-кампании с помощью данных post-view Анализ работы с Google Display & Video 360.

Как искусственный интеллект помогает работать с юридическими документами? Лекция Егора Будникова из ABBYY Недавно системный аналитик технологического департамента компании ABBYY Егор Будников выступил в «Яндексе» на конференции «Data & Science: закон и делопроизводство». Он рассказал, как работает компьютерное зрение, происходит обработка текстов, на что важно обращать внима...

Data Science: предсказание бизнес-событий для улучшения сервиса Алгоритмы рекомендаций, предсказания событий либо оценки рисков – трендовое решение в банках, страховых компаниях и многих других отраслях бизнеса. Например, эти программы помогают на основе анализа данных предположить, когда клиент вернет банковский кредит, какой будет спро...

Как нас анализируют в магазинах и ресторанах — продолжение истории В первой части статьи я рассказывал про новый инструмент для бизнеса по подсчету и анализу людского трафика с помощью видеокамер. На рынке представлено довольно много продуктов по подсчету людей, но практически нет таких, которые это делают методом анализа человеческого лица...

Шпаргалка для искусственного интеллекта — выбрось лишнее, учи главному. Техника обработки обучающих последовательностей Это вторая статья по анализу и изучению материалов соревнования по поиску корабликов на море. Но сейчас будем изучать свойства обучающих последовательностей. Попробуем найти в исходных данных лишнюю информацию, избыточность и её удалить. Статья эта тоже есть просто резуль...

Болтай, извлекай: архитектура сложных чат-ботов Пользователи, пообщавшись с умными голосовыми ассистентами, ждут от чат-ботов интеллектуальности. Если вы разрабатываете бота для бизнеса, ожидания еще выше: заказчик хочет, чтобы юзер прошел по нужному, заранее прописанному сценарию, а юзер — чтобы робот толково и желательн...

Инфракрасный датчик ЧСС, NFC и GPS: представлены фитнес-браслеты Huawei Band 3 и Band 3 Pro Вместе со смартфоном Nova 4e компания Huawei сегодня представила в Китае два новых фитнес-браслета — Band 3 и Band 3 Pro. Новинки оценены в $40 и $60 соответственно. Устройства оснащены экранами AMOLED диагональю 0,95 дюйма разрешением 240 х 120 пикселей. Ремешки...

Яндекс и РЭШ открыли совместную программу дополнительного образования Школа анализа данных (ШАД) и Российская экономическая школа (РЭШ) открыли совместную программу дополнительного образования «Экономика и анализ данных». Она предназначена для тех, кто хочет решать задачи на стыке экономики и анализа данных. Программа обучения двухгодична...

Ни GA, ни ЯМ. Свой кликстрим в Авито Мы собираем собираем более двух миллиардов аналитических событий в сутки. Благодаря этому можем узнать кучу необходимых вещей: нажимают ли на сердечки больше, чем на звёздочки, в какие часы пишут более развёрнутые описания, в каких регионах чаще промахиваются по зелёным кноп...

Потоковая аналитика: быстрый запуск с SAS ESP Применение аналитических алгоритмов на потоке данных сейчас одна из самых актуальных задач в области построения аналитических систем. Множество высокоточных предиктивных моделей, например, разработанных на показаниях с датчиков промышленных установок, уже готовы предупреждат...

[Из песочницы] Как я заменил RxJava на корутины в своем проекте и почему вам вероятно также стоит это сделать Привет, Хабр! Представляю вам перевод статьи автора Paulo Sato на тему использования Kotlin Coroutines вместо RxJava в своих Android проектах. RxJava как базука, большинство приложений не использует и половины её огневой мощи. В статье пойдет речь о том, как заменить её кор...

[Перевод] Разновидности SIMD Во время разработки meshoptimizer частенько возникает вопрос: «А может этому алгоритму использовать SIMD?» Библиотека ориентирована на производительность, но SIMD не всегда обеспечивает значительные преимущества по скорости. К сожалению, SIMD может сделать код менее перено...

Splunk Universal Forwarder в докере как сборщик системных логов Splunk является одним из нескольких наиболее узнаваемых коммерческих продуктов для сбора и анализа логов. Даже сейчас, когда продажи в России больше не производятся, это не повод не писать инструкции/how-to по этому продукту. Читать дальше →

Мошенники активизировались для клиентов «Альфа-банка» Каждый раз, если написать про какую-то новую мошенническую схему, которую придумали аферисты, направленную на клиентов «Сбербанка», в комментариях обязательно найдётся кто-то вопрошающий, почему не пишут про другие банки. Пишут, сегодня статья как раз об этом. Читать пол...

[Перевод] Битва за потребительский чек: анализ деятельности Walmart и Amazon Аналитическая группа PYMNTS провела новое исследование и выяснила, что на долю Walmart приходится 8,9% расходов американцев на товары повседневного спроса. А по всем розничным категориям показатель компании составляет 2,8%. Это впечатляющая цифра, но есть одно но. По пята...

«Всё это смехотворный фарс»: Кличко раскритиковал сдачу анализов Зеленского и Порошенко Бывший чемпион мира по боксу и профессиональный украинский боксёр, а ныне мэр Киева, Владимир Кличко выступил с заявлением, в котором отозвался о результате анализов Владимира Зеленского и Петра Порошенко. Говоря о результатах анализов, он заявил, что результаты анализов при...

Влияние Transparent Huge Pages на производительность системы Статья публикуется от имени Ахальцева Иоанна, Jiga Tinkoff.ru сегодня — это не просто банк, это IT-компания. Она предоставляет не только банковские услуги, но ещё выстраивает экосистему вокруг них. Мы в Tinkoff.ru заключаем партнерство с различными сервисами для повышения к...

GoLand 2019.1: анализ производительности кода, Smart Step Into, рефакторинг Extract Interface, Nilness Analyzer и другое Привет, Хабр! Две недели назад мы выпустили GoLand 2019.1 и спешим рассказать вам о новинках этого релиза. Читать дальше →

Google News и Лев Толстой: визуализация векторных представлений слов с помощью t-SNE Каждый из нас воспринимает тексты по-своему, будь это новости в интернете, поэзия или классические романы. То же касается алгоритмов и методов машинного обучения, которые, как правило, воспринимают тексты в математической в форме, в виде многомерного векторного пространств...

Нейросеть научили копировать движения людей из роликов на YouTube На сегодняшний день основными методами создания реалистичной анимации виртуальных существ являются скелетная анимация и небезызвестный Motion Capture (mocap). Однако специалисты постоянно находятся в поиске новых не менее качественных, но более дешевых способов. И, вполне в...

Еще шесть мифов о блокчейне, где же он все-таки будет применяться Автор статьи — Алексей Маланов, эксперт отдела развития антивирусных технологий «Лаборатории Касперского» Недавно мы писали статью «Шесть мифов о блокчейне и Биткойне, или Почему это не такая уж эффективная технология», в которой рассмотрели, как из самой сути блокчейна выт...

Machine Learning для Vertica Аннотация В данной статье я хочу поделиться собственным опытом работы с машинным обучением в хранилище данных на Vertica. Скажем честно, я не являюсь аналитиком-экспертом, который сможет в деталях расписать все многообразие методик исследования и алгоритмов прогнозирования ...

Как написать инструкцию так, чтобы тебя поняли Есть такая поговорка: «Хочешь сделать хорошо — сделай сам». Для себя, действительно, так будет быстрее и спокойнее. Однако любому руководителю известно, что плохой менеджер это тот, кто не умеет объяснять и делегировать полномочия. Соответственно, умение давать четкие инст...

Принимаем участие в недавнем Telegram Contest, пишем крутое OpenGL ES приложение и выигрываем ничего Забегая вперед, хотелось бы обратить внимание на сумбурную ситуацию с победителем первого этапа конкурса. Победитель забрал 50К американских президентов. НО, был как минимум, еще один разработчик, который написал идентичное приложение и не был никак вознагражден. Он даже по...

Анализ тональности текстов с помощью сверточных нейронных сетей Представьте, что у вас есть абзац текста. Можно ли понять, какую эмоцию несет этот текст: радость, грусть, гнев? Можно. Упростим себе задачу и будем классифицировать эмоцию как позитивную или как негативную, без уточнений. Есть много способов решать такую задачу, и один из...

Машинное обучение на Python-е с интерактивными Jupyter демонстрациями Здравствуйте, Читатели! Недавно я запустил репозиторий Homemade Machine Learning, который содержит примеры популярных алгоритмов и подходов машинного обучения, таких как линейная регрессия, логистическая регрессия, метод K-средних и нейронная сеть (многослойный перцептрон)....

[Перевод] Аналитика логов Nginx с помощью Amazon Athena и Cube.js Обычно для мониторинга и анализа работы Nginx используют коммерческие продукты или готовые open-source альтернативы, такие как Prometheus + Grafana. Это хороший вариант для мониторинга или real-time аналитики, но не слишком удобный для исторического анализа. На любом популяр...

MU-MIMO: один из алгоритмов реализации Предисловие В качестве дополнения к моей недавней статье хотелось бы также поговорить о теме MU (Multi User) MIMO. Есть у мною уже упомянутого профессора Хаардта одна очень известная статья, где он вместе со своими коллегами предлагает алгоритм разделения пользователей по ни...

Первые шаги по Rust Всем привет. Недавно познакомился с новым для себя языком программирования Rust. Я заметил, что он отличается от других, с которыми мне до этого доводилось сталкиваться. Поэтому решил покопать глубже. Результатами и своими впечатлениями хочу поделиться: Начну с главной, на...

[Из песочницы] Небольшой бэкдор на Flask или как управлять компьютером в локальной сети Привет, Хабр! Недавно я посмотрел скачанную версию стрима по программированию «Как создать свое веб-приложение на Flask». И решил закрепить свои знания в каком-нибудь проекте. Долго не знал, что написать и мне пришла идея: «А почему бы не сделать мини-бэкдор на Flask?». В ...

Искусственный интеллект стилизует тексты в произведения русских поэтов-классиков Призовой фонд соревнования составил один миллион рублей: 500 тысяч рублей получил победитель, по 300 и 200 тысяч рублей - серебряный и бронзовый призеры конкурса. Алгоритмы участников оценивались по двум параметрам: соответствие полученных стихотворений стилю автора и заданн...

Эффективные личные финансы. Простой способ Идея написать данную статью возникла после прочтения вышедшей на днях статьи Эффективные личные финансы. Уровень 1. В ней озвучены очень правильные мысли, но в основе лежит необходимость ведения финансового учета, который нужно вести весьма кропотливо и постоянно, а анализ п...

[Перевод] Когда не нужно использовать алгоритмы из STL Я боролся с соблазном назвать статью как-то типа «Ужасающая неэффективность алгоритмов STL» — ну, знаете, просто ради тренировки в мастерстве создания кричащих заголовков. Но всё же решил оставаться в рамках приличий — лучше получить от читателей комментарии по содержанию ст...

Создан российский сервис автоматизации сбора и анализ отзывов В конце 2018 года был выпущен облачный сервис для автоматизированного сбора, анализа отзывов и возврата недовольных клиентов — Qindex.

Microsoft: Россия опережает США и Европу по внедрению искусственного интеллекта Корпорация Microsoft сегодня опубликовала результаты анализа процессов активного внедрения искусственного интеллекта в США, России и Европе. Как оказалось, РФ достигла самого высокого показателя в этой работе среди всех стран-участниц опроса. Средний результат по миру равен ...

Исследование: технология блокчейн уступает по популярности анализу Big Data и чат-ботам Технология анализа больших данных является наиболее часто внедряемой среди российских компаний. В меньшей степени бизнес интересуется виртуальной реальностью и блокчейном. Об этом свидетельствуют данные опроса, проведенного компанией КПМГ. Безусловными лидерами по внедрению ...

“Умные” наушники — тенденции 2018: фильтрация окружения, аудиотренер, жесты головой и прямая связь с Alexa И снова о наушниках, на этот раз речь о т.н. “умных” гарнитурах. Я расскажу о том, какими их видят различные разработчики и в рамках каких концепций создаются новые устройства. Известно, что разработка аудио-ассистентов является одним из наиболее востребованных и передов...

[Перевод] Полное руководство по switch-выражениям в Java 12 Старый добрый switch был в Java с первого дня. Мы все используем его и привыкли к нему — особенно к его причудам. (Кого-нибудь еще раздражает break?) Но теперь все начинает меняться: в Java 12 switch вместо оператора стал выражением: boolean result = switch(ternaryBool) { ...

Стековая машина на моноидах Не так давно на Хабре появилась отличная и вдохновляющая статья про компиляторы и стековые машины. В ней показывается путь от простой реализации исполнителя байт-кода ко всё более и более эффективным версиям. Мне захотелось показать на примере разработки стековой машины, ка...

Как мы интегрировали для магазинов SAP в Европе с кассами в России через 1С Недавно мы опубликовали статью о том, почему иностранным ритейлерам в России нужна услуга «открытие магазинов под ключ». Сегодня хотели бы вновь поговорить о российских филиалах зарубежных брендов и торговых сетей, и рассказать о решении «Пилота», которое помогает им соотв...

Как определить наилучшее время для сделки на бирже Понять, когда именно стоит покупать, а когда продавать акции на бирже – самая важная задача любого инвестора. От правильного выбора времени зависит как сам факт наличия прибыли, так и ее размер. Тренд последних лет – появление автоматизированных инструментов, которые пом...

[Из песочницы] Как я понял, что ем много сладкого, или классификация товаров по чекам в приложении Задача В этой статье мы хотим рассказать, как мы создали решение для классификации названий продуктов из чеков в приложении для учёта расходов по чекам и помощника по покупкам. Мы хотели дать пользователям возможность просматривать статистику по покупкам, собранную автоматич...

Безопасность алгоритмов машинного обучения. Атаки с использованием Python Машинное обучение активно применяется во многих областях нашей жизни. Алгоритмы помогают распознавать знаки дорожного движения, фильтровать спам, распознавать лица наших друзей на facebook, даже помогают торговать на фондовых биржах. Алгоритм принимает важные решения, поэто...

[Из песочницы] Использование учетных записей Joomla в проекте на Django Допустим что сайт, которым пользуются ваши пользователи, написан на Joomla, но для создания нового продукта для вашей аудитории вы выбрали связку Python/Django. Как следствие, возникает необходимость использовать в Django учетные записи пользователей из базы данных Joomla. ...

Liveprof покажет, когда и почему менялась производительность вашего PHP-приложения Привет, Хабр! Меня зовут Тимур Шагиахметов, я PHP-разработчик в Badoo. Производительность приложения — один из важнейших критериев качества работы программиста. В вопросах оптимизации PHP-приложений помощником является профайлер. Недавно мы рассказывали о том, какими и...

[Из песочницы] Headless CMS. Почему я пишу свою Всем привет! Написать эту публикацию меня побудила вот эта недавняя статья (вчера увидел). Пересказывать основные признаки Headless/content-first/api-first и т.п. CMS я не буду, материала полно и наверняка уже многие знакомы с этим трендом. А хочу я рассказать почему и ка...

[Из песочницы] Функциональные компоненты с React Hooks. Чем они лучше? Относительно недавно вышла версия React.js 16.8, с которой нам стали доступны хуки. Концепция хуков позволяет писать полноценные функциональные компоненты, используя все возможности React, и позволяет делать это во многом более удобно, чем мы это делали с помощью классов. М...

С пластика на сахарный тростник и крахмал. Samsung сделает упаковку своих устройств экологичнее Компания Samsung Electronics, которая ранее пообещала к 2020 году полностью перейти на возобновляемые источники энергии, придумала новый способ, как сделать свою продукцию еще экологичнее и анонсировал соответствующие изменения в стратегии. Эти изменения касаются используемы...

Как работает PageRank: реализация на языке R через линейную алгебру и power-метод Привет, хабровчане! Меня зовут Алексей. На этот раз я вещаю с рабочего места в ИТАР-ТАСС. В данном небольшом тексте я познакомлю вас с методом расчета PageRank © (далее буду называть его ПР) на простых, понятных примерах, на языке R. Алгоритм является интеллектуальным дос...

Нейросеть создает резюме по фотографии Прорывная технология в интернет-рекрутменте стала возможна после анализа свыше 25 миллионов фото из резюме, которые есть в базе Superjob. Так, с вероятностью 98% алгоритм Superjob может определить наличие или отсутствие у пользователя высшего образования, его пол, возраст и ...

Краткий анализ доступных данных январской атаки, в которой на виртуальные угрозы приходилось реагировать реально В прошлые годы проводились централизованные атаки с использованием IP-телефонии, теперь новый виток, но уже с использованием электронной почты. Проанализируем доступные электронные данные по этой атаке. Читать дальше →

Сапожник без сапог. Как студенты писали фишинговые письма Привет, Хабр! Я редактор этого блога, а ещё иногда преподаю вирусологию в университете. Я решил разнообразить учебный процесс и придумал несколько заданий для пятикурсников — таких, чтобы практика и актуальность, а не списывать код из 2003 года. Одно из заданий — придумать и...

2. Анализ логов Check Point: SmartEvent Здравствуйте, коллеги. В прошлый раз, в статье «1. Анализ логов Check Point: официальное приложение Check Point для Splunk» мы обсуждали разбор логов шлюза безопасности на основе официального приложения в системе логирования Splunk. В заключении пришли к выводу что хоть пр...

[Перевод] Анализ и оптимизация React-приложений Люди, вроде меня, которые борются за высокую производительность сайтов, часто тратят на это много времени. Поэтому сейчас я собираюсь раз и навсегда решить проблему низкого быстродействий веб-ресурсов, интерфейс которых написан на React. А именно, я предлагаю всем, кто это ч...

Как мы мониторили Black Hat Europe 2018 Полгода назад я уже писал на Хабре заметку, где делился нашим опытом мониторинга различных конференций по ИТ и ИБ, в которых Cisco приглашают для обеспечения работы SOC и NOC (Black Hat, Mobile World Congress, RSAC и т.п.). Сегодня я бы хотел поделиться опытом участия в рабо...

Обзор 14 headless cms 2019 Некоторое время назад в одной заметной на российском рынке публичной компании, в которой я работал, встал вопрос об использовании headless cms. Среди множества реализаций нужно было выбрать одну. Это рассказ о том, как я формировал критерии выбора, как анализировал cms-ки, и...

Godot: к вопросу о регулярном использовании статических анализаторов кода Аудитория наших читателей растёт, поэтому мы вновь и вновь пишем статьи, в которых объясняем, как правильно использовать методологию статического анализа кода. Мы считаем очень важным объяснить, что инструменты статического анализа должны использоваться не эпизодически, а ре...

[Перевод] Забытое искусство украшения упаковки для видеокарт Современные игровые ПК и их комплектующие выглядят, как спортивные автомобили, придуманные брутальными подростками. Производители придают им острые грани, синюю подсветку и красные гоночные полоски, чтобы те работали быстрее. В результате получаются огромные, массивные соо...

SOLIDWORKS Simulation. Урок 1 Недавно писал пост, про свою держалку филамента, показав свои результаты симуляции нагрузок системы, и несколько человек написали мне, чтобы я подсказал как делать эту симуляцию. И я решил, что, возможно, стоит оформить это как серию уроков, и мне будет полезно скомпоновать ...

[Из песочницы] Анализ сетевого трафика мобильного приложения на iOS. Часть 1 — прокси Бывают ситуации, когда при разработке или тестировании мобильного приложения возникает необходимость просмотреть сетевой трафик приложения. Все еще просматриваете трафик мобильного приложения, выводя его в консоль вашей IDE? Для этой задачи есть более эффективные инструмент...

[Перевод] Генератор подземелий на основе узлов графа В этом посте я опишу алгоритм процедурной генерации уровней двухмерного подземелья с заранее заданной структурой. В первой части будет представлено общее описание, а во второй — реализация алгоритма. Введение Алгоритм был написан как часть работы на получение степени бакал...

[Из песочницы] Как я писал змейку на F# и модели акторов О чем это все? Я расскажу о том, как построить модель акторов с помощью MailboxProcessor из стандартной библиотеки, на какие моменты обратить внимание и о том, какие подводные камни вас могут ожидать. Я не претендую на истину в последней инстанции. Код, написанный здесь, не ...

[Из песочницы] Рефакторинга много не бывает Привет, Хабр! Представляю вашему вниманию перевод статьи "Refactoring — oops, I’ve been doing it backwards" автора Джастина Фуллера (Justin Fuller). Я очень завишу от рефакторинга, и не боюсь признать это, но есть только одна проблема: я всегда делал это задом на...

Кэтрин Боуман — ученый, которая сделала первый в истории снимок черной дыры возможным Шесть лет назад молодой аспирант Кэтрин Боуман вместе с еще почти тридцатью специалистами в области информационных технологий взялась за решение небывалой задачи. Нужно было разработать алгоритмы для интерпретации данных проекта Event Horizon Telescope, изучающего далекий ко...

Книга «Apache Kafka. Потоковая обработка и анализ данных» При работе любого enterprise-приложения образуются данные: это файлы логов, метрики, информация об активности пользователей, исходящие сообщения и т. п. Правильные манипуляции над всеми этими данными не менее важны, чем сами данные. Если вы — архитектор, разработчик или выпу...

Холиварный рассказ про линтеры  Все мы пишем код. Много кода. Само собой, бывают ошибки. Иногда это просто кривой код, а иногда цена ошибки — взорванный космический корабль. Конечно, никто не делает намеренных косяков, все в меру возможностей стараются следить за качеством, но без инструментов статического...

Человекоподобные роботы: польза и проблемы антропоморфных механизмов Идея сделать робота максимально похожим на человека появилась раньше, чем сами роботы, — в пьесе Карела Чапека R.U.R. (термин тоже придумал Чапек) роботы были полностью похожи на людей. Но нужны ли человекоподобные роботы на самом деле? Где используются андроиды и почему они...

Как найти KPI по отчетности доступными статистическими методами? Несмотря на растущую популярность таких языков, как R и Python, стандартные средства Microsoft Excel остаются распространенным способом анализа данных и, по мнению финансового риск-менеджера, основателя raisk.ru Владимира Козлова, позволяют относительно несложными манипуляц...

[Из песочницы] Быстрый Sin и Cos на встроенном ASM для Delphi Всем привет! Возникла потребность написать быстрое вычисление Sin и Cos. За основу для вычислений взял разложение по ряду Тейлора. Использую в 3D-системах (OpenGL и графическая библиотека своей разработки). К сожалению свести ряд «идеально» для Double не получается, но это ...

Эволюция средств поставки, или размышления о Docker, deb, jar и прочем Как-то в один момент я решил написать статью про поставку в виде контейнеров докер и deb-пакетов, но когда начал, меня почему-то понесло в далекие времена первых персональных компьютеров и даже калькуляторов. В общем, вместо сухих сравнений докера и deb получились вот таки...

Разработчик SearchFace о возможностях алгоритма Всем привет, я один из разработчиков сервиса SearchFace и готов поговорить о нашем сервисе в комментариях. Из-за шумихи с иском ВК на второй план отошло то важное, ради чего мы запустили сервис — чтобы протестировать возможности поиска. А раз уж теперь сервис доступен ши...

GUI-фреймворки — на поток Приветствую вас, коллеги! Пару-тройку месяцев назад я начал приглядываться к Golang с целью использовать его для десктопных приложений. Язык понравился, объем и тематика написанных для него пакетов произвели впечатление, но вот с GUI дело обстоит не так радужно. Не буду сей...

«Лаборатория Касперского» пожаловалась в ФАС на Apple Федеральная антимонопольная служба (ФАС) России получила жалобу от «Лаборатории Касперского» на корпорацию Apple и начала анализ ситуации. Об этом сообщил заместитель руководителя ФАС России Анатолий Голомолзин: «В ФАС поступила жалоба «Лаборатории Касперского»...

Короткая заметочка про PVS Studio в CI (и чего не хватает) Я думаю, нет смысла в очередной раз рекламировать замечательный инструмент для статического анализа — PVS Studio. На хабре уже немало статей ей посвящённых, но я хочу коснуться ещё одного аспекта — использование данного инструмента в системе непрерывной интеграции. Читать да...

Москва выбрала городского оператора Wi-Fi, он обязан установить систему фильтрации трафика DPI Компания «Максима Телеком», которая работает в московском метрополитене, выиграла тендер на оказание услуги единого оператора городского Wi-Fi. Тендер на 149,5 млн руб. предусматривает обязательное внедрение системы глубокого анализа трафика DPI, по образцу системы, котора...

[Перевод] Unity: отрисовываем множество полосок здоровья за один drawcall Недавно мне нужно было решить задачу, достаточно распространённую во многих играх с видом сверху: рендерить на экране целую кучу полосок здоровья врагов. Примерно вот так: Очевидно, что я хотел сделать это как можно эффективнее, желательно за один вызов отрисовки. Как обыч...

Созданный израильскими специалистами аппарат Olo проводит клинический анализ крови всего по двум каплям и за 10 минут Израильская компания Sight Diagnostics представила Olo — аппарат размером с настольный принтер, который использует технологии компьютерного зрения и машинного обучения, натренированные на 500 ТБ данных, полученных в ходе четырехлетнего исследования, для ускоренного ана...

Удалённое управление эмулятором Fceux с помощью Python В статье я опишу, как сделать эмулятор NES управляемым удалённо, и сервер для удалённой отправки команд на него. Зачем это нужно? Некоторые эмуляторы различных игровых консолей, в том числе и Fceux, позволяют писать и запускать пользовательские скрипты на Lua. Но Lua – пл...

Стартап дня: Thriva — медицинские анализы по подписке Клиент сам берёт образцы крови, отправляет сервису и получает развёрнутый результат с красивыми графиками о своём здоровье.

Как мы делали самый массовый внутренний опрос в банке Около года назад мы, ДИТ ВТБ, провели успешный опрос удовлетворенности пользователей, охвативший 20 тысяч человек — всех сотрудников ВТБ, использующих IT-сервисы. Затем последовало присоединение ВТБ24 к ВТБ — соединение разных культур, привычек и накопленного годами опыта. Ч...

Разрабатываем процессорный модуль NIOS II для IDA Pro Скриншот интерфейса дизассемблера IDA Pro IDA Pro — знаменитый дизассемблер, который уже много лет используют исследователи информационной безопасности во всем мире. Мы в Positive Technologies также применяем этот инструмент. Более того, нам удалось разработать собственны...

Совершеннолетняя журналистика: от России до Кремля Анализ публикаций Lenta.ru за 18 лет (с сентября 1999 по декабрь 2017 гг.) средствами python, sklearn, scipy, XGBoost, pymorphy2, nltk, gensim, MongoDB, Keras и TensorFlow. В исследовании использованы данные из поста «Анализируй это — Lenta.ru» пользователя ildarchegg. Авто...

Зафиксирована атака на криптовалютную биржу Gate.io 4 ноября злоумышленники скомпрометировали StatCounter, платформу для анализа веб-трафика. Сервис используется для сбора статистических данных о посетителях сайтов, примерно как Google Analytics. Для этого веб-мастера добавляют на каждую страницу сайта внешний тег JavaScript,...

Мобильный интернет «Киевстар» признали самым быстрым в Украине по версии Speedtest «Киевстар» отметили как оператора с самым быстрым мобильным интернетом в среднем по стране среди мобильных операторов Украины. Такие данные получены по результатам анализа тестов в приложении Speedtest от Ookla за второй и третий квартал 2018 года. «Результаты Spee...

SE Ranking обновили и дополнили инструмент для SEO-аудита – «Анализ сайта» Инструмент позволяет выбирать параметры для сканирования, источники страниц для анализа и предоставляет детальный отчет об ошибках 

Сервер в облаках 2.0. Запускаем сервер в стратосферу Друзья, мы придумали новую движуху. Многие из вас помнят наш прошлогодний фановый гик-проект «Сервер в облаках»: мы сделали маленький сервачок на основе Raspberry Pi и запустили его на воздушном шаре. Теперь мы решили пойти ещё дальше, то есть выше — нас ждёт стратосфера...

12 лет в облаке Привет, Хабр! Мы снова открываем техноблог компании МойСклад. МойСклад — облачный сервис для управления торговлей. В 2007 году мы первыми в России придумали перенести торговый учет в облако. Недавно МоемуСкладу исполнилось 12 лет. Пока у нас еще не начали работать сотрудн...

Статический анализ мобильных приложений Одним из этапов тестирования мобильного приложения — это статический анализ. Статический анализ приложения — это анализ приложения без выполнения каких либо функций приложения. Наиболее удобным для меня из open source фреймворков есть MobSF. Кому интересно, добро пожаловат...

Использование тепловых потенциалов для анализа территорий Пример расчета теплового потенциала для уличной сети г. Нижнего Новгорода Территория города – сложная, неоднородная система, находящаяся в постоянном изменении. Описать территорию и провести оценку городской среды можно с помощью пространственных объектов (факторов). Факто...

Клинический анализ мочи дома на тест-полосках: плюсы и минусы Рассказать сегодня хотелось бы о многом. И уж точно не превращать этот пост в обзор банки с полосками. Читать дальше →

[Перевод] Самое простое объяснение принципа работы современных алгоритмов симметричного шифрования (Нашёл в твиттере тред с очень крутым объяснением работы симметричных шифров. Его написал Colm MacCárthaigh один из основных контрибьюторов Apache. Я спросил разрешение Колма на перевод, он любезно согласился). Я объясню вам доступным языком, что происходит при шифровании да...

Теперь я тимлид, но почему мне так плохо? Практические советы Почему-то считается, что тимлид — это более высокая ступень эволюции инженера, чем все квалификационные уровни, включая senior. При том что всем известно, навыки и умения там нужны совсем другие. Но факт продолжает оставаться фактом, в большинстве компаний тимлидами становят...

[Перевод] В прошлом месяце мы назвали Цукерберга болваном; исправляемся: на самом деле, он и его Facebook – просто долбаный стыд Когда он говорил, что 5% пользователей его приложения, высасывавшего личные данные пользователей, были детьми, на самом деле он имел в виду куда как большее число Анализ Последним номером в, кажется, бесконечной серии полуправдивых заявлений, соцсеть Facebook признала, что ...

Игровые фичи с помощью ECS: добавляем в шутер аптечки От ковров перейдем к серьезным вещам. Мы уже рассказали про ECS, какие есть фреймворки для Unity и почему написали свой (со списком можно ознакомиться в конце статьи). А сейчас остановимся на конкретных примерах, как используем ECS в нашем новом мобильном PvP-шутере и как ...

Стреляем в ногу, обрабатывая входные данные Связующее звено сегодняшней статьи отличается от обычного. Это не один проект, для которого был проведён анализ исходного кода, а ряд срабатываний одного и того же диагностического правила в нескольких разных проектах. В чём здесь интерес? В том, что некоторые из рассмотрен...

Chrome расширения для веб-разработки и работы с GitHub Привет всем. Хочу поделиться с вами некоторыми из расширений для Хрома, которые я использую при разработке, анализе сайтов, в работе с GitHub и просто в повседневной жизни. Уверен, что для большинства читателей, список этих расширений не будет открытием, но те, кто узнает ...

[Перевод] Профилирование кода с LLVM Проклятие недетерминизма Моя первая попытка написать проход LLVM — люблю эти сегфолты Недавно я столкнулся с интересной задачей — мне понадобился детерминированный и кросплатформенный способ определения времени выполнения кода С++. Под словом «детерминированный» я подразум...

NVIDIA представляет открытую платформу GPU-ускорения RAPIDS для анализа Big Data и машинного обучения HPE, IBM, Oracle, разработчики открытого ПО и стартапы интегрируют RAPIDS, чтобы значительно ускорить комплексный интеллектуальный анализ данных

Вода камень точит Давным-давно я написал статью на хабр с названием «Интенсивность важнее тщательности» про то, что лучше увеличить количество попыток сделать что-то, чем продолжительность одной попытки. Теперь я хочу дополнить эту мысль. Основная идея: разделяйте работу на рабочие сессии ...

Веселый стейт менеджмент фреймворк Huex Введение Меня всегда удивляло, как много действий надо делать для стейт менеджмент фреймворков — сразу описывать схему, писать мутации, комитать их… Почему бы не сделать всё минимально просто?) Зачем писать код, когда его можно не писать? Представляю вашему вниманию мою ...

Баги в Gmail позволяли спрятать адрес отправителя и переложить письмо в «отправленные» Сразу две серьезные ошибки, которые могут быть использованы для фишинга, обнаружены в ноябре в интерфейсе Gmail исследователем Тимом Коттеном. Перекладываем письмо в чужом инбоксе Первый баг проявился, когда Тим изучал инцидент в своей компании. Одна из его коллег обнаружил...

В WhatsApp скоро добавят тёмную тему? За последние несколько месяцев тёмная тема появилась у приложения YouTube для Android,  а также в Android Messages. Google также заявляет, что темная версия для в самой системе Android появится уже очень скоро. Благодаря тёмной теме пользователи смогут защитить глаза от раз...

Как написать на ассемблере программу с перекрываемыми инструкциями (ещё одна техника обфускации байт-кода) Представляем вашему вниманию технику создания ассемблерных программ с перекрываемыми инструкциями, – для защиты скомпилированного байт-кода от дизассемблирования. Эта техника способна противостоять как статическому, так и динамическому анализу байт-кода. Идея состоит в том, ...

GUI на Golang: GTK+ 3 Решил я написать одно кроссплатформенное десктопное приложение на Go. Сделал CLI-версию, всё работает отлично. Да ещё и кросскомпиляция в Go поддерживается. Всё в общем отлично. Но понадобилась также и GUI-версия. И тут началось... Читать дальше →

Python vs. Scala для Apache Spark — ожидаемый benchmark с неожиданным результатом Apache Spark на сегодняшний день является, пожалуй, наиболее популярной платформой для анализа данных большого объема. Немалый вклад в её популярность вносит и возможность использования из-под Python. При этом все сходятся на том, что в рамках стандартного API производитель...

Реактивное приложение без Redux/NgRx Сегодня мы разберем по косточкам реактивное angular-приложение (репозиторий на github), написанное целиком по стратегии OnPush. Также приложение использует reactive forms, что вполне типично для enterprise-приложения. При этом мы не будем использовать Flux, Redux, NgRx, I...

Все ваши анализы в открытом доступе И снова здравствуйте! У меня опять нашлась для вас открытая база с медицинскими данными. Напомню, что совсем недавно тут было три моих статьи на эту тему: утечка персональных данных пациентов и врачей из медицинского онлайн-сервиса DOC+, уязвимость сервиса «Доктор рядом» и у...

[Перевод] Как написать сопроводительное письмо при поиске работы в США: 7 советов На протяжение многих лет в США была распроcтранена практика требовать претендентов на различные вакансии не только резюме, но еще и сопроводительное письмо (cover letter). В последние годы важность этого аспекта начала снижаться – уже в 2016 году сопроводительные письма тр...

Big data, deus ex machina Источник «Данные — это новая нефть». Эту фразу на выступлении для PopTech произнёс несколько лет назад Джер Торп (Jer Thorp), художник и эксперт в вопросах анализа и визуализации данных, один из основателей «Бюро креативных исследований». Сегодня мы хотим поговорить не прос...

Apple Wallet. Что это такое и как интегрировать в него свою карту Принято считать, что Wallet – не самый популярный сервис в СНГ. Но уже во втором проекте подряд заказчик ставит задачу «Сделать интеграцию с Wallet». Поэтому я решил написать эту статью, чтобы рассказать о сервисе в целом и показать, как интегрировать в него свой продукт. Чт...

Путешествие gocritic'а в прошлое Хочу поделиться результатами работы последних нескольких дней, которые включали в себя анализ git истории некоторых крупных Go проектов с целью нахождения коммитов, которые исправляли ошибки c последующей их формализацией для детектирования в случае их появления в новом код...

Попробуйте расширенный «Анализ сайта» — неделя бесплатно! Протестируйте расширенные возможности: анализ главной и внутренних страниц, динамика, отчеты.

A1: 2017 – Injections (Часть 3 и последняя) В моей любимой компьютерной игре Quest for Glory 2: Trial by Fire, когда мир в очередной раз оказывается в опасности, главный герой попадает в Университет волшебников. После успешного прохождения вступительных испытаний бородатые мудрые волшебники предлагают поступить в этот...

Frontend Mix — доклады про Node.js, масштабируемость и нативный веб У вас есть фронтенд. Вы написали сайт, но теперь его просят встроить в ваше нативное приложение. Вы смешиваете их и получаете бесшовный переход. Вы не понимаете, как это произошло, но вам объяснят. У вас есть фронтенд. Вам нужен BFF, и вы выбираете Node.js. Что-то настраивае...

[Из песочницы] «Брендированные» флешки. Кот в «брендовом» мешке Недавно у одного моего знакомого случился неприятный казус. Его сын делал школьное домашнее задание по информатике, но результат его трудов исчез. Ребенок использовал в качестве носителя информации USB-флешку, на которой был нанесен логотип фирмы моего знакомого, и вот именн...

[Перевод] Хватит разрабатывать софт с запасом Или делайте это правильно Если выбрать одну идею, которая убивает больше всего продуктов, то это создание запаса на будущее (future proofing). Обычно идея проявляется по схеме. Нам нужен {X}, и хотя сделать {Y} гораздо легче, но при наступлении {Z} первый вариант упростит...

Nemesida WAF Free — бесплатная версия, обеспечивающая базовую защиту веб-приложения от атак В прошлом году мы выпустили первый релиз Nemesida WAF, построенного на базе машинного обучения. Мы перепробовали несколько вариантов и остановились на алгоритме обучения «Случайный лес». Основными преимуществами машинного обучения по сравнению с сигнатурным анализом являют...

Продвижение в Фейсбук: почему ничего не работает и что с этим делать Аналитическая компания Buffer и BuzzSumo опубликовали результаты исследования на тему, как новые алгоритмы Фейсбук влияют на охват и привлечение аудитории. Было проанализировано 43 миллиона сообщений Facebook, которые опубликовали 20 000 компаний. Почему это важно? – 12 янва...

[Перевод] Нечёткий мир шума Перлина Что такое шум Перлина? Шум Перлина придуман в 1983 году Кеном Перлином (получившим за это достижение премию Американской Академии кинематографических искусств и наук). Видите ли, в те времена все стремились к фотореализму, но его всегда не хватало. Кен Перлин придуман этот ...

Многофункциональных вирусов становится все больше Такой вывод был сделан на основе анализа активности 60 тысяч ботнетов - сетей из зараженных устройств, которые злоумышленники используют в своих целях.

Анализ результатов 2018 Kaggle ML & DS Survey Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5 миллиона. В соревнованиях участвуют тысячи data scientist из разных стран, и Kaggle стал интересоваться тем, что из себя п...

Не для селфи: цифровой иммуноферментный анализ посредством нового чипа, встраиваемого в смартфон Из какого кабинета в любой больнице периодически доносятся крики детей, а порой и взрослых? Что родители, нагло обманывая нас в детстве, сравнивали с укусом комарика? Я думаю вы уже догадались, что речь идет об анализе крови. Сейчас эта процедура стала более быстрой и мене...

Стартап Synthetic Minds привлек $5,5 млн на инструмент для поиска багов в смарт-контрактах Базирующийся в Сан-Франциско стартап Synthetic Minds привлек $5,5 млн на разработку технологии анализа и выявления ошибок в смарт-контрактах, сообщает VentureBeat. Компания работает над продуктом на базе программного синтеза. Последний, уверены в Synthetic Minds, следует исп...

«Для нас уже нет смысла использовать Retrofit»: об Android-разработке в Сбербанк Онлайн У скольки российских приложений в Google Play написано «50 000 000+ установок»? Очевидно, что каждый такой случай — уникальная история со своей спецификой, так что было бы интересно поговорить с разработчиками. А когда у такого приложения ещё и оценка 4,6, это усиливает ин...

[Перевод] Предиктивная аналитика данных — моделирование и валидация Представляю вашему вниманию перевод главы из книги Hands-On Data Science with Anaconda «Предиктивная аналитика данных — моделирование и валидация» Наша основная цель в проведении различных анализов данных — это поиск шаблонов, чтобы предсказать, что может произойти в будуще...

Миллион пользователей за неделю: Spotify запустился в Индии Стриминговый гигант в конце февраля запустился в Индии и менее чем за неделю увеличил свою базу пользователей на один миллион человек. Разбираемся, почему индийский рынок важен для Spotify и какие еще нововведения показал стриминговый сервис за последнее время. Читать даль...

[Из песочницы] Реализация алгоритма k-means (k-средних) на примере работы с пикселями Всем привет! Недавно нужно было написать код для реализации сегментации изображения с помощью метода k – средних (англ. k-means). Ну, первым делом Google в помощь. Нашел много информации, как и с математической точки зрения (всякие там сложные математические каракули, хрен п...

Большая часть роутеров на рынке США уязвима для кибератак Американский институт изучения потребителей выяснил, что в прошивках 83% роутеров, представленных на рынке США, содержатся уязвимости, способные привести к взлому устройства и компрометации домашней сети. Специалисты протестировали системное ПО маршрутизаторов, полностью или...

Лучшие способы запоминания английских слов Hello, everyone! Все еще сражаетесь с армией незнакомых слов? В сегодняшней статье мы поделимся боеприпасами, а именно: техники запоминания, о которых вы не знали; как не упустить важное; как сделать процесс обучения увлекательным и как придумать контекст для слов. Вы уже с...

Digital-мероприятия в Москве c 14 по 20 января Подборка ключевых мероприятий на неделю Международная олимпиада по анализу данных IDAO 15 января (вторник) — 11 февраля (понедельник) онлайн бесплатно Международная олимпиада по анализу данных IDAO (International Data Analysis Olympiad) создана ведущими специалистами Факул...

[Перевод] Как я научил ИИ играть в Tetris для NES. Часть 2: ИИ Первая часть (анализ кода) находится здесь: https://habr.com/post/420725/. Алгоритм Описание Алгоритм непрерывно выполняет следующие шаги: Ждёт, пока не создастся новое тетримино. Проверяет тип нового созданного тетримино, тип следующего тетримино (фигура в поле предпрос...

Как изменилась Siri в iOS 12 В последней версии iOS разработчики решили пересмотреть свой подход к Siri. Голосовой помощник обзавелся мощным инструментом «Siri Shortcuts», который позволяет автоматизировать ваши действия. Не обошлось и без улучшений самого алгоритма Siri. Остановимся на этом подробнее...

[Из песочницы] Сериализация данных на уровне базы Привет, Хабр! Сидел я как-то и пытался отдать фронту JSON с объектами недвижимости, у которых была масса зависимостей. На бэке стояла Symfony 4, knp pagination и JMSSerializer, ну в принципе стандартные вещи, но проблема в том, что когда ты пытаешься отдать объект со всеми ...

Применение машинного обучения для анализа большого количества отзывов респондентов Любая современная компания заботится о своей репутации. Фразы: «Ваше мнение очень важно для нас» или «Оцените вашу покупку», «С какой долей вероятности вы бы порекомендовали нашу компанию?» буквально преследуют нас на каждом шагу на сайтах магазинов, поликлиник и даже Госусл...

Нейросети для обработки изображений. Рассказывает Александр Савсуненко из Skylum Software Александр Савсуненко шесть лет занимается созданием интеллектуальных систем, два из которых — в качестве старшего научного сотрудника Университета штата Нью-Йорк в Стоуни-Брук. Он разрабатывал интеллектуальные системы для анализа ДНК, работы с изображениями, маркетинга. Сей...

Исчезающие фреймворки Почему мы используем фреймворки? Angular, React и Vue помогают нам строить сложные веб-приложения: структурировать код, управлять состоянием и разрабатывать сложные интерфейсы. За последнее десятилетие фреймворки стали стандартом. Дорогим стандартом. С тех пор как фреймворки...

Бегущий в лабиринте: анализ нейронной активности мозга крысы в реальном времени Какую суперсилу вы бы выбрали: полет, невидимость или телепатию? Живым, в каком-то смысле, воплощением последнего всегда был персонаж комиксов Люди-Икс профессор Чарльз Ксавье, появившийся еще в далеком 1963 году из-под пера Стэна Ли. Но в комиксах и не такие суперсилы мож...

[Перевод] Глубокое обучение с подкреплением: пинг-понг по сырым пикселям Это давно назревшая статья об обучении с подкреплением Reinforcement Learning (RL). RL – крутая тема! Вы, возможно, знаете, что компьютеры теперь могут автоматически учиться играть в игры ATARI (получая на вход сырые игровые пиксели!). Они бьют чемпионов мира в игру Го, ви...

Тесты на Си без SMS и регистрации Недавно zerocost написал интересную статью «Тесты на C++ без макросов и динамической памяти», в которой рассматривается минималистический фреймворк для тестирования Си++ кода. Автору (почти) удалось избежать использования макросов для регистрации тестов, однако вместо них в ...

Асинхронность в программировании В области разработки высоконагруженных многопоточных или распределенных приложений часто возникают дискуссии об асинхронном программировании. Сегодня мы подробно погрузимся в асинхронность и изучим, что это такое, когда она возникает, как влияет на код и язык программировани...

Джон Мюллер о роли TF-IDF в алгоритме Google Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о роли TF-IDF в алгоритме Google. Согласно Wikipedia, «TF-IDF – это статистическая мера, используемая для оценки важности слов в контексте документа, являющегося частью коллекции д...

Переводим рецепт на язык мультиварки Расквартированная клубника и другие особенности машинного перевода: чтобы сделать еще один шаг в сторону автоматизированных кухонь, нужно научить технику понимать рецепты, написанные человеческим языком и в человеческой логике. Для этого их нужно трансформировать. Под катом ...

Сравнение методов прогнозирования конверсии цепочек рекламных каналов Самая суть цепочек рекламных каналов вызывает непреодолимое желание узнать, что вероятнее всего произойдет дальше в цепочке. Будет конверсия или нет? Но это похвальное стремление часто утыкается в проблему. Если пытаться удерживать количество ложно-положительных результатов...

Dagaz: Из тумана Все это плутни королевы Маб. Она в конюшнях гривы заплетает И волосы сбивает колтуном… Вильям Шекспир Это был долгий релиз, но и сделано было немало. Появился session-manager, позволяющий откатывать ошибочно сделанные ходы. Кое где добавилось звуковое оформление. А ещё, я ...

[Перевод] 10 шагов к успешному Python-проекту Материал, перевод которого мы сегодня публикуем, посвящён инструментам, которые позволяют оснащать Python-проекты средствами форматирования кода, тестирования, непрерывной интеграции и анализа зависимостей. Это помогает ускорить процесс разработки, способствует повышению кач...

[Из песочницы] PHPDump — Отладка в консоли Google Chrome и взаимодействие с CMS MODX Сразу к делу Есть собственный продукт который успешно мне помогает в отладке и назвал его PhpDump. В свое время CMS MODX побудил меня написать свой отладчик. Конечно же есть var_dump, phpConsole, xDebug в PHP. Но тут я со своим PhpDump. Скажу что решение не идеальное, но о...

Решение Healthy.io позволит проводить анализ мочи на дому Анализ мочи — одна из самых востребованных и распространенных медицинских процедур в мире. Однако многие пациенты не проходят ее регулярно, потому что не могут найти времени, чтобы посетить больницу. Тем самым они подвергают себя риску пропустить начало опасной болезни — нап...

Пример разбора C++ кода с помощью libclang на Python На одном личном проекте на C++ мне потребовалось получать информацию о типах объектов во время выполнения приложения. В C++ есть встроенный механизм Run-Time Type Information (RTTI), и конечно же первая мысль была использовать именно его, но я решил написать свою реализацию,...

Устройство компилятора Swift. Часть 2 Вторая часть моего рассказа о компиляторе Swift. Мы начнём изучать фронтенд, а точнее те его части, которые отвечают за первоначальный разбор и анализ исходного кода. Читать дальше →

[Из песочницы] Qbot возвращается. Varonis представила подробный анализ банковского трояна Qbot Исследовательская группа по безопасности Varonis обнаружила и исследовала глобальную кибератаку, использующую новый штамм вредоносного программного обеспечения Qbot. Кампания активно нацелена на американские корпорации, но поразила сети по всему миру — с жертвами по всей Евр...

Google провёл редизайн инструмента PageSpeed Insights Google провёл редизайн инструмента PageSpeed Insights и добавил в него больше данных. Оценка скорости загрузки теперь основана на данных, полученных методом имитации загрузки сайта с помощью инструмента Lighthouse. В примечаниях к выпуску PageSpeed Insights API говорится сле...

Преимущества анализа приложений 7 уровня в межсетевых экранах. Часть 1. Основы Почему появилась эта статья? Неоднократно приходил к коллегам-безопасникам, которые пользуются межсетевым экраном нового поколения и видел, что они продолжают писать правила по номерам портов. На мое предложение перейти писать по имени приложений, слышал «А вдруг так не зар...

Правительство Ивановской области исследует возможности применения алгоритмов машинного обучения в СЭД Компания «Диджитал Дизайн» в партнерстве с ООО «Документум Системс» провела анализ накопленных данных системы …

[Перевод] Революцию в ИИ произведут не дроиды, а тостеры Будут ли интеллектуальные алгоритмы будущего походить на роботов общего назначения, так же хорошо справляющихся с непринуждённой беседой и чтением карт, как с кухонными задачами? Или наши цифровые помощники будут больше походить на специализированные гаджеты – то есть, это...

[Из песочницы] А был ли Scrum*? *Scrum (Скрам (сущ.)) — это фреймворк, который помогает решать изменяющиеся в процессе работы задачи, чтобы продуктивно и творчески поставлять клиентам продукты с максимально возможной ценностью. Почему я решил написать эту статью Очень часто в рабочей среде, на просторах и...

Радиолюбительские измерения: анализ сигналов шины I2C Как я уже неоднократно упоминал в своих публикациях, любительские проекты финансируются из семейного бюджета, и радиолюбитель, обычно, не может себе позволить покупку дорогостоящего измерительного оборудования. Приходится довольствоваться тем, что есть. Или тем, что удаётс...

Microsoft открыл исходный код одного из ключевых алгоритмов Bing Microsoft опубликовал исходный код одного из ключевых алгоритмов, используемых в работе поисковой системы Bing – Space Partition Tree And Graph (SPTAG). Теперь он доступен на GitHub. Этот алгоритм использует векторный поиск и модели глубокого обучения для предоставления резу...

Совмещение R и Python: зачем, когда и как? Наверное, многие из тех, кто занимается анализом данных, когда-нибудь думали о том, возможно ли использовать в работе одновременно R и Python. И если да, то зачем это может быть нужно? В каких случаях будет полезным и эффективным для проектов? Да и как вообще выбрать лучши...

Анализ больших данных удвоил доход «ВымпелКома» Оператор помогает банкам оценивать платежеспособность потенциальных заемщиков, а торговым сетям — проходимость их магазинов.

Иллюзия иммутабельности и доверие как основа командной разработки Вообще я C++ программист. Ну так получилось. Подавляющее большинство коммерческого кода, который я написал за свою карьеру, — это именно C++. Мне не очень нравится такой сильный перекос моего личного опыта в сторону одного языка, и я стараюсь не упускать возможности написать...

[Перевод] Делаем проект по машинному обучению на Python. Часть 1 Перевод A Complete Machine Learning Project Walk-Through in Python: Part One. Когда читаешь книгу или слушаешь учебный курс про анализ данных, нередко возникает чувство, что перед тобой какие-то отдельные части картины, которые никак не складываются воедино. Вас может пуг...

[Из песочницы] Duality — легкий и быстрый движок для игростроя под Windows (Доп.) Приветствую, читатель. В данной публикации речь пойдет о перспективном и достаточно молодом игровом движке, который незаслуженно остался в тени таких гигантов, как Unity или Unreal Engine. Разработчиками является объединение энтузиастов под руководством Adam's Lair. Как...

[Перевод] 8 облачных анализаторов логов для оценки рабочей среды Увеличение количества устройств, повышение квалификационных требований, оптимизация процесса сбора данных необходимы для любого вида бизнеса. Анализ логов может дать вам реальное представление о том, что происходит в вашей информационной среде. Вот некоторые примеры, функцио...

Компьютер научили определять деменцию с точностью 93% Страх сумасшествия — одна из самых сильных фобий Человека Разумного. Двести лет назад Александр Пушкин написал об этом свое знаменитое «Не дай мне бог сойти с ума». Сейчас, в прогрессивном двадцать первом веке, мало что изменилось, и мы по-прежнему боимся приобретенных умс...

Поставлен рекорд по сборке кубика Рубика … ногами На Хабре регулярно публикуются новости о рекордах по сборке кубика Рубика. Последнее достижение принадлежит австралийцу Феликсу Земдегсу, который смог решить головоломку всего за 4,221 секунды. Так быстро собирать кубик могут лишь те люди, кто регулярно (и помногу) трениру...

[Из песочницы] Анализ графиков бинарных опционов или как я в очередной раз доказал себе, что халявы не существует Недавно я наткнулся на занимательное видео из разряда «Чтобы быстро стать богатым нужно всего лишь...». Видео начинается пафосным пересчитыванием солидной пачки денег и демонстрированием приличного счета. Далее парень показывает стратегию, которая основана на фразе «Ну вот...

Анализ подходов к связыванию модулей в Node.js Многие разработчики Node.js для связывания модулей используют исключительно создание жёсткой зависимости с помощью require(), однако существуют и другие подходы, со своими плюсами и минусами. О них я в этой статье и расскажу. Будут рассмотрены четыре подхода: Жёсткие завис...

Каждому яду — свой антидот. Как спастись или хотя бы попытаться… Всем бойцам РХБЗ (радиохимической и биологической защиты) не посрамившим честь своего ОЗК посвящается... С интересом читая статьи коллеги gjf про самые интересные, самые страшные и самые нестрашные яды испытываю ностальгию :). Потому что любой правильный химик, начиная свой...

Интерактивная игра на XSLT Когда-то давным-давно придумали люди язык XML и увидели, что это хорошо. И стали использовать его везде, где можно, и даже там, где не следует. Форматы хранения и передачи данных, конфиги, веб-сервисы, базы данных… Казалось, оглянись вокруг — XML, XML повсюду. Время прошло...

[Из песочницы] Пишем GeoIP exporter для Prometheus с визуализаций в Grafana за 15 минут Привет всем! Я хочу поделиться с вами тем, как легко можно написать свой экспортер для Prometheus на Golang и покажу как это можно сделать на примере небольшой программы, которая следит за тем, откуда географически установлены текущие TCP соединения. Читать дальше →

[Перевод] Как мы удвоили скорость работы с Float в Mono Мой друг Aras недавно написал один и тот же трассировщик лучей на разных языках, в том числе на C++, C# и компиляторе Unity Burst. Разумеется, естественно ожидать, что C# будет медленнее, чем C++, но мне показалось интересным, что Mono настолько медленнее .NET Core. Опубли...

Эволюция email-маркетинга: от QWERTYUIOP до GDPR Прошло 47 лет с тех пор, как американский инженер Рей Томлинсон отправил первое в мире электронное письмо. Это он придумал использовать символ @ (at-sign) в адресах, который мы сегодня, не задумываясь, ассоциируем с целой технологией и даже культурой электронной почты. Вря...

QEMU.js: теперь по-серьёзному и с WASM Когда-то давно я смеха ради решил доказать обратимость процесса и научиться генерировать JavaScript (а точнее, Asm.js) из машинного кода. Для эксперимента был выбран QEMU, некоторое время спустя была написана статья на Хабр. В комментариях мне посоветовали переделать проект ...

Дарим праздничную скидку на «Анализ сайта»! Дарим 50% скидку на тарифы «Анализа сайта»!

Умножение матриц: эффективная реализация шаг за шагом Введение Умножение матриц — это один из базовых алгоритмов, который широко применяется в различных численных методах, и в частности в алгоритмах машинного обучения. Многие реализации прямого и обратного распространения сигнала в сверточных слоях неронной сети базируются на...

Ошибки, встроенные в систему: их роль в статистике В прошлой статье я указал, как распространена проблема неправильного использования t-критерия в научных публикациях (и это возможно сделать только благодаря их открытости, а какой трэш творится при его использовании во всяких курсовых, отчетах, обучающих задачах и т.д. — неи...

Анализ трендов российского YouTube за 2018 год Старожилы, наверное, и не вспомнят, но в конце 2017-го года в обсуждениях в интернете была распространена мысль о том, что в трендах YouTube часто встречаются «накрученные» видео. Поэтому накануне нового 2018-го года я написал утилиту для сбора информации о видео, которые по...

“Человеческое, слишком человеческое” Не станем ли мы заложниками нашего разума, реализуя универсальный ИИ? Многие учёные и инженеры имеют неоправданно завышенные ожидания к искусственному разуму. Почему-то они считают, что мыслящие машины, будучи созданными, сразу же решат многие наши проблемы и приведут к технологической сингулярности. Однако, такой образ мыслей является забл...

Российские чиновники массово используют пиратский софт В результате анализа 22318 документов, размещенных на официальных сайтах различных органов власти, в 1483 файлах (6.64% от общего числа) обнаружены метки, указывающие на пиратское происхождение программ, в которых эти документы были созданы.

Читай старьё Всю свою сознательную жизнь я любил историю. Интерес к другим предметам приходил и уходил, а к истории оставался всегда. Я люблю документальные и художественные фильмы про историю, легкие книги «про те времена», очерки об известных людях и событиях, научные труды, историю ин...

Splunk глазами новичка: как мы делали систему инвентаризации хранилищ Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возм...

Анализ производительности WSGI-серверов: вернем uWSGI на место На прошлой неделе был опубликован перевод статьи двухлетней давности Анализ производительности WSGI-серверов: Часть вторая, где незаслужено был обделен славой uWSGI. Необходимо срочно перепроверить тесты! Читать дальше →

Релиз PVS-Studio 6.26 Обычно мы не пишем заметки про выход новой версии анализатора PVS-Studio. Однако в новый релиз вошло много интересных изменений, касающихся анализа C и C++ кода, о которых хочется рассказать нашим пользователям. Читать дальше →

За Новый Год и Рождество абоненты Киевстар использовали 6,3 петабайт трафика, из которых 40% пришлось на 4G-сети (в прошлом году — всего 2,4 ПБ) Недавно мы рассказали о том, что абоненты Vodafone Украина загрузили 6 петабайт трафика в праздничный период, а теперь аналогичными результатами поделился еще один крупный мобильного оператор. По данным Киевстар, за Новый год и Рождество абоненты оператора отправили свыше 6,...

Еще один способ использования Webpack 4 и разделение кода Предыстория Ни для кого не секрет, что с выходом Webpack 4 стратегия разделения кода сильно поменялась. Тут даже лучше сказать, что она была заново придумана, т.к. старый подход просто перестал работать, а новый не понятно как использовать. Для тех, кто все еще не в курсе, п...

Заметки фитохимика. Закат эпохи хабра-банана Anfangen ist leicht, Beharren eine Kunst (Начинать — легко, продолжать — искусство) Немецкая пословица Думаю, тема банана уважаемым хабра-читателям уже порядком поднадоела. Пора бы с одной стороны закончить наконец с этим бананом, да написать про какой-нибудь чеснок. Но что ...

[Перевод] Переход Tinder на Kubernetes Прим. перев.: Сотрудники всемирно известного сервиса Tinder недавно поделились некоторыми техническими деталями миграции своей инфраструктуры на Kubernetes. Процесс занял почти два года и вылился в запуск на K8s весьма масштабной платформы, состоящей из 200 сервисов, размещё...

Грядущий процессор Apple A13 (Cebu) можно будет использовать и в ноутбуках Сравнительно недавно в мобильных устройствах Apple дебютировал процессор Apple A12 Bionic. Тем не менее, уже начали появляться первые сведения о его преемнике — чипе Apple A13. Соответствующей информацией у себя в Twitter поделился известный инсайдер Longhorn после ана...

Кастомизация резолвинга зависимостей в Spring Привет! Меня зовут Андрей Неведомский и я главный инженер в СберТехе. Я работаю в команде, которая занимается разработкой одного из системных сервисов ЕФС (Единой Фронтальной Системы). В своей работе мы активно используем Spring Framework, в частности его DI, и время от врем...

Мой «Hello World!» на FPGA или очередная версия UART Наконец-то у меня дошли руки до изучения ПЛИС. А то как-то неправильно получается: драйвера на железо под Linux пишу, микроконтроллеры программирую, схемы читаю (и немного проектирую), надо расти дальше. Так как мигать светодиодами мне показалось не интересно, то решил сде...

Перевод книги Эндрю Ына «Страсть к машинному обучению» Главы 20 — 22 предыдущие главы 20 Систематические и случайные: Два основных источника ошибок Предположим, ваша тренировочная, валидационная и тестовая выборки имеют одно и то же распределение. Тогда нужно брать больше данных для обучения, это только улучшит качество работы алгоритма, верн...

Информационная безопасность банковских безналичных платежей. Часть 6 — Анализ банковских преступлений (с) МВД России. Фрагмент записи с камер наблюдения в момент кражи денег из банкомата Ссылки на другие части исследования Информационная безопасность банковских безналичных платежей. Часть 1 — Экономические основы. Информационная безопасность банковских безналичных платежей...

Внедряйте статический анализ в процесс, а не ищите с его помощью баги Написать эту статью меня сподвигло большое количество материалов о статическом анализе, всё чаще попадающихся на глаза. Во-первых, это блог PVS-studio, который активно продвигает себя на Хабре при помощи обзоров ошибок, найденных их инструментом в проектах с открытым кодом. ...

[Из песочницы] Исследование связности мировых валют через корреляцию абсолютных курсов Введение О проекте Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных валютных курсов и их анализом. В рамках проекта получена методика преобразования от парных курсов к абсолютным валютным курсам. Для этого определена аб...

«МегаФон» и Mail.Ru Group проведут чемпионат по машинному обучению для анализа качества связи «МегаФон» и Mail.Ru Group запускают первый совместный чемпионат по машинному обучению и анализу данных – Telecom Data Cup. Участники соревнования проанализируют набор данных от оператора и, применив технологии машинного обучения, предскажут удовлетворенность абонентов качест...

"Информзащита" и Positive Technologies объявили о сотрудничестве Команда экспертного центра безопасности Positive Technologies будет привлекаться к расследованиям и анализу киберинцидентов, помогать своими решениями в организации и контроле сетевого периметра.

Абстрактный CRUD от репозитория до контроллера: что ещё можно сделать при помощи Spring + Generics Совсем недавно на Хабре мелькнула статья коллеги, который описал довольно интересный подход к совмещению Generics и возможностей Spring. Мне она напомнила один подход, который я использую для написания микросервисов, и именно им я решил поделиться с читателями. На выходе ...

[Из песочницы] Статический анализ «BIOS/UEFI» или как получить Dependency Graph «Я вчера закончил ковку, Я два плана залудил…» … V.S. Vysotsky song... Уже почти 3 года назад (в начале 2016) в issue проекта UEFITool на GitHub появилось пожелание пользователей: построить «Dependency Graph» для исполняемых модулей, входящих в BIOS/UEFI. Завязалось да...

Neutralinojs — что ты такое? Или UNIX way там, где не ждали Недавно я совершенно случайно наткнулся на простую рекламную заметочку "Neutralinojs — альтернатива Electron, потребляющая меньше памяти", рассказывающую о том, что есть такая крутая вещь как Neutralinojs. Заметочка, как и следует ей быть, совсем короткая и не несёт никакой ...

Интерактивная карта для веб-приложения за пару часов В прошлой статье я кратко рассказала о возможностях kepler.gl — нового Open Source инструмента для визуализации и анализа больших наборов гео-данных. Рисунок 1. Варианты карт, созданных с помощью kepler.gl (by Uber) Данное веб-приложение позволяет за считанные минуты созда...

[Из песочницы] Колонки RADIOTEHNKIKA S-30 от старых к новым Привет, меня зовут Артем Денисов. Я программист, увлекаюсь электроникой и всякими такими интересными штуками. Много лет читал хабрахабр, а теперь вот решил и сам статью написать. Эта история началась в старом, темном и страшном подвале. В котором я обнаружил древние совет...

Носимая на лице «лаборатория» позволяет заменить анализ крови Инженеры Fluid Interfaces Group из Массачусетского технологического института (МТИ) создали носимый датчик, который крепится к щеке человека и собирает информацию о концентрации тех или иных биологических маркеров в слюне в режиме реального времени. Разработчики устройства ...

[Перевод] Microsoft выпустил код MS-DOS 1.25 и 2.0 под лицензией MIT Microsoft выпустил код MS-DOS 1.25 и 2.0 под лицензией MIT, см. соответствующий репозиторий на GitHub, на фразу «for reference purposes» внимание не обращайте, она устарела. Это тот самый код, который ещё в марте 2014 года стал доступен как shared source («смотри, но не тро...

Атака на приложение. Используем Xposed, чтобы обойти SSLPinning на Android Для подписчиковЕсть разные подходы к анализу защищенности приложений, но рано или поздно все упирается в изучение взаимодействия программы с API. Именно этот этап дает больше всего информации о работе приложения, об используемых функциях и собираемых данных. Но что, если при...

Чем занимаются в департаменте R&D ABBYY: NLP Advanced Research Group Чем занимаются в департаменте R&D в ABBYY? Чтобы ответить на этот вопрос, мы начинаем серию публикаций о том, как наши разработчики создают новые технологии и совершенствуют существующие решения. Сегодня расскажем про направление Natural Language Processing (NLP). Мы в...

[Перевод] Как нейробилогия вмешается в выборы президента США Жарким летом 2016 года, когда Хиллари Клинтон уверенно лидировала в президентской гонке США, Спенсер Геррол попросил свою группу нейробиологов сделать кое-что необычное. В течение трёх с половиной лет он раздражал руководителей и консультантов своего маркетингового агентств...

Полгода без CEO и снижение продаж iPhone: почему падают акции Intel В июне 2018 года CEO Intel Брайан Кржанич был вынужден покинуть свой пост. Причиной увольнения стали результаты внутреннего расследования, которое показало, что у директора были личные отношения с одним из сотрудников, что запрещено внутренними правилами Intel. Кржанич был...

Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса. Напр...

Хакатон по анализу данных в Нижнем Новгороде 30-31 марта ребята из СИБУР и AI Community проводят Хакатон по анализу данных в Нижнем Новгороде. Мы выступаем партнерами этого мероприятия. Призовой фонд — 200 000 рублей. Ну а подробности под катом! Кстати, в ближайшие дни ребята из СИБУР расскажут о задачах Хакатона, м...

[Из песочницы] Это Karma, детка, или почему атака на беспроводные сети, которая должна была кануть в лету, все еще жива Сегодня беспроводные точки доступа окружают нас повсюду: в кафе, ресторанах, в торговых центрах и в транспорте. Это перестало быть чем-то необычным, и мы спокойно подключаемся к незащищенной сети или постоянно держим включенным режим поиска знакомых точек вокруг. Именно поэ...

[Из песочницы] Почему Arduino такая медленная и что с этим можно сделать Давным давно наткнулся на прекрасную статью (тык) — в ней автор достаточно наглядно показал разницу между использованием ардуиновских функций и работой с регистрами. Статей, как восхваляющих ардуино, так и утверждающих, что это все несерьезно и вообще для детей, написано мн...

Инструкция: как тестировать ansible-роли и узнавать о проблемах до продакшена Всем привет! Я работаю DevOps-инженером в сервисе бронирования отелей Ostrovok.ru. В этой статье я хочу рассказать о нашем опыте тестирования ansible-ролей. В Ostrovok.ru в качестве менеджера конфигураций мы используем ansible. Недавно мы пришли к необходимости тестирования ...

[Из песочницы] Простейшая игра на Ardruino с дисплеем 1602 — Часть #1 Вот что у нас должно получиться, ну он еще умеет прыгать, ходить и бить злые кактусы, которые на него нападают, но к этому придем поэтапно :) ЧАСТЬ #1 основы Я заказал себе arduino, «так себе игрушка» подумал я, комплект маленький (для пробы) о чем в последствии пожалел. Х...

Разработчики FindFace создадут новую систему слежки Аналитическая компания Watcom Group и компания NtechLab, создавшая алгоритм распознавания лиц FindFace, разработают инструмент для анализа информации о посетителях и сотрудниках торговых центров.

[Перевод] Телефон Pixel 3 учится определять глубину на фотографиях Портретный режим на смартфонах Pixel позволяет вам делать профессионально выглядящие фотографии, привлекающие внимание к объекту съёмки при помощи размытия фона. В прошлом году мы описывали, как мы подсчитываем глубину, используя единственную камеру и автофокус с определение...

[Из песочницы] Тетрис на C# в 100 строк Недавно мне в голову пришла идея — написать простенькую игру в минимальное количество строк. Мой выбор пал на тетрис. В этой статье я опишу свой код. Для начала стоит отметить, что в свою реализацию я включил только базовые возможности: движение фигурок влево/вправо; паде...

Осторожно — ГАЗ! или Как мы делали негазированные смарт-контракты Блокчейн и смарт-контракты все еще остаются горячей темой среди разработчиков и технических специалистов, много исследований и рассуждений об их будущем и о том, куда это все движется и приведет нас. У нас в Waves Platform свой взгляд на то, какими должны быть смарт-контрак...

Google PageSpeed Insights кардинально обновился, что изменится? 12 ноября Google по тихому обновил PageSpeed Insights, изменив в нем практически все. Это станет большой переменой для всей индустрии сайтостроения. Похоже, сейчас настанет некоторая волна паники и хайпа вокруг этого события. В статье — анализ перемен и что они нам принесу...

«Яндекс» строит свою аналитику рекламных площадок и статистику рынка "Яндекс", уже создавший для анализа Рунета проект "Радар", сделал в его рамках рейтинг площадок. Компания считает его инструментом рекламщика для выбора мест для размещения рекламы..

Как получить Google Developers Certification: Mobile Web Specialist Привет, Хабр! Сегодня хочу поделиться с вами историей о том, как я сдавал сертификационный экзамен Google Developers Certification: Mobile Web Specialist. Если честно, то каких-то объективных причин я назвать не могу, так как не слышал ещё ни об одном случае, когда наличие с...

Splunk. Легкий Troubleshooting работы приложений Как часто вы используете уже созданные надстройки со Splukbase, вместо того, чтобы написать собственные? Всегда ли в них есть то, что вы хотели бы увидеть? Все ли в них работает нормально, даже если устанавливалось точно по инструкции? Сегодня мы поговорим об особенностях ...

[Перевод] Дротики, кости и монеты: алгоритмы выборки из дискретного распределения Однажды я задал на Stack Overflow вопрос о структуре данных для шулерских игральных костей. В частности, меня интересовал ответ на такой вопрос: «Если у нас есть n-гранная кость, у грани которой i есть вероятность выпадения pi. Какова наиболее эффективная структура данных д...

Подключение Multipath LUN СХД к VMware ESXi и Debian GNU/Linux Друзья и коллеги! У одного из наших клиентов недавно возник вопрос, который приобрел раннее сервера и HP Blade, а сейчас прикупил HP MSA 2040: Почему сервер видит презентованный ему лун, как 4 отдельных диска одинакового объема (ОС Linux)? Читать дальше →

Системный подход к скорости: онлайн-измерения на фронтенде Команда скорости Яндекса вручную оптимизирует поисковую выдачу. Делать это вслепую трудно и зачастую просто бесполезно. Поэтому в компании построили инфраструктуру для сбора метрик, тестирования скорости и анализа полученных данных. О том, какие метрики стоит использовать ...

Компания Epson приобрела акции Cross Compass и внедряет методы искусственного интеллекта Японская корпорация Seiko Epson приобрела акции венчурной компании Cross Compass Ltd. и начала сотрудничество в области искусственного интеллекта. Основанная в 2015 году компания Cross Compass занимается разработкой нейронных сетей и других алгоритмов машинного обучения с це...

Как я перестал бояться и полюбезнее начал относиться к слежке за мной Помню, как, будучи офисным ещё, по большей части, работником, я читал и хейтил обзоры подобных программ, включая некоторые из тех, про которые сам сегодня пишу (за 10 лет рынок софта этой категории не так уж сильно поменялся). Потому что офис, и работа на «дядю», ии даже на ...

История типизации на примере одного большого проекта Всем привет! Сегодня я расскажу вам историю развития типизации на примере одного из проектов в Ostrovok.ru. Эта история началась задолго до хайпа о typing в python3.5, более того, она началась внутри проекта, написанного еще на python2.7. 2013 год: совсем недавно был рел...

[Перевод] Записки фрилансера: разработка первого React Native-приложения Автор материала, перевод которого мы публикуем, недавно выпустил своё первое мобильное приложение, написанное на React Native. Так случилось, что это приложение стало и его первым проектом, который он создал как программист-фрилансер. Здесь он расскажет о том, с чем ему приш...

[Из песочницы] Алгоритм Дугласа-Пекера Предисловие Не так давно пришлось поработать с упрощением полигональной цепи (процесс, позволяющий уменьшить число точек полилинии). В целом, данный тип задач очень распространен при обработке векторной графики и при построении карт. В качестве примера можно взять цепь, неск...

Книги для начинающих руководителей или почему так важно читать Любой человек, который хочет стать спецом в своем деле, должен читать профессиональную литературу. Не важно, кто он: инженер по тестированию, программист или менеджер. Особенно актуально получение книжных знаний для руководителей любого уровня. Представьте, программист без ...

Новый законопроект о защите больших пользовательских данных (БПДн) Раньше серьезную инфраструктуру для хранения и анализа Больших данных (Big Data) могли позволить себе только масштабные организации. Сегодня же, большие данные находят все более разнообразное применение в самых различных областях. При этом, развитие Big Data не только откр...

Рождественская открытка с Марса. ESA показало большое скопление льда на поверхности красной планеты Может быть, вы уже видели? Лёд среди пустыни. Это не фотошоп и не природная аномалия. Это новые снимки водяного льда в кратере Королёва на Марсе, только что опубликованные ESA. Они сделаны спутником Mars Express, запущенным Европейским космическим агентством еще в 2003 год...

Преимущества анализа приложений 7 уровня в межсетевых экранах. Часть 2. Безопасность Новое поколение межсетевых экранов удобнее и безопаснее, благодаря новой архитектуре движка и новой идеологии управления сетевыми потоками. Почему появилась эта статья? Неоднократно приходил к коллегам-безопасникам, которые пользуются межсетевым экраном нового поколения и ...

[Перевод] DEFCON 21. Одних паролей недостаточно, или почему «ломается» шифрование диска и как это можно исправить. Часть 1 Спасибо всем, что пришли, сегодня мы поговорим о полном шифровании жёсткого диска (FDE), которое не так безопасно, как вы думаете. Поднимите руки, кто шифрует таким образом HDD своего компьютера. Поразительно! Ну что же, добро пожаловать на DefCon! Похоже на то, что 90% и...

ИИ-софт ищет схожие преступления для их быстрого раскрытия Как сообщает Associated Press, решение под названием Patternizr, которое было внедрено в декабре 2016 года после двух лет разработки силами полиции, позволяет криминалистам в каждом из 77 полицейских участков в Нью-Йорке сопоставлять грабежи, воровство и кражи с сотнями тыся...

От выпуска 5G-модемов компанию Intel удержали результаты анализа прибыльности Деньги на ветер.

[Перевод] Как восстанавливали видео для Full Throttle Remastered. Часть 2 В моём предыдущем посте я рассказал, как мы извлекали контент из исходных FMV-файлов и создали инструменты для анализа примерно 67 ГБ архивов в поисках промежуточных составляющих частей, использованных для создания FMV. Эти части являются базисом для создания remastered-кон...

Решение отсутствия prevProps в getDerivedStateFromProps Привет, друзья! Итак, разработчики Реакта решили сделать нашу работу с их либой более линейной, направить, так сказать, нас нерадивых на путь наименьшего шанса ошибиться и написать плохой код, что, на мой взгляд, является нашим неотъемлемым правом и способом совершенствовать...

Как мы делали первый российский смартфон Эта история началась 1 октября 2012 года, когда мне позвонил институтский товарищ Игорь и попросил помочь с горящим проектом. Они пытались сделать терминал сбора данных для технологического применения в РЖД. Такая штука для обходчиков путей и вагонов, чтобы они могли фикси...

[Из песочницы] Чиним клиентов WSUS Клиенты WSUS не хотят обновляться после смены сервера? Тогда мы идем к вам. (С) У всех бывали ситуации, когда что-нибудь переставало работать. В данной статье речь пойдет о WSUS (более подробную информации о WSUS можно получить здесь и здесь). А точнее о том, как заставит...

[Перевод] X-образных отметки, как способ идентификации РЛС с помощью анализа открытых данных от двух научных спутников SENTINEL-1 ГИС-аналитик Харел Дан заметил, что, когда он случайно отрегулировал уровни шумов, работая с базой изображений, полученных со спутников группировки SENTINEL-1, то внезапно по всему миру появилось множество цветных X-образных отметин. Читать дальше →

Как ИИ помогает осваивать язык жестов Для любого человека язык жестов сложен для изучения. Дело в том, что используются не только жесты, но и мимика, а также артикуляция, плюс «язык тела». Значение передаваемой информации зависит от всех этих факторов. Существуют программы для изучения языка жестов, но многие ...

«Живой Журнал» обновился: ввели систему категоризации контента с элементами ИИ Сегодня «Живой Журнал» сообщил о значительных обновлениях платформы. Одна из них — автоматическая категоризация контента. Разработчики описывают ее так: «Система категоризации контента — это система интеллектуального анализа текстов, построенная на базе статистическо-лингв...

Евгений Каневский: «Государство не увидело большого будущего малой техники» Мы решили дополнить музейную коллекцию DataArt интервью с людьми, повлиявшими на историю IT. В прошлый раз мы поговорили с Сергеем Зоновым, создателем одного из главных клонов «Спектрума». На этой неделе наш герой — ведущий научный сотрудник института региональной экономик...

[recovery mode] «Data Science, как математика и физика, — еще один способ познавать мир вокруг себя» Хабр, привет! Мы продолжаем серию интервью с выпускниками Newprolab, в которой они рассказывают о своей истории перехода в область работы с большими данными. Истории разные и будут интересны тем, кто задумывается о смене карьерной траектории или о том, как новые знания могут...

Рабочее место .NET разработчика или трудности выбора идеальной конфигурации ver.2.0 Привет, Хабр! И снова мы приоткрываем дверь «за кулисы» проекта Retail Rocket. Запуская инженерный блог, мы обещали рассказывать о подходах, используемых в области анализа данных, и разработки технологий, которые позволяют создавать самую популярную на рынке ecommerce платф...

Математика в Gamedev по-простому. Триангуляции и Triangle.Net в Unity Всем привет! Меня зовут Гриша, и я основатель CGDevs. Математика – очень крутой инструмент при разработке игр. Но если скажем без понимания векторов и матриц обойтись в принципе сложно, то алгоритмы триангуляций не столь обязательная вещь, но с помощью них решается достаточн...

[Из песочницы] Карманный OLAP на Javascript и производительность IndexedDB Здравствуй, Хабр! Недавно я решил протестировать производительность Javascript на примере создания несложного WEB-приложения, умеющего строить сводные таблицы, вычислять агрегаты и подтягивать атрибуты из справочников, используя слабо-структурированные данные в качестве ист...

[Из песочницы] Синтез как один из методов улучшения производительности PostgreSQL Философское вступление Как известно, существует всего два метода для решения задач: Метод анализа или метод дедукции, или от общего к частному. Метод синтеза или метод индукции, или от частного к общему. Для решения проблемы “улучшить производительность базы данных” это...

Cataclysm Dark Days Ahead, статический анализ и рогалики Скорее всего, из названия статьи вы уже догадались, что в центре внимания ошибки в исходном коде. Но это вовсе не единственное, о чем пойдет речь в этой статье. Если кроме С++ и ошибок в чужом коде вас привлекают необычные игры и вам интересно узнать, что это такие за «рога...

Тime-Of-Flight: технология, которая может совершить революцию в мобильной фотографии Наращиванием мощностей железа смартфонов уже никого не удивишь. Прошли те времена, когда дополнительными «гигабайтами и гигагерцами» можно было заинтересовать новую аудиторию. И поэтому производители смартфонов вкладываются в разработку инновационных технологий. Н...

Что важнее при кластеризации – интент запроса, или пересечения по ТОПам? Пример Вопрос пользователя: Есть информационный ключ (например «маска с репейным маслом против выпадения волос») При кластеризации мне его нужно распределить в одну из групп «репейная маска для волос» или «маска против выпадения волос» Если смотреть по топу, то пересечение по трем ...

Как мы выбирали TTS для озвучек примеров в Словаре Словарь в Puzzle English помогает пользователям учить лексику наряду с аудио- и видеопазлами, подкастами, фильмами, сериалами и песнями. В Словаре переводы сопровождаются аудиопримерами слов и выражений. Для озвучек мы используем записи живых дикторов и TTS — text-to-speech ...

Домашняя лаборатория для самоконтроля, или что купить в гик-аптечку В одной из недавних публикаций мы затронули несколько важных общих тем, как общих — самоконтроль и самодиагностика в домашних условиях, так и частных — анализ мочи на дому. Как нам кажется, тему имеет смысл продолжить: сегодня расскажем подробнее, что вообще существует (сп...

Сколько нужно программистов, чтобы поддерживать ранее написанный код? Некоторое время назад между мной и моим хорошим другом состоялся разговор, в котором прозвучали такие фразы: — Количество программистов будет постоянно расти — ведь количество кода растет, и для его поддержки постоянно требуется все больше разработчиков. — Но код стареет,...

Moral Machine: беспощадный или бессмысленный? Данную статью я решил написать по следам вот этого поста: https://habr.com/company/smileexpo/blog/427747/ Напомню краткую суть: в журнале Nature были опубликованы результаты исследования, проводившегося при помощи вот этого теста. О чем же хочу написать я? Во-первых, почем...

Написанный искусственным интеллектом портрет продан за $433 тыс. Алгоритм, создавший картину, натренирован на 15 тыс. картин, которые были написаны в период между XIV и XX веками. Технологию разработал коллектив из трех 25-летних студентов из Франции под названием Obvious. Имя покупателя не сообщается.На портрете, помещенном в позолоченну...

[Перевод] Анализ последних массовых атак с захватом DNS Правительство США и ряд ведущих компаний в области информационной безопасности недавно предупредили о серии очень сложных и распространённых атак DNS hijacking, которые позволили хакерам предположительно из Ирана получить огромное количество паролей электронной почты и дру...

[Перевод] Монорепозитории: пожалуйста не надо От переводчика: Привет, Хабр! Да, это очередная статья о преимуществах и недостатках монорепозиториев. Собирался написать свою статью о том, как мы используем монорепозиторий, как мы переходили с maven на bazel и что из этого получилось. Но пока собирался с мыслями, вышла от...

Как фрагмент CSS разметки сломал C++ компилятор В методологии статического анализа применяются разные технологии. Одна из них — препроцессирование файлов непосредственно перед их анализом. Препроцессированные файлы создаёт компилятор, запускаемый в специальном режиме работы. К сожалению, этот режим не очень хорошо тестир...

Почему ученым не следует полагаться на ИИ в вопросах научных открытий, по крайней мере, сейчас Мы живем в золотом веке научных данных, окружив себя огромными запасами генетической информации, медицинских изображений и данных об астрономических наблюдениях. Текущий возможности алгоритмов машинного обучения позволяют искусственному интеллекту максимально быстро и в то ...

[Перевод] Что нового в Blazor 0.7.0 Blazor 0.7.0 теперь доступен! В этом обновлении основное внимание уделяется ADRs (ancestor-descendent relationships). Кроме того, мы добавили некоторые улучшения в процесс отладки. Подробнее под катом! Немного про Blazor: фреймворк для браузерных приложений, написанный на ...

Радиостанция Zastone ZT-A19: измерение характеристик Недавно я приобрел носимую радиостанцию Zastone ZT-A19. После изучения разных форумов, отзывов и обзоров, мне показалось, что эта радиостанция будет хорошим компромиссом цена-качество. Такой вывод я сделал опираясь в большей степени на отзывы о самом бренде нежели об этой ко...

Блокчейн мёртв. Да здравствует блокчейн Название хайп, автор не прав, дизлайк, нет конструктива. Данная статья — рефлексия по поводу нынешней ситуации на рынке криптовалют. Не будет глубокого анализа ситуации и безмерной философии того, куда мы катимся. Чувствую себя членом анонимного клуба. Здравствуйте, я Иван...

[Из песочницы] Blaue Karte для около-айтишника или как я свалил в Германию Немного об эмиграции в Германию по Blau Karte для не совсем профильных айтишников: Для начала немного обо мне, чтобы было понятно, с какой точки я начинал собираться в эмиграцию. Образование — B.S. (Bachelor of Sciences) в химии, B.A. (Bachelor of Arts) в математике, M.S. в ...

Трекер сна от Xiaomi — обзор Sleepace Sleep Dot Как известно, компания Xiaomi охотно сотрудничает с производителям электроники, что в результате тем дает повышенное внимание и продажи, а Xiaomi еще один бренд или гаджет в копилку. Трекеры сна, которые можно найти под брендом Xiaomi Mijia, делает компания Sleepace. Мод...

[Перевод] Почему data scientist — это не data engineer? «Ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру». Гордон Линдсей Глегг, «Дизайн дизайна» (1969) Несколько месяцев назад я писал о различиях между специалистами по теории и методам анализа данных (data scientist) ...

CEO Xena.Exchange: формат IEO — это не про инвестиции, а про хайп 8 апреля на YouTube-канале ForkLog вышел первый выпуск видеорубрики «Анализ крипторынка». В прямом эфире CEO биржи Xena.Exchange Антон Кравченко рассказал о любви Илона Маска к Dogecoin, буме IEO и регулировании индустрии. Цель рубрики — провести фундаментальный анализ индус...

[Из песочницы] Разработка аналога FindFace одним школьником История от первого лица Как сделать аналог FindFace в одиночку и не сойти с ума И почему так делать не надо Читать дальше →

«Зомби» не страшны. AMD заявила, что её продукты не подвержены и уязвимости ZombieLoad тоже Несколько дней назад AMD заявила, что её продукты не подвержены уязвимостям RIDL и Fallout. Напомним, это две из трёх уязвимостей, входящих в группу Microarchitectural Data Sampling (MDS). Теперь же AMD обновила своё заявление, добавив в него и третью уязвимость —...

[Из песочницы] Аналоговый индикатор загруженности компьютера Встретил я как-то пост от ClusterM где он сделал виджет в виде старых индикаторов. Мне эта идея безумно понравилась так как есть приятное чувство винтажа в этом проекте. Но вот незадача — я никогда не работал с самим микроконтроллером и программирую я так себе, поэтому идею ...

Десятиклассница из Сибири хочет стать проектировщицей процессоров. Почему бы ей не сделать нейроускоритель на ПЛИС? Вчера мне пришло письмо от десятиклассницы из Сибири, которая хочет стать разработчицей микропроцессоров. Она уже получила некоторый результат в этой области — добавила инструкцию умножения в простейший процессор schoolMIPS, синтезировала его для ПЛИС Intel FPGA MAX10, опред...

Выбор стратегии жизненного цикла программного обеспечения при наличии нескольких зависимых фронтэндов Жизненный цикл программного обеспечения известен большинству современных программистов. Даже школьник, написав свою первую программу <?php echo "Hello, Хабр! На пхп" ?> или fprintf( 'Привет Хабр на Матлабе!\n'); понимает технологический процесс. Думает над зада...

Детали перехода от парных (относительных) валютных курсов к абсолютным. Работа над ошибками Введение Настоящая статья описывает результаты эксперимента проведенного в рамках проекта “Абсолютный курс валют”. Протокол эксперимента можно увидеть перейдя по ссылке. Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных ...

Почти уволен. Как я построил отдел аналитики Яндекса Меня зовут Алексей Долотов, я 10 лет не писал на Хабр. Отчасти дело в том, что когда мне было 22 года, я начал строить отдел аналитики Яндекса, затем семь лет им руководил, а теперь придумал и строю сервис Яндекс.Таланты. Профессия аналитика даёт массу возможностей. Главное...

Решето Эратосфена за O(n). Доказательство В комментариях к одному из прошлых постов о решете Эратосфена был упомянут этот короткий алгоритм из Википедии: Алгоритм 1: 1: для i := 2, 3, 4, ..., до n: 2: если lp[i] = 0: 3: lp[i] := i 4: pr[] += {i} 5: для p из pr пока p ≤ lp[i] и p*i ≤ n: 6: lp[...

В России впервые за 13 лет сменился лидер на рынке майонеза Результаты анализа исследовательской компании Nielsen.

[Перевод] Почему Data Science командам нужны универсалы, а не специалисты HIROSHI WATANABE/GETTY IMAGES В книге «Богатство народов» Адам Смит показывает, как разделение труда становится главным источником повышения производительности. Примером выступает линия сборки завода по производству булавок: «Один рабочий тянет проволоку, другой выпрямляет...

JS-битва: как я написал свой eval() Вы можете помнить Александра Коротаева по браузерной версии «Героев Меча и Магии»: расшифровка его доклада о ней собрала на Хабре громадное количество просмотров. А теперь он сделал игру, ориентированную на программистов: играть в неё надо JS-кодом. В этот раз на разработку...

[Перевод] Еще одна причина, почему тормозят Docker контейнеры В последнем посте я рассказывал о Kubernetes, о том, как ThoughtSpot использует его для собственных нужд по поддержке разработки. Сегодня хотелось бы продолжить разговор о короткой, но от того не менее интересной истории отладки, которая произошла совсем недавно. Статья бази...

Межведомственная комиссия разрабатывает новую технологию для блокировки Telegram Источник: «Известия» По данным Reuters, межведомственная комиссия, которая включает представителей ФСБ, Роскомнадзора, Министерства цифрового развития, связи и массовых коммуникаций, с начала этого месяца проводит проверку работоспособности российских систем анализа и филь...

[Перевод] Скоро половина звонков будет от роботов. Совет: не отвечайте (?) Сегодня у нас необычный материал – это перевод статьи про нелегальные автоматические обзвоны в США. Испокон веков находились люди, кто использовал технологии не во благо, а чтобы обманным путем нажиться на доверчивых гражданах. Современные телекоммуникации не исключение, спа...

Вычисление определённых интегралов: базовые алгоритмы В этой публикации описаны простейшие методы вычисления интегралов функций от одной переменной на отрезке, также называемые квадратурными формулами. Обычно эти методы реализованы в стандартных математических библиотеках, таких как GNU Scientific Library для C, SciPy для Pyth...

[Перевод] ИИ в 2019 году: текущее положение вещей Этот перевод — часть статьи The Real-World AI issue. Общеизвестный факт — если вы станете повторять любое слово много раз, то в итоге оно потеряет всякое значение, превратится в фонетическое ничто. Это причина того, почему для многих из нас термин «искусственный интеллект...

Серверные системы аналитики Это вторая часть цикла статей об аналитических системах (ссылка на часть 1). Сегодня уже не вызывает сомнений, что аккуратная обработка данных и интерпретация результатов могут помочь практически любому виду бизнеса. В связи с этим аналитические системы становятся все бол...

Обновление Yelp привело к удалению тысяч отзывов В конце октября – начале ноября Yelp обновил свой алгоритм, в результате чего многие компании лишились большого количества отзывов. В некоторых случаях они были помечены как «не рекомендуемые». Изменения заметил основатель агентства digital-маркетинга Classy Brain Крейг Маун...

Форум Positive Hack Days 9 состоится 21 и 22 мая в «Крокус Экспо» Друзья, мы объявляем даты девятого форума Positive Hack Days: он состоится 21 и 22 мая 2019 года. Очередной форум пройдет на новом месте, площадкой станет международный выставочный центр «Крокус Экспо». Количество гостей PHDays с каждым годом растет: в 2018 году нас посет...

[Перевод] Один гигантский шаг для машины, играющей в шахматы Невероятный успех AlphaZero, алгоритма с глубинным обучением, провозглашает новую эру мышления, которая может оказаться недолгой для человека В начале декабря исследователи из компании DeepMind, занимающейся искусственным интеллектом и принадлежащей Alphabet Inc., родитель...

[Перевод] Конфиденциальность данных, IoT и Mozilla WebThings От переводчика: краткий пересказ статьиЦентрализация устройств умного дома (вроде Apple Home Kit, Xiaomi и прочих) — это плохо, потому что: Пользователь становится зависим от определённого вендора, ведь устройства не могут общаться между собой за пределами одного произво...

«Хочу уйти с завода в веб» — 10 вопросов программисту, 8 выпуск Помните, три года назад один парень написал сверхпопулярную статью, как он от скуки делал игры в армии. Это Анатолий (oWart), выпускник НИУ «МЭИ». Сейчас ему 27, он живет в Смоленске, работает инженером-конструктором, растит двухлетнюю дочку. В новом выпуске 10 вопросов пр...

Symfony Bundle для экспорта статистик в формате Prometheus Работая над разными микро (и не очень) сервисами, написанными с помощью Symfony, я каждый раз сталкивался с необходимостью экспорта метрик для Prometheus. Поначалу мы просто копировали один и тот же код между проектами, но когда их стало больше трёх, я посчитал, что дальше...

Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по ма...

В Китае отказались от искусственного интеллекта для поиска коррупционеров. Алгоритм оказался слишком эффективным Программа Zero Trust, способная выявлять подозрительные действия чиновников на основе анализа данных из различных баз, проходила тестирование с 2012 года и показала неплохие результаты, но внедрять ее на всей территории страны, похоже, не станут.

[Из песочницы] GameBoy на C# Когда я только начинал программировать, думаю, как и многим, мне хотелось делать игры. Но передо мной стояло множество архитектурных вопросов, которые я не знал как решить, про двойную буферизацию я даже не слышал, а получить результат хотелось как можно скорее. Поэтому неда...

[DotNetBook] Исключения: события об исключительных ситуациях С этой статьей я продолжаю публиковать целую серию статей, результатом которой будет книга по работе .NET CLR, и .NET в целом. За ссылками — добро пожаловать по кат. События об исключительных ситуациях В общем случае мы не всегда знаем о тех исключениях, которые произойдут ...

Влияет ли искусственный интеллект на качество фотографий? Искусственный интеллект всё чаще внедряется в смартфоны. Он помогает увеличить производительность и улучшить качество фотографий. В случае с последним всё не совсем понятно. Давайте же рассмотрим примеры фотографий, сделанных на Huawei P20 Pro, LG V30S и Pixel 2, и поймем, ...

Tableau от чайника или визуализация анализа ПАММ счетов Друзья, добрый день. Давно не писал, и тут подписался на рассылку компании Абвгд. Красивые письма пишут мОлодцы :) Уговаривают вложиться в ПАММ счета. Что это такое не знаю. Зато понятно, как эти данные анализировать. Терминология – есть ПАММ-счет и у него есть управляющий....

Facebook запустил искусственный интеллект для анализа публикуемых картинок в помощь перегруженным работой модераторам По словам создателей, машинное обучение позволяет алгоритму Rosetta находить текст на картинках и видео, а затем распознавать его. Этот навык, по мнению представителей соцсети, полезен для анализа мемов.

[Перевод] У нейросетей удивительно простая стратегия классификации изображений Свёрточные нейросети отлично справляются с классификацией искажённых изображений, в отличие от людей В данной статье я покажу, почему передовые глубинные нейросети прекрасно могут распознавать искажённые изображения и как это помогает раскрыть удивительно простую стратегию...

Как мы переделывали плохое прогнозирование на чуть более хорошее Каждая компания это не звездные технологии и супер крутые программисты, а огромная гора bottleneck, неэффективностей и сумма плохих решений, которая как-то да едет и делает свою работу. Но вот вы решили сделать какие-то изменения и сразу начинаете сталкиваться с тем, что в о...

[Перевод] Инициализация в С++ действительно безумна. Лучше начинать с Си Недавно мне напомнили, почему я считаю плохой идеей давать новичкам C++. Это плохая идея, потому что в C++ реальный бардак — хотя и красивый, но извращённый, трагический и удивительный бардак. Несмотря на нынешнее состояние сообщества, эта статья не направлена против совреме...

Методы сбора данных для оценки проектов НКО 27 сентября 2018 года прошел митап Теплицы социальных технологий на тему «Как НКО оценить результаты проекта». Участники познакомились с методами сбора данных для оценки проекта и узнали про виды оценок в проектной деятельности. На встрече выступила Анна Горовая, представите...

Люди-батарейки: теоретический анализ наногенераторов на базе трибоэлектрического эффекта Одной из самых злободневных проблем современности является энергия, а точнее ее нехватка. Природные ресурсы земли истощаются по мере роста числа населения. Посему люди обратились к восстанавливаемым источникам энергии, использование которых сможет разрешить неминуемый энер...

Начали учить английский — написали приложение: EWM — опыт создания обучающего проекта Речь пойдет об обучающем тренажере, которым мы занимаемся последний год. Приложение помогает увеличить английский словарный запас и с пользой убить время. Отличие этого тренажера от стандартных тестовых батарей в том, что в нем реализована возможность соревноваться с другими...

[Из песочницы] Как привлечь специалиста по анализу данных, когда у твоей компании нет даже сайта На мой взгляд, данная статья будет интересна тем, кто планирует организовать стартап и при этом нуждается в людях (то есть нет таких друзей, готовых принять участие в проекте). Еще, это полезный опыт для тех, кто занимается наймом в принципе, например, в качестве кейса. Чит...

От Тулы до Берлина: анализ городов по Instagram Ни для кого не секрет, что в инстаграме можно найти фотографии любого крупного города. Что, если мы попробуем по фрагментам восстановить картину целиком? Полученная информация поможет составить представление о незнакомых местах и будет полезна путешественникам, дополняя тра...

[Из песочницы] Ответ на «Мольберт для программиста микроконтроллеров» Чем бы ее зацепить? Так, ладно,… а теперь повернуть… следующая… первую повернуть… стоп, тут надо вывод тестовый под осциллограф припаять… а куда делась первая плата? А ты что такое? (Дальше следует непереводимая игра слов с использованием местных идиоматических выражений). ...

Автогики, финтех и контент-маркетинг, или зачем страховщику аутсорсинг IT-редакции Расскажу, как мы в Glyph media уже несколько лет помогаем страховому агенту развивать корпоративный блог и разрабатывать IT-сервисы. Фото Crew (Unsplash) Это — один из наших любимых кейсов. Мы быстро перезапустили сайт клиента, начали готовить материалы для блога, дошли до...

Continuous integration в Яндексе Поддержка огромной кодовой базы с одновременным обеспечением высокой производительности большого числа разработчиков — это серьезный вызов. В течение последних 5 лет в Яндексе идет разработка особой системы непрерывной интеграции. В данной статье мы расскажем про масштаб код...

Как реализуется Retentioneering в App in the Air Удержать пользователя в мобильном приложении – это целая наука. Ее основы в нашей статье на VC.ru описал автор курса Growth Hacking: аналитика мобильного приложения Максим Годзи, руководитель подразделения Машинного обучения в App in the Air. Максим рассказывает о разработ...

[recovery mode] Как я свою онлайн игру создавал. Часть 1: Работа с сетью Привет всем! У меня недавно был отпуск, и появилось время спокойно попрограммировать свои домашние проекты. Захотел я, значит, свою простенькую онлайн игру сделать на Rust. Точнее, простенькую 2D стрелялку. Решил сначала сделать сетевую часть, а там уже видно будет, что да...

[Из песочницы] Считаем сменный график работы в уме Много людей, у которых график работы сменный. Проблема такого графика – сложность быстро посчитать для любой даты какой это день: рабочий или выходной. Есть много онлайн сервисов для расчета сменного графика, но еще проще это сделать в уме. В этой статье будет рассмотрен а...

[Из песочницы] История одной игры или 4х стратегия, которая началась 20 лет назад и жива до сих пор В этой статье хочу рассказать об игре которая была создана в 1998 году и через 16 лет получила своё развитие, была издана и успешно продавалась. Примечательно тут то, что игра была написана одним человеком. Речь о Remember Tomorrow (Polaris Sector). Читать дальше →

КТРУ (Каталог товаров, работ, услуг) или смерть IT госзакупкам Давным давно в сфере госзакупок был большой скандал. Ушлые главврачи закупали не просто лекарства по действующему веществу и дозировке, а лекарства конкретного производителя, вставляя в техническое задание на государственную закупку всякие хитрые требования к лекарству. По ...

[Из песочницы] Пишем простой NTP клиент Здравствуйте, хабраюзеры. Сегодня я хочу рассказать о том, как написать свой простенький NTP клиент. В основном, разговор зайдет о структуре пакета и способе обработки ответа с NTP сервера. Код будет написан на питоне, потому что, как мне кажется, лучшего языка для подобных ...

[Перевод] 6 типовых сюжетов мировой литературы Исследователи изучили тексты более 1700 романов и обнаружили, что все их можно отнести к 6 сюжетным типам. В своей лекции 1995 года американский романист Курт Воннегут рисовал на доске различные сюжетные линии, по ходу повествования иллюстрируя изменение положения главного...

[Перевод] Чем на самом деле занимаются специалисты по анализу данных? Выводы из 35 интервью Автор материала провел серию бесед с экспертами в области анализа и обработки данных и сделал выводы о перспективах и направлениях развития дата-сайентистов. Теория и методы обработки данных упростили решение самых разных задач в сфере технологий. Сюда относится оптимизаци...

Как менялась информационная безопасность за последние 20 лет Изображение: Unsplash Руководитель отдела анализа приложений Positive Technologies Дмитрий Скляров делится своим взглядом на историю развития отрасли информационной безопасности на протяжении последних 20 лет. Если взглянуть на программу любой современной конференции по ...

[Перевод] Полное руководство по useEffect Вы написали несколько компонентов с использованием хуков. Возможно — даже создали небольшое приложение. В целом результат вас вполне устраивает. Вы привыкли к API и в процессе работы обнаружили несколько неочевидных полезных приёмов. Вы даже создали несколько собственных хук...

[Из песочницы] Расширение сетевых возможностей программируемого реле при помощи WI-FI С чего все начиналось Начиналось все с разработки алгоритмов для программируемого реле ПР200, и часто требовалась визуализация или ввод информации с компьютера, для этого необходимо использовать панели оператора или SCADA системы, но не всегда это удобно, да и нужно ли для п...

CEO Xena.Exchange: Tether — это обмен фантиков на доллары 6 мая на YouTube-канале ForkLog вышел третий выпуск видеорубрики «Анализ крипторынка». В прямом эфире CEO биржи Xena.Exchange Антон Кравченко рассказал о стейблкоине Tether, будущем криптобирж и засекреченном блокчейн-проекте Facebook. Цель рубрики — провести фундаментальный...

[Перевод] Особенности рендеринга в игре Metro: Exodus c raytracing Предисловие После выхода последней игры из серии «Метро» я потратил несколько часов на изучение её внутренней работы и решил поделиться тем, что может показаться интересным с технологической точки зрения. Я не буду проводить подробный анализ или изучать дизассемблированный ...

Создание системы формальной верификации с нуля. Часть 1: символьная виртуальная машина на PHP и Python Формальная верификация — это проверка одной программы либо алгоритма с помощью другой. Это один из самых мощных методов, который позволяет найти в программе все уязвимости либо же доказать, что их нет. Более подробное описание формальной верификации можно увидеть на пример...

Миссия «Чанъэ-4» — результаты пятого лунного дня: проблемы с ровером «Юйту-2» и новое научное открытие Аппараты миссии «Чанъэ-4» (спускаемый модуль и ровер) успешно выполнили научные исследования во время своего пятого лунного дня на обратной стороне Луны, прислав на Землю уже более 6,6 GB научных данных, а анализ части из них, полученных с помощь спектрометра ровера «Юйту-...

[Перевод] Дизайн уровней и геймплея roguelike на примере Cogmind Многие годы я использовал довольно стандартизированный подход к дизайну каждой новой карты Cogmind, и хотя сейчас их счёт уже идёт на десятки, в своём блоге я его никогда не рассматривал. В основном это вызвано тем, что подробный анализ всего процесса потребует раскрытия ку...

Алгоритм резервуарной выборки Резервуарная выборка (eng. «reservoir sampling») — это простой и эффективный алгоритм случайной выборки некоторого количества элементов из имеющегося вектора большого и/или неизвестного заранее размера. Я не нашел об этом алгоритме ни одной статьи на Хабре и поэтому решил на...

[Перевод] Семь эмпирических правил об экспериментах с веб-сайтами Перевод статьи: Experimenters Rules of Thumb Владельцы веб-порталов, от самых маленьких, до таких крупных, как Amazon, Facebook, Google, LinkedIn, Microsoft и Yahoo, пытаются улучшить свой сайты, оптимизируя различные метрики, начиная с количества повторных использований ...

[Перевод] Эффект хипстера: почему нонконформисты часто выглядят одинаково Наука о сложности объясняет, почему попытки отвергнуть общепринятое просто приводят к новой согласованности Вам, наверное, знаком этот эффект – а, возможно, вы и сами являетесь его жертвой. Вы ощущаете общепринятую культуру чуждой для себя и хотите заявить, что не являетес...

[Перевод] Алгоритм Форчуна, подробности реализации Последние несколько недель я работал над реализацией алгоритма Форчуна на C++. Этот алгоритм берёт множество 2D-точек и строит из них диаграмму Вороного. Если вы не знаете, что такое диаграмма Вороного, то взгляните на рисунок: Для каждой входной точки, которая называется ...

[Перевод] Автоматические canary деплои с Flagger и Istio CD признано в качестве практики корпоративного программного обеспечения и является результатом естественной эволюции устоявшихся принципов CI. Однако CD по-прежнему является довольно редким явлением, возможно, из-за сложности управления и страха перед неудачными деплоями, в...

Отображаем состояние расчётного счёта на графике Недавно мне на глаза попалась статья про одну из систем финансового учёта. Помимо всего прочего, она позволяла контролировать остатки на расчётном счёте, предупреждая об опасности возникновения кассовых разрывов. Там были вот такие графики: Что с ними не так, и можно ли с...

[Перевод] Суровая действительность: Ваши стейкхолдеры не хотят анализ бизнеса Всем привет! Потихоньку развиваем спектр охватываемых областей обучения. Вот запускаем новый тип для нас — «Аналитик бизнес-процессов», четвёртый в пуле курсов «Маркетинг и бизнес». Поэтому начинаем обычный для нас цикл интересных статей и заметок по этой теме. Поехали! У...

Intel работает с Facebook над созданием ИИ-чипа, который выйдет в этом году Корпорация Intel сделала немало важных анонсов во время крупнейшей выставки потребительской электроники CES 2019, которая сейчас проходит в Лас-Вегасе. В частности, она заявила, что совместно с Facebook работает над созданием нового чипа для вычислений в области машинного об...

История тестирования проекта «К»: Kotlin&Spek Привет, Хабр! В этой статье мы поговорим об автоматическом тестировании на одном из многочисленных проектов QIWI, получившим кодовое название «К». Когда мы организовывали тестирование это проекта, то решили выбрать практичный и хайповый Kotlin, а также Spek, гласящий «В...

В обход лейблов: SoundCloud запустил прямые сделки с музыкантами — условия раскритиковали Ранее мы писали, что Spotify ввел аналогичную систему сделок с музыкантами. Теперь в эту нишу выходит SoundCloud. Однако первая версия предложенного площадкой договора подверглась критике. Расскажем, в чем суть дела, почему программу раскритиковали, и что сделала компания. ...

Книга «Глубокое обучение на R» Глубокое обучение — Deep learning — это набор алгоритмов машинного обучения, которые моделируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но всё не так страшно, если ...

Алгоритмы оптимизации торгового робота: эффективный способ наторговать миллион задним числом Я прочитал авторитетную книгу о торговых стратегиях и написал своего торгового робота. К моему удивлению, робот не приносит миллионов, даже торгуя виртуально. Причина очевидна: робот, как гоночный автомобиль, нуждается в «тюнинге», в подборе параметров, адаптированных к ко...

CEO Xena.Exchange: Bitcoin Cash создавали с явной целью навариться 22 апреля на YouTube-канале ForkLog вышел второй выпуск видеорубрики «Анализ крипторынка». В прямом эфире CEO биржи Xena.Exchange Антон Кравченко рассказал о форке Bitcoin Cash, внезапном падении курса Waves на бирже Binance и о том, что его регулярно принимают за Гуфа. Цель...

Как сделать поиск пользователей по GitHub на WebAssembly Всем привет! 24 августа 2018 вышла версия Go 1.11 с экспериментальной поддержкой WebAssembly (Wasm). Технология интересная и у меня сразу возникло желание поэкспериментировать. Написать "Hello World" скучно (и он кстати есть в документации), тем более тренд прошедшего лета...

Code of Conduct: почему разработчики ядра Linux угрожали удалить свой код — разбираемся в конфликте В сентябре совет директоров Linux Foundation принял новый кодекс поведения для разработчиков ядра Linux — Code of Conduct (CoC). По задумке авторов, он должен был решить проблемы, связанные с дискриминацией, и улучшить эмоциональную обстановку среди разработчиков. Некоторые...

[Перевод] Какие свидетельства могут убедить математиков, если строгого доказательства нет? Новая статистическая модель, кажется, подрывает давно принятые предположения из теории чисел. Насколько ей можно доверять, если на самом деле имеет значение только строгое доказательство? Your browser does not support HTML5 video. Какие точки на эллиптической кривой y2 = x3 ...

Перевод книги Эндрю Ына «Страсть к машинному обучению» Главы 15 — 17 предыдущие главы 15. Одновременная оценка нескольких идей во время анализа ошибок У вашей команды есть несколько идей, как улучшить определитель кошек в вашем приложении: Решить проблему с тем, что ваш алгоритм относит собак к кошкам Решить проблему с тем, что ваш алгоритм ...

Как Data Intelligence решает проблемы работы с данными Недавно словарь технических неологизмов пополнил новый термин — интеллектуальный анализ данных (Data …

Почему на touch-ноутбуках некоторые SPA перестали поддерживать touch-события Возможно, я только сейчас разглядел, а всё уже давно знают, но оказывается, что в Chrome 70 сделали вот такое: The ontouch* APIs default to disabled on desktop Соответственно, если в своём коде вы опирались на наличие ключей 'ontouch*' в document или window, ваш код перест...

Жизненный цикл статьи на Хабре: пишем хабрапарсер. Часть вторая Привет Хабр! В первой части пятничного анализа была рассмотрена методика сбора некоторой статистики этого замечательного сайта. Изначально не было плана делать продолжение, но в комментариях возникли интересные мысли, которые захотелось проверить. Например, какие статьи име...

Какой язык программирования выбрать После того, как я написал статью «Почему не нужно учить Python первым языком», я на регулярной основе получаю много вопросов в личку, что лучше выбрать, как быть и так далее. Поэтому в этой статье я расскажу вам свои мысли на этот счет. И самое главное отвечу на «Священный Г...

Toshiba объединяет два дочерних предприятия Компания Toshiba Electronic Devices & Storage Corporation (TDSC) недавно объявила об объединении двух своих дочерних компаний, Toshiba Microelectronics Corporation (TOSMEC) и Toshiba Discrete Semiconductor Technology Corporation (TDIT), в новую компанию Toshiba Elec...

Портирование JS на Эльбрус Это рассказ про портирование JavaScript на отечественную платформу Эльбрус, выполненное ребятами из компании UniPro. В статье — краткий сравнительный анализ платформ, детали процесса и подводные камни. В основе статьи — доклад Дмитрия (dbezheckov) Бежецкова и Владимира (v...

[recovery mode] Бинарные деревья поиска Прелюдия Эта статья посвящена бинарным деревьям поиска. Недавно делал статью про сжатие данных методом Хаффмана. Там я не очень обращал внимание на бинарные деревья, ибо методы поиска, вставки, удаления не были актуальны. Теперь решил написать статью именно про деревья. Пожа...

Суровая сибирская JVM: большое интервью об Excelsior JET Недавно мы писали о том, на какие ухищрения пошла Alibaba, чтобы сделать себе жизнь с OpenJDK более приемлемой. Там были комментарии вроде «оказывается, пока мы тут страдаем с обычной джавой, китайцы уже сделали себе свою особенную». Alibaba, конечно, впечатляет — но и в Рос...

[Из песочницы] Статический анализатор Detekt для Kotlin Пора полюбить статические анализаторы! Встречайте Detekt на Kotlin Если Вы уже знаете о чем пойдет речь и Вас интересут только внедрение в проект, переходите сразу к пункту установки. Что-же это такое? Анализ программного обеспечения, производимый (в отличие от динамическ...

Разработчики просят проверять обоснования госзакупок зарубежного ПО "Мы считаем, что Минкомсвязь должна проверять, действительно ли при составлении госзакупки нужен какой-то конкретный производитель и почему",- пояснил Комиссаров в беседе с корреспондентом газеты "КоммерсантЪ".С 2016 года в России действует реестр отечест...

Facebook научил ИИ понимать мемы Facebook внедрил систему искусственного интеллекта, которая использует машинное обучение для распознавания и анализа текста на изображениях. ИИ помогает соцсети бороться с оскорбительным контентом. Система получила название Rosetta. Она создана на базе технологии оптического...

Как создать идеальный летательный аппарат? Совместить математические модели с физическими При проектировании летательных аппаратов существует множество аспектов, в которых мы можем быть уверены, но также и много неопределенностей. Большинство из них являются случайными, а другие просто не очень хорошо понятны. Профессор Университета штата Иллинойс Гарри Хилтон в...

Julia, Градиентный спуск и симплекс метод Продолжаем знакомство с методами многомерной оптимизации. Далее предложена реализация метода наискорейшего спуска с анализом скорости выполнения, а также имплементация метода Нелдера-Мида средствами языка Julia и C++. Читать дальше →

Cogear.JS – современный генератор статических сайтов Привет, Хабр! Хочу представить вниманию хабровчан генератор статических сайтов с открытым исходным кодом, написанный на Node.JS, в основе которого лежит Webpack. Проект вдохновлён тем же Jekyll, но в основе своей использует современный технологический стек. Например, предост...

Security Week 07: локальные уязвимости IoT-устройств В традиционную рубрику «что еще не так с IoT» на прошлой неделе добавилось научное исследование специалистов из американского Мичиганского университета и бразильского Федерального университета Пернамбуку. В рамках исследования было изучено 96 IoT-устройств для умного дома из...

Официальные результаты тестов видеокарт GeForce RTX 2080 Ti и RTX 2080 в играх и их предварительный анализ Официальные, потому что, если верить источнику, взяты с Reviewers’ Guide — руководства Nvidia для тематических […]

Встраиваемые языки: почему Lua? Этот материал продолжает серию публикаций, основанных на докладах, которые мы сделали на конференции Games Gathering 2017 в декабре прошлого года. В одном из докладов была затронута тема выбора встраиваемого скриптового языка. Читать дальше →

Как запустить ML-прототип за один день. Доклад Яндекс.Такси Машинное обучение применяется на всём цикле заказа автомобиля в Яндекс.Такси, и число компонентов сервиса, работающих благодаря ML, постоянно растёт. Чтобы строить их единообразно, нам потребовался обособленный процесс. Руководитель службы машинного обучения и анализа данных...

Китай вводит экспериментальную систему распознавания лиц при оплате проезда в метро Поднебесная — весьма высокотехнологичное государство. Да, страну ругают за наплевательское отношение к неприкосновенности частной информации, которая собирается самыми разными методами. Но с этим вряд ли можно что-то поделать в ближайшем обозримом будущем. Пока же Китай ...

Мировые тренды в сфере безопасной идентификации Принципы цифровой безопасности переходят в область физического доступа. Индустрия уходит от решений безопасности на основе чипа в сторону решений с алгоритмами, хранящимися на цифровом уровне. Безопасность хранения идентичности становится независимой от аппаратных средств: и...

ЧПУ в хоббийной мастерской (часть 1) Работа программиста имеет один существенный недостаток: как правило, мы не можем потрогать результат своего труда. Можем наслаждаться красотой кода, восторгаться оригинальностью алгоритма, но пощупать программу, увы, никак. Меня этот нюанс профессии всегда расстраивал. Чт...

Google обновил инструмент анализа скорости загрузки сайта Сервис PageSpeed Insights теперь дает больше информации.

[Перевод] Сверхчеловеческую скорость AlphaStar внедрили как заплатку для ошибки имитационного обучения? Вероятно, все уже слышали, что ИИ под названием AlphaStar от компании Google Deepmind размазал профессионалов в стратегии реального времени Starcraft 2. Это беспрецедентный случай в исследованиях Искусственного интеллекта. Но хочу высказать конструктивную критику по поводу э...

Как выявляют риски в госконтроле и зачем для этого машинное обучение В предыдущей статье на тему государственного риск-менеджмента мы прошлись по основам: зачем государственным органам управлять рисками, где их искать и какие существуют подходы к оценке. Сегодня поговорим о процессе анализа рисков: как выявить причины их возникновения и обн...

HPE приобретает BlueData По мере того, как объемы данных продолжают экспоненциально расти, компании все больше инвестируют в оборудование, ПО и услуги, необходимые для их эффективного анализа. Ожидается, что к 2022 г. общий объем целевого рынка ИИ/машинного обучения (МО) и Больших Данных увеличится ...

Как в «Открытии» используют большие данные Заместитель директора департамента IT-развития банка «Открытие» Дмитрий Первухин – о том, как банк использует большие данные для поведенческого анализа клиента, и о том, кто станет лидером в конкурентной борьбе через несколько лет.

Как находить ботов на ютубе: внешние паттерны взаимодействия комментаторов Всем привет! Это небольшой пост (с большим количеством картинок) о визуализации и анализе комментариев на ютубе. Предыдущие посты: 1, 2. В этот раз мы поговорим о комментариях, которые отличаются от большинства других комментариев и представлены в виде отдельных регионов. Об...

Анализ фьючерсных отчетов: ажиотаж на перепутье Фьючерсные отчеты — полезный для трейдеров инструмент, помогающий уловить настроения среди крупных игроков и дополнить видение рыночной ситуации. О том, какие настроения царят в стане «китов» биткоин-рынка, рассказывают преподаватель курса Дмитрий Перепелкин и глава отдела к...

Как научить машину понимать инвойсы и извлекать из них данные Привет, хабр! Меня зовут Станислав Семенов, я работаю над технологиями извлечения данных из документов в R&D ABBYY. В этой статье я расскажу об основных подходах к обработке полуструктурированных документов (инвойсы, кассовые чеки и т.д.), которые мы использовали совсем ...

[Перевод] Конференция DEFCON 22. Эндрю «Зоз» Брукс. Не облажайся! Часть 2 Конференция DEFCON 22. Эндрю «Зоз» Брукс. Не облажайся! Часть 1 Используйте Opsec 24 часа в день 7 дней в неделю. Вы видите скриншот из чата на Reddit с Сабу, уже после того, как он стал стукачём, в котором он советует собеседнику использовать Opsec 24/7. Так что если «дру...

Обязанности поисковиков: как можно “редактировать” поиск в России Долгое время поиск информации в интернете напрямую законами не регулировался и никто не мог заставить поисковик показывать или скрывать определённую информацию в результатах поиска. Но с 2015 года российский законодатель успел предоставить право “редактировать” результаты...

[Из песочницы] Prometheus + Grafana + Node Exporter + Docker в Azure c уведомлениями в Telegram Для начала подготовим виртуальную машину, для этого напишем небольшой скрипт, который разворачивает и автоматизирует некоторые рутинные операции, скрипт использует Azure Cli: project.sh#!/bin/bash echo "AZURE VM Create" echo "Azure Account:" echo "Az...

Подводные грабли SmartTV разработки Привет, Хабр! Уже давно была идея написать статью о проблемах SmartTV разработки, но по ходу погружения в эту область, мы изобрели свой велосипед, который помогал нам эти проблемы решать. Поэтому, в данной статье, мы не только осветим некоторые проблемные моменты SmartT...