Четверг, 25 апреля 2024

Apache Spark, lazy evaluation и многостраничные SQL запросы

Известное об известном: spark работает с “датафреймами” (dataframes), которые являются алгоритмами трансформации. Алгоритм запускается в самый последний момент для того, чтобы "дать больше места" оптимизации и за счет оптимизации максимально эффективно его выполнить. Под кат...

Использование алгоритмов ML для классификации многостраничных документов: опыт ВТБ В рамках кредитных конвейеров юридических лиц банки запрашивают у компаний оригиналы различных документов. Зачастую сканы этих документов поступают в виде единого многостраничного файла – «потока». Для удобства использования потоки нужно сегментировать на отдельные документы...

«Hello, Checkmarx!». Как написать запрос для Checkmarx SAST и найти крутые уязвимости Привет Хабр! В статье я хочу рассказать о нашем опыте создания своих запросов в Checkmarx SAST. При первом знакомстве с этим анализатором может сложиться впечатление, что кроме поиска слабых алгоритмов шифрования/хеширования и кучи false positive, он ничего больше не...

Массовая оптимизация запросов PostgreSQL. Кирилл Боровиков (Тензор) В докладе представлены некоторые подходы, которые позволяют следить за производительностью SQL-запросов, когда их миллионы в сутки, а контролируемых серверов PostgreSQL — сотни. Какие технические решения позволяют нам эффективно обрабатывать такой объем информации, и как эт...

Алгоритм BERT внедрён в российскую версию Google Поиска Google объявила о начале использования поискового алгоритма BERT для запросов на русском языке. Компания называет его крупнейшим прорывом за последние пять лет и одним из самых грандиозных успехов за всю историю Google Поиска. Технология предварительного обучения обработке ...

[Перевод] «Привет, мир»: разбираем каждый шаг хэш-алгоритма SHA-256 SHA-2 (Secure Hash Algorithm), в семейство которого входит SHA-256, — это один самых известных и часто используемых алгоритмов хэширования. В тексте подробно покажем каждый шаг работы этого алгоритма на реальном примере. SHA-2 отличается безопасностью (его тяжелее взломать,...

Поразрядная сортировка LSD (Radix Sort) В последнее время публикуется множество статей посвященных различным алгоритмам сортировки и их сравнению, решил внести и свои пять копеек. Хочу рассказать про свой излюбленный алгоритм для поразрядной сортировки LSD (least significant digit — сначала младший разряд) с по...

Google внедряет BERT в поиск на русском языке Google объявил, что самое крупное обновление алгоритмов работы поиска за последние 5 лет – BERT Update – в этом месяце будет внедрено в поиск на русском языке. BERT – это технология предварительного обучения обработке текста на естественном языке. Она анализирует не отдельны...

Рецепты для хворающих SQL-запросов Несколько месяцев назад мы анонсировали explain.tensor.ru — публичный сервис для разбора и визуализации планов запросов к PostgreSQL. За прошедшее время вы уже воспользовались им более 6000 раз, но одна из удобных функций могла остаться незамеченной — это структурные подска...

PostgreSQL Antipatterns: вредные JOIN и OR Бойтесь операций, buffers приносящих… На примере небольшого запроса рассмотрим некоторые универсальные подходы к оптимизации запросов на PostgreSQL. Пользоваться ими или нет — выбирать вам, но знать о них стоит. Читать дальше →

Логирование запросов к приложению Django Привет, меня зовут Дмитрий Чернышов, я ведущий разработчик компании «БАРС Груп». Последние несколько лет среди прочих задач нам в команде приходится сталкиваться с необходимостью анализа производительности приложений на Django с большим количеством пользователей и постоянн...

Оценка качества кластеризации: свойства, метрики, код на GitHub Кластеризация — это такая магическая штука: она превращает большой объём неструктурированных данных в потенциально обозримый набор кластеров, анализ которых позволяет делать выводы о содержании этих данных. Приложений у методов кластеризации огромное количество. Например, мы...

[Перевод] Контейнерные запросы в CSS Как фронтенд-дизайнер я за последние 6 лет не был так взволнован новой CSS-функцией, как сейчас. Благодаря усилиям Мириам Сюзанны и других умных людей прототип контейнерных запросов можно включить в Chrome CanaryО контейнерных запросах запомнилось много шуток, но они, наконе...

Нейросеть научили распознавать речь по губам при помощи алгоритма распознавания записи голоса Hal 9000 прекрасно читал по губам, правда, по-английски Нейросети сейчас умеют многое, и постепенно их обучают все большему количеству умений. На днях стало известно о том, что объединенная команда исследователей из США и Китая смогла обучить нейросеть распознавать речь по...

Дата-центры Google достигли самого высокого уровня энергоэффективности в истории компании Согласно последним исследованиям, в то время как объем вычислений, выполняемых в центрах обработки данных, вырос примерно на 550% с 2010 по 2018 год, количество энергии, потребляемой ЦОД, увеличилось всего на 6%. В результате, несмотря на рост числа запросов клиентов на обла...

Практика использования Spark SQL или как не наступить на грабли Если вы работаете с SQL, то вам это будет нужно очень скоро. Apache Spark – это один из инструментов, входящих в экосистему Hadoop, который обрабатывает данные в оперативной памяти. Одним из его расширений является Spark SQL, позволяющий выполнять SQL-запросы над данными. Sp...

Простые запросы SNMP в Python (с помощью pysnmp) Этот пост предназначен в первую очередь для сотрудников телекома, админов и новичков в разработке, впервые столкнувшихся с необходимостью отправить snmp-запросы к какому-нибудь коммутатору и разобрать полученный ответ. Разберем основы работы с библиотекой pysnmp на примере ...

Алгоритм Google BERT научился обрабатывать запросы на русском языке Ранее он работал только с английским

Линейный криптоанализ на примере блочного алгоритма шифрования NUSH В современном мире остро стоит вопрос о конфиденциальности данных при обмене ими и их хранении, которая достигает за счет все возможных способов шифрования. Однако при появление новых алгоритмов шифрования начинают проводиться работы по изучению способов нарушить конфи...

SQL Server Plan Guide и другие не самые лучшие практики Обычно посты об оптимизации запросов рассказывают о том, как делать правильные вещи, чтобы помочь оптимизатору запросов выбрать оптимальный план выполнения: использовать SARGable-выражения в WHERE, доставать только те столбцы, которые нужны, использовать правильнопостроенные...

Настоящая оптимизация на C/C++ Это продолжение двух постов (первый, второй). В этот раз оптимизация будет произведена на реальной задаче, с правильно построенной методологией тестирования. Задачу возьмем из нашумевшего поста «Алгоритм перевода числа (байтов) в приставку СИ», она интересна тем, что на перв...

Gotta go fast. Оптимизация запросов содержимого письма по IMAP Всем привет! В прошлой статье я рассказал как можно быстро синхронизировать содержимое ящика в локальном кеше. Здесь же я хочу рассказать об особенностях запроса содержимого писем и как лучше запрашивать контент, не боясь за большой расход трафика. Читать дальше →

[Перевод] Решение проблемы N+1 запроса без увеличения потребления памяти в Laravel Одна из основных проблем разработчиков, когда они создают приложение с ORM — это N+1 запрос в их приложениях. Проблема N+1 запроса — это не эффективный способ обращения к базе данных, когда приложение генерирует запрос на каждый вызов объекта. Эта проблема обычно возникает, ...

Миграция IBM Lotus Notes/Domino в Microsoft Exchange без шума и пыли Может быть пора? Такой вопрос рано или поздно появляются у коллег, которые используют Lotus в качестве почтового клиента или системы документооборота. Запрос на миграцию (по нашему опыту) может возникнуть на совсем разных уровнях организации: от топ-менеджмента до пользоват...

[Перевод] Алгоритм AdaBoost Перевод статьи подготовлен в преддверии старта продвинутого курса «Математика для Data Scienсe». Введение Алгоритм AdaBoost можно использовать для повышения производительности любого алгоритма машинного обучения. Машинное обучение стало мощным инструментом, позволяющим д...

Крупнейшее обновление Google пришло в российский поисковик Российская версия поиска Google получила самое крупное обновление алгоритмов за последние пять лет. Теперь поисковик работает с технологией предварительного обучения обработке текста на естественном языке BERT. С её помощью система может лучше понимать запросы пользователей....

BERT — последнее обновление Google. Что делать компаниям? Автор: Алена Селиванова, эксперт по управлению онлайн-присутствием RocketData.io В конце октября Google представил масштабное обновление для своего алгоритма поиска. Новая технология обработки языка станет самым значимым «внедрением» за последние пять лет, и одним ...

JPEG. Алгоритм сжатия И снова здравствуйте! Я нашел эту статью, написанную еще мае 2019-ого года. Это — продолжение серии статей о WAVE и JPEG, Вот первая. Эта публикация включит в себе информацию об алгоритме кодирования изображений и о самом формате в целом. Щепотку истории Столовую ложку стать...

[Из песочницы] A* pathfinding на C#: двоичные кучи и борьба с аллокациями Сегодня мы разбираем один из популярнейших алгоритмов поиска пути. Работать будем с двумерным массивом целочисленных координат. Сначала кратко ознакомимся с методами обхода графов, напишем собственно поиск пути, а затем перейдём к самому вкусному: оптимизации быстродействия...

[Перевод] Алгоритм Беллмана-Форда В преддверии старта курса «Алгоритмы для разработчиков» подготовили очередной перевод интересной статьи. Задача: Дан граф и начальная вершина src в графе, необходимо найти кратчайшие пути от src до всех вершин в данном графе. В графе могут присутствовать ребра с отрицатель...

Алгоритм Google BERT затрагивает 10% запросов на всех языках Сообщил Дэнни Салливан

14 самых популярных Node.js-библиотек в 2020 году Доброго времени суток, друзья! Представляю Вашему вниманию перевод статьи «14 Most Useful NodeJS Libraries in 2020». В данной статье автор делится своими находками среди многочисленных пакетов Nodejs. Express Быстрый, гибкий, минималистичный, легкий в изучении фреймворк...

PyCharm исполнилось 10 лет У PyCharm юбилей. На протяжении десяти лет наша IDE развивалась вместе с Python, отражая изменения в языке и отвечая на запросы Python-разработчиков. Все это время мы стремились сделать PyCharm максимально удобной и эффективной IDE. PyCharm — не просто коммерческий продукт...

Технология Google BERT получила поддержку более 70 новых языков, включая украинский и русский Поисковая система Google сможет использовать алгоритм BERT для обработки сложных запросов пользователей на большем количестве […]

[Перевод] Лучшие практики Kubernetes. Корректное отключение Terminate Лучшие практики Kubernetes. Создание небольших контейнеров Лучшие практики Kubernetes. Организация Kubernetes с пространством имен Лучшие практики Kubernetes. Проверка жизнеспособности Kubernetes с помощью тестов Readiness и Liveness Лучшие практики Kubernetes. Настройка зап...

Что такое ProgPoW? 1 Что такое ProgPoW? ProgPoW — сокращение от Programmatic Proof-of-Work («программируемое доказательство выполнения работы»), также иногда используется шуточный вариант PorgyPoW (от названия птиц поргов из пятого эпизода фильма «Звездные войны: последние джедаи») — это обнов...

[Перевод] Собеседования по алгоритмам: теория vs. практика tl;dr За последние десятилетия мода на собеседования программистов менялась несколько раз, и каждая из них выглядит нелепо в ретроспективе. Либо мы наконец-то нашли настоящий секрет эффективных собеседований, либо увлеклись очередным модным течением, которое через десять-два...

Демистификация JWT Вокруг JWT сложилась много распространенных заблуждений. Одно из них, например, что JWT зашифровано (на самом деле только подписано и закодировано base64url). На практике, я часто встречаюсь с довольно странными решениями, когда в JWT хранится только один идентификатор сесси...

Подключение к session в Java и Python. HttpURLConnection и CookieManager (Java). Requests(Python) Допустим, что нам надо подключиться к серверу, авторизоваться и поддерживать сессию. В браузере это выглядит следующим образом: На адрес http://localhost:8080/login отправляется пустой GET запрос. Сервер присылает формочку для заполнения логина и пароля, а также присылает ...

Яндекс.Карты API, я устал. Я ухожу О последней и других каплях в чаше решения о прекращении использования Яндекс.Карты API. Что случилось? С 1 ноября Яндекс.Карты уменьшили лимиты на бесплатное использование HTTP API Геокодера с 25 000 до 1 000 запросов в сутки. Но не всех об этом уведомили. Читать дальше &...

Google пообещала удалять из поисковой строки политические запросы Когда вводишь запрос в поисковой строке Google, система начинает давать подсказки в виде самых популярных запросов пользователей. Как бы это странно ни звучало, иногда у компании возникают репутационные проблемы из-за этой опции. Чтобы избежать обвинений во вмешательстве в в...

[Из песочницы] PRESENT — ультралегкое блочное шифрование (перевод оригинальной статьи PRESENT: An Ultra-Lightweight Block Cipher) Привет, Хабр! Привожу тут перевод оригинальной статьи «PRESENT: An Ultra-Lightweight Block Cipher» за авторством Robert B. Weide Богданова, Лендера, Паара, Пошмана, Робшава, Сеурина и Виккелсоя. Аннотация После внедрения AES потребность в новых алгоритмах блочного шифрова...

Современный код для выполнения HTTP запросов в Swift 5 с помощью Combine и применение их в SwiftUI. Часть 1 Выполнение HTTP запросов — это один из самых важных навыков, которые необходимо получить при разработке iOS приложений. В более ранних версиях Swift (до версии 5) вне зависимости от того, формировали ли вы эти запросы «с нуля» или с использование известного фреймворка Alam...

«Яндекс» внедрил «Вегу» — изменяет и оптимизирует алгоритмы поиска Представленное командой Яндекса глобальное поисковое обновление «Вега» способствует не только более конкретизированным ответам на запрос пользователя, а также рассмотрению сигналов от асессоров-экспертов. Читать полную статью

Агломеративная кластеризация: алгоритм, быстродействие, код на GitHub Несколько лет назад мне потребовалось очень качественно кластеризовать относительно неплотные графы среднего размера (сотни тысяч объектов, сотни миллионов связей). Тогда оказалось, что алгоритма с подходящим набором свойств просто не существует, несмотря на всё разнообраз...

Арбитражная торговля (Алгоритм Беллмана — Форда) Торговля на бирже обычно ассоциируется с рисками. Это совершенно верно для большинства торговых стратегий. Успешность торговли в этих случаях определяется исключительно способностью верно оценивать риски и управлять ими. Но не все торговые стратегии таковы. Существуют безр...

Cross-Origin Read Blocking (CORB) в расширениях для Chrome Если вы когда-то разработали расширение для Chrome, то может оказаться, что оно перестало работать. Причина в том, что начиная аж с прошлого года, в браузере Chrome блокируются Cross-Origin запросы из content-скриптов. Это означает, что если ваше расширение обращается к не...

[Перевод] Почему нужна инструментальная поддержка пагинации на ключах Всем привет! Я бэкэнд-разработчик, пишу микросервисы на Java + Spring. Работаю в одной из команд разработки внутренних продуктов в компании Тинькофф. У нас в команде часто встает вопрос оптимизации запросов в СУБД. Всегда хочется еще чуть-чуть быстрее, но не всегда можно об...

[Перевод] Реализация алгоритма Минимакс на примере игры «Крестики-Нолики» Недавно я написал непобедимую игру «Крестики-Нолики». Это был интересный и поучительный проект, который многому меня научил. Если у вас есть желание посмотреть результат — это можно сделать здесь. Для того чтобы сделать игру непобедимой, было необходимо создать алгоритм, ...

[Перевод] Тесты Ферма и Миллера-Рабина на простоту Салют хабровчане! Сегодня мы продолжаем делиться полезным материалом, перевод которого подготовлен специально для студентов курса «Алгоритмы для разработчиков». Дано некоторое число n, как понять, что это число простое? Предположим, что n изначально нечетное, поскольку в ...

[Перевод] Процедурная генерация многоэтажных 3D-подземелий В последнее время я играл в несколько roguelike, поэтому решил попробовать написать собственный процедурный генератор подземелий. Существует множество способов решения этой задачи, и я выбрал алгоритм автора TinyKeep, описанный здесь. Я расширил этот алгоритм, чтобы он рабо...

TOTP (Time-based one-time Password algorithm) С ростом числа угроз кибербезопасности, для разработчиков становится все более и более необходимым обновлять стандарты безопасности веб-приложений и быть при этом уверенными в том, что аккаунты пользователей в безопасности. Для этого в настоящее время многие онлайн-приложени...

[Перевод] Ханс Петер Лун и рождение алгоритма хеширования Алгоритм хеширования инженера IBM дал компьютерам возможность быстрого поиска документов, ДНК и баз данных Начиная с 1940-х годов, Лун разрабатывал машины и системы для анализа информации, в частности, широко используемый в настоящее время алгоритм хеширования, который он ...

Google рассказал о топ-запросах 2019 года в Украине Проанализировав миллионы поисковых запросов, компания Google в конце года традиционно объявила какие из них стали наиболее быстрорастущими, что чаще всего искали украинцы и какие вопросы задавали Google в 2019 году. Самым популярным поисковым запросом 2019 года в Google Укра...

PostgreSQL Antipatterns: статистика всему голова Для выбора наиболее эффективного плана выполнения запроса PostgreSQL пользуется накопленной статистикой о распределении значений данных в целевых таблицах. Она обновляется с помощью явного запуска команд ANALYZE и VACUUM ANALYZE или в фоновом режиме процессом autovacuum/auto...

[Перевод] Random Forest, метод главных компонент и оптимизация гиперпараметров: пример решения задачи классификации на Python У специалистов по обработке и анализу данных есть множество средств для создания классификационных моделей. Один из самых популярных и надёжных методов разработки таких моделей заключается в использовании алгоритма «случайный лес» (Random Forest, RF). Для того чтобы попытать...

Шифрование TLS-трафика по алгоритмам ГОСТ-2012 c Stunnel В этой статье я хочу показать, как настроить Stunnel на использование российских криптографических алгоритмов в протоколе TLS. В качестве бонуса покажу, как шифровать TLS-канал, используя алгоритмы ГОСТ, реализованные в криптоядре Рутокен ЭЦП 2.0. Но для начала давайте вооб...

[Перевод] Отложенное завершение pod'а при его удалении Задержка выключения pod’а в Kubernetes Это третья часть нашего пути (прим. пер. — ссылка на первую статью) к достижению нулевого времени простоя при обновлении Kubernetes-кластера. Во второй части мы сокращали время простоя, которое возникло из-за принудительного завершения...

[Из песочницы] Как работают реляционные базы данных (Часть 1) Привет, Хабр! Представляю вашему вниманию перевод статьи "How does a relational database work". Когда дело доходит до реляционных баз данных я не могу не думать, что чего-то не хватает. Они используются везде. Существует множество различных баз данных: от небольшог...

Интерактивная визуализация алгоритмов на базе Jupyter Jupyter уже давно зарекомендовал себя как удобную платформу для работы в различных областях на стыке программирования, анализа данных, машинного обучения, математики и других. Вот например очень известная книга по анализу данных, состоящая из Jupyter блокнотов. Поддержка , m...

Кроссплатформенные оптимизации OpenCV Библиотека OpenCV состоит из нескольких тысяч функций и алгоритмов. В этой статье мы хотим вам рассказать о том, как обеспечивается гибкость оптимизаций алгоритмов компьютерного зрения в OpenCV для разных архитектур, операционных систем и рабочих окружений. Мы рассмотрим абс...

[Перевод] История интерпретируемости в распознавании изображений Распознавание изображений (т. е. классификация того, какой объект отображается на изображении) является основной задачей в области компьютерного зрения, так как она позволяет использовать различные последующие приложения (автоматическая маркировка фотографий, помощь слабов...

Алгоритм Ethash В этой статье я расскажу про алгоритм Ethash, который используется для майнинга различных криптовалют, но главная из них это, конечно, Ethereum. Ethash - это Proof of Work (PoW) алгоритм, который является последней версией алгоритма Dagger-Hashimoto, хотя его больше нельзя н...

Дерево отрезков: просто и быстро Накануне очередного запуска курса «Алгоритмы для разработчиков» мы провели открытый урок. На нём поговорили об известной идее дерева отрезков, обсудили, как его строить, обновлять и быстро O(log n) вычислять сумму чисел любого отрезка данного массива. Алгоритм очень простой ...

GSoC 2019: Проверка графов на двудольность и трансформеры монад Прошлым летом я участвовал в Google Summer of Code — программе для студентов от компании Google. Ежегодно организаторы отбирают несколько Open Source-проектов, в том числе от таких известных организаций, как Boost.org и The Linux Foundation. Для работы над этими проектами Go...

[Из песочницы] 9 ключевых алгоритмов машинного обучения простым языком Привет, Хабр! Представляю вашему вниманию перевод статьи «9 Key Machine Learning Algorithms Explained in Plain English» автора Nick McCullum. Машинное обучение (МО) уже меняет мир. Google использует МО предлагая и показывая ответы на поисковые запросы пользователей. Netflix...

[Перевод] Использование алгоритма Прима для генерации соединённых друг с другом пещер Я решил объяснить один из алгоритмов генерации карты, используемых в моей игре In the House of Silence. Главное преимущество этого способа заключается в том, что в отличие от других алгоритмов, он никаким образом не может сгенерировать карту с разделёнными частями. Гене...

Алгоритмы на экзамене в ШАД Привет! Меня зовут Александр Курилкин, и я веду курс по алгоритмам в «ШАД Helper». В этом посте я разберу несколько задач из вступительных экзаменов прошлых лет, чтобы вы смогли увидеть, что вас ждет, и понять, чему мы сможем вас научить на нашем курсе. Надеюсь, что вы разде...

Гильоши другим манером Гильоши — это характерные узоры на бумажных деньгах и других ценных бумагах. Подробный рассказ о них с отступлением в историю можно найти в предыдущей статье. Там же приводился и алгоритм рисования, строящий гильоши по точкам. Довольно бесполезный, надо заметить, если мы ри...

[Перевод] Рейт лимиты с помощью Python и Redis В этой статье мы рассмотрим некоторые алгоритмы рейт лимитов на основе Python и Redis, начиная с самой простой реализации и заканчивая продвинутым обобщённым алгоритмом контроля скорости передачи ячеек (Generic Cell Rate Algorithm, GCRA). Для взаимодействия с Redis (pip in...

YouTube продвигает видео с отрицанием глобального потепления В результате расследования Avaaz было обнаружено, что при запросах «глобальное потепление» и «изменение климата» алгоритм YouTube выдавал ролики с дезинформацией, которые набирали многие миллионы просмотров.

Книга «Разработка с использованием квантовых компьютеров» Привет, Хаброжители! Квантовые вычисления не просто меняют реальность! Совершенно новая отрасль рождается на наших глазах, чтобы создать немыслимое ранее и обесценить некоторые достижения прошлого. В этой книге рассмотрены наиболее важные компоненты квантового компьютера: ку...

[Из песочницы] Ускорение сборки проекта на CMake+GCC: предварительная компиляция заголовочных файлов Есть несколько причин, почему проект на С++ в среднем собирается дольше сравнимых по величине проектов на других языках, например на Java или C#. Соответственно, есть и несколько способов уменьшить время сборки. Одним из самых известных является использование предварительной...

Александр Плющев про политизацию интернета, цифровизацию власти и роботов, которые заменят журналистов (но это не точно) Известный российский журналист, ведущий программы «Точка» на радио «Эхо Москвы» про интернет и технологии, а также автор колонки в Deutsche Welle Александр Плющев дал «Роскомсвободе» интервью. Он занимается темой интернета с 90-х, поэтому имеет хорошее представление о ра...

FAISS: Быстрый поиск лиц и клонов на многомиллионных данных Однажды в преддверии клиентской конференции, которую ежегодно проводит группа DAN, мы размышляли над тем, что интересного можно придумать, чтобы у наших партнеров и клиентов остались приятные впечатления и воспоминания о мероприятии. Мы решили разобрать архив из тысяч фото...

Как отключить оптимизацию MIUI и зачем это нужно Считается, что на Android дела с оптимизацией совсем плохи. Якобы фрагментация (когда на рынке сосуществует много разных версий ОС) банально не позволяет Google нормально оптимизировать софт смартфонов, из-за чего они работают не в полную мощь, поскольку реализовать их поте...

Балансировка нагрузки в Zimbra Open-Source Edition при помощи HAProxy Одной из главных задач при построении масштабных инфраструктур Zimbra OSE является грамотная балансировка нагрузки. Помимо того, что она повышает отказоустойчивость сервиса, без балансировки нагрузки невозможно обеспечить одинаковую отзывчивость сервиса для всех пользователе...

Raft в Tarantool. Как это работает и как этим пользоваться В прошлом году в Tarantool была проведена колоссальная работа по реализации синхронной репликации. При этом мы придерживались алгоритма Raft. Вся работа была разделена на два крупных этапа: так называемую кворумную запись, то есть синхронную репликацию, и автоматические выб...

Белые методы в SEO, которые работают в 2020 На нашем рынке основные поисковые системы — Яндекс и Google. Мы должны оптимизировать наш сайт так, чтобы именно он находился по интересующим нас запросам на первых местах. Это и называют находиться в топе в поисковиках. ...

[Перевод] 5 алгоритмов регрессии в машинном обучении, о которых вам следует знать Источник: Vecteezy Да, линейная регрессия не единственная Быстренько назовите пять алгоритмов машинного обучения. Вряд ли вы назовете много алгоритмов регрессии. В конце концов, единственным широко распространенным алгоритмом регрессии является линейная регрессия, главны...

Яндекс.Поиск: что подарить близким и чем заняться на каникулах Аналитики Яндекса выяснили, какие запросы делают пользователи поисковика перед Новым годом и в первую неделю января. Воспользуйтесь этой информацией для того, чтобы оживить спрос, выстроить эффективную коммуникацию с целевой аудиторией — и увеличить продажи. Категории, в кот...

[Перевод] Структуры данных и алгоритмы, которыми я пользовался, работая в технологических компаниях Пользуетесь ли вы структурами данных и алгоритмами в повседневной работе? Я обратил внимание на то, что всё больше и больше людей считает алгоритмы чем-то таким, чем, без особой связи с реальностью, технические компании, лишь по собственной прихоти, интересуются на собеседов...

[Перевод] Как разработать ансамбль Light Gradient Boosted Machine (LightGBM) В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного буст...

[Перевод] Индексируем миллиарды текстовых векторов При извлечении информации часто возникает задача поиска подобных фрагментов текста. В контексте поиска запрос может быть сгенерирован пользователем (например, текст, который пользователь вводит в поисковом движке) или самой системой. Часто нам нужно сопоставлять входящий за...

Samsung знает, как сделать новый вид смартфонов более привлекательными Компания Samsung после неудачи всё же выпустила на рынок гибкий смартфон Galaxy Fold, который, учитывая слухи, можно назвать успешным относительно его цены и позиционирования. Однако ситуация с Galaxy Fold, а также переносы запуска Huawei Mate X хорошо демонстрируют то,...

Нейросеть — обучение без учителя. Метод Policy Gradient Доброго времени суток, Хабр Настоящей статьей открываю цикл статей о том, как обучать нейронные сети без учителя. (Reinforcement Learning for Neuron Networks) В цикле планирую сделать три статьи по теории и реализации в коде трех алгоритмов обучения нейронных сетей без учи...

OLX опубликовал рейтинг поисковых запросов украинцев за 2019 год, самые популярные запросы — квартира и велосипед, самый популярный гаджет — iPhone 7 [инфографика] Онлайн-сервис OLX опубликовал рейтинг самых популярных поисковых запросов украинцев за 2019 год. Наибольшее количество поисковых запросов в прошлом году пришлось на такие позиции, как: квартира — более 8,1 млн запросов, велосипед — 5,8 млн, диван — 4,88 млн, кроссовки — боле...

Google раскрыл самые популярные запросы россиян в 2019 году Google рассказал о самых популярных поисковых запросах российских пользователей за 2019 год. Интересы россиян можно разделить на три категории: «События года», «Люди года» и «Сериалы года». Из числа событий, которыми заинтересовались россияне, можно отметить…

[Перевод] Не стоит пользоваться OFFSET и LIMIT в запросах с разбиением на страницы Прошли те дни, когда не надо было беспокоиться об оптимизации производительности баз данных. Время не стоит на месте. Каждый новый бизнесмен из сферы высоких технологий хочет создать очередной Facebook, стремясь при этом собирать все данные, до которых может дотянуться. Эти ...

Google Chrome сделает запросы на получение уведомлений менее раздражающими В последней версии браузера Mozilla Firefox разработчики кардинально изменили подход к отображению запросов на получение уведомлений от разных сайтов, посещаемых пользователями в сети Интернет.

Какой язык выбрать для работы с данными R или Python? Оба! Мигрируем с pandas на tidyverse и data.table и обратно По запросу R или Python в интернете вы найдёте миллионы статей и километровых обсуждений по теме какой из них лучше, быстрее и удобнее для работы с данными. Но к сожалению особой пользы все эти статьи и споры не несут. Цель этой статьи — сравнить основные приёмы обработки д...

[Из песочницы] Пакетная обработка в JDBC и HIBERNATE Здравствуйте! В этой статье, я кратко расскажу о пакетной обработке SQL (DML) операторов: INSERT, UPDATE, DELETE, как одной из возможностей достижения увеличения производительности. Преимущества В отличии от последовательного выполнения каждого SQL запроса, пакетная обрабо...

[Из песочницы] Геокодирование. Как привязать 250 тысяч адресов к координатам за 10 минут? Привет, Хабр! В этой статье я хотел бы поделиться опытом решения маленькой проблемы с большим количеством адресов. Если вы когда-либо работали с API геокодирования или пользовались онлайн инструментами, то думаю вы разделяете мою боль ожидания результата в течение несколь...

Обзор основных функций Google BigQuery и примеры запросов для маркетинг-анализа Google BigQuery – это быстрое, экономичное и масштабируемое хранилище для работы с Big Data, которое вы можете использовать, если у вас нет возможности или желания содержать собственные серверы. В нем можно писать запросы с помощью SQL-like синтаксиса, стандартных и пользова...

[Перевод - recovery mode ] Учебный проект на Python: алгоритм Дейкстры, OpenCV и UI ( часть 1) Лабиринты — это распространенная головоломка для людей, но они представляют из себя интересную задачу для программирования, которую мы можем решить, используя методы кратчайшего пути, такие как алгоритм Дейкстры. Вспоминаем алгоритм Дейкстры Алгоритм Дейкстры — один из наиб...

[Из песочницы] Почему Rust должен стать функциональным языком программирования Привет, Хабр! Начав изучение Scala, я сразу столкнулся с тем, что функциональная реализация простейшего алгоритма быстрой сортировки работает радикально медленней и потребляет существенно больше памяти, чем аналогичная императивная реализация. При этом никто не спорит, что ...

Google Dorking или используем Гугл на максимум Вступление Google Dorks или Google Hacking — техника, используемая СМИ, следственными органами, инженерами по безопасности и любыми пользователями для создания запросов в различных поисковых системах для обнаружения скрытой информации и уязвимостях, которые можно обнаружить...

В квантовом алгоритме Google нашли ограничения Группа учёных из Deep Quantum Labs Центра по фотонике и квантовым материалам московского Сколковского института науки и технологий во главе с профессором Джейкобом Биамонте обнаружила и количественно оценила слабые стороны алгоритма Google. Американская корпорация Google стр...

Django ORM | Оптимизируем запросы Django ORM (Object Relational Mapping) является одной из самых мощных особенностей Django. Это позволяет нам взаимодействовать с базой данных, используя код Python, а не SQL. Для демонстрации опишу такую модель: from django.db import models class Blog(models.Model): ...

PostgreSQL Antipatterns: «Должен остаться только один!» На SQL вы описываете «что» хотите получить, а не «как» это должно исполняться. Поэтому проблема разработки SQL-запросов в стиле «как слышится, так и пишется» занимает свое почетное место, наряду с особенностями вычисления условий в SQL. Сегодня на предельно простых примера...

[Из песочницы] Ансамбли нейронных сетей с PyTorch и Sklearn Нейронные сети довольно популярны. Их главное преимущество в том, что они способны обобщать довольно сложные данные, на которых другие алгоритмы показывают низкое качество. Но что делать, если качество нейронной сети все еще неудовлетворительное? И тут на помощь приходят анс...

F#, алгоритм маркировки связных компонентов изображения Поиск и маркировка связных компонентов в бинарных изображениях — один из базовых алгоритмов анализа и обработки изображений. В частности, этот алгоритм может быть использован в машинной зрении для поиска и подсчета единых структур в изображении, с последующих их анализом. В...

Куда делось место на сервере Confluence? Или статистика по Confluence вложениям У вас бывало такое на сервере Confluence закончилось место, а вы не знаете кто больше всего загружает вложений? Чтобы узнать это необходим доступ к в бд confluence. С помощью SQL запросом можно узнать полезную статистику по Confluence. Читать дальше →

Код на React и TypeScript, который работает быстро. Доклад Яндекса Евангелисты Svelte и других библиотек любят показывать примеры тормозящих компонентов на React. React и TypeScript дают много возможностей создавать медленный код. После доклада Виктора victor-homyakov вы сможете писать более производительные компоненты без усложнения кода. ...

[Из песочницы] Некоторые аспекты работы с Dictionary при разработке нагруженных приложений На написание этой небольшой заметки меня подтолкнуло несколько проведенных в последнее время собеседований на должность ведущего разработчика в нашу компанию. Некоторые соискатели, как оказалось, недостаточно разбираются в том, что же это за механизм такой, Dictionary, и как...

[Перевод] Что я узнал после более чем 1000 code review За последние 3 года я рассмотрел более 1000 pull (merge) request’ов. За это время я многому научился — в основном тому, как не проверять код, как сделать процесс менее болезненным, что делает код хорошего качества и так далее. Pull request должен делать только одну вещь Это...

ЕЦИС Вологодской области переведена на ОС Astra Linux В Вологодской области все компоненты Единой централизованной информационной системы бюджетного (бухгалтерского) учета и отчетности переведены на ОС Astra Linux Special Edition «Смоленск» 1.6. Пользователями решения являются 6 000 сотрудников более 1 000 госорг...

Оперативная аналитика в микросервисной архитектуре: п̶о̶н̶я̶т̶ь̶ ̶и̶ ̶п̶р̶о̶с̶т̶и̶т̶ь̶ помочь и подсказать Микросервисная архитектура, как и все в этом мире, имеет свои плюсы и свои минусы. Одни процессы с ней становятся проще, другие — сложнее. И в угоду скорости изменений и лучшей масштабируемости нужно приносить свои жертвы. Одна из них — усложнение аналитики. Если в монолите ...

Как настроить SEO для Вашего бизнеса Каждый день в Яндексе и Гугле люди запрашивают более 100 миллиардов запросов по всему миру. Каждый поисковой запрос заставляет поисковую систему искать на него ответ. Для чего нужна оптимизация сайта Чтобы довести Ваш сайт до такого состояния, которое будет соответствовать ...

Пентагон испытал нейросеть воздушным боем Испытания AlphaDogfight Trials проводятся в рамках подготовки к тендеру Пентагона под названием Air Combat Evolution на разработку системы искусственного интеллекта, которая в будущем сможет брать управление боевым самолётом на себя и вести манёвренный ближний воздушный бой....

Функции Samsung Galaxy S20 появились на российских Galaxy A51 и A71 Компания Samsung подтвердила, что российские пользователи смартфонов Galaxy A51 и A71 действительно получили обновление, которые расширяет и дополняет их возможности функциями, дебютировавшими в Galaxy S20. Давайте разберемся подробнее, что именно стало доступно пользов...

Apple отчиталась о запросах властей на раскрытие данных Наибольшее число запросов традиционно связано с Apple-устройствами. Они направляются для расследования случаев хищения или потери устройств, а также при расследовании мошеннических действий (в этом случае один запрос часто может касаться множества устройств). Всего за полгод...

[Из песочницы] Фасетные фильтры: как готовить и с чем подавать О чем речь Как сделать фасетный поиск в интернет-магазине? Как формируются значения в фильтрах фасетного поиска? Как выбор значения в фильтре влияет на значения в соседних фильтрах? В поиске ответов дошел до пятой страницы поисковой выдачи Google. Исчерпывающей информации н...

Об одной уязвимости в… Год назад, 21 марта 2019, в баг баунти программу Mail.Ru на HackerOne пришел очень хороший багрепорт от maxarr. При внедрении нулевого байта (ASCII 0) в POST-параметр одного из API-запросов веб-почты, который возвращал HTTP-редирект, в данных редиректа виднелись куски неин...

[Перевод] Сжатие ответов в GRPC для ASP.NET CORE 3.0 Перевод статьи подготовлен в преддверии старта курса «C# ASP.NET Core разработчик». В этом эпизоде моей серии статей о gRPC и ASP.NET Core мы рассмотрим подключение функции сжатия ответов (response compression) служб gRPC. ПРИМЕЧАНИЕ: В этой статье я рассказываю о некото...

Как мы предсказываем будущее в поиске Яндекса: от исправления ошибок до discovery-запросов Люди не всегда точно формулируют свои запросы, поэтому поисковые системы должны помогать им в этом. За два десятка лет в Яндексе разработали множество технологий, облегчающих задачи поиска: от опечаточника до подсказок в саджесте. Недавно мы сделали следующий шаг и научили п...

Blue-Green Deployment на минималках В этой статье мы с помощью bash, ssh, docker и nginx организуем бесшовную выкладку веб-приложения. Blue-green deployment — это техника, позволяющая мгновенно обновлять приложение, не отклоняя ни одного запроса. Она является одной из стратегий zero downtime deployment и лучше...

Поиск Mail.ru учится понимать запросы в форме «живого» диалога Поиск Mail.ru тестирует новый механизм распознавания естественного языка. Сервис учится понимать обращения в форме «живого» диалога, чтобы быстрее дать пользователю необходимый объем информации. Как и при человеческом общении, сервис будет учитывать контекст предыдущих запро...

Мониторинг запросов в Greenplum Часто при работе с разными базами данных необходимо отслеживать выполнение текущих запросов. В основном это связано с задачами администрирования или аналитики. Средства мониторинга, позволяющие управлять и наблюдать за выполнением запросов, сильно помогают в этом. Я расскажу...

ClickHouse – визуально быстрый и наглядный анализ данных в Tabix. Игорь Стрыхарь Предлагаю ознакомиться с расшифровкой доклада 2017 года Игорь Стрыхарь «ClickHouse – визуально быстрый и наглядный анализ данных в Tabix». Веб-интерфейс для ClickHouse в проекте Tabix. Основные возможности: Работает с ClickHouse напрямую из браузера, без необходимости устан...

[Перевод] 5 вопросов по SQL, которые часто задают дата-сайентистам на собеседованиях Хотя составление SQL-запросов — это не самое интересное в работе дата-сайентистов, хорошее понимание SQL чрезвычайно важно для того, кто хочет преуспеть в любом занятии, связанном с обработкой данных. Дело тут в том, что SQL — это не только SELECT, FROM и WHERE. Чем больше S...

PostgreSQL Antipatterns: ударим словарем по тяжелому JOIN Продолжаем серию статей, посвященных исследованию малоизвестных способов улучшения производительности «вроде бы простых» запросов на PostgreSQL: редкая запись долетит до середины JOIN сизифов JOIN массивов вредные JOIN и OR CTE JOIN CTE Не подумайте, что я так сильно не л...

Google представляет топ-запросы 2019 года в Украине Традиционно в конце года мы представляем итоговый рейтинг самых популярных запросов украинских пользователей Google.

Ультимативный гайд по собеседованию DevOps-инженеров — что спрашивать и к чему готовиться Я начал заниматься сетями еще в школе, а работаю за деньги больше 16 лет. Я много куда устраивался, в большие компании и маленькие, потом открыл свой бизнес и регулярно сам нанимаю людей. С годами и опытом у меня, да и у многих, вырабатывается интервьюшная интуиция. Это к...

Граф знаний в Поиске: построение из нескольких источников Я хочу рассказать о том, что такое граф знаний и об одном из способов его построения из нескольких тематических источников. Большое количество запросов в поиске содержат единственную сущность — объект, про который спрашивает пользователь. Это могут быть запросы про каких...

Обзор внешнего жёсткого диска Verbatim Fingerprint Secure Hard Drive Сегодня многие начинают задумываться о безопасности своих данных и пресечении несанкционированного доступа к ним. Всё большее число пользователей начинает уделять внимание личным данным и контролю над доступом к ним. Причём актуально это и для домашних пользователей и для ...

Как мы уменьшили время простоя курьеров. Логистика в Яндекс.Еде Всем привет! Меня зовут Роман Халкечев, я руковожу отделом аналитики в Яндекс.Еде. Одно из ключевых направлений этого сервиса — логистика. Эффективность алгоритмов логистики во многом и определяет само существование сервисов доставки. Сегодня я расскажу читателям Хабра о на...

(Не)очевидный OSINT в Twitter Twitter — достаточно старый, но при этом все еще популярный у широкой аудитории сервис микроблогов, которым активно пользуются как рядовые пользователи, так и публичные личности. Лучший пример — официальные Twitter-аккаунты политиков, писателей, музыкантов, актеров. Конечн...

[Перевод] Декодируем JPEG-изображение с помощью Python Всем привет, сегодня мы будем разбираться с алгоритмом сжатия JPEG. Многие не знают, что JPEG — это не столько формат, сколько алгоритм. Большинство JPEG-изображений, которые вы видите, представлены в формате JFIF (JPEG File Interchange Format), внутри которого применяется ...

Нулевой даунтайм API на ElasticSearch В статье я хочу поделиться своим опытом достижения нулевого даунтайма ответа одного из API, использующего большой индекс ElasticSearch. Эта статья будет полезна тем, кто уже использует ElasticSearch и не может позволить себе ни минуты простоя, а один из ваших индексов ...

Создание в SoapUI асинхронного REST MockService с запуском в Portainer Задача: Разработать мок для проверки асинхронного обмена сообщениями с внешней системой.Как пример, рассмотрим некий кейс проверки валидности промокода внешней системой. По шагам:1) Отправляем запрос в сервис внешней системы;Запрос PUT содержит поля (например, в headers...

Создаем свой шахматный движок: алгоритм игры компьютера Продолжаю рассказывать, как докручиваю свой шахматный движок, и это вторая часть статьи. Она небольшая, здесь я подсвечу настройку ИИ в игре. Сыграем с соперником в лице собственного компьютера. В первой статье я начал с истории и поделился реализацией ходов. Было много ...

Windows 10 20H1: решения проблем высокой загрузки процессора и диска Microsoft представляет новый алгоритм для индексатора поиска Windows, который делает его более эффективным с точки зрения общей производительности системы, использования процессора и диска. Изменения, включенные в Windows 10 версии 2004 (20H1), могут, наконец, устранить жало...

Инстаграм будет использовать ИИ для борьбы с травлей пользователей Instagram хочет сделать свою социальную сеть менее «токсичной» В последнее время на борьбу с кибербуллингом (то есть травлей или осознанным унижением) в сети обратили внимание многие компании. В первую очередь это касается владельцев крупных социальных сетей и подо...

Пирамида вместо сферы: нестандартная кластеризация атомов золота Мир, окружающий нас, является совместным результатом множества явлений и процессов из самых разных наук, выделить самую главную из которых фактически невозможно. Несмотря на некоторую степень соперничества, многие аспекты тех или иных наук обладают схожими чертами. Возьмем...

[Перевод] Адаптивная процедурная генерация при помощи алгоритма WaveFunctionCollapse и априорного распределения вероятностей Что такое процедурная генерация? Процедурная генерация включает в себя множество генеративных алгоритмов, принцип работы которых заключается в создании данных не вручную, а алгоритмически: вместо ручного изготовления того, что мы хотим создать (карты, музыки, рельефа…), пише...

Ищем подходящий автомобиль… В субботу вечером я, как всегда, сидел и снифил трафик со своего телефона. Внезапно, открыв приложение «Ситимобил» я увидел, что один интересный запрос выполняется без какой-либо аутентификации. Это был запрос на получение информации о ближайших машинах. Выполнив этот запр...

Реальный способ улучшения снимка без фоторедакторов Изначально, статья должна была быть присвоена теме улучшения снимков с помощью приложения для фото на основе алгоритмов искусственного интеллекта (https://play.google.com/store/apps/details?id=wide.android.camera&hl=uk), но разница между стандартным приложением фотокаме...

Описание основ криптопреобразования AES Доброго времени суток, Хабр! Примерно 3 месяца назад проходил собеседование frontend разработчиком и самый первый вопрос, который мне задали: “Что такое AES?” Ну как бы аморфное представление я все же имел о симметрично блочном шифровании AES, было дело даже использовал в од...

Нейросеть GPT-3 вела мотивационный блог на английском и всем понравилось. Чем это грозит копирайтерам и писателям Компания OpenAI, которую несколько лет назад основал Илон Маск, в июне выпустила новый алгоритм нейросети GPT-3. На сегодня это самая совершенная система, которая умеет работать с естественными языками. Ее возможности просто колоссальны. С помощью GPT-3 можно создавать л...

TCP BBR: быстрый и простой способ ускорения загрузки страниц. Доклад Яндекса Современные протоколы прикладного уровня используют для ускорения передачи данных мультиплексирование, которое повышает требования к надёжности канала. На конференции YaTalks Александр Грянко phasma рассказал, как мы ускоряем загрузку страниц на каналах с большими потерями п...

[Перевод] Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг Веб-скрапинг — это метод сбора данных с веб-сайтов. Этот термин обычно используется в применении к автоматизированному сбору данных. Сегодня мы поговорим о том, как собирать данные с сайтов анонимно. Причина, по которой некто может захотеть анонимности в деле веб-скрапинга, ...

Новый алгоритм Google позволяет роботам самостоятельно обучаться ходить Мало кто уже сомневается в том, что в будущем роботы будут играть важную роль в нашей жизни, однако до этого момента предстоит многому их обучить, в том числе и навигации без помощи человека. Мы находимся на этапе, когда алгоритмы позволяют роботу учиться передвигаться, но э...

Книга «Машинное обучение без лишних слов» Привет, Хаброжители! Все, что вам действительно нужно знать о машинном обучении, может уместиться на паре сотен страниц. Начнем с простой истины: машины не учатся. Типичное машинное обучение заключается в поиске математической формулы, которая при применении к набору входн...

Возможности ClickHouse для продвинутых разработчиков. Алексей Миловидов (2018г) В докладе планируется рассмотреть малоизвестные или недостаточно хорошо освещённые в документации возможности ClickHouse: инкрементальная агрегация и манипуляции с состояниями агрегатных функций, межкластерное копирование, выполнение запросов без использования сервера и т.п...

[Перевод] Реализация технологии SSO на базе Node.js Веб-приложения создают с использованием клиент-серверной архитектуры, применяя в качестве коммуникационного протокола HTTP. HTTP — это протокол без сохранения состояния. Каждый раз, когда браузер отправляет серверу запрос, сервер обрабатывает этот запрос независимо от других...

GeForce RTX 3070 Ti в майнинге. С Ethereum все печально, но с остальными криптовалютами проблем нет О производительности новейшей видеокарты GeForce RTX 3070 Ti в играх мы уже писали, сейчас – о майнинге. Эта модель – одна из первых с аппаратной защитой от майнинга из коробки. Но она действует только при использовании алгоритма Ethash (Dagger-Hashimoto): в...

Как ученые взломали сложнейший криптографический код: новый рекорд Хоть решенный алгоритм и слабее практический криптографии, которую в наши дни используют для обеспечения безопасности данных, однако даже такое достижение стало для современной вычислительной техники весьма выдающимся. В общей сложности системе потребовались 35 000 000 вычис...

NVIDIA GeForce 451.48 добавляет функцию аппаратного ускорения планирования GPU в Windows 10 Состоялся релиз драйвера NVIDIA GeForce версии 451.48 для Windows 10, в том числе и для May 2020 Update. В обновлении драйвера NVIDIA GeForce 451.48 добавлена поддержка функции аппаратного ускорения графического процессора в Windows 10. Microsoft добавила поддержку аппарат...

[Перевод] Алгоритм сжатия Хаффмана В преддверии старта курса «Алгоритмы для разработчиков» подготовили для вас перевод еще одного полезного материала. Кодирование Хаффмана – это алгоритм сжатия данных, который формулирует основную идею сжатия файлов. В этой статье мы будем говорить о кодировании фиксирован...

Как мы внедряли распределенный кеш на Tarantool в одной АБС Разработка любого достаточно серьезного софта, будь то калькулятор матриц или ИИ беспилотного автомобиля, — это всегда какая-то своя предметная область, определенные технологии, алгоритмы и структуры данных, архитектура кода, процесс разработки и еще много разных умных терм...

Визуализация сложных данных с использованием D3 и React Существует много возможныx вариантов реализации сложных графиков в ваших проектах. Я за несколько лет попробовал все возможные варианты. Сначала это были готовые библиотеки типа AmCharts 4. AmCharts сразу же оказался большим и неповоротливым. После этого были более гибкие и ...

[Перевод] Неизбежность проникновения FPGA в дата-центры Не нужно быть разработчиком чипов, чтобы программировать для FPGA, как не нужно быть программистом на С++, чтобы писать код на Java. Однако в обоих случаях, вероятно, это будет не лишним. Цель коммерциализации обеих технологий, Java и FPGA, в том, чтобы опровергнуть послед...

Здоровье индексов в PostgreSQL глазами Java-разработчика Привет. Меня зовут Ваня, и я Java-разработчик. Так получилось, что я много работаю с PostgreSQL – занимаюсь настройкой БД, оптимизацией структуры, производительностью и немного играю в DBA по выходным. За последнее время я привёл в порядок несколько баз данных в наших микрос...

[Кейс] Пошагово: как создать эффективную статью в блог интернет-магазина Как две статьи с обратными ссылками помогли сайту проранжироваться по 800 ключевым запросам за 90 дней.

Базовый курс SEO Самое актуальное в SEO в 2020 году. Базовый курс — обучение продвижению сайтов для начинающих в SEO. Идеален для маркетологов, специалистов по рекламе, а также владельцев сайтов и бизнесов. Курс дает информацию о принципах работы ...

[Из песочницы] Генетический алгоритм на Python для поиска глобальных экстремумов Предыстория Недавно в рамках учебной деятельности мне понадобилось использовать старый добрый генетический алгоритм в целях поиска минимума и максимума функции от двух переменных. Однако, к моему удивлению, на просторах интернета не нашлось подобной реализации на питоне, а в...

Пишем в PostgreSQL на субсветовой: 1 host, 1 day, 1TB Недавно я рассказал, как с помощью типовых рецептов увеличить производительность SQL-запросов «на чтение» из PostgreSQL-базы. Сегодня же речь пойдет о том, как можно сделать более эффективной запись в БД без использования каких-либо «крутилок» в конфиге — просто правильно ор...

[Перевод] Life in the Fast Lane Серия статей о GC Don’t Fear the Reaper Life in the Fast Lane Go Your Own Way. Часть первая: Стек Go Your Own Way. Часть первая: Куча В первой из серии статей о GC я представил сборщик мусора в языке D и...

NextDNS вышел из беты — защита приватности, обход госцензуры и блокировка рекламы для всей домашней сети Cервис NextDNS наконец-то вышел из беты и теперь официально предоставляет бесплатные услуги по блокировке рекламы и других вредоносных IP-адресов на уровне DNS. Это простой и эффективный метод защиты: NextDNS автоматически фильтрует трафик, не ведёт логов, шифрует DNS-запр...

Восьмой хардфорк Ethereum — еще один шаг к алгоритму консенсуса Proof-of-Stake В воскресенье, 8 декабря, должен состояться запланированный хардфорк Ethereum под названием Istanbul. Он станет восьмым по счету крупным обновлением в сети второй по капитализации криптовалюты и, как ожидается, положит начало переходу на ETH 2.0 — новому этапу в эволюции про...

Vivaldi для Android: одна бета — хорошо, а вторая — лучше Всем привет! Разработка современного ПО напоминает снежный ком: добавил одну функцию — получил два запроса на её улучшение, реализовал эти запросы — получил уже четыре предложения по расширению возможностей браузера. Красота! Некогда чаю попить. Но сегодня давайте, всё-та...

Разработчики Dash допустили возможность внедрения алгоритма Proof-Of-Stake Глава Dash Core Group Райан Тейлор допустил возможность внедрения PoS-элементов в алгоритм консенсуса ориентированной на приватность криптовалюты Dash. 1/ Dash Core Group is live streaming our Open House this Saturday https://t.co/PdWDHEgLjl. I will be presenting a newly-add...

AIOps в управлении ИТ-инфраструктурой Традиционные методы ИТ-администрирования и управления ИТ-инфраструктурой активно пересматриваются и постепенно реформируются. Использование искусственного интеллекта (ИИ) в управлениии ИТ-инфраструктурой рисует интереснейшие перспективы. Термин AIOps (Artificial Intelligence...

Mozilla просит фанатов Firefox обновить браузер как можно ... Mozilla выпустила обновление для исправления критической уязвимости в Firefox. Она призывает пользователей обновляться как можно быстрее - и к этому предупреждению присоединяется правительство США. Mozilla утверждает, что знает о «целенаправленных атаках на брау...

Классификатор методом BallTree поиска k-ближайших соседей на Python Алгоритм классификации методом поиска ближайших соседей - самый простой и понятный алгоритм, с которого начинается познание азов машинного обучения. Но модификации этого простого алгоритма могут потребовать нетривиального подхода к решению задачи. В этой статье я описал реал...

Что влияет на выдачу кредита. Обзор соревнования Home Credit Default Risk Рассмотрим, как работают алгоритмы в банковском скоринге, какие метрики используются и какие параметры заемщика влияют на то, выдадут кредит или нет. В статье описывается прошедший конкурс с kaggle по предсказанию вероятности дефолта и приводятся влияющие на риск дефолта пар...

Рекомендательные системы, основанные на графах Всем привет! Меня зовут Александра Зенченко, я Lead Software Engineer в ЕРАМ. Занимаюсь разработкой решений, которые помогают нашим клиентам повышать эффективность работы и, в основном, включают в себя часть машинного обучения. В последнем проекте я работала над построением ...

Про кластер серверов 1С Кластер — это разновидность параллельной или распределённой системы, которая: 1. состоит из нескольких связанных между собой компьютеров; 2. используется как единый, унифицированный компьютерный ресурс Gregory F. Pfister, «In search of clusters». Дано: есть бизнес-прило...

[Перевод] Продуманные запросы: стратегии кэширования в век PWA Давным-давно мы, в деле кэширования, всецело полагались на браузеры. Разработчики в те дни почти никак не могли на это повлиять. Но потом появились прогрессивные веб-приложения (Progressive Web App, PWA), сервис-воркеры, API Cache. Внезапно случилось так, что в руках програм...

[Из песочницы] VMware vSAN 6.7 — И грянул гром Заканчивался 2018-й год… Однажды, ясным декабрьским днём, решила наша Компания приобрести новое «железо». Нет, конечно, это не случилось в одночасье. Решение было принято раньше. Намного раньше. Но, как водится, не всегда наши желания совпадают с возможностями акционеров. ...

[Перевод] Алгоритм сортировки quadsort Вступление Эта статья описывает стабильный нерекурсивный адаптивный алгоритм сортировки слиянием под названием quadsort. Четверной обмен В основе quadsort лежит четверной обмен. Традиционно большинство алгоритмов сортировки разработаны на основе бинарного обмена, где две пе...

Логирование и трассировка запросов — лучшие практики. Доклад Яндекса В Яндекс.Маркете большая микросервисная архитектура. Браузерный запрос главной страницы Маркета рождает десятки вложенных запросов в разные сервисы (бэкенды), которые разрабатываются разными людьми. В такой системе бывает сложно понять, по какой именно причине запрос упал ил...

Сравниваем производительность C# и C++ в задачах обработки изображений Бытует мнение, что C# не место в вычислительных задачах, и мнение это вполне обоснованное: JIT-компилятор вынужден компилировать и оптимизировать код на лету в процессе выполнения программы с минимальными задержками, у него попросту нет возможности потратить больше вычислите...

Телевизоры Hisense U7QF уже в продаже Компания Hisense обновила модельный ряд телевизоров. Флагманом продуктовой линейки стала серия телевизоров Hisense U7QF, представленная моделями 50U7QF с диагональю экрана 50 и 55 дюймов. Телевизоры относятся к премиум-сегменту и созданы с использованием новейших технологий...

[Из песочницы] Логистика. Введение. Просто о сложном Все мы любим мечтать, в особенности когда это связано с посещением новых мест или возвращением в любимые места. Ничто так не воодушевляет, как чувство предвкушения планируемого события и омрачает его лишь наличие организационных моментов, в частности, выбор и покупка билетов...

[Из песочницы] Doctrine ResultSetMapping на примерах Doctrine ORM предоставляет разработчику удобные средства выборки данных. Это и мощный DQL для работы в объектно-ориентированном ключе, и удобный Query Builder, простой и понятный в использовании. Они покрывают большую часть потребностей, но иногда возникает необходимость исп...

Что нового в TestMace часть 1. Облачная синхронизация, обновленный интерфейс и многое другое Всем привет! После долгого перерыва TestMace вновь вылезает из норы, чтобы поведать миру о новостях, связанных с проектом. Если кто забыл либо не читал статью о нас, TestMace — это IDE для работы с API. Наша тулза ставит целью покрыть весь спектр работ с существующим API, к...

Безопасность REST API от А до ПИ Введение Умение реализовать грамотное REST API — полезный навык в наше время, т.к. все больше сервисов предоставляют свои возможности с помощью API. Но разработка REST API не ограничивается реализацией HTTP запросов в определенном стиле и формированием ответов в соответстви...

Как использовать алгоритмы Tinder и повысить шансы на удачное знакомство Самое известное приложение для знакомств собирает о каждом пользователе тонну данных — и это можно применить в своих интересах.

Игра на WinForms + C# в 16 лет (2 часть) Предыстория Прошло довольно много времени с момента написания предыдущей статьи. Как и обещал я написал вторую часть. Хотелось бы сказать спасибо всем тем, кто давал советы в комментариях, из всех их я смог узнать что-то новое. Ну а для тех кому хочется сразу посмотреть прое...

[Перевод] Для edge-серверов десятого поколения Cloudflare выбирает процессоры от AMD Ежедневно через сеть Cloudflare Network проходит более миллиарда уникальных IP-адресов; она обслуживает более 11 млн HTTP-запросов в секунду; она находится на расстоянии не более 100 мс от 95% интернет-населения. Наша сеть раскинулась на 200 городов в более чем 90 странах,...

Google теперь берёт плату с правоохранительных органов за запросы о предоставлении данных пользователей Компания Google начала брать плату с правоохранительных органов за предоставление пользовательских данных. Её размер варьируется от 45 до 245 долларов в зависимости от типа запрошенных данных. Такое решение было принято, чтобы компенсировать расходы на обработку запросов о д...

Критический RCE-баг во встроенном сервере GoAhead Исследователи из Cisco Talos обнаружили две новые уязвимости в веб-сервере GoAhead компании EmbedThis. Недостатки позволяют не прошедшему аутентификацию злоумышленнику выполнить на устройстве сторонний код или добиться состояния отказа в обслуживании. Проблема может затронут...

Поисковое продвижение: как покорить топ Курс рассчитан на слушателей с разным уровнем подготовки: собственников проектов, начинающих или опытных маркетологов и всех тех, кто интересуется поисковым продвижением сайтов. Вы узнаете о том, как работают поисковые системы, почему одни сайты выше...

[Из песочницы] Многопоточность на Node.js. Event Loop Инфа будет полезна JS-разработчикам, которые хотят глубоко понимать суть работы с Node.js и Event Loop. Вы сможете осознанно и более гибко управлять потоком выполнения программы (web-сервера). Эту статью я составил по материалам своего недавнего доклада для коллег. В конце с...

[Из песочницы] AI на минималках: пишем свой Сокобан и учим компьютер его решать В этой статье я расскажу как написать свою реализацию известной игрушки Сокобан, а также алгоритм для её решения с нуля. Заодно применю на практике некоторые шаблоны проектирования и принципы SOLID. Весь код расположен по адресу Читать дальше →

Как сжать модель fastText в 100 раз Модель fastText — одно из самых эффективных векторных представлений слов для русского языка. Однако её прикладная польза страдает из-за внушительных (несколько гигабайт) размеров модели. В этой статье мы показываем, как можно уменьшить модель fastText с 2.7 гигабайт до 28 ме...

Идеальный инструмент для работы с СУБД без SQL для Node.js или Все, что вы хотели знать о Sequelize. Часть 2 Представляю вашему вниманию руководство по Sequelize. Sequelize — это ORM (Object-Relational Mapping — объектно-реляционное отображение или преобразование) для работы с такими СУБД (системами управления (реляционными) базами данных, Relational Database Management System, RD...

Автор законопроекта о значимых сайтах пригрозил Mail.ru Group и Rambler прокуратурой за игнорирование его запросов Как сообщил депутат Госдумы Антон Горелкин, в октябре он направил в адрес ряда компаний запросы об использовании иностранного оборудования, но так и не получил ответа от Rambler и Mail.ru Group.

[Из песочницы] Простая модель эпидемии базовыми инструментами Python “Почему бы не разжечь эпидемию” — эта мысль пришла внезапно. Работа из дома при правильной организации может оказаться эффективнее офисной, в результате появляется честное дополнительное время на “подумать” над чем-нибудь еще. Началось все, конечно, из построения ежедневной ...

Что такое Dogecoin? 1 Что такое Dogecoin? Dogecoin – криптовалюта с открытым исходным кодом, названная в честь популярного интернет-мема doge, который представляет собой изображение сиба-ину, охотничьей собаки японской породы. 2 Каковы ключевые характеристики Dogecoin? Dogecoin – форк криптовал...

[Перевод] Объединяем функции логическими операторами в C++ В преддверии старта занятий в новом потоке группы «Разработчик С++» подготовили перевод интересного материала. Большинство алгоритмов STL в C++ используют всего лишь одну функцию для выполнения некоторой работы над коллекцией. Например, чтобы извлечь все четные числа из ко...

Как работают рекомендации YouTube? Рекомендации YouTube умнее, чем вам кажется Есть ли среди читателей те, кто не посещает YouTube хотя бы один раз в день? Сервис уже стал неотъемлемой частью нашей с вами жизни. Сложно представить, что для просмотра видеороликов мы будем использовать что-то другое. YouTube пр...

О советчиках и советах. Добрый день, коллеги!Прошу прощения – хочется позудеть… толи старею, то ли предновогоднее обострение, как у некоторых… Итак… У нас есть раздел «Вопросы и ответы», в которых жаждущие получить ответ, совет, узнать что-то новое задают вопрос.Вот только ответы на них часто даютс...

[Перевод] OCR для PDF в среде .NET — как извлечь текст из недоступных для поиска PDF документов Извлечение текста — одна из популярных задач обработки PDF документов. Вам потребуется извлечь текст из PDF, чтобы: проиндексировать документ для полнотекстового поиска распарсить некоторые данные (например, названия и цены товаров в прайс-листе) выделить, удалить или замен...

Настраиваем отказоустойчивость Pi-Hole в связке с Mikrotik В прошлой статье мы внедрили домашний сервер DoH с использованием Pi-Hole, чем не только пофильтровали большое количество рекламы, но и инкапсулировали наши DNS-запросы в HTTPS, что вывело их из поля фильтрации запросов оператором связи.Всем замечательно это решение, но у не...

[Из песочницы] Кому на Руси жить хорошо? Как мы искали самый “зеленый” город с помощью OpenStreetMap и Overpass API У каждой карты есть легенда: именно она говорит читателю о том, что и каким образом на ней обозначено. Домам соответствуют многоугольники серого цвета, дорогам — отрезки и кривые, территории парков и скверов заливаются светло-зеленым и украшаются пиктограммой дерева. А к нек...

Трансформация цвета: поиски в прореженном столе Это обзор функциональности, появившейся в Pillow 5.4: применение трехмерных таблиц поиска (3D lookup tables, 3D LUT) для трансформации цвета. Эта техника широко распространена в обработке видео и 3D-играх, однако мало графических библиотек могли похвастаться их поддержкой до...

Уязвимость в Laravel. Разбираем эксплоит, который дает удаленное выполнение кода в популярном PHP-фреймворке Для подписчиковВ библиотеке Ignition, поставляемой с Laravel, обнаружилась уязвимость, которая позволяет неавторизованным пользователям выполнять произвольный код. В этой статье мы посмотрим, где разработчики Ignition допустили ошибку, и разберем два метода ее эксплуатации.

[Перевод] Перевод книги Эндрю Ына «Страсть к машинному обучению» Главы 42 и 43 предыдущие главы 42. Еще про несоответствие данных Предположим, вы разработали систему распознавания речи, которая очень хорошо работает на обучающей выборке и на «выборке для валидации обучающей». Однако у нее низкое качество на валидационной выборке: очевидно, вы имеете де...

[Перевод] Высокоскоростное машинное зрение в универсальном устройстве для сортировки деталей LEGO Последние несколько лет я занимался проектированием и изготовлением машины, которая сможет распознавать и сортировать детали LEGO. Важнейшая часть машины — это Capture Unit, небольшое, почти полностью закрытое отделение, в котором есть конвейерная лента, освещение и камера. ...

30+ парсеров для сбора данных с любого сайта Десктопные/облачные, платные/бесплатные, для SEO, для совместных покупок, для наполнения сайтов, для сбора цен… В обилии парсеров можно утонуть. Мы разложили все по полочкам и собрали самые толковые инструменты парсинга — чтобы вы могли быстро и просто собрать открытую инфо...

Отравленные документы. Как использовать самые опасные баги в Microsoft Office за последнее время Для подписчиковНепропатченный Office — по-прежнему бич корпоративной безопасности и путь на компьютер пользователя: человек открывает документ и сам дает преступнику (или пентестеру) рут на своем компьютере. В этой статье мы разберем несколько далеко не новых, но в свое врем...

Как разработать медиаплан для рекламной кампании в интернете: детальный алгоритм + кейс из практики Коллеги из «Директ Лайн» делятся собственным алгоритмом создания медиаплана и показывают, как он работает — на примере клиента компании.

Книга «Совершенный алгоритм. Жадные алгоритмы и динамическое программирование» Привет, Хаброжители! В новой книге Тим Рафгарден рассказывает о жадных алгоритмах (задача планирования, минимальные остовные деревья, кластеризация, коды Хаффмана) и динамическом программировании (задача о рюкзаке, выравнивание последовательностей, кратчайшие пути, оптималь...

Заметки о разработке МРРТ контроллера Приветствую! Ранее я уже рассказывал в статье о своем проекте контроллера заряда для небольшой СЭС с алгоритмом поиска ТММ. Сей проект вялотекущий из-за нехватки времени и порой отcутствия настроения, но все же он развивается. С момент последней статьи я сделал еще 2 ревизии...

Сортировка выбором Всем привет. Эту статью я написал специально к запуску курса «Алгоритмы и структуры данных» от OTUS. Введение Сортировка массива является одной из первых серьезных задач, изучаемых в классическом курсе «Алгоритмы и структуры данных» дисциплины computer science. В связи с э...

Postgresso 20 Жизнь продолжается. Продолжаем знакомить вас с самыми интересными новостями PostgreSQL Главная новость Feature Freeze Функциональность 13-й версии PostgreSQL заморожена. Теперь только доработки и исправления багов. Список нового, вопреки многим ожиданиям, довольно обширный...

Беги, муравей. Беги В данной статье рассматривается процесс создания имитационной модели поведения муравьиной колонии (можно почитать в википедии ) в среде имитационного моделирования «AnyLogic». Данная статься носит практический характер. В ней будет рассмотрен вопрос применения муравьиного ал...

Как настроить родительский контроль на Android Family Link — лучшее приложение родительского контроля на Android Несмотря на то что Digital Wellbeing принято считать аналогом «Экранного времени» для Android, на самом деле у них есть одно весьма ощутимое отличие. Если ограничительный режим в исполнении Apple позволя...

Оптимизация интерфейса в Unity без кода В этой статье ведущий UI/UX художник Никита Кандыбин и технический UI художник Ольга Кинчак поделятся эффективными базовыми практиками по оптимизации Unity UI, которые используются в компании Banzai Games при создании игровых интерфейсов, а также укажут на подводные камни ...

Айфон заряжается в обратную сторону. Что делать Пожалуй, нет другой настолько же тривиальной и в то же время опасной процедуры для смартфона, как зарядка. Мы подключаем его к розетке ну практически каждый день, но максимум, что мы о нём знаем, — это износ аккумулятора и потеря его способности накапливать энергию. В...

[Перевод] Минимизируем наложение лейблов в интерактивных визуализациях Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных». Интересно развиваться в данном направлении? Смотрите записи трансляций бесплатных онлайн-мероприятий: «День Открытых Дверей», «Вывод ML моделей в промышленную среду на примере онлайн-ре...

Как построить ракетный ускоритель для скриптов PowerCLI Рано или поздно любой системный администратор VMware доходит до автоматизации рутинных задач. Начинается все с командной строки, потом идет PowerShell или VMware PowerCLI. Допустим, вы освоили PowerShell чуть дальше запуска ISE и использования стандартных командлетов из мод...

[Перевод] Лучшие практики Kubernetes. Настройка запросов и лимитов ресурсов Лучшие практики Kubernetes. Создание небольших контейнеров Лучшие практики Kubernetes. Организация Kubernetes с пространством имен Лучшие практики Kubernetes. Проверка жизнеспособности Kubernetes с помощью тестов Readiness и Liveness Для каждого ресурса Kubernetes имеется в...

Что пошло не так у "Яндекса" с обсуждаемым контентом Недавно Яндекс начал показывать в результатах поиска вкладку с обсуждаемым контентом по запросам о фильмах, географических объектах и известных личностях. Как сообщает пресс-служба "Яндекса", некоторые пользователи заметили, что во вкладке не всегда отображался качественны...

Международная практическая конференция SOCIAL MEDIA FEST Как повысить эффективность работы пресс-службы и PR-отдела в 2020-м году? Именно об этом пойдет разговор на ежегодной международной практической конференции «Эффективная пресс-служба-2020», которая пройдет 23–24 апреля в Москве. Два дня докла...

Когда все это закончится, виртуальный бар, жизнь в изоляции. Яндекс рассказал, что ищут россияне в Сети на карантине Яндекс рассказал о том, какие поисковые запросы являются самыми популярными у россиян в последнее время и как они меняются по мере продления карантина. В марте и начале апреля многие задавали в поисковике вопрос «когда все это закончится», при этом постепен...

[Перевод] Как добавить уведомления в реальном времени в Laravel с помощью Pusher Перевод статьи подготовлен специально для студентов курса «Framework Laravel». Современный веб-пользователь ожидает быть информированным обо всем, что происходит в приложении. Вы бы не хотели быть тем веб-сайтом, у которого нет хотя бы раскрывающегося списка уведомлений, к...

Microsoft подтверждает проблему Синего экрана смерти в Windows 10 и ошибку принудительной перезагрузки Всего через несколько недель после того, как Microsoft выпустила свою последнюю версию Windows 10 20H2, компания отметила две проблемы, также дала рекомендации пользователям вернуться к предыдущей версии Windows, если они получат ошибку «Синего экрана смерти» или предупрежде...

xAPI и IMS Caliper. Или ADL против IMS? Появление xAPI (ADL) не было неожиданным событием. Очень продолжительное время велись обсуждения TinCan'а, огромное количество открытых форумов «кипели» при обсуждении новой спецификации. И только после достаточного обсуждения, ADL выпустила релиз спецификации. Затем, уже ...

Нейросети научились предсказывать поведение генов: борьба с раком Проведенные исследования позволяют не только перевести клетку в состояние «старости» и болезни, но и изменить технические параметры генов и даже тип клетки. Это достижение позволит прежде всего значительно ускорить разработку новых методов ранней диагностики тяжелых полигенн...

[Перевод] Асинхронные задания в Django с Celery Перевод статьи подготовлен в преддверии старта курса «Web-разработчик на Python». Если в вашем приложении есть какой-то длительный процесс, вы можете обрабатывать его не в стандартном потоке запросов/ответов, а в фоновом режиме. К примеру, в вашем приложении пользователь...

Биткоин-биржа Kraken сообщила о росте запросов со стороны властей на 49% Американская криптовалютная биржа Kraken поделилась информацией о запросах информации со стороны правоохранителей и властей разных стран. It’s that time again. Here’s a snapshot of our Compliance team’s 2019 Transparency Report. Team America still ahead wit...

Ограничен доступ к почтовому сервису Startmail.com Сообщения в основном касались объектов социальной инфраструктуры (детские дошкольные и образовательные учреждения, объекты здравоохранения), транспортных объектов, мест массового скопления людей, создавая тем самым реальную угрозу массового нарушения общественного порядка, в...

Опыт цифровой трансформации банка «Уралсиб» За последние три года среднее время Time-To-Market в банке «Уралсиб» сократилось в 3,5 раза. Этих результатов удалось достичь за счет работы с командой, обновления внутренних процессов и алгоритмов взаимодействия с поставщиками и партнерами. О том, как осуществл...

[Перевод] Алгоритм быстрого и простого объёмного рендеринга Недавно я написал небольшой ShaderToy, выполняющий простой объёмный рендеринг, а затем решил опубликовать пост с объяснением его работы. Сам интерактивный ShaderToy можно посмотреть здесь. Если вы читаете с телефона или ноутбука, то рекомендую посмотреть эту быструю версию....

Vivo представила концептуальный смартфон APEX 2020 с изогнутым FullView-дисплеем Компания Vivo представила сегодня третье поколение концептуальных смартфонов — APEX 2020. Это действительно революционное устройство во всех пониманиях, включая дизайн и невероятные возможности камеры.Изогнутый FullView-экран APEX 2020 получил изогнутый FullView-экран диагон...

Строим Telegram-бот в Яндекс.Облаке Сегодня из подручных материалов мы соберём в Яндекс.Облаке Telegram-бот с использованием Yandex Cloud Functions (или Яндекс-функции — для краткости) и Yandex Object Storage (или Объектное хранилище — для ясности). Код будет на Node.js. Однако, имеется одно пикантное обстоя...

Swagger (OpenAPI 3.0) Swagger - это фреймворк для спецификации RESTful API. Его прелесть заключается в том, что он дает возможность не только интерактивно просматривать спецификацию, но и отправлять запросы – так называемый Swagger UI. Также возможно сгенерировать непосредственно клиента или серв...

«Google Поиск» получил масштабное обновление в России Google Поиск стал умнее благодаря технологии BERT Интуитивность – это то, чего мы в первую очередь ждём от любого продукта. Если пользователь покупает смартфон, он не должен самостоятельно что-то прошивать, чтобы устройство заработало как надо, или искать, где бы скачать ну...

Google будет брать с властей деньги за запросы пользовательских данных В ответ на растущее число запросов на информацию о своих пользователях Google начала взимать плату с правоохранительных органов и других государственных учреждений за предоставление таких данных, как электронные письма, информация о местонахождении и другое. По словам…

[recovery mode] Как обойти «No-communication theorem»? Передача информации сквозь пространство и время No-communication theorem утверждает, что квантовое запутывание не может использоваться для передачи какой-либо информации. Теорема предполагает, что Боб никак не может отличить начальное состояние σ от состояния P(σ) после измерения Алисой. Это доказывается математически, п...

[Перевод] Как работает шифровальщик Ryuk, который атакует предприятия Ryuk – это один из самых известных вариантов шифровальщиков за последние несколько лет. С тех пор как он впервые появился летом 2018 года, он собрал внушительный список жертв, особенно в бизнес-среде, которая является главным объектом его атак. Читать дальше →

Как жить с ограничениями внешних API на количество запросов Многие сервисы предоставляют возможность взаимодействовать с ними не только обычным пользователям через отточенные и оптимизированные графические интерфейсы, но и внешним разработчикам из своих программ через API. При этом сервисам важно контролировать нагрузку на свою инфра...

[Перевод] Тестирование производительности аналитических запросов в PostgreSQL, ClickHouse и clickhousedb_fdw (PostgreSQL) В этом исследовании я хотел посмотреть, какие улучшения производительности можно получить, используя источник данных ClickHouse, а не PostgreSQL. Я знаю, какие преимущества производительности при использовании ClickHouse я получаю. Будут ли эти преимущества сохранены, если я...

[Перевод] Тестирование Raspberry Pi 4 на нагрев Raspberry Pi 4 стала гораздо холоднее! За последние четыре месяца обновления прошивки уменьшили энергопотребление в ждущем режиме на 1/2 Вт и почти на 1 Вт под полной нагрузкой. Гарет Халфакри провёл тепловое тестирование платы для журнала MagPi. Raspberry Pi 4 Model B Ras...

Дни рождения в Google Календаре с обозначением возраста Уже много лет я пользуюсь Гугл календарем. Всегда было непонятно, почему в нем не отображается возраст людей из Google Контактов в момент наступления дня рождения, годовщины или других значимых событий. Когда стал целенаправленно искать ответ на этот вопрос, обнаружил, что ...

Как плохо спроектированный UX у теста на коронавирус чуть не посадил нас на самоизоляцию, но дырка в безопасности спасла Это я, пишу скрипт по перебору параметров для POST запроса на gov.tr, сидя перед границей в Хорватию. Как все начиналось Мы с моей женой путешествуем по миру и работаем удаленно. Недавно переезжали из Турции в Хорватию (самая оптимальная точка, чтобы заехать в Европу). Что...

ИИ, вероятно, пролил свет на финал истории самых знаменитых беглецов из Алькатраса Алгоритм распознавания лиц, вероятно, раскрыл финал самого знаменитого побега из федеральной тюрьмы Алькатрас, когда 11 июня 1962 года оттуда исчезли Фрэнк Моррис и братья Энглин — Джон и Кларенс. Отметим, что данная тюрьма, существовавшая с 1934 по 1963 годы, была расположе...

Сколько стоит расписание Основные данные вычислительных экспериментов по реорганизации ярусно-параллельной формы (ЯПФ) информационных графов алгоритмов (ТГА) приведены в предыдущей публикации. Цель текущей публикации – показать окончательные результаты исследований разработки расписаний выполн...

[Из песочницы] Унификация визуальных компонентов. Часть 1. Стили Данная статья будет, прежде всего, полезна разработчикам, которые не работают с готовыми наборами компонентов, такими как, material-ui, а реализуют свои. Например, для продукта разработан дизайн, отражающий то, как должны выглядеть кнопочки, модальные окна и т.п. Чтобы гра...

Facebook решил пока не добавлять рекламу в WhatsApp Не так давно в сети гуляла информация, что Facebook собирается вводить рекламу внутри WhatsApp – самого известного мессенджера в мире. К счастью, в ближайшее время эти планы не будут реализованы. Официального объявления от Facebook пока не поступало, но The Wall...

Как трассировка запросов сломала API TL;DR;История провала со счастливым концом о том, как команда узнала о трассировке запросов, AOP, а потом сломала API.ВВедение Благие намерения Невинное началоКаждый проект содержит логирование. Наш проект использовал Lombok и его @Slf4j аннотацию. Мы логировали выполнение б...

Google Ассистент научится открывать приложения и управлять ими Голосовой помощник от Google становится еще лучше Трудно спорить с тем фактом, что Google Ассистент является одним из самых продвинутых голосовых помощников на сегодняшний день. Но это не значит, что он идеален во всех отношениях и его нельзя сделать лучше. Скажем, не так да...

Приложение Google Камера с портретным режимом вышло для недорогих Android Приложение «Google Камера» долгое время считалось эталонным решением для Android-смартфонов. Поддержка ночного режима, качественная портретная съёмка и продвинутые алгоритмы стабилизации изображения – всё это делало его реально лучшим, ведь никто другой не мог предложить на...

Охота за уязвимостями на 7% эффективнее «За что я люблю Россию, так это за низкие налоговые ставки» — анонимуc С ростом дохода у охотника за уязвимостями все более остро становится вопрос о налогах. После определенных сумм мне стало жалко отдавать 13% (даже несмотря на то, что у коллег из США это вообще 30%). К т...

Dell PowerEdge R740xd – универсальный сервер. Характеристики говорят ЗА! Dell EMC R740xd - это удачное и хорошо зарекомендовавшее себя наследие популярных серверов, продолжающих мощную линейку серверов Dell в корпусе 2U, который прикрыт стильной рамкой. За ней находится настраиваемая система, которая готова выполнить даже самые требовательные за...

Пользователи Yahoo Groups получили больше времени на сохранение своих данных В октябре Yahoo объявила, что 14 декабря удалит весь контент из Yahoo Groups и ограничит к ним доступ. Однако компания решила перенести дедлайн на более поздний срок и дать пользователям ещё несколько недель на сохранение данных. Теперь отправить запрос на скачивание данных ...

[Из песочницы] Программные IP-АТС и нагрузочное тестирование Всем доброго дня! Вот уже несколько лет я занимаюсь IP-телефонией и стал замечать, что хоть и Интернет полон информации, я говорю не только про российский сегмент, но найти иной раз нужную можно только на каком-либо “заброшенном форуме”, а то ее и вовсе нет. Если информации ...

[Перевод] 6 уроков, извлечённых из опыта оптимизации производительности Node.js-сервиса В компании Klarna прилагают большие усилия к тому, чтобы помочь разработчикам в создании высококачественных и безопасных сервисов. Один из инструментов, который предназначен для разработчиков, представляет собой платформу для выполнения A/B-тестов. Важнейшим компонентом этой...

Intel представила чип, определяющий запахи Вклад в исследование учёных из Корнельского университета состоял в том, что они, как биологи, которые изучают воздействие запахов (молекул веществ) на обонятельные рецепторы и передачу электрических импульсов в мозг, помогли разработать алгоритмы определения запахов. В Intel...

Apple выплатит деньги всем владельцам смартфонов Одной из самых крупных, богатых и известных в мире корпорацией является Apple, которая старается делать все ради своего развития. Для этого снова и снова запускаются различные сервисы, а делается это ради того, чтобы весь бренд Сообщение Apple выплатит деньги всем владельца...

Потребитель жаждет проактивного сервиса Сервисная служба, призванная оперативно откликаться на запросы и жалобы покупателей, — одна из важнейших составляющих любого клиентоориентированного бизнеса. Однако сегодня готовность только откликаться оборачивается, по мнению экспертов Forbes, потерей ...

Softline создала RPA-решение для обработки заявок в CRM-системе Компания Softline создала RPA-решение, позволяющее автоматизировать процесс первичной обработки заявок в CRM-системе. Робот анализирует запросы на приобретение программного обеспечения, определяет продукт и его количество, выявляет специальные условия, составляет спец...

Роботы Boston Dynamics помогают в борьбе с коронавирусом в США Знаменитые роботы Boston Dynamics уже не первый год поражают всех своими возможностями и тем, как они справляются с бытовыми задачами. Порой кажется, что для них нет ничего невозможного. Они могут носить грузы, ходить, бегать, прыгать и даже заниматься паркуром. Но теперь в...

Встраиваемые системы машинного обучения на базе Nvidia Jetson Аппаратные платформы для машинного обучения быстро развиваются и дешевеют. Модули Nvidia Jetson позволяют создавать эффективные и доступные решения для Edge Computing. Сегодня стало возможным уместить высокопроизводительную систему с 256 графическими ядрами Nvidia Cuda в к...

[Из песочницы] PostgeSQL: Разработка расширений (функций) на языке С Эту статью написал еще пару лет назад, и не знал куда ее можно было бы выложить, а потом и забыл. Смысл использования языка С при разработке расширений для PostgreSQL по сравнению с интерпретируемыми (скриптовыми) языками можно свести к двум положениям: производительность и...

Dell продает подразделение RSA В компании говорят, что стремятся сделать портфель продуктов проще. Стратегии RSA и Dell нацелены на выполнение разных запросов клиентов и опираются на разные бизнес-модели.

Почему появились асинхронные веб-сервера? Всем привет. На связи Владислав Родин. В настоящее время я являюсь руководителем курса «Архитектор высоких нагрузок» в OTUS, а также преподаю на курсах, посвященных архитектуре ПО. Помимо преподавания, как вы могли заметить, я занимаюсь написанием авторского материала для б...

Официально: DICE прекращает поддержку Star Wars Battlefront II Выход Star Wars Battlefront II сопровождался огромным скандалом, который нанёс серьёзный урон по репутации EA и студии DICE. И вот, спустя более чем два года после релиза, игра получит своё последнее дополнение. По словам разработчиков, последним бесплатным апдейтом станет...

Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа Статья будет полезна тем: кому необходимо задействовать несколько видов авторизации в одном запросе к серверу; кто хочет открывать сервисы мира Kubernetes/Docker в общий интернет, не задумываясь о способах защиты конкретного сервиса; думает, что всё уже кем-то сделано, ...

DOJ заинтересовалось дорогостоящим приобретением Google Федеральная торговая комиссия (FTC) и Министерство юстиции (DOJ) заинтересовались историей по поводу приобретения Google компании Fitbit. По данным New York Post, обе организации обеспокоены тем, что данное приобретение даст Google доступ к ещё большему количеству персональн...

[Из песочницы] Как я отказался от вычисления квадратного корня Очень часто, при цифровой обработке сигналов необходимо вычислить длинну вектора, обычно это делается по формуле A=SQR(X^2+Y^2). Здесь возвести в квадрат значение не сложно, но операция вычисления квадратного корня не является простой операцией, особенно для микроконтролле...

[Перевод] Python Gateway в InterSystems IRIS Эта статья посвящена Python Gateway — комьюнити-проекту с открытым исходным кодом для платформы данных InterSystems IRIS. Этот проект позволяет оркестрировать любые алгоритмы машинного обучения, созданные на языке Python (основная среда для многих Data Scientists), использов...

[Из песочницы] Этот фрилансер сломался — дайте следующего Или как как работать со сложными партнерами... Слышен, слышен плач «фриласера из Ярославля» Люди последнее время нервные все стали. Оно понятно — работать приходиться все больше, а получать все меньше. Поэтому в нете появилось множество «плачей дизайнеров» на тему неправ...

Google рассказал, как изменились поисковые запросы в период пандемии И дал советы брендам с учетом новых тенденций

Firefox и Chrome будут бороться с надоедливыми запросами и уведомлениями на сайтах В настоящее время чуть ли не каждый третий сайт при посещении предлагает пользователю подписаться на получение уведомлений, и это раздражает пользователей. В браузере Firefox имеет возможность блокировать запросы на получение уведомлений сайтов, но Mozilla хочет пойти дальше...

Security Week 51: уязвимости в iOS и процессорах Intel 10 декабря компания Apple выпустила большой набор патчей для macOS, iOS (включая iPadOS) и watchOS. Пожалуй, наиболее опасным из закрытых багов была уязвимость в FaceTime, затрагивающая все мобильные устройства Apple начиная с iPhone 6s и iPad Air 2. Как и в случае с обнаруж...

Первые результаты январского обновления алгоритма Google Издание Search Engine Land опросило ряд поставщиков данных, чтобы выяснить, как последнее обновление основного алгоритма Google – January 2020 Core Update – повлияло на результаты поиска. Как известно, Google приступил к запуску обновления 13 января. По состоянию на 17 январ...

R Markdown. Как сделать отчет в условиях неопределенности? Маленький рецепт, который будет полезен при создании динамических отчетов. Достаточно часто встречается ситуация, когда размер и содержание отчетной формы будет зависеть от состава переданных на вход данных. Речь идет именно о story-telling отчете, а не о простом выводе таб...

[Перевод] Моддеры потратили 15 лет на исправление Knights of the Old Republic 2 Star Wars Knights of the Old Republic 2: The Sith Lords (KOTOR2), выпущенная 6 декабря 2004 года, стала первой игрой новорождённой Obsidian Entertainment. В то время новая студия состояла всего из семи разработчиков-ветеранов, ушедших из закрытой Black Isle Studios и окопав...

Бардак на старте: постмортем на скорость запуска iOS-приложения У современного приложения много нефункциональных требований: размер приложения, потребляемый трафик, доступность для людей с ограничениями, стабильность, скорость запуска и работы. Наше приложение запускалось очень долго, десятки секунд. Сегодня вышло обновление, в котором i...

«Почта России» закрывается навсегда Единственной в своем роде почтовой службой на российской территории является «Почта России», а делать она старается все ради того, чтобы как можно больше людей пользовались ее услугами, тем самым способствуя тому, чтобы компания максимально активно Читать полную версию публ...

Эксперимент VTrade. Часть 2: Ордеры. Типы, особенности обработки Чтобы понять, как работают биржи, нужно разобраться с биржевыми заявками и правилами их обработки брокером. В статье мы разберем типы ордеров, особенности их исполнения на бирже и накладываемые торговой моделью ограничения. Если вам любопытно, что значат аббревиатуры DAY, G...

ZTE Axon 10s Pro 5G — первый в мире телефон с чипсетом Snapdragon 865 Китайский производитель телефонов — компания ZTE — произвела небольшую сенсацию, анонсировав первый в мире телефон на базе нового чипсета Qualcomm Snapdragon 865. Модель получила название ZTE Axon 10s Pro 5G. Axon 10s Pro 5G действительно обладает новейшим и самым мощным чип...

ZTE Axon 10s Pro 5G — первый в мире смартфон с чипсетом Snapdragon 865 Китайский производитель телефонов — компания ZTE — произвела небольшую сенсацию, анонсировав первый в мире телефон на базе нового чипсета Qualcomm Snapdragon 865. Модель получила название ZTE Axon 10s Pro 5G. Axon 10s Pro 5G действительно обладает новейшим и самым мощным чип...

Новая версия Windows 10 «сломала» один из самых полезных инструментов Microsoft. На самом деле оптимизация дисков работает Компания Microsoft выпустила большое обновление Windows 10 May 2020 Update (версия 2004). Самый крупный апдейт ОС 2020 года оказался весьма проблемным и пока доступен не для всех. Несмотря на длинный список признанных Microsoft проблем, пользователи продолжают находить ...

[Из песочницы] Драйвер-фильтр операций в реестре. Практика Привет, Хабр! Когда передо мной встала задача написать свой драйвер, осуществляющий мониторинг операций в реестре, я, конечно же, полезла искать на просторах интернета хоть какую-то информацию по этому поводу. Но единственное, что вылезало по запросу «Драйвер-фильтр реестра...

Entity Framework Core Привет, друзья. В этот чудесный майский день мы продолжаем трудиться и сегодня хотим рассказать о том, что в мае OTUS запускает полюбившийся всем курс «Разработчик С#», а также отдельный курс по С# ASP. NET Core. Традиционно, в преддверии старта курсов начинаем публиковать п...

Спрос на сервисы для видеоконференций в мире вырос более чем в 7 (!) раз За март, когда во многих странах начали вводить карантин, спрос на сервисы для видеоконференций вырос больше чем в 7 раз. В Украине, с момента начала официального карантина — в 5 раз. Самым популярным сервисом для видеозвонков как в Украине, так и в мире стал Zoom — об этом ...

[Перевод] Файл .npmrc и оптимизация настройки Node.js-окружения Npm — это повседневный рабочий инструмент Node.js-разработчиков. Это, в буквальном смысле, нечто такое, чем мы пользуемся ежедневно и по несколько раз на дню. Это — одна из частей экосистемы Node.js, которая привела эту платформу к успеху. Одним из самых важных и полезных с...

Google обновил функционал Ads Data Hub Google сообщил об обновлении функционала аналитической платформы Ads Data Hub. За последний год компания улучшила инфраструктуру, на основе которой работает ADH, чтобы расширить доступ к платформе и облегчить её использование. На сегодняшний день к платформе уже подключились...

[Из песочницы] Преобразование инфиксной нотации в постфиксную Что такое инфиксная нотация и постфиксная можно узнать если внимательно почитать в Википедии. Так же есть статья на Хабре. В это статье я покажу простой и понятный алгоритм преобразования инфиксной записи в постфиксную. Данный алгоритм я реализую на языке Kotlin, хотя алго...

Видеоаналитика в нефтехимии Привет! Как мы уже неоднократно писали, наши объекты — это довольно большие производства, как с точки зрения занимаемой площади, так и количества различных установок и узлов. Чтобы всё это работало и не возникало каких-то ситуаций, способных вызвать остановку производственн...

[Из песочницы] Soft skills для разработчиков: зачем и как развивать? Спрос на IT-специалистов растет с каждым днем, вместе с этим увеличивается конкуренция. Для построения карьеры в хорошей компании уже недостаточно только профессиональный навыков (hard skills). Работодатели стали также обращать внимание и на так называемые “мягкие” навыки — ...

PostgreSQL Antipatterns: вычисление условий в SQL SQL — это не C++, и не JavaScript. Поэтому вычисление логических выражений происходит иначе, и вот это — совсем не одно и то же: WHERE fncondX() AND fncondY()= fncondX() && fncondY() В процессе оптимизации плана исполнения запроса PostgreSQL может произвольным образо...

Уродливый API В этой статье хочу рассказать о проблемах, с которыми столкнулся в процессе интеграции с API по HTTP протоколу, и поделиться опытом их решения.При разработке фронтенд приложений (mobile/web), часто сталкиваешься с тем, что API на бэкенде еще не реализован. Приходится ждать р...

Хранилищу данных в Банке «Санкт-Петербург» исполняется 5 лет В Банке «Санкт-Петербург» положительно оценивают итоги эксплуатации корпоративного хранилища данных (КХД). КХД стало эффективной платформой для сбора и подготовки данных для аналитической поддержки информационных запросов Дирекций кредитных рисков, бухгалтерск...

[Перевод] Классификация изображений на Android с помощью TensorFlow Lite и сервиса Azure Custom Vision Классификация изображений позволяет нашим приложениям Xamarin распознавать объекты на фотографиях. Все более и более распространенной становится возможность сделать фотографию и распознать ее содержимое. Мы можем наблюдать это в наших банковских приложениях при внесении мо...

Китайские власти вводят алгоритм удаления ... Китайские власти в очередной раз закручивают гайки и душат свободу интернет-контента. На этот раз в центре внимания оказались новые алгоритмы слежки и удаления потенциально «негативной» информации. Управление по вопросам киберпространства КНР опубл...

[Перевод] Понимаем и ищем уязвимости типа Open Redirect Перевод статьи подготовлен в преддверии старта курса «Безопасность веб-приложений». Одной из наиболее распространенных и тем не менее игнорируемых веб-разработчиками уязвимостей является Open Redirect (также известная как «Непроверенные переадресации и пересылки»). Веб-са...

Как проанализировать рынок фотостудий с помощью Python (1/3). Парсинг данных В интернете огромное количество открытых данных. При правильном сборе и анализе информации можно решить важные бизнес-задачи. Например, стоит ли открыть свой бизнес? С таким вопросом ко мне обратились клиенты, желающие получить аналитику рынка услуг фотостудий. Для них было...

Трекинг-запросы приложениями не включается. Что делать На этой неделе после двух с лишним месяцев тестирования Apple выпустила iOS 14.5 с антитрекинговой системой. Она призвана дать пользователям возможность выбирать, дать приложениям, которыми они пользуются, разрешение отслеживать их или нет. Только так, считают в Купертино, ...

Java-дайджест за 29 мая 23 мая нашей любимой Java исполнилось 25 лет. Все эти годы один из самых популярных запросов в гугле — когда же Java наконец умрёт? Не дождётесь. К летней конференции JPoint присоединяется сам Джоэл Спольски — один из двух создателей Stack Overflow. Олды должны хорошо пом...

Компания Microsoft выпустила список изменений сборки Microsoft Edge Insider Dev Build 92.0.884.2 Компания Microsoft выпустила список изменений сборки Microsoft Edge Dev Build 92.0.884.2. Однако самая большая новость связана не с каналом Dev; дело в том, что с самым последним релизом Beta, доведенным до версии 91, Microsoft также выпустила Beta для Linux! В зависимости о...

Google объявил о глобальном запуске BERT Google приступил к запуску алгоритма BERT по всему миру, на более чем 70 языках. Об этом сообщил сотрудник поиска Дэнни Салливан (Danny Sallivan) в Twitter. Как стало известно вчера, в число этих языков также входит русский. Всего их 72. Со всем списком можно ознакомиться в ...

Какой язык программирования учить в 2020-м? Статей с подобными заголовками существует уже множество. Но в них постоянно какая-то дичь! Смотрите, Google ещё до основных результатов советует такое: HCL, Карл! Язык, который не просто очень далёк от «Самых Популярных», но ещё и создан для конфигурации, так что его вообще...

Разработан алгоритм для эффективной замены времени суток на фото На специальной странице на проекте GitHub опубликован алгоритм, разработанный российскими учеными для эффективной замены времени суток на фото.

Запись видео UI автотестов, работающих в headless Chrome Всем привет! В данной статье хочется рассказать о том, как была решена задача записи видео автотестов, работающих в headless Chrome (с записью в не headless режиме проблем быть не должно). Будет рассмотрено несколько разных подходов, рассказано про трудности и пути их реше...

[Перевод] Машинное обучение столкнулось с нерешенной математической проблемой Салют, хабровчане! В преддверии запуска новых потоков по продвинутому и базовому курсам «Математика для Data Science» хотим поделиться с вами достаточно интересным переводом. В этой статье не будет практики, но материал интересен для общего развития и обсуждения. Группа ис...

Новые угрозы конфиденциальным данным: результаты глобального исследования Acronis Привет, Хабр! Хотим поделиться с вами статистикой, которую удалось собрать в ходе нашего пятого глобального опроса. О том, по какой причине чаще происходили потери данных, каких угроз больше всего боятся пользователи, как часто сегодня делают резервные копии и на какие носит...

PostgreSQL Antipatterns: сизифов JOIN массивов Иногда возникает задача «склеить» внутри SQL-запроса из переданных в качестве параметров линейных массивов целостную выборку с теми же данными «по столбцам». Читать дальше →

[Из песочницы] Капча для codeigniter 4 Добрый день! Несмотря на заголовок статьи, в ней будут представлены общие методы и функции, которые я использовал для создания своей капчи, которые можно применить и в других фреймворках с минимальными правками. Некоторые функции и подходы основываются на материалах поста Ра...

Google сообщит пользователям, если не сможет найти хорошие результаты Google объявил о запуске нового сообщения в поиске, которое будет выводиться в тех случаях, когда поисковику не удастся найти хорошие результаты. «Похоже, что для вашего запроса не нашлось удачных совпадений», — говорится в этом сообщении. В Google уже реализовано неск...

Устройство поисковых систем: базовый поиск и инвертированный индекс Под капотом почти каждой поисковой строки бьется одно и то же пламенное сердце — инвертированный индекс. Именно инвертированный индекс принимает текстовые запросы и возвращает пользователю список документов, а пользователь смотрит на всё это дело и радуется котиками, ответа...

Собираем «цепочки» с помощью window functions Иногда при анализе данных возникает задача выделения «цепочек» в выборке — то есть упорядоченных последовательностей записей, для каждой из которых выполняется некоторое условие. Это может быть как условие от данных самой записи, так и сложное выражение относительно одной и...

Windows 10 20H1 решит проблему высокой загрузки процессора и производительности Компания Microsoft представляет новый алгоритм для индексации поиска Windows, который делает его более эффективным с точки зрения общей производительности системы, использования процессора и дисков.

Хочу middleware, но не хочу ExpressJS Middleware в случае с HTTP-сервером в Node.JS — это промежуточный код, который выполняется до того, как начнёт выполняться ваш основной код. Это, чаще всего, нужно для того, чтобы сделать какой-то дополнительный тюнинг или проверку входящего запроса. Например, чтобы преврати...

Проактивное управление проблемами В редакцию портала поступил вопрос: Добрый день! Вопрос по проактивному управлению проблемами. Поддержка, которая решает инциденты, может создавать отдельные запросы на вендора. Таким образом, инциденты от заказчиков, с одинаковой «проблемой» могут быть связаны с одним запр...

[Перевод] Сотовый телефон с дисковым номеронабирателем Перевод статьи с сайта самодельщицы Джастин Хопт Поскольку я получила неимоверное количество запросов от людей, желающих купить дисковый сотовый телефон, у себя на сайте я выложила набор для его сборки, где есть только всё самое «сложное» (напечатанный корпус с кнопками и...

Очередной апдейт Google или сбой в работе Analytics? В последние сутки зарубежные вебмастера активно обсуждают колебания в органическом трафике из Google. На данный момент есть две гипотезы, с чем могут быть связаны эти изменения: запуск обновления поискового алгоритма и сбой в работе Google Analytics. На данный момент превали...

Зелёная энергетика — космическая гонка XXI века Многие знают, особенно в IT, что своими корнями технологическая революция последних 40 лет уходит в космическую гонку. Противостояние между СССР и США в том, кто кого переплюнет в масштабности и экстравагантности символических жестов — одновременно самый бессмысленный и самы...

[Из песочницы] Когда дизайнеру нужно быть немножко программистом О том, как дизайнеру освоить «азы программирования», чтобы не утонуть в рутине Меня зовут Владислав Кузеванов, я руковожу отделом дизайна и верстки в рекламно-производственном агентстве Zeytz Project group. Наша компания работает с крупными сетями и практически ежедневно мы...

Телепортация тонн данных в PostgreSQL Сегодня я поделюсь некоторыми полезными архитектурными решениями, которые возникли в процессе развития нашего инструмента массового анализа производительности серверов PostgeSQL, и которые помогают нам сейчас «умещать» полноценный мониторинг и анализ более тысячи хостов в то...

Самая сложная задача в Computer Vision Среди всего многообразия задач Computer Vision есть одна, которая стоит особняком. К ней обычно стараются лишний раз не притрагиваться. И, если не дай бог работает, — не ворошить. У неё нет общего решения. Практически для каждого применения существующие алгоритмы надо тюнинг...

Никто (почти) не знает, что такое авторизация За время работы архитектором в проектах внедрения IdM я проанализировал десятки реализаций механизмов авторизации как во внутренних решениях компаний, так и в коммерческих продуктах, и могу утверждать, что практически везде при наличии относительно сложных требований они с...

Грабли на пути к keep-alive Увеличение активности обмена данными между микросервисами зачастую является проблемой в архитектуре современных IT решений. Выжать максимум и выжить любой ценой — серьёзный вызов для любой разработки. Поэтому поиск оптимальных решений — это не прекращающийся процесс. В стать...

[Перевод] Нейроэволюция киберкальмаров Эволюционирующая нейросеть Искусственные нейронные сети имитируют реальные биологические нервные системы. Они содержат нейроны и связи между ними, обеспечивающие преобразование входящих сигналов в значимый выходной результат. В области машинного обучения эти сети часто иници...

ТОП-25 крупнейших ICO: что с ними сейчас? Мы решили изучить, какие ICO стали самыми большими по сборам и что с ними стало на текущий момент. Тройку лидеров возглавляют EOS, Telegram Open Network и UNUS SED LEO с большим отрывом от остальных. Кроме того, это единственные проекты, которые собрали больше миллиарда н...

PostgreSQL Antipatterns: передача наборов и выборок в SQL Периодически у разработчика возникает необходимость передать в запрос набор параметров или даже целую выборку «на вход». Иногда попадаются очень странные решения этой задачи. Пойдем «от обратного» и посмотрим, как делать не стоит, почему, и как можно сделать лучше. Читать да...

Пустые результаты в поиске Windows 10 Усилия Microsoft по интеграции своих облачных сервисов в Windows 10 уже принесли свои «плоды». В функции поиска Windows 10 попали некоторые довольно распространенные проблемы. Поиск Windows в настоящее время возвращает пустые результаты, если вы ищете приложения, файлы или з...

[Перевод] Реализация алгоритмической теории игр на Python с Nashpy Теория игр — это метод изучения стратегических ситуаций, когда результаты зависят не только от ваших действий, но и от того, что предпримут другие. Что такое стратегическая ситуация? Вспомним типы рыночных структур: есть совершенная конкуренция, когда все компании являются...

Сверточная нейронная сеть и ее интеграция в iOS (часть 1) Средства реализации. Различные алгоритмы машинного обучения интегрированы в множество высокоуровневых языков программирования. Наиболее популярным и быстро развивающимся из них является Python. TensorFlow — открытая программная библиотека для машинного обучения, разработа...

Работаем с остатками трафика на событийных темах У многих из нас есть информационные проекты, либо новостные сайты, где мы получаем львиную долю трафика по запросам, которые необходимо уметь прогнозировать. Когда мы говорим о трендах, то конечно первым делом все вспомнят Google Trends. Да, безусловно очень полезная подска...

[Перевод] Интервью с Мэттью «Oki» О’Коннором об атеросклерозе и его лечении Атеросклероз является основной причиной смерти во всем мире и в настоящее время не имеет эффективного лечения. Современная медицина имеет три основных подхода к этому заболеванию: изменения образа жизни, такие как диета и физические упражнения; лекарства, которые снижают н...

Поднимаем свой инстанс Webogram с проксированием через nginx Привет, Хабр! Недавно я попал в ситуацию, в которой необходимо было работать внутри корпоративной сети с неполным доступом к интернету и как вы можете догадаться по заголовку — Telegram в ней был заблокирован. Уверен, что данная ситуация знакома многим. Я вполне могу обход...

Еще одна причина установить iOS 13.3 В iOS 13 был серьезный баг с AirDrop Вчера Apple выпустила iOS 13.3. Обновление включает возможность ограничить время общения по сотовой связи, FaceTime или Сообщениям с помощью «Экранного времени», исправление ошибок в «Почте», которые могли препятствовать загрузке новых со...

Действительно простая графика в R для науки и публицистики R — очень мощный инструмент для работы со статистикой: от предварительной обработки до построения моделей любой сложности и соответствующей графики. Простой гугл-запрос выдаст большое количество литературы по тому, как «легко и быстро» использовать R. Здесь будут и огромные...

jsqry — лучше, чем jq В своей прошлой статье на Хабре я писал про библиотеку Jsqry, которая предоставляет простой и удобный язык запросов (DSL) к объектам JSON. С тех пор прошло много времени и библиотека тоже получила свое развитие. Отдельный повод для гордости — библиотека имеет 98% покрытие ко...

YOLOv4 – самая точная real-time нейронная сеть на датасете Microsoft COCO Эта же статья на medium: medium Код: github.com/AlexeyAB/darknet Статья: arxiv.org/abs/2004.10934 Мы покажем некоторые нюансы сравнения и использования нейронных сетей для обнаружения объектов. Нашей целью было разработать алгоритм обнаружения объектов для использования в...

[Перевод] Основы нейросетей в 100 строках кода (часть 1) В трёх частях этой статьи мы: Напишем нейросеть с нуля на Python и обучим её алгоритмом градиентного спуска. Применим её к датасету The Wisconsin Cancer Data-set и предскажем по 9 различным признакам, является ли опухоль доброкачественной или злокачественной. Подробнее иссл...

Работа с объектным S3-хранилищем Mail.ru Cloud Solutions как с файловой системой Waste Pickers by GabrielBStiernstrom С объектными хранилищами чаще всего работают через API. Но если очень хочется, можно сложить туда файлы и работать с ними в объектном хранилище, как в файловой системе, с иерархией каталогов. Грубо говоря, в хранилище можно выложить фото...

В iPhone 12 наконец-то появится новая камера TrueDepth, которая не менялась со времён iPhone X Функция Face ID впервые появилась на iPhone X в 2017 году. Работает она благодаря наличию в смартфонах Apple модуля TrueDepth, включающего камеру, проектор и различные датчики. За три поколения этот датчик никак не изменился, хотя в новых iPhone функция Face ID ...

Антикризисный раздел Хабра А вы знали, что если нажать на Хабре хоткей «/» и ввести запрос в квадратных скобках, то сработает поиск только по ключевым словам? Например, с тегом [covid-19] уже написано более 170 постов — только по одному этому числу можно сделать вывод, что тема вируса волнует наших чи...

Книга «Совершенный софт» Привет, Хаброжители! «Совершенный софт» — это проверенный, структурированный и высокотехнологичный подход к разработке программного обеспечения. Множество компаний уже используют идеи Лёве в сотнях систем, но раньше эти мысли нигде не публиковались. Методология Лёве объеди...

Apple покупает британскую компанию Spectral Edge для поддержки фотографических возможностей iPhone Apple приобрела британскую фотографическую компанию Spectral Edge, сообщает Bloomberg. Веб-сайт Spectral Edge теперь не функционирует, но компания разработала технику для улучшения фотографических изображений в режиме реального времени. Алгоритм Spectral Edge, созданный в 20...

Профессиональные услуги электрика Современный мир сложно представить без электричества, всё чем пользуется человек так или иначе зависит от постоянной, непрерывной подачи тока по проводам. Большой проблемой является тот факт, когда возникают поломки электрических проводов или счетчиков. Услуги электрика явля...

Гибридные сортировки Как все уже знают, в основу сортировки могут быть положены обмены, вставки, выбор, слияние и распределение. Но если в алгоритме комбинируются разные методы, то тогда он относится к классу гибридных сортировок. Читать дальше →

5 фактов о Windows 10X: контейнеры, универсальные приложения, приложения Win32 Компания Microsoft представила новую информацию о работе операционной системы Windows 10X. Ещё она выпустила эмулятор, благодаря которому разработчики могут начать оптимизировать свои приложения под устройства с двумя экранами. Главная новость заключается в том, что Windows ...

[Перевод] Работаем с двухмерной физикой в JavaScript Доброго времени суток, друзья! Представляю Вашему вниманию перевод статьи Martin Heinz «Implementing 2D Physics in JavaScript». Давайте немного развлечемся, создавая двухмерные симуляции и визуализации в JS. Создание реалистичной анимации физических процессов может казать...

[Из песочницы] Первые шаги в Spring, Rest API, акцент на PUT в связке с фронтендом Немного о себе: На данный момент я студент Skillbox и прохожу курс “Java-разработчик”. Не в коем случае не реклама, рассказываю немного о себе. Начал учить джаву с мая 2019 года, до этого немного самостоятельно изучал HTML, CSS и JS. Собственно, подтолкнуло меня на написани...

Google традиционно украсил выдачу по зимним праздникам На днях Google традиционно украсил выдачу по запросам, связанным с зимними праздниками – христианским Рождеством, еврейской Ханукой и африканской Кванзой. Новый год, активно отмечаемый в ряде стран, не получил специального оформления. Результаты поиска по запросам [Christmas...

До свидания, Google Fonts. Последний аргумент Шрифты Google Fonts страшно популярны. Их загружают более 42,8 миллиона сайтов, в том числе Хабр. Библиотека Google Fonts содержит 1023 свободных шрифта и программные интерфейсы для их внедрения через CSS. Очень удобно, казалось бы. Во многих статьях отмечалось, в какую ц...

Почему зарядка смартфона быстро садится? Почему зарядка на смартфоне быстро садиться? Наверняка каждый из вас сталкивался с ситуацией, когда заряда аккумулятора смартфона не хватало и на день использования. В случае с Android-смартфонами эта проблема не столь актуальна, ведь даже самые дешевые смартфоны сегодня осн...

Язык запросов для TSDB. Улучшаем PromQL (Александр Валялкин, VictoriaMetrics) Добрый день! Сегодня я вам расскажу немного про PromQL. Это язык запросов для time-series баз данных. Затем расскажу, как мы его усовершенствовали в разрабатываемой нами time-series базе данных VictoriaMetrics. Читать дальше →

Google: отладка поискового алгоритма может осуществляться на многих уровнях Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, что отладкой поискового алгоритма могут заниматься разные сотрудники компании, на многих уровнях, а не только инженеры, которые находятся в в Маунтин-Вью. «Метавопрос здесь состоит в том,...

Микросервисы. Не всё то золото, что хайп Привет, меня зовут Владимир Кустиков, я — архитектор решений в e-Legion. И сегодня я хотел бы рассказать вам про микросервисы.Наверное, я где-то неправ. А возможно, что у меня просто подгорело. Но в какой-то момент после запроса рассказать о том, в каких проектах я успе...

Как изменился английский Илона Маска за 20 лет Илон Маск — одна из самых ярких личностей XXI века. Инженер, предприниматель и миллионер с просто невообразимыми идеями. PayPal, Tesla, SpaceX — это всё его детища, и бизнесмен не собирается останавливаться только на нескольких проектах, которые стали всемирно успешными. О...

Яндекс убрал из выдачи вкладку с обсуждаемым контентом Она показывалась справа по запросам о фильмах, известных личностях и географических объектах

Моддер смог ускорить загрузку игры GTA Online на 70% с помощью одного файла для оптимизации процессов Игре GTA Online требуется много времени на процесс загрузки. Эта проблема сопровождает игру с самого момента её выхода. Но как оказалось, есть возможность существенно ускорить процесс загрузки, воспользовавшись правильными настройками. Моддер t0st тщательно изучил ситуацию с...

Электронная амеба и задача коммивояжера Какой самый ценный ресурс на планете? Нефть, вода или может чистый воздух? Самый ценный ресурс, по мнению многих, это время. Его всегда не хватает, люди постоянно куда-то спешат, а любая деятельность так или иначе связана с временем: сколько баррелей нефти добывает одна не...

Как загрузить и установить обновление Windows 10 October 2020 Update Обновление Windows 10 October 2020 Update теперь доступно и развертывается оно поэтапно. Ожидается, что развертывание займет несколько недель, но если вы чувствуете нетерпение и хотите установить обновление, то есть три способа загрузить и установить обновление за октябрь 20...

Простейший голосовой помощник на Python Для создания голосового помощника не нужно обладать большими знаниями в программировании, главное понимать каким функционалом он должен владеть. Многие компании создают их на первой линии связи с клиентом для удобства, оптимизации рабочих процессов и наилучшей классификаци...

Бизнес-модель Остервальдера: что это такое? Стратегическое планирование важно для каждого бизнеса. Один из самых популярных инструментов — бизнес-модель Остервальдера. Он простой и эффективный, подходит как для развивающихся, так и уже давно работающих компаний. В этой статье поговорим о истории появления модели и под...

WiFi 6 уже здесь: что предлагает рынок и зачем нам эта технология За последние пару десятилетий появилось множество беспроводных устройств и технологий беспроводной связи. Дома и офисы наполнены разного рода гаджетами, большая часть которых умеет подключаться к сети через WiFi. Но вот проблема — чем больше таких гаджетов на единицу площ...

Sony представила PlayStation 5: слабее будущей Xbox, но так ли это важно? Как и ожидалось, компания Sony сегодня раскрыла подробную информацию о своей грядущей игровой консоли нового поколения PlayStation 5. Японский производитель не стал растягивать анонс новинки на несколько фаз и сразу раскрыл все технические характеристики и подробности о ней....

Google улучшает работу с памятью на смартфонах Google Pixel Google делает смартфоны Pixel более производительными Буквально вчера специалисты компании Google объявили о том, что к выходу готовится свежее обновление, которое затронет все устройства линейки смартфонов Google Pixel. Причем, что важно, свежий апдейт не только принесет об...

Что такое графовые нейронные сети Графовые сети — это способ применения классических моделей нейронных сетей к графовым данным. Графы, не обладая регулярной структурой как изображения (каждый пиксель имеет 8 соседей) или тексты (последовательность слов), долгое время оставались вне поля зрения классических ...

[Из песочницы] Ray Casting Visual Search (RCVS). Простой и быстрый алгоритм поиска схожих по геометрии 3D моделей Для меня эти две модели очень похожи, однако у них нет очевидных характеристик, по которым можно было бы измерить их сходство. У этих моделей разное количество вершин, рёбер и полигонов, они разного размера, к тому же по-разному повёрнуты в пространстве, и у обеих одинаков...

Google: сайты на Shopify не получают преимуществ в ранжировании На днях один из вебмастеров спросил в Twitter, предоставляет ли Google какие-либо преимущества в ранжировании такой популярной ecommerce-платформе как Spotify. По словам сотрудника поиска Джона Мюллера, алгоритмы Google не учитывают используемую сайтом CMS. «У нас нет специа...

Проектирование в Confluence Всем привет! Меня зовут Маша, я работаю инженером по обеспечению качества в группе компаний Тинькофф. Работа QA предполагает множество коммуникаций с разными людьми из разных команд, а я к тому же была менеджером и лектором образовательных программ, поэтому моя карта комму...

[Из песочницы] Симуляция ПИД-регулятора температуры Поискал я статьи на данном ресурсе на тему ПИД-регуляторов. Много статей. И с объяснением принципов работы таких регуляторов. И с алгоритмами подбора параметров. И с реализацией на конкретных железках и программах. Не увидел одного — симуляции ПИД-регуляторов на моделях, с т...

[Перевод] Алгоритм обратного распространения ошибки на примере Word2Vec Поскольку я столкнулся с существенными затруднениями в поисках объяснения механизма обратного распространения ошибки, которое мне понравилось бы, я решил написать собственный пост об обратном распространении ошибки реализовав алгоритм Word2Vec. Моя цель, — объяснить сущность...

Обучение универсальной модели NLU c BERT и Multitask Learning В современной компьютерной лингвистике понимание смысла написанного или сказанного достигается с помощью моделей естественного языка (NLU). С постепенным ростом аудитории виртуальных ассистентов Салют встает вопрос об оптимизации наших сервисов, работающих с естественным яз...

Суперкомпьютер IBM будет использоваться для создания новых компьютеров Производительность AiMOS составляет 8 петафлопс (квадриллион вычислений в секунду), что делает этот суперкомпьютер самым мощным среди всех, установленных когда-либо в частном университете. Также он занял 24-е место в мировом рейтинге Top 500, который обновляется дважды в год...

Лучшая стиральная машина. Candy CS4 1051D1/2 Тема бытовой техники довольно обширна и пользователи буквально каждый день выбирают различную технику для своего дома или квартиры, изучают статьи, советы и так далее. Мы решили отбросить в сторону различную шелуху, которая только путает пользователя, и отобрали пять лучших ...

Разбор буткита Всем привет! В связи с запуском курса «Реверс-инжиниринг» мы провели плановый открытый урок. На нём разобрали алгоритм работы буткита на разных стадиях его загрузки. Преподаватель — Артур Пакулов, вирусный аналитик в Kaspersky Lab. Следующая статья носит вступительный ха...

Allsoft Ecommerce вошел в топ-3 лучших контакт-центров мира Allsoft Ecommerce, проект компании Softline, вошел в топ-3 лучших контакт-центров мира по итогам ежегодного конкурса ContactCenterWorld. Победа стала возможной благодаря максимально высокому уровню сервиса. Сегодня Allsoft Ecommerce является не только крупным поставщи...

Создан робот-хирург, способный сшивать кровеносные сосуды Когда-то давно хирургические операции проводились при помощи грубых инструментов и нередко завершались смертью пациента. Сегодня же хирургия шагнула далеко вперед и доктора даже способны проводить операции на мозге с целью лечения алкоголизма. Однако, никто не застрахован о...

[Из песочницы] Логирование в микросервисной среде .Net на практике Логирование является очень важным инструментом разработчика, но при создании распределённых систем оно становится камнем, который нужно заложить прямо в фундамент вашего приложения, иначе сложность разработки микросервисов очень быстро даст о себе знать. В .Net Core 3 доба...

Турнирная сортировка Продолжаем знакомиться с разнообразными кучами и алгоритмами сортировок с помощью этих куч. Сегодня у нас так называемое турнирное дерево. Читать дальше →

[Перевод] В bash безобидная с виду конструкция [[ $var -eq 42 ]] умеет выполнять и произвольный код Знали ли вы о том, что следующий bash-скрипт способен выполнять произвольный код, который предоставит ему пользователь в ответ на запрос скрипта о вводе данных? Читать дальше →

Google Shopping представил топ-100 трендовых товаров Сервис Google Shopping опубликовал список топ-100 трендовых товаров в поиске Google. В списке представлены те товары, по которым в последнее время наблюдалось увеличение числа поисковых запросов в США. С его помощью можно узнать, какие товары имеют растущую популярность, и н...

Реальные выигрыши JOY CASINO Выиграть в одном из самых популярных и востребованных онлайн казино Джойказино под силу каждому. Конечно, не стоит отрицать, что в данном деле есть свои тонкости и о низ стоит знать заранее. Но для начала стоит сказать о том, что Joycasino является самым надежным игровым пол...

Deep Anomaly Detection Детекция аномалий с помощью методов глубокого обученияВыявление аномалий (или выбросов) в данных - задача, интересующая ученых и инженеров из разных областей науки и технологий. Хотя выявлением аномалий (объектов, подозрительно не похожих на основной массив данных) занимаютс...

Как определить оператора и регион по номеру телефона Полезно знать, какого телефонного оператора выбрал клиент и в каком регионе. Тогда можно разбить клиентскую базу географически и не звонить ночами. Или проводить промоакции вместе с операторами. А некоторые наши заказчики экономят: для каждого...

[Из песочницы] Как без боли, без капчи и бесплатно привести выписки из ФГИС ЕГРН к человекочитаемому(*) виду Моя зона ответственности — абонентский отдел РСО, полторы сотни тысяч лицевых счетов в трёх районах области. Для бэкграунда расскажу, как я получаю выписки. Начинал работать с Росреестром, что называется, в лоб: открыл Запрос посредством доступа к ФГИС ЕГРН, ввёл ключ, запол...

Какие мобильные браузеры стоит использовать в 2020 году? Выбираем лучший браузер в 2020 году Какой мобильный браузер в 2020 году можно назвать лучшим? На этот вопрос нам помогут ответить коллеги из greenspector. Они провели множество тестов, включая тестирование потребления мобильных данных, ресурсов смартфона и выявили победителя...

Как сократить расходы на базы данных в 2 раза Руководите или отвечаете за работу ИТ-подразделения компании? Устали от регулярных потерь производительности, инцидентов и вливаний бюджетов в инфраструктуру баз данных? 19 декабря (четверг) в 15:00 по Мск пройдет последний в эт...

Эффективный поиск информации в работе В последнее время стал больше замечать, что люди не могут сами найти нужную информацию. Вместо того, чтобы искать ее, они начинают спрашивать в общих чатах или кого-либо напрямую. В большинстве случаев, это дополнительно отвлекает от работы и, как результат, какая-либо задач...

Google: апдейт основного алгоритма является глобальным и почти завершен Подтвердил Дэнни Салливан

Мониторинг через UptimeRobot Любому сайту нужен мониторинг, не существует такого ресурса, о даунтайме которого владелец предпочел бы не знать. Забавно, что многие разработчики не мониторят свои пет-проекты, а фрилансеры вообще почти никогда не заморачиваются проверкой доступности, хотя это как правило...

Расчет перцентилей для мониторинга высоконагруженных систем Привет, меня зовут Игорь, и я разработчик решений на Tarantool в Mail.ru Group. Я работаю над витринами маркетинга в реальном времени для Мегафона. При мониторинге часто требуется использовать перцентили. Они позволяют понять, как система работает бóльшую часть времени, в о...

Сотовый оператор «МТС» запустил тарифный план, самый лучший в мире Как бы не старались многие другие телекоммуникационные компании, работающие на российской территории, но наиболее крупной и известной среди всех таковых является «МТС», а делать она старается все ради того, чтобы как можно больше людей на Сообщение Сотовый оператор «МТС» за...

Алгоритмы Яндекса помогут бизнесу планировать доставку онлайн-заказов Сервисы онлайн-заказов и доставки сейчас переживают резкий рост. По статистике Яндекс.Маршрутизации среднее число маршрутов, построенных бизнесами в марте, выросло на 30% по сравнению с февралём. Мы ожидаем, что в условиях такого роста автоматизация доставки понадобится комп...

Следующее поколение приложений в дополненной реальности будет еще более реалистичным Пример распознавания глубины в новом алгоритме от Google Сложно не согласиться с тем, что дополненная реальность — это одна из тех новых опций современных смартфонов, что принесла по-настоящему уникальный опыт от использования наших с вами гаджетов. При этом приложения...

ArangoDB в реальном проекте ArangoDB гибридная (документная и графовая) база данных. К ее положительным сторонам относятся: мощный и удобный язык запросов AQL JOIN (даже более мощный чем в реляционных базах данных) репликация и шардинг ACID (в кластере работает только в платной версии) Из менее сущес...

Numl – Альтернативный язык разметки и стилизации для веб Всем привет! Меня зовут Андрей, я профессионально разрабатываю веб-интерфейсы уже больше 11 лет и последний год развиваю проект Numl, который можно назвать языком разметки и стилизации для веб. В этой статье я расскажу, как в попытке перебороть ряд особенностей CSS и упрости...

Автоматизация Для Самых Маленьких. Заметки. RESTful API Эта статья — одна из обещанных коротких заметок по ходу цикла статей Автоматизация Для Самых Маленьких. Поскольку основным способом взаимодействия с IPAM-системой будет RESTful API, я решил рассказать о нём отдельно. Воздаю хвалы архитекторам современного мира — у нас ест...

AMD FidelityFX Super Resolution протестировали на встроенной графике Intel — частота кадров выросла в 1,5 раза Технология интеллектуального масштабирования FidelityFX Super Resolution (FSR) действительно способна эффективно работать не только с видеокартами AMD, но и с графическими процессорами других производителей. В Twitter появились первые тесты новой технологии на встроенном гра...

[recovery mode] Базовые возможности LXD — системы контейнеров в Linux LXD — это системный менеджер контейнеров следующего поколения, так гласит источник. Он предлагает пользовательский интерфейс, похожий на виртуальные машины, но использующий вместо этого контейнеры Linux. Ядро LXD — это привилегированный демон (сервис запущенный с правами ro...

[Перевод] Продуктовые стратегии для затрат перехода Перевод статьи подготовлен в преддверии старта курса «Product Manager IT-проектов». В своей предыдущей статье мы говорили о трех категориях затрат перехода: финансовых, процедурных и реляционных. Как можно использовать затраты перехода, чтобы повысить ценность вашего прод...

[Перевод] Как стать DevOps инженером за полгода или даже быстрее. Часть 1. Введение Целевая аудитория Вы разработчик, который хочет повернуть свою карьеру в сторону более совершенной модели DevOps? Вы являетесь классическим Ops-инженером и хотели бы получить представление о том, что означит DevOps? Или же вы не являетесь ни тем, ни другим и, потратив некото...

Создание видеороликов через PowerPoint – нюансы, баги и автоматизация На данный момент видео является одним из наиболее наглядных показательных демонстрационных материалов. Ролик просто показывается, а зрителю ничего не нужно делать – ни скролить, ни искать глазами нужное. Информация в видео дается частями, малыми дозами и последовательно, ...

Сохраняем данные в EEPROM на Arduino транзакционно Наличие EEPROM дает разработчикам удобный инструмент для сохранения конфигурационных параметров или медленно меняющегося состояния, которое должно переживать выключение питания. В этой статье мы рассмотрим, как это делать максимально безопасно и удобно, чтобы ничего не забыв...

Программа управления задачами для команд Крупные компании, которые стремятся к развитию и достижению успехов, должны преодолевать множество трудностей и препятствий на этом пути. Не так и просто инициировать разные проекты, грамотно ими управлять и успевать выполнять всяческие поставленные задания вовремя. Хорошо, ...

PostgreSQL Antipatterns: CTE x CTE По роду деятельности приходится сталкиваться с ситуациями, когда разработчик пишет запрос и думает "база умная, сама со всем справится!" В некоторых случаях (частично от незнания возможностей БД, частично от преждевременных оптимизаций) такой подход приводит к появлению «фр...

Кофемашина De’Longhi PrimaDonna Soul ECAM610.74.MB с новой кофемолкой и полезными подсказками для начинающих любителей кофе De’Longhi ECAM610.74.MB — одна из топовых моделей линейки PrimaDonna, способная удовлетворить запросы самого требовательного любителя кофе. Ценовое позиционирование данной модели — для тех, кто не готов переплачивать за флагманскую Maestosa, но готов заплатить чуть больше за...

Простое руководство по дистилляции BERT Если вы интересуетесь машинным обучением, то наверняка слышали про BERT и трансформеры. BERT — это языковая модель от Google, показавшая state-of-the-art результаты с большим отрывом на целом ряде задач. BERT, и вообще трансформеры, стали совершенно новым шаго...

Huawei представила в России СХД с ИИ без американских компонентов 5 декабря в Москве состоялась презентация компании Huawei, где была представлена новая система хранения данных на основе технологий искусственного интеллекта (ИИ) Huawei OceanStor Dorado V6. Скорость обмена данными выросла, а задержки существенно снизить за счет применения п...

Indoleads.com запускается в России с первым в истории партнёрским маркетплейсом Теперь и рекламодателям, и аффилиатам будет легче управлять большим числом офферов и следить за их статистикой без потери времени на регистрацию в разных сетях и взаимодействие с каждой из них. Indoleads, Admitad, Optimise...

[Из песочницы] HTTP Error 503. Service Unavailable: случай в поддержке хостинга Работа в поддержке хостинга в основном однотипная, большинство запросов от клиентов решаются по проработанной схеме, но иногда всё же приходится сталкиваться с нетривиальными проблемами. Тогда главная задача инженера — найти тот самый — единственно верный путь, который приве...

Как начинающему инвестору законно снизить налоги: 5 работающих способов Изображение: Unsplash Во времена нестабильной ситуации на рынках у инвесторов появляется естественное желание минимизировать затраты. В том числе, благодаря снижению налоговой нагрузки. Сегодня мы разберем несколько практических способов законного снижения налогов, которы...

[Из песочницы] Алгоритмы рандома В этой статье вы увидите самые разнообразные велосипеды алгоритмы для генерации случайных чисел. Про что статья Про алгоритмы генерирующие псевдослучайные числа, которые отличаются между собой качеством результата и скоростью исполнения. Статья будет полезна тем, кто хочет ...

Двухэкранный смартфон Surface Duo запечатлён на видео Несколько дней назад в метро SkyTrain в Ванкувере был замечен человек с двухэкранным смартфоном Surface Duo, который выглядит почти так же, как прототип с конференции Microsoft. Единственное отличие заключается предположительно во вспышке на лицевой панели устройства. Поми...

Моделирование работы реальной ТЭЦ для оптимизации режимов: пар и математика Есть большая ТЭЦ. Работает как обычно: жжёт газ, вырабатывает тепло для отопления домов и электричество для общей сети. Первая задача — отопление. Вторая — продать всё выработанное электричество на оптовом рынке. Иногда ещё в мороз при ясном небе появляется снег, но это по...

MKS DLP - эпопея продолжается. Часть 5. Уже пару месяцев занимаюсь прошивкой для платы MKS DLP (плата для фотополимерного LCD-принтера). И вот наконец-то довел ее до состояния, минимально необходимого чтобы начать на ней печатать :)Слои из файла читаются и выводятся на 2к-дисплей, их уменьшенное изображение отрисо...

Удаленка как угроза Среди сценариев, как будет выглядеть мир после пандемии, я не видел одного. Очень грозного и максимально вероятного. Удаленка ударит по тем, кто привык работать абы как. А больше всего таких, очевидно, в Москве. Читать дальше →

Blum-Blum-Shub generator и его применение В настоящее время случайные числа используются в различных областях науки. Например, для моделирования различных реальных процессов зачастую нужно учитывать не только поведение исследуемой величины, но и влияние различных непредсказуемых явлений. Кроме того, в некоторых мето...

Как укрепить «Веру». Делаем шифрованные контейнеры VeraCrypt неприступными Для подписчиковТы пользуешься VeraCrypt и всегда выбираешь самый надежный алгоритм шифрования и длинный пароль, надеясь, что так ты сделаешь контейнер неприступным? Эта статья перевернет твои представления о том, как работает безопасность криптоконтейнеров, и покажет, что на...

Эффективные видеоконференции с Synergy Sky Среднее время подготовки к видеовстрече занимает до 30 минут, еще 10-15 минут уходит у пользователей на выяснение актуальной информации, устранения проблем с устройствами и прочие причины потери времени. Как снизить затраты на организацию видеоконференции и повысить эффектив...

Декриптор вымогателя Ryuk повреждает большие файлы В обновленной версии вымогателя Ryuk был незначительно изменен алгоритм шифрования файлов, из-за чего декриптор, который злоумышленники предоставляют жертвам после получения выкупа, может работать некорректно. Об этом сообщили специалисты компании Emsisoft, которые проанализ...

Онлайн-курс «Практика контекстной рекламы» Программа курса базируется на нашем основном очном курсе по контекстной рекламе, но немного доработана для онлайн-формата, чтобы не потерять качество обучения. Практика подразумевает выполнение заданий на собственных проектах, если же у вас...

Chrome научится вводить сайты в режим энергосбережения Браузер Chrome станет умнее – теперь он сам начнет контролировать срок работы вашего аккумулятора. Благодаря умам в Google браузер Chrome с каждым годом становится все быстрее и надежнее. Но эти улучшения, к сожалению, не приближают его к идеалу. Одной и...

MediaTek «накручивает» цифры в синтетических тестах ... В условиях жесткой конкуренции производителям приходится идти на разные уловки, чтобы показать свою продукцию в более выгодном свете. Один из опробованных методов манипуляции —накрутить результаты бенчмарков. За этим занятием ранее ловили Samsung, Huawei и OnePlus. Вид...

Найди 10 отличий. Tesla Model Y рядом с Model 3 Безусловно, самым громким анонсом Tesla за последнее время стал пикап Cybertruck. Но он пока далёк от появления на рынке, поэтому на данный момент более важным для компании является кроссовер Model Y. Его представили в прошлом году, а купить его можно будет якобы уже в ...

[Из песочницы] Как организована работа в Amazon Как и во многих других американских компаниях, организация рабочих процессов в Amazon построена на базовых принципах, основная цель которых – помочь сотрудникам принять правильное решение, основываясь на ценностях компании. Мы поговорили с продукт-менеджером в Amazon, которы...

Сервис Pinterest Trends выходит в открытую бету Pinterest приступил к запуску нового инструмента Pinterest Trends, который позволяет видеть самые популярные поисковые запросы в США за последние 12 месяцев. Новый инструмент находится на стадии бета-тестирования и станет доступен на десктопах в ближайшие недели. Pinterest T...

[Из песочницы] Машина Тьюринга, как модель автоматных программ Машина Тьюринга, как модель автоматных программ 1. Введение Программирование нуждается в новых универсальных алгоритмических моделях, а аппаратные средства реализуют алгоритмы не только в другой форме, но и на базе другой алгоритмической модели — автоматной. Заимствование те...

Можно ли генерировать случайные числа, если мы не доверяем друг другу? Часть 1 Привет, Хабр!В этой статье мы обсудим генерацию псевдо-случайных чисел участниками, которые не доверяют друг другу. Как мы увидим ниже, реализовать “почти” хороший генератор достаточно просто, а вот очень хороший – сложно.Зачем вообще нужно генерировать случайные числа участ...

Капля в море: Запуск Drupal в Kubernetes Я работаю в компании Initlab. Мы специализируемся на разработке и поддержке Drupal проектов. У нас есть продукт для быстрого создания Ecommerce решений, основанный на Drupal. В 2019 году мы начали решать задачу построения масштабируемой и отказоустойчивой инфраструктуры для...

[Из песочницы] Разбор настройки ELK 7.5 для анализа логов Mikrotik Давно была мысль посмотреть, что можно делать с ELK и подручными источниками логов и статистики. На страницах хабра планирую показать практический пример, как с помощью домашнего мини-сервера можно сделать, например, honeypot с системой анализа логов на основе ELK стека. В э...

Как избежать популярных ошибок сетевой безопасности В середине сентября стало известно об утечке почти 2Тб данных, в которых содержалась информация о работе системы оперативно-розыскных мероприятий (СОРМ) в сети одного российского оператора связи. Утечка произошла из-за неправильно настроенной утилиты резервного копирования...

Распределённое хранение данных в IPFS Cluster Дисклеймер: эта статья рассчитана на понимание основных принципов работы InterPlanetary File System. Если вы не знакомы с IPFS, начните с этой статьи или загляните на ipfs.io. Самый известный и труднопреодолимый недостаток IPFS в скорости её работы. Так как все данные раз...

Создание сайта на 1С – Битрикс На сегодняшний день работа и развитие бизнеса в сети интернет является одной из самых эффективных сфер. В этой плоскости можно не только активно развивать рекламную деятельность, но и напрямую работать сов своей потенциальной аудиторией. Для тех, кто стоит перед задачей, как...

Опыт использования gRPC в Почте Mail.ru Привет, Хабр! Я работаю в команде Антиспама Почты Mail.ru. В этой статье я бы хотел рассказать про наш опыт запуска сервиса с пропускной способностью около 3 миллионов запросов в минуту на базе технологии gRPC. Это современная технология передачи данных по сети, которая реа...

Книга «Golang для профи: работа с сетью, многопоточность, структуры данных и машинное обучение с Go» Привет, Хаброжители! Вам уже знакомы основы языка Go? В таком случае эта книга для вас. Михалис Цукалос продемонстрирует возможности языка, даст понятные и простые объяснения, приведет примеры и предложит эффективные паттерны программирования. Изучая нюансы Go, вы освоите...

Что значит быть эффективным? Эффективность – красивое слово. Удобно вставлять его в фразы типа: "я работаю максимально эффективно", "нужно найти эффективное решение", "повышаем эффективность процессов", "наша цель – эффективный код", "Вася – эффективный менед...

Парсеры Пратта для чайников Рекурсивный спуск работает идеально, когда вы можете принимать решение относительно разбираемого куска кода с помощью текущего контекста и токена. Картину портят выражения: постфиксные, инфиксные и прочие. Проблема: вы не можете понять, какого типа выражение вы обрабатываете...

Взломан самый сложный в мире ключ шифрования Специалистам удалось прийти к цели за существенно меньшее количество времени - 4000 вычислительных лет. По их словам, они смогли этот рекорд вовсе не за счет того, что за прошедшее с предыдущего рекорда (взлом RSA-232) время производительность компьютеров хоть немного, но во...

[Перевод] Что такое SDLC? Этапы, методология и процессы жизненного цикла программного обеспечения Цитируя автора книги Managing Information Technology Projects Джеймса Тейлора, «жизненный цикл проекта охватывает всю деятельность проекта». Задачей же разработки ПО является выполнение требований продукта. Если вы хотите научиться создавать и выпускать высококачественное ПО...

10 фактов о кубике Рубика 1. Кубик Рубика изобрел венгерский скульптор и преподаватель архитектуры Эрнё Рубик. Последние годы автор головоломки занимается разработкой видеоигр. 2. Эрнё Рубик потратил целый месяц, когда сам впервые пытался собрать кубик Рубика. 3. Кубик Рубика имеет 6 граней, 12 рёбер...

Рэнд Фишкин выступил в защиту Jumpshot Глава SparkToro Рэнд Фишкин (Rand Fishkin), который регулярно использовал данные Jumpshot в анализе поисковых запросов Google и постах на тему zero-click тренда, выступил в защиту компании, которая в скором времени будет закрыта. По его мнению, у Jumpshot отличная методологи...

Искусственному интеллекту не хватает специалистов На площадке ICT.Moscow изучили четыре наиболее показательных исследования о применении ИИ в российском бизнесе от KPMG, ВЦИОМ, IDC & ABBYY и РАЭК. Основные выводы: бизнес, особенно крупный, все лучше понимает технологию ИИ, ее возможности и пользу от внедрения, но запрос...

[Перевод] Как Django может обрабатывать 100 миллионов запросов в день Сегодня я буду писать о Django — фреймворке, который верно служит мне на протяжении последних пяти лет. Он помог мне преуспеть в разработке высоконагруженных решений, используемых сегодня миллионами пользователей. Действительно, Python не очень «быстрый» язык программировани...

Компьютеры научились определять рак мозга эффективнее людей Издание Nature Medicine опубликовало результаты нового исследования, в рамках которого было выявлено, что новые алгоритмы искусственного интеллекта позволяют получать достоверную проверку рака головного мозга в режиме реального времени. Кроме того, компьютеры справляются с э...

Яндекс на 3 месяца открыл бесплатный доступ к маршрутизации Сервис автоматического планирования маршрутов Яндекс.Маршрутизация станет бесплатным для всех новых пользователей на 3 месяца. В бесплатный пакет входит доступ к алгоритмам оптимизации доставки и консультации специалистов Яндекса. Сервисы онлайн-заказов и доставки сейчас пер...

Как посмотреть плоские фильмы в 3D Это сильно расширенная версия моей публикации на MediumНедавно я сидел в баре с другом зашел разговор о том, в каких задачах в принципе может быть эффективен нейросетевой подход, а где они совершенно излишни. Один класс примеров, где нейросети часто наголову превосходят ...

Симуляторы фабрики и управления: лучшие игры в стиле Factorio для iOS и Android На этой неделе на мобильных вышла игра Sandship: Crafting Factory. Она интересна и сама по себе, но привлекает многих, потому что приближается к определению игры «в стиле Factorio», которая пользуется безумной популярностью на компьютерах. Если вы знакомы с последней, то лиш...

Nextcloud отказоустойчивый деплой для средних компаний Есть очень крутой комбайн для совместного ведения проектов, LDAP-авторизацией, синхронизацией файлов с версионированием и чем-то вроде корпоративного мессенджера с видеоконференциями, которые прикрутили в последних версиях. Да, я про Nextcloud. С одной стороны, я сторонних...

Новый интерфейс Веб-клиента Zimbra от Zextras По мнению технических специалистов, Zimbra является надежным и простым в обслуживании почтовым сервером. Усилия разработчиков Zextras все последние годы были сосредоточены на удобстве управления для администраторов, защите данных, новых функциях совместной работы. Но пользов...

Ищете надежную и проверенную онлайн рендер ферму? Загляните на сайт «AnimaRender» В наше время очень многие компании интересуются рендер фермами. Если вы также ищете в сети информацию по запросу «3ds max рендер ферма», то вы однозначно попали по адресу. Прежде всего, необходимо разобраться, что это такое? Если говорить простыми словами, то это специализир...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв...

[Перевод] Теория вероятностей для физически точного рендеринга Введение В рендеринге часто используется вычисление многомерных определённых интегралов: например, для определения видимости пространственных источников освещения (area light), светимости, доходящей до области пикселя, светимости, поступающей за период времени и облучения, ...

[Перевод] О 30-кратном увеличении параллелизма в Node.js Каков наилучший способ беспроблемного увеличения параллелизма в Node.js-сервисе, который используется в продакшне? Это — вопрос, на который моей команде понадобилось ответить пару месяцев назад. У нас запущено 4000 контейнеров Node (или «воркеров»), обеспечивающих работу на...

[Перевод] Как ограничить частоту запросов в HAProxy: пошаговая инструкция Автор статьи объясняет, как реализовать в HAProxy ограничение скорости обработки запросов (rate limiting) с определенных IP-адресов. Команда Mail.ru Cloud Solutions перевела его статью — надеемся, что с ней вам не придется тратить на это столько времени и усилий, сколько пр...

[Перевод] Топология и комплексный анализ для ничего не подозревающего разработчика игр: сжатие единичных 3D-векторов Как вы уже могли понять из моих предыдущих статей, мне нравится использовать разработку игр как оправдание для демонстрации сложной математики, для которой в противном случае у большинства людей не было бы применения. И эта статья не исключение! Я хочу показать очень крутую...

Синхронная репликация в Tarantool Tarantool — это платформа для in-memory вычислений, где упор всегда делался на горизонтальную масштабируемость. То есть при нехватке мощности одного инстанса нужно добавить больше инстансов, а не больше ресурсов одному инстансу. С самого начала из средств горизонтального ...

Network diagram as code / Схема сети как код В последние пару лет стал больше заниматься документацией. Написать поясняющий текст о том, как работает та или иная система — в целом, это достаточно просто. Нарисовать схему, на которой будут отображены все ключевые объекты, связи между этими объектами, тоже вполне легко. ...

Книга «Ловушка для багов. Полевое руководство по веб-хакингу» Привет, Хаброжители! «Чтобы чему-то научиться, надо применять знания на практике. Именно так мы освоили ремесло взлома» — Майкл Принс и Йоберт Абма, соучредители HackerOne. «Ловушка для багов» познакомит вас с белым хакингом — поиском уязвимостей в системе безопасности. Нев...

[Перевод] Знакомимся с методом обратного распространения ошибки Всем привет! Новогодние праздники подошли к концу, а это значит, что мы вновь готовы делиться с вами полезным материалом. Перевод данной статьи подготовлен в преддверии запуска нового потока по курсу «Алгоритмы для разработчиков». Поехали! Метод обратного распространени...

Можно ли спасти планету, научившись делать «пищу из воздуха»? Еда из воздуха, электричества и воды может оказаться на наших столах уже в самом ближайшем будущем Население нашей планеты неуклонно растет, бросая все новые и новые вызовы окружающей среде и требуя с каждым днем все больше пищи. Для того, чтобы предотвратить надвигающийся п...

Хабра-детектив: тайна редакторов новостей Вы ведь знаете, что у Хабра есть редакторы? Те, которые люди. Именно благодаря им новостном раздел никогда не пустеет, а у вас всегда есть возможность пошутить про наследие alizar. На счету редакторов десятки публикаций в неделю на каждого. Иногда, пользователи Хабра даже п...

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xe...

Как быстро и безопасно организовать удалённую работу сотрудников? Рассказываем о разных подходах: с VDI и не только С необходимостью удобно и безопасно организовывать удалённую работу своих сотрудников бизнес столкнулся давно. Но если раньше эту задачу можно было регулярно откладывать и продолжать обдумывать, то сейчас времени уже нет: «удалёнка» – главный тренд весны 2020 во всём мире. В...

Пользователям Android угрожает уязвимость StrandHogg Исследователи из норвежской компании Promon обнаружили серьезную уязвимость Android, позволяющую злоумышленникам перехватывать критически важные пользовательские данные и устанавливать скрытый контроль над мобильными устройствами. Эксперты насчитали в Google Play несколько д...

Кастомизация компонентов Ant Design и оптимизация бандла The Archivist by juliedillon Я Иван Копенков, ведущий фронтенд-разработчик в Mail.ru Cloud Solutions, в статье расскажу, какие есть подходы к кастомизации компонентов UI-библиотеки Ant Design, как это сделали мы, а так же покажу, как удалось полностью избавиться от неисполь...

[Из песочницы] OSCP — мой опыт Что это за четыре буквы и кому это вообще надо? Я не буду описывать курс PWK и OSCP экзамен, простой запрос «OSCP review» выдаст вам кучу обзоров, описание формата, рекомендации и структуру курса. Просто поделюсь своим собственным опытом, как я сделал это и какие решения при...

Концепт Блокнота в Windows 10 Давайте будем честны: Блокнот остается неотъемлемой частью операционной системы Windows, и хотя некоторые считают его просто базовым приложением, на самом деле это гораздо более мощный инструмент, чем думают многие . Это причина того, что Блокнот используется для различных ц...

5 самых известных проектов, написанных на Golang О языке программирования Golang, созданном корпорацией Google, на Хабре рассказывали много и подробно, так что мы не будем в очередной раз обсуждать достоинства этого инструмента. Лучше поговорим об известных проектах, которые написаны на Go — они являются доказательством...

Эффективен ли TDD? Во время интересной дискуссии, один очень уважаемый человек «козырнул» «неубиваемым» аргументом:Есть полно исследований, демонстрирующих эффективность TDD Действительно. Если зайти на Google Scholar, забить ключевые слова «TDD» и «Эффективность» — будет много научных статей,...

[Перевод] Элегантное асинхронное программирование с помощью «промисов» Доброго времени суток, друзья! Представляю вашему вниманию перевод статьи «Graceful asynchronous programming with Promises» с MDN. «Обещания» (промисы, promises) — сравнительно новая особенность JavaScript, которая позволяет откладывать выполнение действия до завершения вы...

Интернет казино 777 Original откроет мир незабываемых приключений Когда игроки выбирают онлайн казино, необходимо смотреть не только на перечень игр, но и интересоваться репутацией игрового клуба, поэтому важно заходить на бесплатные сайты, где выставляются рейтинги. Казино 777 Original имеет безупречную репутацию, и уже не первый год ее п...

Аналитика ИИ в российском бизнесе На площадке ICT.Moscow изучили четыре наиболее показательных исследования о применении ИИ в российском бизнесе от KPMG, ВЦИОМ, IDC & ABBYY и РАЭК. Основные выводы: бизнес, особенно крупный, все лучше понимает технологию ИИ, ее возможности и пользу от внедрения, но запрос...

[Перевод] Как бороться с привычками запрограммированным людям Перевод статьи из микроблога биохакера Сержа Фаге. В человеке есть запрограммированные паттерны поведения, которые всегда запускаются одним и тем же механическим, линейным способом. Так называемые «страстные желания» (англ. – cravings) – вещи и занятия, которые очень хочетс...

Самые популярные смартфоны в России за последние 10 лет Яндекс.Маркет проанализировал историю поисковых запросов и назвал самые популярные смартфоны в России за последние 10 лет. В 2010 году самым популярным у россиян был смартфон Nokia 5530 XpressMusic, а уже с 2011 года телефоны этой компании не попадали в список самы...

[Перевод] 5 JavaScript-библиотек для работы со строками Работа со строками может оказаться непростым делом из-за того, что она подразумевает решение множества разноплановых задач. Например, для простого приведения строки к «верблюжьему» стилю понадобится несколько строк кода: function camelize(str) { return str.replace(/(?:^\w...

[Перевод] Побег из привилегированных Docker-контейнеров Перевод статьи подготовлен в преддверии старта курса «Пентест. Практика тестирования на проникновение». Привилегированные контейнеры Docker – это такие контейнеры, которые запускаются с флагом --privileged. В отличие от обычных контейнеров, эти контейнеры имеют root-доступ...

Робот-тележка 2.0. Часть 2. Управление в rviz и без.Элементы красоты в rviz В прошлой статье, посвященной автономной домашней тележке 2.0, удалось поработать над тем, как улучшить одометрию бюджетного робота, добиться построение приемлемой 2d карты помещения, используя slam алгоритмы и доступный лидар, внести ясность в иные вопросы при сборке проект...

Искусственный интеллект, машинное и глубокое обучение — в чём разница Сейчас много пишут и говорят об искусственном интеллекте (ИИ). Наряду с другими связанными понятиями — такими, как машинное обучение (machine learning) и глубокое обучение (deep learning). Многие люди склонны неправильно понимать термины, используемые в контексте...

Трудности отцовства морских коньков: генетические метаморфозы иммунной системы В природе полно загадочных явлений и процессов, которые не всегда удается сразу объяснить, разложив все составляющие по полочкам. Одним из таких процессов является беременность. Конечно, все мы знаем, как этот процесс начинается и что получается в итоге. Однако беременност...

Google закрывает сервис подбора запросов Google Correlate Инструмент станет недоступен с 15 декабря

[Перевод] Создание roguelike в Unity с нуля: генератор подземелий На этот раз мы погрузимся в реализацию алгоритма генератора подземелий. В прошлой статье мы создали первую комнату, а теперь сгенерируем остальной уровень подземелья. Но прежде чем мы начнём, я бы хотел исправить ошибку из предыдущего поста. На самом деле, за последние нед...

Mail.ru Group запустил «убийцу» YouTube Самым крупным и известным видеохостингом в мире является YouTube, который принадлежит компании Google. Она делает все ради того, чтобы его активно улучшать, внедряя в такой различные новшества. За последние пять лет данный сервис стал невероятно Сообщение Mail.ru Group запу...

[Перевод] Эндрю Ын «Страсть к машинному обучению». Перевод глав 36-46 Три года прошло с момента публикации первых глав книги Эндрю Ына (Andrew Ng) «Machine Learning Yearning». Если вы подписаны на хаб «Машинное обучение», то нет никакой нужды представлять вам её автора и скорее всего саму книгу вы уже давно прочитали на языке первоисточника. П...

Rysen Dawn — симулятор стримера с паркуром во главе и альтернатива Mirror's Edge на Android Стримить видеоигры уже не актуально, поэтому главный герой Rysen Dawn решил пойти другим путём — он стал паркурить в доках и транслировать это всему миру. Самое главное не упасть в ответственный момент; если всё пойдёт по маслу, то вы станете популярным стримером. Разработчи...

Предсказание Gartner может обрадовать юристов Юридические отделы разных компаний все чаще обращаются к виртуальным помощникам по правовым вопросам (VLA) из-за необходимости повышения эффективности работы и оперативности обслуживания. По мнению Gartner, давление на юридические отделы с целью повышения скорости и ре...

Искусственный интеллект предсказал вспышку нового коронавируса в Китае Несмотря на празднование Нового года по лунному календарю, улицы крупнейших городов в Китае опустели из-за эпидемии 9 января Всемирная организация здравоохранения уведомила общественность о вспышке коронавируса в Китае. По состоянии на 27 января официальное количество инфици...

[Перевод] Маленькие победы В течение своей карьеры я имел опыт работы над многими масштабными проектами, от проработки стратегий компании, выбора идеальных продуктов, реорганизации ключевых алгоритмов user-flow и информационного проектирования, до разработки систем с нуля. Работать над такими крупным...

Google Ads прекращает поддержку клиентов через соцсети Google Ads сообщил, что с 1 января 2020 года больше не будет оказывать поддержку клиентам через Facebook и Twitter. Начиная с этой даты личные сообщения в аккаунтах Google Ads в данных соцсетях будут отключены, а вверху профилей будет закреплено сообщение со ссылкой на онлай...

[Перевод] Строим города по клику мыши с Houdini и Python В разработке игр постоянно создаются и применяются пайплайны, алгоритмы и небольшие процессы, которые экономят кучу времени и сил. Часто эти решения — простые, но изящные. Эта статья как раз про подобное. Автор придумал метод постройки виртуальных городов, который в персп...

10 самых сложных математических задач, которые остаются нерешенными На протяжении веков лучшие умы человечества решали одну математическую задачу за другой, однако есть несколько, не поддавшихся до сих пор никому. За нахождение алгоритма их решения некоторые фонды и компании готовы заплатить большие деньги. Источник

[Перевод] Фронтенд-разработчику: 10 направлений, в которых стоит развиваться в 2021 году Профессия «фронтенд-разработчик», без сомнения, будет одной из самых востребованных в 2021 году. Раньше тем, кто работал в этой сфере, для создания интерактивных сайтов достаточно было знать HTML, CSS и, возможно, jQuery. Но сегодня фронтенд-разработчик вынужден существоват...

[Перевод] Об ужасной документации Apple В последние год-два я пришёл к осознанию того, что основной преградой к выполнению моей работы является документация. Или, если конкретнее, откровенный дефицит документации, предоставляемой Apple для своих платформ. Apple предоставляет разработчикам набор инструментов — A...

IntelliJ IDEA 2019.3: оптимизация производительности и улучшение качества Привет! В этом релизе мы сосредоточились на производительности и качестве. Вместе с другими командами JetBrains, мы занимались оптимизацией производительности, повышением отзывчивости интерфейса, улучшением существующей функциональности. Чтобы правильно расставить приорит...

Домашний веб-сервер на солнечных батареях отработал 15 месяцев: аптайм 95,26% Первый прототип солнечного сервера с контроллером заряда. Фото: solar.lowtechmagazine.com В сентябре 2018 году энтузиаст из Low-tech Magazine запустил проект «низкотехнологичного» веб-сервера. Задача была снизить энергопотребление настолько, чтобы домашнему self-hosted сер...

SK hynix планирует в этом году выпустить датчик изображения Black Pearl с пикселями размером 0,8 мкм Компания SK hynix, больше известная как производитель микросхем памяти, развивает направление деятельности, связанное с выпуском датчиков изображения типа CMOS. Спрос на датчики изображения для мобильных устройств быстро растет. Южнокорейский производитель рассчитывает...

“Что делать, когда кардинальные изменения в процессах демотивируют команду”. Опыт бэкенд-инженера, ставшего тимлидом Я 7 лет работал бэкенд-инженером в Miro, затем стал тимлидом. За последние годы наша инженерная команда выросла вдвое, стала распределённой и международной, что повлекло за собой множество изменений. Одним из них стало введение кросс-функц...

Скрытая угроза — анализ уязвимостей при помощи графа новостей Когда вы сталкиваетесь с новой уязвимостью, какая мысль приходит первой? Конечно, отреагировать как можно быстрее. Однако, скорость — всего лишь одно из условий эффективной борьбы с ИБ-угрозами. Когда речь идет о корпоративной безопасности, не менее важно безошибочно опреде...

[Перевод] Иерархический буфер глубин Краткий обзор Иерархический буфер глубин — это многоуровневый буфер глуби (Z-буфер), используемый как ускоряющая структура (acceleration structure) для запросов глубин. Как и в случае mip-цепочек текстур, размеры каждого уровня обычно являются результатами деления на степен...

IoT-систему оптимизации энергоэффективности зданий представили в Великобритании Проект под названием i-REAP (IoT-Enabled Real-time Energy Analytics Platform, что в переводе означает "Платформа для анализа энергетики в режиме реального времени") получил финансирование департамента бизнеса, энергетики и промышленной стратегии Великобритании в ра...

С момента начала карантина спрос на сервисы для видеоконференций вырос в 7 раз в мире и в 5 раз — в Украине, самый популярный — Zoom Компания GlobalLogic исследовала спрос на сервисы видеоконференций с момента начала карантинных мер по поводу коронавируса COVID-19. По данным Google Trends, во всем мире популярность поисковых запросов на тему видеоконференций выросла в 7 раз в марте, в сравнении с январем ...

Intel RealSense LiDAR L515 — еще один новый RealSense В прошлый раз мы уже отмечали, что в последнее время Intel существенно изменила подход к линейке устройств RealSense: если раньше мы наблюдали планомерное совершенствование характеристик в рамках одной доктрины, то сейчас в линейке могут появиться модели с самым различным ...

VKWave — фреймворк для разработки ботов ВКонтакте Привет, Хабр! Сегодня я хочу рассказать о замечательной библиотеке для разработке ботов ВКонтакте с помощью языка программирования Python. VKWave VKWave — это фреймворк для разработки ботов ВКонтакте, написанный с помощью asyncio. Основные цели проекта — дать возможность ра...

Выбор только лучшего онлайн казино на Jokerslots Имея маленький игровой опыт, не так просто сразу определить, какому онлайн казино можно доверять. Слотокинг входит в топ онлайн казино, и завоевал он доверие аудитории не сразу. В Слотокинг акцент сделан на качественных игровых автоматах, и все они проходят тщательную провер...

Про бэкапы в Proxmox VE В статье «Магия виртуализации: вводный курс в Proxmox VE» мы успешно установили на сервер гипервизор, подключили к нему хранилище, позаботились об элементарной безопасности и даже создали первую виртуальную машину. Теперь разберем как реализовать самые базовые задачи, котор...

Что такое графеновый аккумулятор, и чем он хорош? Что такое графеновый аккумулятор? Мы уже не раз во многих статьях затрагивали тему графеновых аккумуляторов. Каждый год мы пишем о них, но производители никак не начнут выпускать смартфоны с подобными аккумуляторами. Дело в том, что пока производство такого аккумулятора слиш...

Что такое аллотропия и почему она важна Каждый химический элемент в таблице Менделеева — это определенный вид атомов со своими уникальными свойствами. Однако в природе существует не так много веществ, которые состоят из скоплений атомов. Кислород, углекислый газ, вода и множество другие соединений представляют соб...

Помните FindFace, который искал аккаунты в соцсетях по фото? Его купили власти Москвы Система распознавания лиц FindFace считается одной из самых масштабных и совершенных Наверное, все знают таких людей с паранойей, которые абсолютно уверены, что все современные средства связи – это инструменты слежки в руках спецслужб. По их мнению, Touch ID был нужен для то...

Все материалы на данном сайте взяты из открытых источников или присланы посетителями сайта и предоставляются исключительно в ознакомительных целях. Права на материалы принадлежат их владельцам. Администрация сайта ответственности за содержание материала не несет. (Правообладателям)