[Перевод] Использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB

Mail.ru Cloud Solutions запустила в облаке аналитическую базу данных Arenadata DB Mail.ru Cloud Solutions (MCS) запускает в облаке Arenadata DB как сервис — аналитическую базу данных на основе распределенной СУБД с открытым исходным кодом Greenplum, предназначенную для хранения и обработки больших объемов данных и легко масштабируемую в рамках одного инте...

Mail.ru Cloud Solutions запустила в облаке Arenadata DB на основе Greenplum Mail.ru Cloud Solutions (MCS) запустила в облаке Arenadata DB как сервис — аналитическую базу данных на основе распределенной СУБД с открытым исходным кодом Greenplum, предназначенную для хранения и обработки больших объемов данных и легко масштабируемую ...

[Перевод] Как написать собственную файловую систему на языке Rust Исходные данные и результаты работы программ должны где-то храниться для дальнейшего использования. Их хранение нужно организовать так, чтобы мы могли быстро получить нужную информацию. За эту задачу отвечает Файловая система (FS): она предоставляет абстракцию для устройств,...

PostgreSQL. Добавляем not null constraints в большие таблицы Проекты развиваются, клиентская база увеличивается, базы данных разрастаются, и наступает момент, когда мы начинаем замечать, что некогда простые манипуляции над базами данных требуют более сложных действий, а цена ошибки сильно повышается. Уже нельзя за раз промигрировать...

[Из песочницы] Управление портфелями опционов в R Программ для анализа и управления портфелями опционов много. Они есть в торговых терминалах, в виде отдельных коммерческих продуктов или сервисов на сайтах. У таких программ есть ряд ограничений: портфели привязаны к торговой платформе, котировки подкачиваются из определённо...

Демистификация JWT Вокруг JWT сложилась много распространенных заблуждений. Одно из них, например, что JWT зашифровано (на самом деле только подписано и закодировано base64url). На практике, я часто встречаюсь с довольно странными решениями, когда в JWT хранится только один идентификатор сесси...

Основы правил проектирования базы данных Введение Как это часто бывает, архитектору БД нужно разработать базу данных под конкретное решение. Однажды в пятницу вечером, возвращаясь на электричке домой с работы, подумал, как бы я создал сервис по найму сотрудников в разные компании. Ведь ни один из существующих серви...

Оценка качества кластеризации: свойства, метрики, код на GitHub Кластеризация — это такая магическая штука: она превращает большой объём неструктурированных данных в потенциально обозримый набор кластеров, анализ которых позволяет делать выводы о содержании этих данных. Приложений у методов кластеризации огромное количество. Например, мы...

In-memory архитектура для веб-сервисов: основы технологии и принципы In-Memory — набор концепций хранения данных, когда они сохраняются в оперативной памяти приложения, а диск используется для бэкапа. В классических подходах данные хранятся на диске, а память — в кэше. Например, веб-приложение с бэкендом для обработки данных запрашивает их в ...

Практика использования Spark SQL или как не наступить на грабли Если вы работаете с SQL, то вам это будет нужно очень скоро. Apache Spark – это один из инструментов, входящих в экосистему Hadoop, который обрабатывает данные в оперативной памяти. Одним из его расширений является Spark SQL, позволяющий выполнять SQL-запросы над данными. Sp...

Как использовать объектное S3-хранилище Mail.ru Cloud Solutions для хранения бэкапов Veeam LogiMap ASRS Unit by Vidom Veeam Backup & Replication — коммерческая платформа для резервного копирования и управления данными облачной, виртуальной и физической среды. Она поддерживает разные сценарии хранения данных, в том числе использование S3-совместимых объектных ...

Самые популярные структуры данных Что такое структура данных? Проще говоря, структура данных — это контейнер, в котором хранятся данные в определенной компоновке (формате, или способе организации их в памяти). Эта «компоновка» позволяет структуре данных быть эффективной в одних операциях и неэффективной в др...

Узбекистан потребовал от иностранных интернет-платформ хранить персональные данные граждан на территории страны Об этом сообщает D-Russia со ссылкой на Podrobno.uz."Узбекистан отправил запросы в Facebook Inc (Facebook Messenger, Instagram, WhatsApp), Google (Google Messenger, YouTube), Mail.ru ("ВКонтакте", "Одноклассники"), Microsoft Skype, Telegram, Tencent...

Разработчики FreeNAS и TureNAS собираются объединить оба продукта в общую систему FreeNAS - это бесплатная операционная система с открытым исходным кодом, предназначенная для сетевых устройств хранения (NAS). В течение большей части прошлого десятилетия проектом руководили сотрудники iXsystems, которая также выпустила корпоративную версию программного обе...

Зональное хранение данных Недавно компания Western Digital объявила об инициативе по зональному хранению данных — инициативе, ориентированной на открытую инфраструктуру данных, предназначенную для использования преимуществ зональных устройств хранения данных. Zoned Storage — это новая парадигма хра...

Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа Статья будет полезна тем: кому необходимо задействовать несколько видов авторизации в одном запросе к серверу; кто хочет открывать сервисы мира Kubernetes/Docker в общий интернет, не задумываясь о способах защиты конкретного сервиса; думает, что всё уже кем-то сделано, ...

12 онлайн-курсов по Data Engineering По данным Statista, к 2025 году объём рынка big data вырастет до 175 зетабайт против 41 в  2019 (график). Чтобы получить работу в этой сфере, нужно понимать, как работать с большими данными, хранящимися в облаке. Cloud4Y подготовил список из 12 платных и бесплатных курсов п...

[Из песочницы] Различные способы передачи данных в компоненты Angular Привет, Хабр! Представляю вашему вниманию перевод статьи «Different Ways to Pass Inputs to a Component in Angular» автора Netanel Basal. В этой статье, мы разберём три разных способа передачи данных в компонент. В следующем примере мы будем использовать select как главный...

[Из песочницы] Введение в Traefik 2.0 Traefik — это обратный прокси-сервер с открытым исходным кодом, обеспечивающий простую работу с микросервисами и/или просто контейнерами с вашими приложениями. Обратный прокси-сервер (reverse proxy, реверс-прокси) служит для ретрансляции запросов из внешней сети к каким-либо...

Google Dorking или используем Гугл на максимум Вступление Google Dorks или Google Hacking — техника, используемая СМИ, следственными органами, инженерами по безопасности и любыми пользователями для создания запросов в различных поисковых системах для обнаружения скрытой информации и уязвимостях, которые можно обнаружить...

Как настроить Elasticsearch, чтобы не было утечек За последний год возникало много утечек из баз Elasticsearch (вот, вот и вот). Во многих случаях в базе хранились персональные данные. Этих утечек можно было избежать, если бы после разворачивания базы администраторы потрудились проверить несколько несложных настроек. Сегодн...

Google превзошла Apple в безопасности Резервные копии Android оказались защищены лучше, чем iOS Исторически так сложилось, что многие функции iOS сначала появлялись именно на Android. Не будем наклеивать ярлыки и обвинять одних в копировании идей других, в конце концов, большое значение имеет именно реализация, ...

Как бекапить облака? Варианты от Veeam Информация, загруженная в облако, уже никуда и никогда оттуда не пропадет! Именно так можно сформулировать одну из популярнейших IT легенд, восхваляющую незыблемость облаков и суляющую наступление всеобщего счастья от миграции с банальных on-premise серверов. Однако на дел...

Веб-сервисы в Oracle Веб-сервисы широко применяются для интеграции между компонентами одной системы или между различными системами. Популярность веб-сервисов как способа интеграции обусловлена их универсальностью, а также простотой реализации и отладки. Универсальность связана с...

Оптимизация строк в ClickHouse. Доклад Яндекса Аналитическая СУБД ClickHouse обрабатывает множество разных строк, потребляя ресурсы. Для ускорения работы системы постоянно добавляются новые оптимизации. Разработчик ClickHouse Николай Кочетов рассказывает о строковом типе данных, в том числе о новом типе, LowCardinality, ...

[Перевод] Реализация технологии SSO на базе Node.js Веб-приложения создают с использованием клиент-серверной архитектуры, применяя в качестве коммуникационного протокола HTTP. HTTP — это протокол без сохранения состояния. Каждый раз, когда браузер отправляет серверу запрос, сервер обрабатывает этот запрос независимо от других...

[Перевод] Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python Всем привет. В преддверии старта курса «Нейронные сети на Python» подготовили для вас перевод еще одного интересного материала. Рады представить вам PyCaret – библиотеку машинного обучения с открытым исходным кодом на Python для обучения и развертывания моделей с учителем...

Введение в язык запросов Cypher Язык запросов Cypher изначально разработан специально для графовой СУБД Neo4j. Целью Cypher является предоставить человеко-читаемый язык запросов к графовым базам данных похожий на SQL. На сегодня Cypher поддерживается несколькими графовыми СУБД. Для стандартизации Cypher бы...

HP 3PAR как лучшее хранилище данных Современные технологии постоянно растут и развиваются, предоставляй пользователям все больше возможностей для комфортной жизни, работы, отдыха. Однако многие даже не задумываются о том, что стоит за классными стриминговыми сервисами, веб-сайтами, мессенджерами и прочими прое...

Одна история с оператором Redis в K8s и мини-обзор утилит для анализа данных этой БД Что будет, если использовать всем известное in-memory-хранилище ключей и значений в качестве персистентной базы данных, не используя TTL? А если оно запущено с помощью надёжного, казалось бы, оператора в Kubernetes? А если в процессе увеличения реплик Redis мы внесём ещё о...

[Из песочницы] Пакетная обработка в JDBC и HIBERNATE Здравствуйте! В этой статье, я кратко расскажу о пакетной обработке SQL (DML) операторов: INSERT, UPDATE, DELETE, как одной из возможностей достижения увеличения производительности. Преимущества В отличии от последовательного выполнения каждого SQL запроса, пакетная обрабо...

Массивно-параллельная база данных Greenplum — короткий ликбез Для Hadoop и Greenplum есть возможность получить готовый SaaS. И если Хадуп — известная штука, то Greenplum (он лежит в основе продукта АrenadataDB, про который далее пойдёт речь) — интересная, но уже менее «на слуху». Arenadata DB — это распределённая СУБД на базе опенс...

Three.js и геометрия При использовании для отображения в браузере библиотеки ThreeJS в качестве первого примера обычно выступает куб или какой-либо другой простейший объект, и он создается при помощи предустановленных специальных классов BoxGeometry или SphereGeometry. Затем обычно рассматривает...

Развёртываем Hyperledger Fabric 2.0 на AWS Hyperledger Fabric — это блокчейн-платформа с открытым исходным кодом от Linux Foundation. С её помощью можно создавать блокчейн-приложения и управлять доступом и разрешениями для данных в цепочке блоков. Hyperledger Fabric стоит использовать в том случае, если требуется соз...

VictoriaMetrics и мониторинг приватных облаков. Павел Колобаев VictoriaMetrics — быстрой и масштабируемой СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик). Читать дальше &...

[recovery mode] Обработка персональных данных для мелкого интернет-магазина Знакомые впечатлились новым штрафом в КоАП в миллион рублей: Статья 13.11. Нарушение законодательства Российской Федерации в области персональных данных 8. Невыполнение оператором при сборе персональных данных… обязанности по обеспечению записи, систематизации, накопления, х...

Managed Databases в Selectel: приглашаем в бету Сегодня мы представляем открытую для тестирования бета-версию Managed Databases для PostgreSQL, использование которой будет бесплатным на период бета-тестирования. Базы данных — один из наиболее значимых и сложных компонентов любой информационной системы или приложения. Пр...

ChartView: красивые графики для iOS На прошлой неделе у нас были графики для Android, а на этой — для iOS. ChartView работает с линейными графиками, круговыми и столбцовыми диаграммами. Изображения интерактивные, автоматически адаптируются к темному режиму, полностью настраиваемы, работают и на WatchOS. ...

Индексируемое бинарное дерево Попалась мне задача следующего вида. Необходимо реализовать контейнер хранения данных обеспечивающий следующий функционал: вставить новый элемент удалить элемент по порядковому номеру получить элемент по порядковому номеру данные хранятся в сортированном виде Читать даль...

[Перевод] Как помочь pandas в обработке больших объёмов данных? Библиотека pandas — это один из лучших инструментов для разведочного анализа данных. Но это не означает, что pandas — это универсальное средство, подходящее для решения любых задач. В частности, речь идёт об обработке больших объемов данных. Мне довелось провести очень и оче...

Google вывел из беты поиск по наборам данным Сервис Google Dataset Search, запущенный в 2018 году, вышел из беты. В индексе поисковой системы содержится около 25 млн наборов данных. Поиск по наборам данных позволяет исследователям находить статистику, связанную с окружающей средой и социальными науками, правительственн...

[Перевод] Напишем и поймем Decision Tree на Python с нуля! Часть 3. Библиотека для анализа данных Pandas Привет, Хабр! Представляю вашему вниманию перевод статьи "Pythonで0からディシジョンツリーを作って理解する　（3. データ分析ライブラリPandas編）". Это третья статья из серии. Ссылки на предыдущие статьи: первая, вторая В данной статье я объясню, как работать с библиотекой Pandas, чтобы создавать De...

Trello — эффективная система управления знаниями для небольшой IT-команды Когда мы говорим о базе знаний, то обычно представляем сложную систему в большой IT-компании или корпорации. Они используют базу, чтобы хранить инструкции, документацию, курсы, карты навыков. Но базы знаний нужны даже небольшим командам. Например, дизайнерам, чтобы хранить с...

Запускаем тесты на GitLab Runner с werf — на примере SonarQube Если в качестве инфраструктуры, где разворачивается приложение, выступает Kubernetes, можно сказать, что существует два способа запуска тестов (и других утилит для анализа кода) в CI/CD: непосредственно в кластере K8s — с помощью отдельных Job или Helm hooks; «снаружи»...

Ищем цепочку событий в потоке данных с помощью FlinkCEP В данной статье речь пойдет об использовании открытой платформы Apache Flink для обнаружения цепочки последовательности событий. Статья подойдет как для начинающих разработчиков в области обработки потоковых данных, так и для тех, кто желает познакомиться с Apache Flink. Н...

Bitmark предлагает превратить персональные медицинские данные в товар Компания Bitmark создала специализированное блокчейн-приложение для преобразования личных медицинских данных — с разрешения пациентов — в цифровые активы, которые могут быть проданы, лицензированы и переданы в одноранговую сеть. Предполагается, что разработк...

Оперативная аналитика в микросервисной архитектуре: п̶о̶н̶я̶т̶ь̶ ̶и̶ ̶п̶р̶о̶с̶т̶и̶т̶ь̶ помочь и подсказать Микросервисная архитектура, как и все в этом мире, имеет свои плюсы и свои минусы. Одни процессы с ней становятся проще, другие — сложнее. И в угоду скорости изменений и лучшей масштабируемости нужно приносить свои жертвы. Одна из них — усложнение аналитики. Если в монолите ...

[Перевод] Симуляция эрозии рельефа на основе частиц Примечание: полный исходный код проекта, а также пояснения о его использовании и чтении можно найти на Github [здесь]. Я сделал перерыв в своей работе над магистерской диссертацией, чтобы потрудиться над тем, что уже давно откладывал: улучшенной генерацией рельефа для моего...

Windows 10 получает новую функцию передачи контента для Android Microsoft сейчас не делает смартфоны на Windows, но компания нашла способ сделать так, чтобы их присутствие в пространстве смартфонов ощущалось даже без их собственной мобильной ОС. Приложения Microsoft на Android хорошо работают в Play Market, и одним из последних примеров ...

Парсер данных по произвольной грамматике в 400 строк Есть много существующих инструментов для парсинга файлов по заданной грамматике. Например, ANTLR или Yacc. Они используют конечные автоматы и генерируют большие файлы с исходным кодом для парсинга. Действительно ли это так сложно? Попробуем сделать сами. В этой статье я пока...

RBK.money выпустила первый в мире open-source платежный процессинг — творим будущее вместе Привет! Если вы читали наши предыдущие посты (читали же?), то точно помните, что мы в RBK.money очень сильно за опенсорс. Настолько, что выложили в открытый доступ наш антифрод в виде открытых исходников под лицензией Apache 2.0. Как вы понимаете, нам понравилось. Одного а...

Настраиваем Continuous Integration для Jenkins и Bitbucket с werf Утилита werf создана так, чтобы её было легко интегрировать с любыми CI/CD-системами. Подробнее об этом процессе в общем случае читайте в эпилоге этой статьи, но основное её содержимое — практический пример по организации CI в Jenkins и Bitbucket. Подразумевается, что в р...

3D Secure, или что скрывают механизмы безопасности онлайн-платежей Электронная коммерция — одна из самых больших и быстро растущих областей, в связи с чем она привлекает внимание как исследователей информационной безопасности, так и злоумышленников. Поэтому хотелось бы разобраться в некоторых аспектах механизмов безопасности, применяемых п...

Tele2 внедрила с помощью "Крок" систему управления знаниями Как сообщил ComNews представитель "Крок", в данный момент в KMS Lighthouse заведено более 13 тысяч статей. Базой знаний уже пользуется три тысячи операторов и аналитиков контактного центра, а также восемь тысяч сотрудников салонов связи оператора. Ежедневно сотрудники Tele2 ...

Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин (2018г) ClickHouse — высокопроизводительная аналитическая база данных с открытыми исходниками, разработанная в Яндексе. Изначально ClickHouse создавался для задач Яндекс.Метрики, но постепенно нашёл множество применений как внутри Яндекса, так и в других компаниях. Я расскажу, как C...

[Из песочницы] Как GitLab помогает делать бэкапы больших хранилищ NextCloud Привет, Хабр! Сегодня я хочу рассказать о нашем опыте автоматизации резервного копирования больших данных хранилищ Nextcloud в разных конфигурациях. Я работаю СТО в «Молния АК», где мы занимаемся конфигурационным управлением IT систем, для хранения данных используется Nextcl...

Магия виртуализации: вводный курс в Proxmox VE Сегодня речь пойдет о том, как быстро и достаточно просто на одном физическом сервере развернуть несколько виртуальных серверов с разными операционными системами. Любому системному администратору это позволит централизованно управлять всей IT-инфраструктурой компании и экон...

Позиция Mail.ru Group по развитию opensource в России Считаем важным сегодня сформулировать позицию компании по развитию открытого исходного кода в России. Mail.ru Group — opensource-компания в своем ДНК. Мы уже много лет активно развиваем opensource-проекты — и силами отдельных разработчиков-энтузиастов, и целыми командами вну...

[Перевод] Java: свертывание многострочных логов в однострочный лог с помощью Spirng и логгера Logback или Log4j2 Logback и Log4j2 – одни из самых известных фреймворков логирования в JAVA. Фреймворк Logback используется только совместно с библиотекой SLF4J, которая представляет собой интерфейс для систем протоколирования событий. Log4j2 представляет собой вторую, улучшенную версию логге...

ACL коммутаторов в деталях ACL (Access Control List) на сетевых устройствах могут быть реализованы как аппаратно, так и программно, или привычней говоря hardware и software-based ACL. И если с software-based ACL должно быть всё понятно, — это правила которые хранятся и обрабатываются в оперативной пам...

Код в одну строку или проверка Nethermind с помощью PVS-Studio C# для Linux Данная статья приурочена к старту бета-теста PVS-Studio C# для Linux, а также плагина для Rider. По такому прекрасному поводу с помощью данных инструментов была проведена проверка исходного кода продукта Nethermind и в данной статье мы посмотрим на интересные, а иногда и за...

[Перевод] Тестирование производительности аналитических запросов в PostgreSQL, ClickHouse и clickhousedb_fdw (PostgreSQL) В этом исследовании я хотел посмотреть, какие улучшения производительности можно получить, используя источник данных ClickHouse, а не PostgreSQL. Я знаю, какие преимущества производительности при использовании ClickHouse я получаю. Будут ли эти преимущества сохранены, если я...

Infortrend анонсировала новые модели в линейке NAS EonStor CS Компания Infortrend® Technology, Inc. (код TWSE: 2495), разработчик передовых корпоративных систем хранения данных, недавно представила новые модели в линейке горизонтально масштабируемых устройств NAS EonStor CS на базе Flash-накопителей. Использова...

[Перевод] О 30-кратном увеличении параллелизма в Node.js Каков наилучший способ беспроблемного увеличения параллелизма в Node.js-сервисе, который используется в продакшне? Это — вопрос, на который моей команде понадобилось ответить пару месяцев назад. У нас запущено 4000 контейнеров Node (или «воркеров»), обеспечивающих работу на...

Google ухудшает условия пользования собственными сервисами Изменения вступят в силу 1 июня 2021 года Google Диск предлагал пользователям ряд уникальных возможностей, которыми не обладали другие облачные хранилища. Так, например, по сравнению с Apple iCloud в бесплатном доступе доступно 15 Гб свободного пространства, а не 5 Гб. При э...

Go optimizations in VictoriaMetrics. Александр Валялкин Предлагаю ознакомиться с расшифровкой доклада конца 2019 года Александра Валялкина "Go optimizations in VictoriaMetrics" VictoriaMetrics — быстрая и масштабируемая СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответст...

[Перевод] Ошибки при работе с датой и временем в SQL Server Перевод статьи подготовлен специально для студентов курса "MS SQL Server разработчик". Содержание Ошибка #1: Предполагать, что значения даты и времени хранятся в виде форматированных строк Ошибка #2: Забыть о людях, которые живут в других частях света Ошибка #3: ...

[Перевод] Python Gateway в InterSystems IRIS Эта статья посвящена Python Gateway — комьюнити-проекту с открытым исходным кодом для платформы данных InterSystems IRIS. Этот проект позволяет оркестрировать любые алгоритмы машинного обучения, созданные на языке Python (основная среда для многих Data Scientists), использов...

IDA Pro: работа с библиотечным кодом (не WinAPI) Всем привет, При работе в IDA мне, да и, наверняка, вам тоже, часто приходится иметь дело с приложениями, которые имеют достаточно большой объём кода, не имеют символьной информации и, к тому же, содержат много библиотечного кода. Зачастую такой код нужно уметь отличать от ...

Переезжаем на ClickHouse: 3 года спустя Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHo...

Записи тысяч видеозвонков пользователей Zoom утекли в Сеть Видео были размещены на YouTube и Vimeo. Среди прочих в открытом доступе оказались записи школьных уроков, онлайн-консультаций с врачами и рабочих встреч. Судя по всему, файлы хранились в облаке, а доступ к ним не был защищен паролем.

GridGain и Intel обеспечат поддержку энергонезависимой памяти Intel Optane 200 серии для векторных вычислений GridGain Systems, поставщик корпоративных решений для вычислений в оперативной памяти (In-Memory) на основе распределенной базы данных Apache Ignite, объявила о партнерстве с компанией Intel. Цель сотрудничества - создание первой в отрасли платформы In-Memory-вычислений на б...

Опыт создания web-приложения с Pony ORM Привет, Хабр! Недавно передо мной встала задача написать на Python web-приложение для разделения счёта в ресторане между участниками трапезы. Так как нужна DB для хранения данных о заказах и пользователях, встал вопрос выбора ORM для работы с базой. Разработка велась на Flas...

[Перевод] Высокопроизводительный TSDB benchmark VictoriaMetrics vs TimescaleDB vs InfluxDB VictoriaMetrics, TimescaleDB и InfluxDB были сравнены в предыдущей статье по набору данных с миллиардом точек данных, принадлежащих 40K уникальным временным рядам. Несколько лет назад была эпоха Zabbix. Каждый bare metal сервер имел не более нескольких показателей – использ...

[Перевод - recovery mode ] Делаем быстрее POSTGRESQL COUNT (*) Часто жалуются, что count (*) в PostgreSQL очень медленный. В этой статье я хочу изучить варианты, чтобы вы получили результат как можно быстрее. Почему count (*) такой медленный? Большинство людей без проблем понимают, что следующий запрос будет выполняться медленно: S...

Nutanix дополняет свою гибридную облачную платформу сервисами хранения Новые возможности основаны на решениях Nutanix Clusters, позволяющих запускать программную гиперконвергентную платформу Nutanix в облаке AWS, а в будущем и в Microsoft Azure. Компания продолжает создавать продукты, которые могут использоваться на разных облачных платформах, ...

[Перевод] Loki — сбор логов, используя подход Prometheus Салют, хабровчане! В преддверии старта нового набора на курс «DevOps практики и инструменты» подготовили для вас перевод интересного материала. Эта статья — краткое введение в Loki. Проект Loki поддерживается Grafana и направлен на централизованный сбор логов (с серверов ил...

Cassandra. Как не умереть, если знаешь только Oracle Привет, Хабр. Меня зовут Миша Бутримов, я хотел бы хотел немного рассказать про Cassandra. Мой рассказ будет полезен тем, кто никогда не сталкивался с NoSQL-базами, — у нее есть очень много особенностей реализации и подводных камней, про которые нужно знать. И если кроме Or...

[Перевод] Как я получил сертификат TensorFlow-разработчика (и как его получить вам) В начале мая я решил получить сертификат TensorFlow-разработчика. Для этого я разработал программу обучения для совершенствования своих навыков и выполнил задания сертификационного экзамена пару дней назад (3 июня). Оказалось, что я сдал экзамен успешно. Позвольте мне рас...

Как добавить билет на поезд в Google Pay Пользователи iOS знают, насколько удобно приложение Wallet. Туда, помимо банковских карт, используемых для оплаты через Apple Pay, можно добавить много чего ещё – от пропусков и дисконтных карт до проездных и посадочных талонов. Всё делается настолько просто, что привыкаешь...

Идеальный инструмент для работы с СУБД без SQL для Node.js или Все, что вы хотели знать о Sequelize. Часть 2 Представляю вашему вниманию руководство по Sequelize. Sequelize — это ORM (Object-Relational Mapping — объектно-реляционное отображение или преобразование) для работы с такими СУБД (системами управления (реляционными) базами данных, Relational Database Management System, RD...

Создание Dashboard в Kibana для мониторинга логов Привет, меня зовут Евгений, я тимлид B2B-направления в Ситимобил. Одной из задач нашей команды является поддержка интеграций по заказу такси от партнеров, и для обеспечения стабильного сервиса мы всегда должны понимать, что происходит в наших микросервисах. И для этого над...

[Перевод] Использование Redis в инфраструктурных микросервисах В 2019 году я писал о том, как создать хранилище событий, основанное на Redis. Я рассказывал о том, что потоки Redis хорошо подходят для организации хранения событий, так как они позволяют хранить события с использованием иммутабельного механизма, напоминающего журнал транза...

[Перевод] Про SSH Agent Введение SSH-agent является частью OpenSSH. В этом посте я объясню, что такое агент, как его использовать и как он работает, чтобы сохранить ваши ключи в безопасности. Я также опишу переадресацию агента и то, как она работает. Я помогу вам снизить риск при использовании пере...

Генерация URL с параметрами на коленке и best practice Как-то я увидел в проекте соседней команды код, который генерировал строку с URL-параметрами для последующей вставки в iframe src-атрибут. Эта статья может показаться лишней, очевидной или слишком простой, но раз такое встречается в живой природе, об этом не стоит молчать, а...

SAS и Red Hat совместно создали новое решение для эффективного использования аналитики в гибридной облачной среде В рамках технологического партнерства SAS создает лучшее в своем классе гибридное облачное аналитическое решение, предоставляя свою платформу на инфраструктуре Red Hat OpenShift, одной из наиболее востребованных корпоративных реализаций Kubernetes от Red Hat, ведущего в мире...

Персональные данные 74% населения Израиля оказались в открытом доступе О том, что база данных, содержащая имена, адреса, серии и номера удостоверяющих личности документов, номера телефонов, домашние адреса, возраст, пол, а также политические взгляды около 6,5 млн избирателей, первым сообщил израильский разработчик Ран Бар-Зик (Ran Bar-Zik). Зат...

[Из песочницы] Парсер Блокчейна в 300 строчек на Питоне В далёком 2015 году, когда криптовалютам ещё не уделялось такое внимание широкой общественности как сейчас, мне пришла в голову мысль узнать в подробностях — что такое блокчейн, криптовалюты и Биткоин, в частности. Попытки провести детальный анализ исходного кода проекта ...

Собираем логи с Loki Мы в Badoo постоянно мониторим свежие технологии и оцениваем, стоит ли использовать их в нашей системе. Одним из таких исследований и хотим поделиться с сообществом. Оно посвящено Loki — системе агрегирования логов. Loki — это решение для хранения и просмотра логов, также э...

Пентагон создает единую систему управления учетными записями военных KPMG должна будет создать прототип система, который включит в себя облачное и локальное программное обеспечение для управления доступом и учетными записями. Он позволит защитить компьютерные системы агентства и хранящуюся на них информацию от несанкционированного доступа. Кр...

[Перевод] Решение проблемы N+1 запроса без увеличения потребления памяти в Laravel Одна из основных проблем разработчиков, когда они создают приложение с ORM — это N+1 запрос в их приложениях. Проблема N+1 запроса — это не эффективный способ обращения к базе данных, когда приложение генерирует запрос на каждый вызов объекта. Эта проблема обычно возникает, ...

PubSub почти бесплатно: особенности NOTIFY в PostgreSQL Если ваши микросервисы уже используют общую базу PostgreSQL для хранения данных, или ей пользуются несколько экземпляров одного сервиса на разных серверах, можно относительно «дешево» получить возможность обмена сообщениями (PubSub) между ними без интеграции в архитектуру Re...

Новые шаблоны — IPMI, Mikrotik, MSSQL Статья написана на основе доклада Максима Чудинова, инженера-интегратора Zabbix. В этой статье мы расскажем о некоторых новых шаблонах, добавленных в версию Zabbix 5.0. IPMI Шаблон IPMI работает только с пятой версией системы мониторинга Zabbix, потому что построен на новом...

Генеалогические исследования — метрические книги, переписи, архивы, открытые базы Не один год я увлекаюсь генеалогией. Практической пользы в этом хобби нет, но интересного очень много. Здесь я хотел поделиться накопленным опытом, частью интересных сведений, не сильно погружаясь в персональные истории. Чтобы текст сильно не распухал, расскажу всего 2 кейса...

[Из песочницы] Spring Boot vs Spring MVC vs Spring — Как они сравниваются? Spring Boot vs Spring MVC vs Spring — Как они сравниваются? Spring, Spring Boot, Spring MVC, везде есть слово “spring”! Давайте пройдемся где и когда вы можете применять каждый из этих инструментов В этой статье, вы увидите обзоры: Spring, Spring MVC, и Spring Boot, узнает...

[Перевод] Примеры GraphQL на Java для начинающих [со Spring Boot] В этой статье мы рассмотрим пример GraphQL на Java и создадим простой сервер GraphQL со Spring Boot. Таким цыпочкам тоже нравятся примеры GraphQL на Java со Spring Boot! GraphQL — это язык запросов для API, который позволяет клиентам запрашивать ограниченное множество данны...

Разрабатываем чат на React с использованием Socket.IO Доброго времени суток, друзья! Хочу поделиться с вами опытом разработки простого чата на React с помощью библиотеки «Socket.IO». Предполагается, что вы знакомы с названной библиотекой. Если не знакомы, то вот соответствующее руководство с примерами создания «тудушки» и ч...

HighLoad++, Анастасия Цымбалюк, Станислав Целовальников (Сбербанк): как мы стали MDA Следующая конференция HighLoad++ пройдет 6 и 7 апреля 2020 года в Санкт-Петербурге Подробности и билеты по ссылке. HighLoad++ Siberia 2019. Зал «Красноярск». 25 июня, 14:00. Тезисы и презентация. Разработать промышленную систему управления и распространения данных с нуля — ...

[recovery mode] Как искусственный интеллект может улучшить киберфизические системы? Что такое киберфизические системы, почему они так актуальны сегодня, и какую роль в их развитии играет искусственный интеллект? Изучение различных свойств информационно-технических систем с точки зрения взаимодействия их физической и цифровой составляющих — новое и актуаль...

[Из песочницы] Riak Cloud Storage. Часть 1. Настройка Riak KV Riak CS (Cloud Storage) – лёгкое в использовании программное обеспечение для организации хранилища объектов, работающее поверх Riak KV. Riak (KV) это распределённая NoSQL база данных типа «ключ-значение(key-value)». Riak CS спроектирована так, чтобы обеспечить простоту, дост...

Парсер командной строки на .NET5 Сегодня мы собираемся показать вам, как начать парсинг аргументов командной строки. Кстати, это один пост из серии статей о .NET 5. У нас есть еще много интересного.Приложения командной строки, также известные как консольные приложения, - это программы, созданные для использ...

[Перевод] Тысячи забытых TODO в коде Kubernetes Фото Yancy Min на Unsplash Kubernetes — большой проект. Не только потому, что очень востребован, но и с точки зрения исходного кода. На момент написания этой статьи насчитывалось более 86 000 коммитов, более 2000 участников, более 2000 открытых тикетов, более 1000 открыты...

Рост на 146% Как отметил технический директор Qrator Labs Артем Гавриченков, в 2019 году злоумышленники продолжали использовать технологии амплификации, позволяющие им значительно усиливать мощность своих атак. Атакающие отправляется запрос на уязвимый сервер, принадлежащей третьей сторо...

Расчет перцентилей для мониторинга высоконагруженных систем Привет, меня зовут Игорь, и я разработчик решений на Tarantool в Mail.ru Group. Я работаю над витринами маркетинга в реальном времени для Мегафона. При мониторинге часто требуется использовать перцентили. Они позволяют понять, как система работает бóльшую часть времени, в о...

Сергей Зайченко: «Если вы не знаете, где брать данные, берите их из OSM» Сергей Зайченко является одним из создателей картосервиса поискового портала «Спутник», в основе которого OpenStreetMap. Наверное, это один из самых удачных и масштабных примеров использования данных из OSM в рунете. Почему было решено использовать OSM, зачем развивали соо...

Google Pixel 4 будет «подглядывать» за вами, чтобы стать лучше Функция Face Unlock на смартфонах Google Pixel 4 и Pixel 4 XL работает, как известно, очень быстро. Это обусловлено и аппаратной, и программной составляющей данного решения. Однако Google хочет, чтобы Face Unlock работала ещё лучше и ещё быстрее. Поэтому, как со...

Сравнение производительности HashiCorp Vault с разными бэкендами Vault — Open Source-решение от HashiCorp для управления секретами. Его изначальная ориентированность на модульность и масштабируемость позволяет запускать как небольшой dev-сервер Vault на своем ноутбуке, так и полноценный HA-кластер для production-сред.Начиная работать с Va...

Безопасность REST API от А до ПИ Введение Умение реализовать грамотное REST API — полезный навык в наше время, т.к. все больше сервисов предоставляют свои возможности с помощью API. Но разработка REST API не ограничивается реализацией HTTP запросов в определенном стиле и формированием ответов в соответстви...

NocoDB, open-source аналог Airtable Airtable — классный инструмент, заслуживший признание у бизнеса по всему миру. Возможность работать с базами данных в удобном no-code интерфейсе с разными представлениями и типами данных не нова, но если в Spreadsheets (где таблица даже не является базой) данные приходилос...

В ноутбуке Asus Zenbook 14 (UX434IQ) процессор AMD Ryzen 7 4700U будет дополнен видеокартой Nvidia GeForce MX350 По данным источника, Asus готовит к выпуску мобильный компьютер Zenbook 14 (UX434IQ), в котором процессор AMD Ryzen 7 4700U (Renoir) будет дополнен видеокартой Nvidia GeForce MX350 начального уровня. Эта модель уже появилась в базе данных теста Futuremark. В распоряжен...

Ноутбуки с жёсткими дисками исчезнут из продажи в Западной Европе к концу года Снижение цен на твердотельные накопители достигло уровня, после которого нет смысла думать о конфигурации ноутбука с жёстким диском в качестве основного накопителя. Значимую роль в этом сыграло двухгодичное снижение цен на флеш-память. Поэтому к концу года новых моделей ноут...

Intel показала совместную работу её встроенной графики с дискретными видеокартами Почти все потребительские процессоры Intel оснащены встроенной графикой, однако многие системы, особенно настольные, всё же полагаются на дискретные видеокарты, и «встройка» в них не используется. Поэтому компания Intel решила провести исследование, в каких случаях можно исп...

Нерушимая PostgreSQL, или Как обеспечить отказоустойчивость для «открытой» СУБД На просторах Интернета море информации о том, как построить отказоустойчивую систему управления базами данных PostgreSQL. Но она слабо применима к задачам крупных компаний и не выдерживает строгости требований стандартов enterprise. В проекте создания ИТ-инфраструктуры для н...

Китай принял свой «пакет Яровой» В конце прошлого года китайское правительство представило новый закон о киберпезопасности, так называемую Многоуровневую схему кибебезопасности (Cybersecurity Muti-Level Protection Scheme, MLPS 2.0). Закон, вступивший в силу в декабре, фактически означает, что правительств...

MaxPatrol SIEM выявляет атаки на СУБД Microsoft SQL Server Новый пакет экспертизы в MaxPatrol SIEM поможет пользователям выявить подозрительную активность в системах управления базами данных Microsoft SQL Server. В состав пакета вошли правила, которые позволяют обнаружить атаку на разных ...

Немного SQL алхимии О популярной библиотеке SQLAlchemy для работы с разными СУБД из Python было написано довольно много статей. Предлагаю вашему вниманию обзор и сравнение запросов с использованием ORM и SQL подходов. Данное руководство будет интересно прежде всего начинающим разработчикам, пос...

Телемедицинский сервис Ростеха позволил врачам увеличить число онлайн-консультаций в 10 раз Одним из первых учреждений, где внедрена новая система, стала Краевая клиническая больница - крупнейшая многопрофильная клиника Красноярского края. В условиях карантина из-за коронавируса использование нового программного обеспечения позволило за неделю сократить количество ...

На платформе ICT.Moscow была создана база знаний с мировыми кейсами использования искусственного интеллекта Своим комментарием к созданию в российской столице базы знаний с мировыми кейсами использования искусственного интеллекта (ИИ) поделилась вице-мэр мегаполиса Наталья Сергунина. Отмечается, что платформой для ее создания выступила ICT.Moscow, сейчас в онлайн-базе можно найти ...

Что такое платформа как услуга (PaaS)? В модели «Платформа как услуга» (PaaS) разработчики, по сути, арендуют все, что им нужно для создания приложения, полагаясь на облачного провайдера для средств разработки, инфраструктуры и операционных систем. Это одна из трех сервисных моделей облачных вычислений. PaaS знач...

Micron представила движок хранения данных с открытым исходным кодом Micron Technology, сегодня анонсировала первый движок хранения данных с открытым исходным кодом (HSE), разработанный специально для твердотельных накопителей (SSD) и памяти класса хранения (SCM). Подробнее об этом читайте на THG.ru.

Как создать сайт на хостинге Lightsail от Amazon Web Services Хостингов много не бывает. Каждый новый вносит свою долю новизны на рынок услуг, что положительно сказывается на конкуренции, ценах и условиях работы в целом. Посмотрим, что предлагает компания Amazon с их облачной платформой Lightsail. Что такое Amazon Web Services A...

Данные 235 миллионов аккаунтов Instagram, YouTube и TikTok утекли в сеть. Что делать? Простой пример: вы пристегнули велосипед на улице замком к фонарному столбу. В каком случае вероятность того, что его украдут будет выше, в этом, или если он хранится дома? Ответ очевиден и пусть пример немного грубый, но практически так и работает то, что ваши учетные данн...

Анализ и хранение больших данных: так ли неизбежен переход в облака? Популярность аналитических облачных сервисов растет. Но станет ли успешным облачное хранение больших данных? Возможность использования облаков для хранения больших данных рассматривается сегодня во многих крупных российских компаниях. Сергей Золотарёв, генеральный директо...

Парсинг и аудит Начнем с идеи. Допустим, вы, как настоящий аудитор, хотите провести экспертизу отчетности заводчика собак, используя в том числе и сторонние ресурсы. Для этого вы пробуете получить систематизированную информацию о щенках заводчика, зная, к примеру, лишь название их пород, ...

Обзор некоммерческого проекта MyVPN с открытым исходным кодом Приложение MyVPN с открытым исходным кодом позволяет автоматизировать управление виртуальными частными сетями. Для его использования не потребуются навыки системного администрирования. Читать дальше →

Мне хватит и 16 ГБ памяти на смартфоне. Как я справляюсь Я всегда покупал и покупаю смартфоны с минимальным объёмом памяти и никогда не понимал тех, кто предпочитает брать максимальную конфигурацию. Для меня это был осознанный выбор, который я делал не из соображений экономии, хотя и она, конечно, тоже подстёгивала, а именно из-з...

Почему не освобождается место при удалении файлов с флешки в macOS При удаленно файлов на съемном накопителей данные не пропадают бесследно, а помещаются в корзину. При этом на диске появляется скрытая папка .Trashes, в которой хранится информация об удаленных файлах и данные для их восстановления. Для того, чтобы после удаления файло...

OrbitDB — децентрализованная база данных на IPFS Мы уже рассказывали про InterPlanetary File System, распределённую сеть поверх одноимённого p2p-протокола с доступом к данным по HTTP. Данные в ней не поддаются изменению (не блокчейн, но часть принципов совпадает), хранятся неограниченно долго и у неё даже есть система ре...

На распознавание лиц москвичей мэрия готова потратить еще почти 2 млрд руб. Конкурс на поставку оборудования для "системы обработки видеоданных… в части транспортного сегмента" объявило АО "Электронная Москва", сообщает "КоммерсантЪ". В техзадании фигурируют 454 мощных сервера, большая часть в формате "блей...

Flutter, Dart — локальная база в сотни раз более быстрая чем SQLite или Shared Preferencies Примерно месяц назад общаясь с одним разработчиком приложения на Flutter встала проблема торможения обработки маленьких (в десятках тысяч) массивов данных на телефоне юзера. Многие приложения предполагают обработку данных на телефоне и, далее, их синхронизацию с бэкендом. На...

Хостим Bitwarden — open-source менеджер паролей Менеджеры паролей действительно полезны и важны как для отдельных пользователей, так и для организаций, и они пригодятся, когда у вас много разных учетных записей и паролей. Обычно люди не любят пользоваться сторонними менеджерами паролей с сервисной архитектурой — неизвес...

База данных как сервис: когда, зачем и как использовать DBaaS в облаке Database by Julian-Faylona Многие облачные платформы предлагают базы данных как сервис (Database as a Service, DBaaS). Базу можно создать в облаке в несколько кликов, не тратя время на настройку и поддержку. Но не всем приложениям облачные базы данных подходят. Мы расскажем...

Debouncing с помощью React Hooks: хук для функций Здравствуйте! Меня зовут Игорь Шамаев, я главный инженер по разработке в команде SmartData. Занимаюсь fullstack-разработкой внутренней аналитической BI-системы. В нашей компании React принят в качестве основного стандарта для построения пользовательских интерфейсов. Как и бо...

Установка Ispconfig3 на ubuntu 20.04 (nginx+php-fpm+mysql) ISPConfig - бесплатная панель управления хостингом с открытым исходным кодом c возможностью управлять несколькими серверами из одной панели управления. Это один из лучших вариантов для веб-студий, хостинг-компаний, а так же для всех, кто ищет бесплатную панель управления хос...

Вирус проверка онлайн, или как проверить компьютер без установки привычного антивируса Безопасность компьютеров и хранящихся на них данных является одной из главных проблем современного общества. Все больше и больше наша повседневная жизнь зависит от компьютеров, начиная от работы и заканчивая онлайн-шопингом и доставкой продуктов на дом, поэтому очень важно з...

Google лишает пользователей бесплатного безлимита Компания Google кардинально изменила свою политику в отношении хранения данных пользователей учётных записей Google. Вскоре пользователи не смогут бездумно загружать гигабайты на сервера компании — бесплатное безлимитное хранение станет недоступно и за доступ к х...

Visiology: мониторинг ситуации по COVID-19 в Нижегородской области В Нижегородской области создан высокотехнологичный «Центр управления регионом». В Нижегородской области создан высокотехнологичный «Центр управления регионом» (ЦУР), в пилотном режиме проект начал работу 2 апреля. Российская аналитическая платформа Vis...

От облака до стратегии: облачные технологии на основе решений Hitachi Vantara Hitachi Vantara обеспечивает поддержку при создании частных, гибридных, общедоступных и мультиоблачных инфраструктур, позволяя быстрее и полнее раскрыть их возможности и преимущества. Рост конкуренции между поставщиками облачных услуг обеспечивает более высокую доступност...

Представлена система хранения Synology SA3200D Компания Synology объявила о выпуске системы хранения данных SA3200D, относящейся к корпоративному сегменту. Новая модель семейства масштабируемых и высокопроизводительных систем хранения Synology SA оснащена двумя контроллерами и предназначена для ключевых сервисов пре...

Использование токенов (шорткодов) для строк в Laravel Введение При разработки веб-сайтов и приложений, довольно часто возникает необходимость динамического формирование строк контента. Решается это по разному, кто то использует str_replace(), кто то делает поиск и замену с помощью регулярок, а кто то использует другие способы. ...

Hitachi Vantara разработала самые быстрые в мире хранилища данных Hitachi Vantara представила новый класс корпоративных СХД на базе технологий искусственного интеллекта на основе флеш-технологий с показателем доступности 99,999999%. Описание В октябре Hitachi Vantara представила...

Обзор Toshiba X300 8Tb (HDWF180EZSTA). Самый доступный жесткий диск 8 Тбайт В вопросе пересчета стоимости за 1 Гбайт под хранение данных твердотельные диски в ближайшем будущем не смогут обойти жесткие диски. Особенно если касается решения задачи хранения больших объемов данных или организации рейда с резервированием. Поэтому оптимальным под организ...

[Из песочницы] Сравнение 3 бесплатных решений для управления информацией о товарах (PIM систем) На рынке доступно множество коммерческих решений для управления информацией о товарах (PIM). И есть 3 бесплатных решения с открытым исходным кодом: Akeneo, Pimcore и OpenPIM, которые вы можете использовать для внедрения системы PIM в своей компании. Я собираюсь сравнить эт...

Apple рассказала, зачем сканирует ваши фотографии в iCloud В прошлом году Apple решила, что имеет право сканировать ваши фотографии, а вы и не знали Apple всегда очень трепетно относилась к конфиденциальности своих пользователей, а потому готова была горой становиться на защиту их персональных данных. Однажды компания даже стала фиг...

[Перевод] Разворачиваем вложенные столбцы — списки с помощью языка R (пакет tidyr) В большинстве случаев при работе с ответом полученным от API, или с любыми другими данными которые имеют сложную древовидную структуру, вы сталкиваетесь с форматами JSON и XML. Эти форматы имеют множество преимуществ: они достаточно компактно хранят данные и позволяют избежа...

[Перевод] Запускаем однофайловые программы в Java 11 без компилирования Пусть исходный файл HelloUniverse.java содержит определение класса и статичный метод main, который выводит в терминал одну строку текста: public class HelloUniverse{ public static void main(String[] args) { System.out.println("Hello InfoQ Universe"); ...

Типизированные запросы OData в TypeScript Традиционно запросы OData к данным выражаются в виде простых строк без проверки типов при компиляции или без поддержки IntelliSense, кроме того, разработчику приходится изучать синтаксис языка запросов. Данная статья описывает библиотеку TsToOdata, которая превращает запрос...

[Перевод] Celery throttling — настраивам rate limit для очередей ​ В этой статье я покажу как решить одну из проблем, возникающих при использовании распределенных очередей задач — регулирование пропускной способности очереди, или же, более простым языком, настройка ее rate limit'a. В качестве примера я возьму python и свою любимую связку ...

Почему я не люблю телефоны с картами памяти Думаю вы заметили, что производители постепенно начали отказываться от смартфонов с картами памяти. Конечно, недорогие модели с небольшим объемом памяти продолжают комплектоваться соответствующим слотом, но у флагманов карты памяти встречаются все реже. Этому есть логическо...

Dell Technologies и «Открытые Технологии» представили новейшие СХД Массивы хранения Dell EMC Power Store и PowerScale обеспечивают обработку структурированных и неструктурированных данных в соответствии с требованиями современного бизнеса. Компания Dell Technologies и ее титановый партнер «Открытые Технологии» представили в России новей...

В России предложили создать аналог GitHub за ₽2 млрд на случай отключения Более 2 млрд руб. в федеральном проекте "Искусственный интеллект" предложено выделить на создание хранилища открытого кода. Расходы должны оправдаться в случае отключения России от принадлежащего Microsoft хранилища GitHub Министерство экономического развития (МЭР) предложи...

Опыт использования gRPC в Почте Mail.ru Привет, Хабр! Я работаю в команде Антиспама Почты Mail.ru. В этой статье я бы хотел рассказать про наш опыт запуска сервиса с пропускной способностью около 3 миллионов запросов в минуту на базе технологии gRPC. Это современная технология передачи данных по сети, которая реа...

(Не)очередной MQTT телеграм бот для IoT Всем привет! Сегодня хочу поделиться опытом разработки универсального телеграм бота для получения информации и управления IoT устройствами посредством протокола MQTT. Почему (не)очередной? Потому что это не просто бот с двумя захардкоженными кнопками для управление лампочк...

[Перевод] Как облако Alibaba Cloud управляет десятками тысяч кластеров Kubernetes с помощью… Kubernetes Куб-на-кубе, метакластеры, соты, распределение ресурсов Рис. 1. Экосистема Kubernetes в облаке Alibaba Cloud С 2015 года Alibaba Cloud Container Service for Kubernetes (ACK) является одним из самых быстрорастущих облачных сервисов в Alibaba Cloud. Он обслуживает многочисле...

Сканирующее окно по массивам NumPy CoLab блокнот с примерами Возможно сделать скользящее окно (rolling window, sliding window, moving window) по массивам NumPy на языке программирования Python без явных циклов. В данной статье рассматривается создание одно-, двух-, трех- и N-мерных скользящих окон по массивам...

[Из песочницы] Ускоряемся в Entity Framework Core Не будь жадиной! При выборке данных выбирать нужно ровно столько сколько нужно за один раз. Никогда не извлекайте все данные из таблицы! Неправильно: using var ctx = new EFCoreTestContext(optionsBuilder.Options); // Мы возвращаем колонку ID с сервера, но ни...

Данные пользователей Avito и «Юлы» утекли в сеть Данные пользователей двух популярных в России сервисов объявлений Avito и «Юлы» утекли в сеть. Об этом сообщило издание «Коммерсантъ».  Журналисты обнаружили на «одном хакерском форуме» три базы Avito и три «Юлы». Фа...

Как выжить SQL-базе в 21 веке: облака, Kubernetes и PostgreSQL multimaster Привет, хабровчане. Сегодня стартуют занятия в первой группе курса «PostgreSQL». В связи с этим, хотим рассказать вам о том, как проходил открытый вебинар по данному курсу. В очередном открытом уроке поговорили о том, с какими вызовами столкнулись SQL-базы в эру облаков и...

[Перевод] Вставка реальных объектов в Unity с помощью Meshroom Из этой статьи вы узнаете, как использовать фотограмметрию для фотосканирования и вставки объектов реального мира в проекты Unity при помощи Meshroom. В контексте 3d-моделей фотограмметрия — это процесс создания 3D-моделей из отсканированных объектов. Вам нужны реалистичн...

[Из песочницы] Политика конфиденциальности и условия использования как обязательный атрибут IT продукта Меня зовут Александр Явтушенко и уже 4 года я работаю в сфере IT права. Последнее время все чаще сайты и приложения, которые я сопровождаю по части правового обеспечения их деятельности, начинают задумываться или непосредственно внедрять различные правила и политики связанны...

Ищете надежную и проверенную онлайн рендер ферму? Загляните на сайт «AnimaRender» В наше время очень многие компании интересуются рендер фермами. Если вы также ищете в сети информацию по запросу «3ds max рендер ферма», то вы однозначно попали по адресу. Прежде всего, необходимо разобраться, что это такое? Если говорить простыми словами, то это специализир...

Российский вертолёт станет единственным в мире с системой широкополосной связи Отечественный разведывательно-ударные вертолёты Ка-52 «Аллигатор» оснастят системой широкополосной связи, позволяющей передавать большие объёмы информации на высокой скорости. Разработка создана специалистами российской компании АО «РТИ». «Мы ведем разработки системы широкоп...

Замена дисков меньшего объёма на диски большего объёма в Linux Всем привет. В преддверии старта новой группы курса «Администратор Linux» публикуем полезный материал, написанный нашим студентом, а также наставником на курсах, специалистом технической поддержки корпоративных продуктов REG.RU — Романом Травиным. В данной статье будет расс...

[Перевод] Создаём 2,5D-игру жанра Dungeon Crawling в Unity В этой статье мы расскажем, как можно воссоздать старые игры жанра dungeon crawler в Unity. Eye of the Beholder (1991 год) и SMT If (1994 год) Базовый ассет «карты» для уровня нашего подземелья. Большинство dungeon crawler-ов 90-х, в том числе и наш — это листы спрайт...

Google пообещала удалять из поисковой строки политические запросы Когда вводишь запрос в поисковой строке Google, система начинает давать подсказки в виде самых популярных запросов пользователей. Как бы это странно ни звучало, иногда у компании возникают репутационные проблемы из-за этой опции. Чтобы избежать обвинений во вмешательстве в в...

IDC: мировая ёмкость средств хранения данных в 2020 году достигнет 6,8 зеттабайт Компания International Data Corporation (IDC) прогнозирует, что мировая ёмкость средств хранения данных разных уровней продолжит расти, несмотря на сокращение глобального IT-рынка в связи с пандемией и нестабильной экономической ситуацией. В нынешнем году, по мнению аналитик...

Entity Framework Core Привет, друзья. В этот чудесный майский день мы продолжаем трудиться и сегодня хотим рассказать о том, что в мае OTUS запускает полюбившийся всем курс «Разработчик С#», а также отдельный курс по С# ASP. NET Core. Традиционно, в преддверии старта курсов начинаем публиковать п...

Для энергетиков разработают геоинформационную систему Новая IT-система автоматизирует процесс обработки, хранения и анализа данных об электросетевых объектах. Таким образом, операторы сервиса смогут в режиме онлайн наблюдать за состоянием инфраструктурных объектов в привязке к их месторасположению и оперативно определять, где т...

[Перевод] Руководство по FFmpeg libav Долго искал книгу, в которой было бы разжёвано, как использовать FFmpeg в качестве библиотеки (в дальнейшем в тексте — libav, т.е. library audio video). Обнаружил учебник «Как написать видеоплеер и уложиться в менее чем тысячу строк». К сожалению, информация там устаревшая,...

2.Elastic stack: анализ security логов. Logstash В прошлой статье мы познакомились со стеком ELK, из каких программных продуктов он состоит. И первая задача с которой сталкивается инженер при работе с ELK стеком это отправление логов для хранения в elasticsearch для последующего анализа. Однако, это просто лишь на словах...

Российская компания впервые вошла в отчет Gartner по MDM-решениям «Юнидата» включена список ведущих игроков рынка управления мастер-данными Gartner's Magic Quadrant for Master Data Management Solutions. В январе 2020 года крупнейшее и авторитетнейшее международное аналитическое агентство Gartner опубликовало рейтинг лучших мировых ...

Как пандемия навсегда изменила TikTok и другие социальные сети Социальные сети, как явление, возникли относительно недавно. Сначала они были просто популярны, но не так, как сейчас. Люди пользовались ими с компьютера, что было не так удобно, да и качество самих социальных сетей оставляло желать лучшего. Постепенно все менялось, и когда...

Цифровые люди Samsung Neon не отберут у вас работу На выставке CES 2020 компания Samsung представила, наверное, свой самый необычный продукт — Neon. Сама Samsung не дала внятного термина, описывающего данную разработку, но в целом Neon — это цифровой человек с искусственным интеллектом. При этом Neon...

Как заменить target-action и delegate замыканиями Apple предоставляет различные варианты обработки данных и событий в iOS приложениях. Обработка событий UIControl происходит через паттерн target-action. В документации к UIControl написано следующее: The target-action mechanism simplifies the code that you write to use contr...

PostgreSQL Antipatterns: «Должен остаться только один!» На SQL вы описываете «что» хотите получить, а не «как» это должно исполняться. Поэтому проблема разработки SQL-запросов в стиле «как слышится, так и пишется» занимает свое почетное место, наряду с особенностями вычисления условий в SQL. Сегодня на предельно простых примера...

GS Group: популярность SSD в России растёт, но по суммарному объёму доля HDD составляет 88 % Аналитический центр холдинга GS Group выпустил отчёт о поставках накопителей данных в Россию за последние годы. Объём импорта HDD и SSD в 2019 году составил 9,1 млн штук, в то время время как в 2018 году было ввезено 8,7 млн накопителей. В последние два года этот рынок растё...

Блокчейн-платформа как услуга Технология крупнейшей в Казахстане телекоммуникационной компании базируется на платформе Hyperledger Fabric и позволяет создавать и размещать корпоративные блокчейн-системы на базе распределенной инфраструктуры дата-центров "Казахтелеком".По словам руководителя слу...

Соцсеть Whisper хранила данные сотен миллионов пользователей в открытом доступе Конфиденциальная информация пользователей анонимной социальной сети Whisper хранилась в незащищенной паролем онлайн-базе. Об этом The Washington Post сообщили независимые исследователи по кибербезопасности из Twelve Security. С момента запуска приложения в открытый доступ по...

24-й Российский Интернет Форум стартует онлайн 15 апреля 2020 года в 11:00 состоится открытие и главная аналитическая панель онлайн-части легендарного форума РИФ+КИБ — РИФ.онлайн. РИФ.онлайн станет одним из самых длительных форумов про интернет-бизнес — за 5 месяцев будет проведено 100+ онлайн-секций, записано 200+ часов...

Телепортация тонн данных в PostgreSQL Сегодня я поделюсь некоторыми полезными архитектурными решениями, которые возникли в процессе развития нашего инструмента массового анализа производительности серверов PostgeSQL, и которые помогают нам сейчас «умещать» полноценный мониторинг и анализ более тысячи хостов в то...

Применение принципов функционального программирования при проектировании ERP Привет, Хабр! В этой статье мы попробуем взглянуть на архитектуру учетных систем (ERP, CRM, WMS, MES, B2B, ...) с позиций функционального программирования. Существующие системы сложны. Они базируются на реляционной схеме данных, и имеют огромный мутабельный стейт в виде сот...

Руководство по Node.js для начинающих. Часть 3 Доброго времени суток, друзья! Продолжаю публиковать перевод этого руководства по Node.js. Другие части: Часть 1 Часть 2 Часть 3 Получение данных, введенных пользователем, в Node.js Как сделать Node.js-программу интерактивной? Для этого в 7 версии Node.js представлен м...

[Из песочницы] Геокодирование. Как привязать 250 тысяч адресов к координатам за 10 минут? Привет, Хабр! В этой статье я хотел бы поделиться опытом решения маленькой проблемы с большим количеством адресов. Если вы когда-либо работали с API геокодирования или пользовались онлайн инструментами, то думаю вы разделяете мою боль ожидания результата в течение несколь...

Представляем werf 1.0 stable: при чём тут GitOps, статус и планы Werf — это GitOps CLI-утилита с открытым кодом для сборки и доставки приложений в Kubernetes. Werf поддерживает сборку образов приложения с помощью Dockerfile или собственного встроенного сборщика (на основе синтаксиса YAML, с поддержкой Ansible и инкрементальной пересборк...

Asus ROG Zephyrus Duo 15: самое топовое «железо», два экрана, каждый из которых регулируется по углу наклона, и цена от 254 000 рублей За последние годы на рынке ноутбуков появилось огромное количество необычных моделей. Asus является одной из тех компаний, которые не боятся экспериментировать и выпускать что-то действительно новое. Мы уже видели экраны на месте тачпадов, крышки со светодиодной подсвет...

Новый проект приблизит коммерческую запись данных на основе ДНК Миру необходимы новые носители информации для долговременного хранения данных. Они должны быть намного более компактные, чем могут предложить актуальные технологии. Одной из перспективных технологий в этой области остаётся запись данных на основе ДНК. Идея хранить данные в в...

Luxoft создала компанию-интегратор для внедрения цифровой платформы Сбера на внешнем рынке На должность генерального директора Integrity Solutions назначен Михаил Краснов, ранее руководивший одним из крупнейших подразделений в финансовой линейке бизнеса компании Luxoft и имеющий обширный опыт в управлении разработкой программного обеспечения для российских и заруб...

50% респондентов хотят голосовать онлайн за благоустройство района В то же время большинство респондентов по-прежнему негативно настроены по отношению к участию в управлении жизнью района: 67% не считают, что волеизъявление что-то изменит.Между тем в российском обществе наблюдаются и позитивные тенденции: у граждан возрастает ощущение ответ...

Эффективное использование ClickHouse. Алексей Миловидов (Яндекс) Так как ClickHouse является специализированной системой, при его использовании важно учитывать особенности его архитектуры. В этом докладе Алексей расскажет о примерах типичных ошибок при использовании ClickHouse, которые могут привести к неэффективной работе. На примерах и...

Трюки для обработки метрик в Kapacitor Скорее всего, сегодня уже ни у кого не возникает вопрос, зачем нужно собирать метрики сервисов. Следующий логичный шаг – настроить алертинг на собираемые метрики, который будет оповещать о любых отклонениях в данных в удобные вам каналы (почту, Slack, Telegram). В сервисе он...

Восстановление стертой информации во Flash памяти на физическом уровне На Хабре появились интересные статьи (например) о том как стереть информацию на Flash SSD накопителе, так что бы информация действительно была стерта. Производители заявляют, что обычное стирание не гарантирует невозможность восстановления информации, и рекомендует использов...

[Перевод] Создание CI/CD-цепочки и автоматизация работы с Docker Я написала мои первые сайты в конце 90-х. Тогда приводить их в рабочее состояние было очень просто. Был Apache-сервер на каком-нибудь общем хостинге, на этот сервер можно было войти по FTP, написав в браузерной строке нечто вроде ftp://ftp.example.com. Потом надо было ввести...

Делимся самым большим в РФ пластом данных по онлайн-обучению с проектами по лингвистике, персонализации, педдизайну, ML Перед Новым годом команда Михаила Sverdlove Свердлова объявила, что готова делиться обезличенными данными уроков Skyeng с внешними исследователями и стартапами. Вскоре после праздников мы поговорили с Мишей, о каких именно данных идет речь, что уже с ними делают и почему пол...

Помните FindFace, который искал аккаунты в соцсетях по фото? Его купили власти Москвы Система распознавания лиц FindFace считается одной из самых масштабных и совершенных Наверное, все знают таких людей с паранойей, которые абсолютно уверены, что все современные средства связи – это инструменты слежки в руках спецслужб. По их мнению, Touch ID был нужен для то...

Представлено обновление информационно-аналитической платформы Visiology 2.17 Основные изменения в релизе Visiology 2.17 коснулись экспорта и импорта аналитических панелей и связанных с ними метаданных, что значительно облегчит работу на проектах с несколькими контурами разработки. Российская ИТ-компания Visiology выпустила обновленную версию однои...

Infortrend анонсирует новейшее поколение высокодоступных унифицированных хранилищ Компания Infortrend® Technology, Inc. (код TWSE: 2495), передовой провайдер корпоративных систем хранения данных, представляет унифицированное хранилище 4U с 60 отсеками, ориентированное на удовлетворение потребностей в обработке растущих объемов данных в ограничен...

[Перевод] Работаем с двухмерной физикой в JavaScript Доброго времени суток, друзья! Представляю Вашему вниманию перевод статьи Martin Heinz «Implementing 2D Physics in JavaScript». Давайте немного развлечемся, создавая двухмерные симуляции и визуализации в JS. Создание реалистичной анимации физических процессов может казать...

Apple рассказала, как защищает своих пользователей Apple занимается вашей безопасностью так, как этого не делает никто Apple очень любит отчёты, ведь они не только придают ей значимости, но и позволяют держать тех, ради кого она ведёт свою деятельность, в курсе текущей повестки. Компания отчитывается регулярно и перед всеми,...

[Перевод] Не стоит пользоваться OFFSET и LIMIT в запросах с разбиением на страницы Прошли те дни, когда не надо было беспокоиться об оптимизации производительности баз данных. Время не стоит на месте. Каждый новый бизнесмен из сферы высоких технологий хочет создать очередной Facebook, стремясь при этом собирать все данные, до которых может дотянуться. Эти ...

Холистическое управление знаниями в IT-компании «Игра престолов» учит нас одной мудрости — ресурсы и знания воюют. Экономики ресурсов и знаний могут существовать параллельно, но люди в них живут по-разному. В первой вся власть, решения и ценности сосредоточены вокруг владельцев ресурсов: управления, природных, человечески...

В сети появился загадочный, но рабочий эмулятор Nintendo Switch для Android устройств Количество эмуляторов для Android-смартфонов очень велико – от олдскульной NES до Nintendo 3DS – вы можете запускать игры с этих приставок и консолей на своих устройствах. Более современные игровые системы эмулировать сложнее. Пока эмуляторы Nintendo Switch существовали толь...

Как оценить ёмкость сервиса и не упасть под нагрузкой Рано или поздно любому растущему сервису приходится оценивать свои технические возможности. Сколько посетителей мы в силах обслужить? Какова ёмкость (она же capacity) системы? Не добрались ли мы до предела и не упадём ли, если привлечём ещё несколько тысяч пользователей? С...

Redis на практических примерах Redis — достаточно популярный инструмент, который из коробки поддерживает большое количество различных типов данных и методов работы с ними. Во многих проектах он используется в качестве кэшируещего слоя, но его возможности намного шире. Мы в ManyChat очень любим Redis и акт...

[Из песочницы] Использование контроллера Arduino для прерываний В данной стать я приведу пример использования arduino контроллера для вызова прерываний программы на C#. Стоит отметить, что в WindowsForms присутствует элемент Timer который включается и выполняет код через определенный промежуток времени. Я решил реализовать подобное...

[Перевод] Анализ библиотеки ИИ ботов из Quake 3 Изучение исходного кода ИИ уже выпущенных игр — превосходный способ изучения хитростей на реальных примерах. Quake 3 Arena — интересный образец, потому что код игры полностью выложен в открытый доступ (за исключением инструментов), а сама игра стала примером архитектуры дви...

Apple устанавливает в Mac Pro самую дешёвую оперативную память Mac Pro стоит так дорого не только потому, что он такой крутой Несмотря на то что производительность практически перестала играть какое-либо значение для пользователей смартфонов, для компьютеров она по-прежнему остаётся ключевым показателем. Даже если ваш сценарий использов...

[Перевод] 5 вопросов по SQL, которые часто задают дата-сайентистам на собеседованиях Хотя составление SQL-запросов — это не самое интересное в работе дата-сайентистов, хорошее понимание SQL чрезвычайно важно для того, кто хочет преуспеть в любом занятии, связанном с обработкой данных. Дело тут в том, что SQL — это не только SELECT, FROM и WHERE. Чем больше S...

Возможности ClickHouse для продвинутых разработчиков. Алексей Миловидов (2018г) В докладе планируется рассмотреть малоизвестные или недостаточно хорошо освещённые в документации возможности ClickHouse: инкрементальная агрегация и манипуляции с состояниями агрегатных функций, межкластерное копирование, выполнение запросов без использования сервера и т.п...

[Из песочницы] Логическая репликация из PostgreSQL в Erlang Довольно типичная схема при разработке системы, когда основная логика обработки сосредоточена в приложении (в нашем случае Erlang), а данные для работы этого приложения (настройки, профили пользователей и т. д.) в базе данных (PostgreSQL). Приложение Erlang кэширует настройк...

[Перевод] Руководство по Node.js для начинающих. Часть 1 Доброго времени суток, друзья! Представляю Вашему вниманию перевод этого руководства по Node.js. Введение в Node.js Node.js — это открытая и кроссплатформенная среда выполнения JavaScript. Это отличное решение почти для любого проекта. Node.js запускает «движок» Java...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв...

[Из песочницы] IoT в моей жизни. Как создать умный офис, а также отслеживать рост картофеля у себя в квартире благодаря IoT Приветствую вас, Хабровчане! В 2020-м году все мы знаем что такое Интернет Вещей и для чего он нужен. Но как много из нас знакомы с облачными платформами, которые представляют один из наиболее значимых пластов в IoT? Давайте разбираться. Не секрет, что разношерстность пр...

[Перевод] ELK SIEM Open Distro: Интеграция с WAZUH Продвигаемся дальше по нашему проекту. Мы завершили часть SIEM. Пришло время перевести наш проект из простого наблюдателя в активного ответчика. Одним из важных инструментов, которые мы использовали для этого, является Wazuh. В этой статье мы надеемся просветить вас о преиму...

Новый менеджер паролей сделает Android еще более похожим на iOS Пусть многие критикуют Android или iOS, особенно, если пользуются противоположной системой, но надо быть более рассудительным и понимать, что плюсы есть и там, и там. Если посмотреть на них, то начинаешь представлять, как выглядела бы идеальная операционная система. Именно ...

OpenToonz: снаружи и внутри Прошло уже почти четыре года с тех пор, как PVS-Studio поверял исходный код OpenToonz. Этот проект является очень мощным инструментом для создания двухмерной анимации. За время с последней проверки с его помощью были созданы такие мультипликационные произведения, как Мэри и...

[Перевод] Погружение в CQRS Эта статья является конспектом материала Clarified CQRS. Прежде чем начать разбираться с CQRS, нужно понять две основные движущие силы, стоящие за ним: сотрудничество и устаревание.Сотрудничество относится к ситуациям, когда несколько участников используют или изменяют один ...

5 причин использовать SSD-накопитель Ultrastar DC SN640 в дата-центре Устройство изготавливается с использованием передового техпроцесса. Оно комплектуется 96-слойной флэш-памятью 3D TLC. Продукт разработан специально для использования в центрах обработки данных. Он обеспечивает высокую производительность и гибкость в отношении срока службы. ...

Эксперимент VTrade. Часть 3: Книга ордеров. Обработка и хранение торговой информации В прошлой статье цикла мы познакомились с типами биржевых заявок. Сегодня мы разберем книгу ордеров, обработку заявок и вопросы связанные с организацией хранения торговой информации. Читать дальше →

Разработчик "ядерного чемоданчика" начнет выпуск центров обработки данных Об этом сообщил в среду ТАСС начальник управления по развитию гражданской продукции НПО Алексей Новиков.Центры обработки данных (дата-центры) используются для обработки, хранения и распространения информации. Согласно паспорту национального проекта "Цифровая экономика&q...

Автоматическое заполнение файлами документов Word и подписей к ним с помощью Python и библиотеки docx Рассмотрим пример простой программы на Python с помощью библотекы docx для автоматизации рабочего процесса, а именно автоматической вставки файлов (в данном случае изображений) и их подпись в документах Word (docx).Данная статья будет интересна для начинающих изучающих Pytho...

Трепещущий Kivy. Обзор возможностей фреймворка Kivy и библиотеки KivyMD Kivy и Flutter — два фреймворка с открытым исходным кодом для кроссплатформенной разработки. Flutter: создан компанией Google и выпущенный в 2017 году; в качестве языка программирования использует Dart; не использует нативные компоненты, рисуя весь интерфейс внутри со...

Blitz.Engine: Ассетная система Прежде чем разбираться в том, как работает ассетная система движка Blitz.Engine, нам необходимо определиться с тем, что такое ассет и что именно мы будем понимать под ассетной системой. Согласно Википедии, игровой ассет — это цифровой объект, преимущественно состоящий из о...

[Перевод] Анатомия накопителей: жёсткие диски Он магнитный. Он электрический. Он фотонный. Нет, это не новое супергеройское трио из вселенной Marvel. Речь идёт о хранении наших драгоценных цифровых данных. Нам нужно где-то их хранить, надёжно и стабильно, чтобы мы могли иметь к ним доступ и изменять за мгновение ока. З...

[Из песочницы] Пишем сервис одноразовых записок на Python У некоторых людей возникает необходимость передать небольшие сообщения. Но как это сделать, если вы пользуетесь различными социальными сетями и мессенджерами, в безопасности передачи данных через которые вы сомневаетесь. Некоторые люди для этого используют сервисы самоунич...

Нулевой даунтайм API на ElasticSearch В статье я хочу поделиться своим опытом достижения нулевого даунтайма ответа одного из API, использующего большой индекс ElasticSearch.  Эта статья будет полезна тем, кто уже использует ElasticSearch и не может позволить себе ни минуты простоя, а один из ваших индексов ...

Новая платформа Google сокращает затраты на обучение ИИ-модулей Фреймворк SEED RL построен на платформе TensorFlow 2.0 и использует комбинацию графических и тензорных модулей для централизации модели логического вывода. Вывод затем выполняется с использованием компонента, который обучает модель.Этот компонент, как заявляют в Google, може...

Hitachi Vantara купит компанию Waterline Data Разработанная Waterline технология интеллектуальной каталогизации данных будет встроена в комплекс сервисов данных Lumada Data Services. Компания Hitachi Vantara, дочернее предприятие концерна Hitachi, объявила о намерении приобрести компанию Waterline Data, предлагающую ...

[Из песочницы] Маркировка остатков обуви в 1С. Решение проблемы сканирования и выгрузки в «Честный знак» Один из проблемных моментов в начале этого года для производителей и продавцов обуви – запрет с 1 марта 2020 года (возможно, с 1 июля) на производство, импорт, оптовую и розничную продажу обуви без маркировки и передачи данных в систему маркировки «Честный знак». Сегодня хо...

FAQ.Net — бесплатная программа для заметок под Windows с обновленным дизайном Введение За 3 месяца приложение FAQ.Net скачали более 800 раз. Все кто пользуется блокнотами и ищет готовое решение для хранения важной информации, заметок или документов (в виде текста, изображений, таблиц) в единой БД скачивайте FAQ.Net. Приложение портативное, бесплатное,...

Дополняя SQL. Часть 2. Оптимизация работы со строками и открытия файлов Публикую на Хабр оригинал статьи, перевод которой размещен в блоге Codingsight. Что будет в этой статье? Это вторая статья в цикле о жизни разработчиков IDE для баз данных. Ее структура будет похожа на первую. Как и в первой я расскажу о проблемах с которыми мы сталкивались...

Security Week 18: текстовая бомба для iOS Если из разных видов уязвимостей собрать воображаемый сборник лучших хитов, то различного рода ошибки обработки ввода займут там лучшие места. Одним из древнейших способов вывода программы или всей системы из строя является zip-бомба — архив небольшого размера, который разво...

Некомпетентные в данных сотрудники тянут бизнес ко дну По данным Accenture и Qlik, только 25% опрошенных сотрудников готовы эффективно использовать данные в работе. Только 21% уверен в навыках грамотности в области использования данных: в способности читать, понимать, задавать вопросы и работать с данными. 37% сотрудников доверя...

Серверы Huawei на процессорах Kunpeng 920 получат российскую «импортонезависимую» операционную систему Компании Huawei и РЕД СОФТ сообщили о подписании соглашения о технологическом сотрудничестве. Предмет соглашения — продажи на российском рынке комплексных решений, в которых объединены флагманские продукты двух компаний: серверы Huawei Taishan 200 (модель 2...

В России появился первый открытый онлайн-каталог лекарств На сегодняшний день в Едином структурированном справочнике - каталоге лекарственных препаратов (ЕСКЛП) доступна информация по более чем 140 тысячам уникальных товарных позиций. Данные в систему поступают из Государственного реестра лекарственных средств: при обновлении реест...

Bonava: как сделать комплексную работу с проектами прозрачной С 2017 года международная девелоперская компания Bonava совместно с одним из ведущих интеграторов России «Диджитал Дизайн» занимается развитием облачных решений на базе Microsoft SharePoint Online.  Вся информация, связанная с девелоперскими проектами Bonava, хранится...

Книга «Python: Искусственный интеллект, большие данные и облачные вычисления» Привет, Хаброжители! Пол и Харви Дейтелы предлагают по-новому взглянуть на Python и использовать уникальный подход, чтобы быстро решить проблемы, стоящие перед современными айтишниками. В вашем распоряжении более пятисот реальных задач — от фрагментов до 40 больших сценар...

0-day Dropbox открывает максимальный доступ к Windows Независимые исследователи обнаружили в Windows-клиенте Dropbox опасную уязвимость нулевого дня. Ошибка, для которой еще не вышел патч, позволяет злоумышленнику получить максимальные привилегии на машине и открывает доступ к командной строке. Угроза содержится в компоненте, к...

Canon взломан: сервера лежат, информация украдена, хакеры требуют денег По данным интернет-издания BleepingComputer онлайн-сервисы компании Canon подверглись мощной хакерской атаке. В настоящий момент не работают более двух десятков американских сайтов производителя фото и видеоаппаратуры, а также почтовые сервисы, внутренние корпоративные платф...

[Из песочницы] 10 строк кода, которые уменьшат боль от вашего проекта на Vue … или знакомство с плагинами Vue JS на примере интегрированной шины событий Пара слов о… Всем привет! Сразу оговорюсь. Я очень люблю VueJS, активно пишу на нем уже больше 2-х лет и не считаю, что разработка на нем может причинить боль хоть в какой-то значимой степени :) С д...

Softline создала RPA-решение для обработки заявок в CRM-системе Компания Softline создала RPA-решение, позволяющее автоматизировать процесс первичной обработки заявок в CRM-системе. Робот анализирует запросы на приобретение программного обеспечения, определяет продукт и его количество, выявляет специальные условия, составляет спец...

База данных на SharedPreferences — Android Kotlin Для хранения большого количества информации в Android используется DataBase (SQLite, FireBase и т. п.), а для простого хранения настроек SharedPreferences. Вопрос, можно ли использовать SharedPreferences как своего рода Базу Данных и как это сделать? Статья написана об учеб...

Как Computer Science Center перевёл обучение в онлайн Когда понадобилось в один день перевести весь CS центр на домашнее обучение, кураторы проделали большую работу по замене живых лекций на равноценные альтернативы, зато всё остальное уже работало. Центр давно использует онлайн-платформы в очном обучении, в том числе свою собс...

[Из песочницы] Нормализация текста в задачах распознавания речи При решении задач, связанных с распознаванием (Speech-To-Text) и генерацией (Text-To-Speech) речи важно, чтобы транскрипт соответствовал тому, что произнёс говорящий — то есть реально устной речи. Это означает, что прежде чем письменная речь станет нашим транскриптом, её нуж...

Observable сервисы в Angular Всем привет, меня зовут Владимир. Я занимаюсь фронтенд разработкой в Tinkoff.ru. В Ангуляре для передачи данных внутри приложения или для инкапсуляции бизнес-логики мы привыкли использовать сервисы. Для управления асинхронными потоками отлично подходит RxJS. Ангуляр в сочета...

[Перевод] 5 JavaScript-библиотек для работы со строками Работа со строками может оказаться непростым делом из-за того, что она подразумевает решение множества разноплановых задач. Например, для простого приведения строки к «верблюжьему» стилю понадобится несколько строк кода: function camelize(str) {   return str.replace(/(?:^\w...

Intel Capital инвестирует $132 млн в 11 прорывных технологических стартапов Intel Capital, глобальная инвестиционная организация в составе корпорации Intel, объявила о новых инвестициях на общую сумму $132 млн в 11 технологических стартапов. Все они выводят на рынок прорывные инновации в области искусственного интеллекта (ИИ), автономных вычислений ...

[Перевод] Способы использования Math.random() в JavaScript Math.random() — это один из API JavaScript. Это — функция, которая возвращает случайные числа. Диапазон возвращаемых чисел представлен значениями от 0 (включая 0, то есть, она может вернуть 0) до 1 (не включая 1, то есть — единицу она вернуть не может). Math.random(); // во...

СУБД Arenadata DB теперь работает в среде защищенной ОС «Альт 8 СП» Сочетание двух продуктов представляет собой эффективное решение для организаций, которые обязаны хранить и обрабатывать крупные массивы информации, обеспечивая при этом импортозамещение в сфере ИТ. Российская аналитическая СУБД для хранения больших данных Arenadata DB про...

5 малоизвестных возможностей JSON.stringify() Доброго времени суток, друзья! В этой небольшой заметке я хочу рассказать вам о некоторых редко используемых возможностях JSON.stringify(). Возможно, они окажутся вам полезными. JSON.stringify() часто используется при отладке для преобразования объекта или обычной стро...

Mail.ru Group создаст для «Сухого» цифровую платформу предиктивной аналитики Цифровая платформа даст возможность централизованно собирать, обрабатывать и анализировать данные как с производственного оборудования, так и информацию о производственных процессах из информационных систем на предприятиях ПАО "Компания “Сухой”". Накопл...

[Из песочницы] Авторизация пользователя при помощи Starlette + Vue.js Вступление Задача — создать пример авторизации пользователя с использованием фреймворков Starlette (https://www.starlette.io/) и Vue.js *, который был бы максимально комфортным разработчикам Django для «миграции» в асинхронный стек. Почему Starlette? В первую очередь скор...

Что такое Google One, зачем он нужен и чем отличается от Apple One В прошлом месяце Apple запустила пакетную подписку Apple One, которая позволила подписаться на все сервисы компании с ощутимой скидкой. Продукт оказался настолько выгодным, что пользователи Android стали искать для себя альтернативу. Поэтому логично, что многие, не слишком ...

Как провести общественное расследование: 12 онлайн-баз данных для поиска информации Посмотреть доходы чиновника, проверить госконтракты компании или узнать ее связи с другими фирмами – вся эта информация может пригодиться вам при проведении общественного расследования или подготовки журналистского материала. И эти данные можно найти в открытом доступе, есл...

Как на Android включить гостевой режим Несмотря на то что Android, в представлении многих, — это менее функциональная платформа, чем iOS, большая часть возможностей, которые сегодня внедряет Apple, были реализованы Google уже давным-давно. Виджеты рабочего стола, шторка уведомлений, режим разделения экрана...

13 приложений для просмотра онлайн-ТВ (Android, iOS, приставки, Smart TV) Все меньше людей смотрят телевизор, как привычное с детства домашнее устройство, но количество онлайн-сервисов с популярными телеканалами только растет. Все они работают не только на смартфонах, но на медиаплеерах, приставках и Smart TV. Мы собрали в одной статье 13 приложен...

Data Platform для целей формирования регуляторной отчетности Формирование банковской регуляторной отчетности является сложным процессом с высокими требованиями к точности, достоверности, глубине раскрываемой информации. Традиционно для автоматизации отчетности организации используют классические системы хранения и обработки данных. Пр...

Об одной уязвимости в… Год назад, 21 марта 2019, в баг баунти программу Mail.Ru на HackerOne пришел очень хороший багрепорт от maxarr. При внедрении нулевого байта (ASCII 0) в POST-параметр одного из API-запросов веб-почты, который возвращал HTTP-редирект, в данных редиректа виднелись куски неин...

[Из песочницы] Использование Camunda для удобной оркестровки на основе REST и Workflow Engine (без Java) Привет, Хабр! Представляю вашему вниманию перевод статьи «Use Camunda as an easy-to-use REST-based orchestration and workflow engine (without touching Java)» автора Bernd Rücker. 07.07.2020 г., перевод статьи Bernd Rücker Я часто обсуждаю микросервисную архитектуру с люд...

Хакер выставил на продажу данные 500 млн пользователей LinkedIn В качестве доказательства подлинности базы продавец выложил ее фрагмент, насчитывающий 2 млн записей. В LinkedIn заявили, что база представляет собой компиляцию данных из разных источников, и системы компании не были взломаны.

Apple рассказала, как часто спецслужбы обращаются к ней за данными россиян Apple не разблокирует iPhone своих пользователей, но зато сливает спецслужбам другие данные Несмотря на то что Apple, как правило, готова до последнего отстаивать право своих клиентов на неприкосновенность их частной жизни, компания довольно активно сотрудничает с правоохран...

Открытые данные. Роскосмос. Сделаем как в NASA Мы все хорошо знаем, что чем больше информации, тем меньше слухов. Открытые данные — открытая страна. Читать дальше →

Установка ReportPortal в kubernetes ReportPortal – это веб-решение на базе открытого ПО, созданное разработчиками EPAM и OSS-сообщества. Его использование позволяет собрать в одном месте документы и результаты различных проектов по тестированию, которые выполняются в компании, и сделать их доступными для тести...

Google рекомендует при синдикации контента использовать rel=canonical Команда Google Webmasters заявила в Twitter, что наилучший подход при синдикации контента - использование партнёрами атрибута rel=canonical. Это нужно, чтобы поисковик знал, где находится источник статьи.При этом в Google отметили, что данный подход помогает, но не гарантиру...

Размещение кучи FreeRTOS в разделе CCMRAM для STM32 При разработке одного девайса на базе STM32F407 столкнулся с проблемой нехватки оперативной памяти. Назначение самого девайса не принципиально, но важно, что изначальный код писался для десктопной системы и его нужно было просто портировать на микроконтроллер под управлением...

Поднимаем свой инстанс Webogram с проксированием через nginx Привет, Хабр! Недавно я попал в ситуацию, в которой необходимо было работать внутри корпоративной сети с неполным доступом к интернету и как вы можете догадаться по заголовку — Telegram в ней был заблокирован. Уверен, что данная ситуация знакома многим. Я вполне могу обход...

[Перевод] Быстрый вход в управление продуктом через Open source Быстрый вход в управление продуктом через Open Source Фотография сделана Finn Hackshaw на Unsplash “Как вы достигли успеха в управлении продуктом”? Это вопрос, с которым рано или поздно сталкивается каждый продукт-менеджер. По мере того, как управление продуктом перестает б...

MVVM на основе Combine в UIKit и SwiftUI приложениях для UIKit разработчиков Мы знаем, что ObservableObject классы с его @Published свойствами созданы в Combine специально для View Model в SwiftUI. Но в точности ту же самую View Model можно использовать и в UIKit для реализации архитектуры MVVM, хотя  в этом случае нам придется вручную «привязать» ...

Django ORM | Оптимизируем запросы Django ORM (Object Relational Mapping) является одной из самых мощных особенностей Django. Это позволяет нам взаимодействовать с базой данных, используя код Python, а не SQL. Для демонстрации опишу такую модель: from django.db import models class Blog(models.Model): ...

Язык запросов для TSDB. Улучшаем PromQL (Александр Валялкин, VictoriaMetrics) Добрый день! Сегодня я вам расскажу немного про PromQL. Это язык запросов для time-series баз данных. Затем расскажу, как мы его усовершенствовали в разрабатываемой нами time-series базе данных VictoriaMetrics. Читать дальше →

Orchestrator и VIP как HA-решение для кластера MySQL В Ситимобил мы используем базу данных MySQL в качестве основного хранилища постоянных данных. У нас есть несколько кластеров баз данных под различные сервисы и цели. Постоянная доступность мастера является критическим показателем работоспособности всей системы и ее отдельны...

Мониторинг PostgreSQL с использованием Zabbix Доклад Дарьи Вилковой для Zabbix Meetup Online Я хочу познакомить вас со средством мониторинга PostgreSQL и операционной системы, которое разрабатывается нашей компанией с использованием Zabbix. Мы выбрали Zabbix в качестве средства мониторинга уже давно, потому что это п...

В плагинах Ultimate Addons нашли критическую уязвимость Два плагина для WordPress, установленные на сотнях тысяч сайтов, содержат критическую уязвимость, позволяющую злоумышленникам перехватить управление веб-ресурсом. Как выяснили ИБ-специалисты, наборы дополнений Ultimate Addons к конструкторам страниц Elementor и Beaver Builde...

Telegram заменит TOR и даркнет: новый функционал TON Sites Те сайты, что мы видим открывая ссылку в браузере являются частью Сети. Она работает на основе стека (группы) протоколов TCP/IP. Среди них наиболее важными являются Transmission Control Protocol (протокол управления передачей, TCP), Internet Protocol (протокол интернета или ...

Медсправка 086 в бумажном виде больше не потребуется казахстанцам Все медицинские записи будут храниться в системах Минздрава.

Простой пример кластерного анализа алкогольных предпочтений по странам на R Привет, Хабр! Сегодня хочу поделиться небольшим примером того, как можно проводить кластерный анализ. В этом примере читатель не найдет нейронных сетей и прочих модных направлений. Данный пример может служить точкой отсчета для того, чтобы сделать небольшой и полный кластерн...

Автоматизированная сборка Delphi-приложения Автоматизированная сборка Delphi-приложения Я довольно часто сталкивался с тем, что разработчики на Delphi (можно сказать традиционно) компилируют свои приложения "ручками", что далеко не production-решение, а со стороны выглядит кустарщиной и "делаем на-колен...

Шпаргалка по форматам файлов с данными в python Python понимает все популярные форматы файлов. Кроме того, у каждой библиотеки есть свой, «теплый ламповый», формат. Синтаксис, разумеется, у каждого формата сугубо индивидуален. Я собрал все функции для работы с файлами разных форматов на один лист A4, с приложением в виде ...

[Перевод] Sktime: унифицированная библиотека Python для машинного обучения и работы с временными рядами Всем привет. В преддверии старта базового и продвинутого курсов «Математика для Data Science», мы подготовили перевод еще одного интересного материала. Решение задач из области data science на Python – это непросто Почему? Существующие инструменты плохо подходят для реше...

gRPC в качестве протокола межсервисного взаимодействия. Доклад Яндекса gRPC — опенсорсный фреймворк для удаленного вызова процедур. В Яндекс.Маркете gRPC используется как более удобная альтернатива REST. Сергей Федосеенков, который руководит службой разработки инструментов для партнеров Маркета, поделился опытом использования gRPC в качестве пр...

Интерактивная визуализация алгоритмов на базе Jupyter Jupyter уже давно зарекомендовал себя как удобную платформу для работы в различных областях на стыке программирования, анализа данных, машинного обучения, математики и других. Вот например очень известная книга по анализу данных, состоящая из Jupyter блокнотов. Поддержка , m...

Смартфоны Samsung шпионят за владельцами, отправляя данные в Китай Samsung заподозрили в отправке личных данных пользователей на китайские сервера Всем известно, что не так давно Huawei запретили сотрудничать с американскими компаниями. Из-за этого новые устройства китайского гиганта работают без сервисов Google. Торговая война США и Китая ...

Как сотрудники относятся к голосовым сообщениям Три четверти сотрудников российских компаний (76%) используют голосовые сообщения в рамках корпоративной коммуникации и «тихо ненавидят» такой способ связи. По данным опроса, проведенного онлайн-сервисом для управления бизнесом «Мегаплан», среди 2849 ...

[Перевод] OCR для PDF в среде .NET — как извлечь текст из недоступных для поиска PDF документов Извлечение текста — одна из популярных задач обработки PDF документов. Вам потребуется извлечь текст из PDF, чтобы: проиндексировать документ для полнотекстового поиска распарсить некоторые данные (например, названия и цены товаров в прайс-листе) выделить, удалить или замен...

Pipes & Filters. Пример применения и реализации при помощи Spring В данной статье речь пойдёт о применении паттерна Pipes & Filters. Для начала мы разберём пример функции, которую позже перепишем с помощью выше упомянутого паттерна. Изменения в коде будут происходить постепенно и каждый раз мы будем создавать работоспособный вариант, п...

[Перевод] Последнее поколение беспроводной связи Сколько ещё поколения беспроводной связи смогут увеличивать частоты волн и скорость передачи данных до тех пор, пока это не станет физически бессмысленным? Один из основных маркетинговых аргументов связи поколения 5G – большая скорость по сравнению с любым из предыдущих по...

«Hello, Checkmarx!». Как написать запрос для Checkmarx SAST и найти крутые уязвимости Привет Хабр! В статье я хочу рассказать о нашем опыте создания своих запросов в Checkmarx SAST. При первом знакомстве с этим анализатором может сложиться впечатление, что кроме поиска слабых алгоритмов шифрования/хеширования и кучи false positive, он ничего больше не...

Обзор карты памяти Kingston Canvas Select Plus (SDS2/64GB) В октябре компания Kingston представила новую серию карт памяти Canvas Select Plus в форм-факторах SD и microSD. Включены в нее версии с разными объемами данных. Они могут использоваться с фотокамерами, видеокамерами, видеорегистраторами, планшетами и смартфонами. Мы будем и...

Создан прототип коммуникационной системы, способной теоретически передавать данные на скорости в 10 терабит в секунду Группа ученых и инженеров из университета Брауна (Brown University) разработала прототип коммуникационной системы, способной в теории передавать данные на скорости в 10 терабит в секунду, что в сотни или тысячи раз быстрее, чем скорость вашего домашнего Интернета. Такое дост...

SIM-карта и карта памяти в одном корпусе. Xiaomi запатентовала новый формат Компания Xiaomi подала патентную заявку, в которой описывается 5G SIM-карта, способная одновременно служить и для подключения к мобильной сети, и для хранения данных пользователя в большом объёме. Новый патент от китайского производителя описывает карту памяти, которая также...

[Перевод] Заменяем Redux c помощью Observables и React Hooks Управление состоянием — одна из важнейших задач, решаемых в разработке на React. Было создано множество инструментов в помощь разработчикам для решения этой задачи. Наиболее популярным инструментом является Redux — небольшая библиотека, созданная Дэном Абрамовым, и предназн...

Как подружить PyTorch и C++. Используем TorchScript Около года назад разработчики PyTorch представили сообществу TorchScript — инструмент, который позволяет с помощью пары строк кода и нескольких щелчков мыши сделать из пайплайна на питоне отчуждаемое решение, которое можно встроить в систему на C++. Ниже я делюсь опытом его ...

«Лаборатория Касперского» выпускает два решения на базе собственной безопасной ОС Одно из решений - Kaspersky IoT Secure Gateway - предназначено для защиты IoT-инфраструктуры и безопасного подключения устройств интернета вещей к облаку. Задача второго - KasperskyOS for Thin Client - стать основой для доверенной и управляемой инфраструктуры тонких клиенто...

Логирование и трассировка запросов — лучшие практики. Доклад Яндекса В Яндекс.Маркете большая микросервисная архитектура. Браузерный запрос главной страницы Маркета рождает десятки вложенных запросов в разные сервисы (бэкенды), которые разрабатываются разными людьми. В такой системе бывает сложно понять, по какой именно причине запрос упал ил...

Tarantool: взгляд аналитика Всем привет! Меня зовут Андрей Капустин. Я работаю системным аналитиком в Mail.ru Group. Наши продукты формируют единую экосистему для пользователя, в которой данные генерируют множество независимых инфраструктур: службы заказов такси и еды, почтовые сервисы, соцсети. Сегодн...

ESP32 development board с кастомным дизайном Наконец то у меня добрались руки до сборки минимального аналога Espressif Systems плат на ESP32 микроконтроллере. На плате расположен микрофон, усилитель для этого микрофона на одном транзисторе. Усилитель для динамика на трех транзисторах с выходным каскадом работающим в р...

Почти две недели в открытом доступе были данные 267 млн пользователей Facebook По сообщению источника, база данных с записями о 267 140 436 пользователей Facebook, большинство которых — из США, была доступна для скачивания на одном из хакерских форумов с 4 по 19 декабря. Каждая запись включала основные данные, такие как пол...

Что такое шардинг? 1 Что такое шардинг? Шардинг — метод разделения и хранения единого логического набора данных в виде множества баз данных. Другое определение шардинга — горизонтальное разделение данных. 2 Когда и кто изобрел шардинг? Концепция шардинга применялась в управлении традиционными ...

[Перевод] Пишем приложение на Flutter в связке с Redux Привет всем! В этой статье я хотел бы показать вам, как создать Flutter приложение, используя Redux. Если вы не знаете, что такое Flutter, то это — SDK с открытым исходным кодом для создания мобильных приложений от компании Google. Он используется для разработки приложений...

[Из песочницы] Практичные способы маппинга данных в Kotlin Маппинг данных – один из способов для разделения кода приложения на слои. Маппинг широко используется в Android приложениях. Популярный пример архитектуры мобильного приложения Android-CleanArchitecture использует маппинг как в оригинальной версии (пример маппера из CleanArc...

Новая система сертификации эффективных ЦОД создается в Швейцарии Группа экспертов из Швейцарской ассоциации по эффективности центров обработки данных (Swiss Datacenter Efficiency Association; SDEA), поддерживаемая помимо прочего корпорацией HPE и Федеральным управлением энергетики Швейцарии, представила проект по разработке новой системы ...

Алгоритм BERT внедрён в российскую версию Google Поиска Google объявила о начале использования поискового алгоритма BERT для запросов на русском языке. Компания называет его крупнейшим прорывом за последние пять лет и одним из самых грандиозных успехов за всю историю Google Поиска. Технология предварительного обучения обработке ...

[Перевод] Разбираемся с launchMode Android Activity: standard, singleTop, singleTask и singleInstance Перевод статьи подготовлен специально для студентов продвинутого курса по Android разработке. Activity — это одна из самых ярких концепций в Android (самой популярной мобильной операционной системе с хорошо продуманной архитектурой управления памятью, которая отлично реал...

Фанат Apple запустил неофициальный сайт, где выложил все материалы компании   Сэм Анри Голд создал сайт applearchive.org, на котором собраны все презентации, пресс-релизы и рекламные ролики Apple с 1977 года. На сайте хранится более 15 тысяч файлов, общим весом чуть менее 1 ТБ. Среди них PDF-файлы, печатная реклама, записи конференций WWD...

Рецепты для хворающих SQL-запросов Несколько месяцев назад мы анонсировали explain.tensor.ru — публичный сервис для разбора и визуализации планов запросов к PostgreSQL. За прошедшее время вы уже воспользовались им более 6000 раз, но одна из удобных функций могла остаться незамеченной — это структурные подска...

[recovery mode] Базовые возможности LXD — системы контейнеров в Linux LXD — это системный менеджер контейнеров следующего поколения, так гласит источник. Он предлагает пользовательский интерфейс, похожий на виртуальные машины, но использующий вместо этого контейнеры Linux. Ядро LXD — это привилегированный демон (сервис запущенный с правами ro...

"Газпром нефть" создала платформу управления данными "Умное озеро данных" включает компоненты обработки, хранения и анализа данных – Data lake и хранилище данных, лабораторию продвинутой аналитики Data science, работающие в тесной интеграции с компонентами Data Governance. Внедрение аналитической платформы является частью стр...

Крупная авиакомпания планирует закупать топливо, сделанное из растений Крупные авиакомпании заботятся об экологии Буквально за последние пару лет попытки сделать транспорт более экологически чистым расширились за пределы только лишь автомобилестроения, и начали затрагивать почти все сферы транспортных перевозок. Не отстает в данном случае и ави...

Как мы оркестрируем процессы обработки данных с помощью Apache Airflow Всем привет! Меня зовут Никита Василюк, я инженер по работе с данными в департаменте данных и аналитики компании Lamoda. В нашем департаменте Airflow играет роль оркестратора процессов обработки больших данных, с его помощью мы загружаем в Hadoop данные из внешних систем, об...

[Перевод] Минимизируем наложение лейблов в интерактивных визуализациях Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных». Интересно развиваться в данном направлении? Смотрите записи трансляций бесплатных онлайн-мероприятий: «День Открытых Дверей», «Вывод ML моделей в промышленную среду на примере онлайн-ре...

Обнаружена целевая атака, жертвы которой заражались через часто посещаемые ими сайты Кампания получила название Holy Water, в рамках неё злоумышленники используют нестандартные подходы, но их нельзя назвать технически сложными. Главные особенности - быстрое эволюционирование и применение широкого набора инструментов, в частности атакующие использовали хранил...

Приложения для знакомств, контент для взрослых, креветки и проповеди Сегодня в мире в .LOVE зарегистрировано свыше 31 тысячи доменов, пользователи из России и СНГ также проявляют интерес к доменной зоне. На обслуживании у REG.RU находится порядка 200 доменных имён в .LOVE. Домены используются в качестве основных адресов сайтов, а также для пе...

Базу данных клиентов торговой сети «Лента» выставили на продажу В ней содержится около 90 тысяч строк с персональными данными.

[Из песочницы] Драйвер-фильтр операций в реестре. Практика Привет, Хабр! Когда передо мной встала задача написать свой драйвер, осуществляющий мониторинг операций в реестре, я, конечно же, полезла искать на просторах интернета хоть какую-то информацию по этому поводу. Но единственное, что вылезало по запросу «Драйвер-фильтр реестра...

Агломеративная кластеризация: алгоритм, быстродействие, код на GitHub Несколько лет назад мне потребовалось очень качественно кластеризовать относительно неплотные графы среднего размера (сотни тысяч объектов, сотни миллионов связей). Тогда оказалось, что алгоритма с подходящим набором свойств просто не существует, несмотря на всё разнообраз...

Открытый курс «Deep Learning in NLP» от создателей DeepPavlov на базе курса cs224n Всем привет! Вступление Меня зовут Алексей Клоков, я хочу рассказать о запуске классного курса по обработке естественного языка (Natural Language Processing), который очередной раз запускают физтехи из проекта DeepPavlov – открытой библиотеки для разговорного искусственного ...

Blum-Blum-Shub generator и его применение В настоящее время случайные числа используются в различных областях науки. Например, для моделирования различных реальных процессов зачастую нужно учитывать не только поведение исследуемой величины, но и влияние различных непредсказуемых явлений. Кроме того, в некоторых мето...

Немецкий суд заставил почтового провайдера Tutanota установить бэкдор Полнотекстовый поиск в зашифрованной почте Для начала немного контекста. Tutanota — один из немногих почтовых сервисов, которые шифруют входящую почту по умолчанию, как Protonmail, Posteo.de и Mailbox.org. То есть почта хранится на серверах в зашифрованном виде. Провайдер ...

[Перевод] Random Forest, метод главных компонент и оптимизация гиперпараметров: пример решения задачи классификации на Python У специалистов по обработке и анализу данных есть множество средств для создания классификационных моделей. Один из самых популярных и надёжных методов разработки таких моделей заключается в использовании алгоритма «случайный лес» (Random Forest, RF). Для того чтобы попытать...

Нам мало CAP. Да здравствует PACELC Если вы когда-нибудь сталкивались с распределёнными СУБД или системами обработки данных, то слышали о двух теоремах CAP и PACELC, определяющих грани возможных конфигураций этих систем. Споры об их универсальности не утихают до сих пор, однако, альтернативы, способные полнос...

Крошечный компьютер NanoPi NEO3 поможет создать сетевое хранилище данных Команда FriendlyELEC подготовила к выпуску крошечный одноплатный компьютер NanoPi NEO3, на базе которого могут создаваться сетевые хранилища данных (NAS) для домашнего и офисного использования. В основе решения — процессор Rockchip RK3328 с четырьмя вычислительными ядрами AR...

Простая космическая симуляция с помощью Python и Box2D Привет, Хабр. На данную статью меня вдохновила недавняя публикация Моделируем Вселенную, где автор показал весьма интересное моделирование разных космических явлений. Однако представленный там код непрост для начинающих. Я покажу как сделать физическое моделирование с помощ...

Экран iPhone 12 Pro Max сильно мерцает при записи видеороликов Продолжают появляться новые сообщения о проблемах, с которыми сталкиваются пользователи различных моделей линейки iPhone 12. В этот раз речь идёт о заметном мерцании экрана при записи видеороликов на iPhone 12 Pro Max. Пользователи сообщают, что мерцание экрана проявляе...

Как мы используем алгоритмы компьютерного зрения: обработка видео в мобильном браузере с помощью OpenCV.js Для идентификации личности онлайн уже есть все возможности, но пока их применяют крайне редко. Пожалуй, одними из первых мы реализовали оптимальный сценарий для пользователя – зайти на сайт со смартфона, сфотографировать свои водительские права или паспорт и отправить данные...

Классификация с многими метками Привет, Хаброжители! Мы решили привести опубликовать отрывок из книги Андрея Буркова «Машинное обучение без лишних слов», посвященный классификации. Для описания изображения на рисунке можно использовать одновременно несколько меток: «хвойный лес», «горы», «дорога». Если ч...

IBS раскололась Основатели компании IBS Анатолий Карачинский и Сергей Мацоцкий приняли решение в дальнейшем развивать свои бизнесы самостоятельно. Об этом компания сообщила вчера в официальном сообщении. План реорганизации предусматривает, что в апреле 2020 г., с началом нового финансового...

Зачем нужна категоризация? Обсуждая тему эксплуатации услуг и сравнивая модели инцидентов и запросов на обслуживание, возник вопрос: а зачем нужна категоризация? И действительно, кому нужна эта информация? Как создать категоризатор и на что ориентироваться? Общий подход к категоризации используемый пр...

Как Kafka стала былью Привет, Хабр! Я работаю в команде Tinkoff, которая занимается разработкой собственного центра нотификаций. По большей части я разрабатываю на Java с использованием Spring boot и решаю разные технические проблемы, возникающие в проекте. Большинство наших микросервисов асинхр...

Внедрение битрикс 24 для вашего бизнеса Если вы хотите наладить все рабочие процессы вашей компании, то вам обязательно необходимо обратиться к профессионалам, которые предложит вам максимально эффективные решения. В данной сфере внедрение битрикс 24 является одним из самых лучших вариантов. Данный комплект сервис...

Рядовой SNAFU идет в DBA Для тех, кто не знает, SNAFU — персонаж военных патриотических мультфильмов, созданных американцами во время войны. Этот раздолбай, ввиду природного идиотизма, все время попадает в катастрофические ситуации и, как правило, гибнет в конце серии. Правда, в следующей серии он...

Вокруг data.table Эта заметка будет интересна для тех, кто использует библиотеку обработки табличных данных для R — data.table, и, возможно, будет рад увидеть гибкость ее применения на различных примерах. Вдохновившись хорошим примером коллеги, и надеясь, что вы уже почитали его статью, пред...

"КОРУС Консалтинг" представила рекомендательную модель для увеличения продаж подарочных сертификатов с помощью ИИ Новое решение на основе искусственного интеллекта, разработанное ГК "КОРУС Консалтинг", позволяет розничным сетям из non-food сегмента расширять свои возможности по продаже подарочных сертификатов в электронном виде. В условиях изоляции и ограничения в передвижениях остаютс...

[Перевод] Обучение и оценка модели с Keras Это руководство охватывает обучение, оценку и прогнозирование (выводы) моделей в TensorFlow 2.0 в двух общих ситуациях: При использовании встроенных API для обучения и валидации (таких как model.fit(), model.evaluate(), model.predict()). Этому посвящен раздел «Использова...

[Из песочницы] Кому на Руси жить хорошо? Как мы искали самый “зеленый” город с помощью OpenStreetMap и Overpass API У каждой карты есть легенда: именно она говорит читателю о том, что и каким образом на ней обозначено. Домам соответствуют многоугольники серого цвета, дорогам — отрезки и кривые, территории парков и скверов заливаются светло-зеленым и украшаются пиктограммой дерева. А к нек...

Критический RCE-баг во встроенном сервере GoAhead Исследователи из Cisco Talos обнаружили две новые уязвимости в веб-сервере GoAhead компании EmbedThis. Недостатки позволяют не прошедшему аутентификацию злоумышленнику выполнить на устройстве сторонний код или добиться состояния отказа в обслуживании. Проблема может затронут...

Что выбрать вместо Google Фото, когда он станет платным На прошлой неделе стало известно, что через несколько месяцев Google Фото отберет у нас возможность бесплатного хранения фото на просторах этого сервиса. Раньше можно было загружать туда сколько угодно фотографий при условии, что они будет оптимизированы, но обработка была ...

Таможенная и пограничная служба США внедряет блокчейн Владельцы интеллектуальной собственности постоянно рискуют потерять свой продукт, прежде всего из-за легкого доступа к зарубежному производству. Таможенная служба США намерена использовать блокчейн для борьбы с импортом контрафактной продукции. Испытания показали, что блокче...

Цифровая платформа Росстата поддержана правительством Как отметил вчера премьер-министр Дмитрий Медведев, сбором и обработкой статистики сейчас занимаются более 60 ведомств - помимо Росстата. "В результате зачастую нет объективной картины того, что происходит в экономике",- цитирует "КоммерсантЪ" слова главы...

Event2Mind для русского языка. Как мы обучили модель читать между строк и понимать намерения собеседника Умение модели распознавать намерения собеседника, то есть понимать зачем человек совершил то или иное действие, применимо в большом числе прикладных NLP-задач. К примеру, чат-ботам, голосовым помощникам и другим диалоговые системам это позволит эмоционально реагировать на вы...

Миграция IBM Lotus Notes/Domino в Microsoft Exchange без шума и пыли Может быть пора? Такой вопрос рано или поздно появляются у коллег, которые используют Lotus в качестве почтового клиента или системы документооборота. Запрос на миграцию (по нашему опыту) может возникнуть на совсем разных уровнях организации: от топ-менеджмента до пользоват...

[Перевод] Настройка Webpack 5 с нуля Узнайте, как использовать вебпак для сборки JavaScript, изображений, шрифтов и стилей, а также как запускать сервер для разработки Если вы раньше использовали вебпак 4, вот некоторые отличия от 5 версии: команда «webpack-dev-server» теперь выглядит как «webpack-serve» о...

Банки и крупные компании присоединились к Кодексу этики использования данных Церемония подписания соглашения состоялась 12 декабря в рамках открывающей панели Недели Российского Интернета (RIW-2019). Разработчиками Кодекса выступили Институт развития интернета и Ассоциация больших данных."Присоединение Газпромбанка к Кодексу этики использования ...

В научных открытиях исследователям ЦЕРН помогает Juniper Networks Компания Juniper Networks (NYSE: JNPR), являющаяся одним из лидеров в сфере разработки защищенных сетей с элементами искусственного интеллекта, сегодня объявила о том, что ЦЕРН (Европейская организация по ядерным исследованиям) — один из крупнейших и наи...

Завершен основной этап разработки российской ERP-платформы «Ма-3» ERP-платформа "Ма-3" обеспечивает комплексное планирование и управление всеми основными бизнес-процессами современного предприятия. В "Ма-3" реализована базовая функциональность стандарта MRP II: "Планирование и управление производством", "...

Smartcat Serge: пример continuous localization Smartcat Serge — пример проекта с использованием полностью автоматизированного подхода к непрерывной локализации (continuous localization) с помощью платформы Smartcat. Это предварительно настроенный контейнер Docker с инструментом автоматизации локализации из командно...

Таинственная программа LyX. Часть 2 Скопировано с моего блога в целях создания еще одного русскоязычного источника информации по данной теме. LyX: Preview В меню Вставка есть команда Preview. Я ее понял в числе последних. Математический режим имеет, с одной стороны, преимущество в том, что вводимая формула о...

KeyDB как [потенциальная] замена Redis На хабре не нашлось обзоров «более быстрой альтернативы Redis» — KeyDB. Получив достаточно свежий опыт его использования, хочется восполнить этот пробел. Предыстория достаточно банальна: однажды с большим наплывом трафика была зафиксирована значительная деградация произво...

Sensor Tower тайно собирала данные пользователей Android и iOS Аналитическая компания Sensor Tower, которая занимается сбором данных о загрузках и использовании приложений для разработчиков, тайно собирала данные миллионов пользователей Android и iOS через VPN и приложения, блокирующие рекламу. Об этом сообщает Buzzfeed News.В отчете та...

Консоль Microsoft Xbox Series X получит специализированный аудиопроцессор В конце февраля сообщалось, что игровая консоль нового поколения Microsoft Xbox Series X получит поддержку объёмного звука на основе трассировки лучей. Теперь появились новые подробности об аудиосистеме устройства. Известно, что за счёт обработки звука с помощью трассировки ...

Java-дайджест за 13 апреля Системе контроля версий Git исполнилось 15 лет. Testcontainers исполнилось целых пять лет! Testcontainers — это Java-библиотека, позволяющая делать легкие одноразовые экземпляры популярных баз данных, веб-браузеров Selenium, или чего угодно ещё, что можно запустить в Doc...

VPS на Linux с графическим интерфейсом: запускаем сервер X2Go на Ubuntu 18.04 Настройку VNC и RDP на виртуальном сервере мы уже освоили, осталось изучить еще один вариант подключения к виртуальному рабочему столу Linux. Возможности созданного компанией NoMachine протокола NX достаточно интересны, к тому же он хорошо работает через медленные каналы. Ф...

Как подключиться к VPN на Android: 5 простых шагов Узнайте как подключиться к VPN на Android!  Платформа Андроид, наравне с iOS занимает ведущее место на рынке операционных систем мобильных устройств и гаджетов. Если Вы, являясь обладателем устройства Андроид, хотите загрузить приложение, заблокированное или недоступное...

Повторная обработка событий, полученных из Kafka Привет, Хабр. Недавно я поделился опытом о том, какие параметры мы в команде чаще всего используем для Kafka Producer и Consumer, чтобы приблизиться к гарантированной доставке. В этой статье хочу рассказать, как мы организовали повторную обработку события, полученного из Ka...

[Перевод] CSS и множественный фон CSS-свойство background — это одно из самых часто используемых свойств. Но сообщество веб-разработчиков пока не слишком хорошо осведомлено о возможностях, которые даёт использование множественного фона. Здесь я собираюсь серьёзно поговорить о том, что может дать применение м...

[Из песочницы] Использование QubesOS для работы с Windows 7 На Хабре не так много статей, посвященных операционной системе Qubes, а те, что я видел мало описывают опыт применения. Под катом надеюсь это исправить на примере использования Qubes в качестве средства защиты (от) среды Windows и, попутно, оценить количество русскоговорящих...

«Газинформсервис» представил СУБД Jatoba на митапе Mail.ru @Databases Meetup* от Mail.ru Cloud Solutions прошел в московском офисе компании Mail.ru Group. Первый митап собрал более 350 IT-специалистов, заинте-ресованных в обсуждении технологий современных высокопроизводительных баз данных. На мероприятии эксперты представили ...

«Цифровой экономикой» будет управлять ИТ-система за 96 миллионов Это следует из сопоставления данных в тематическом гостендере, в котором упомянутая сумма выставлена в качестве начальной максимальной цены контракта, которые приводит CNews.Непосредственным заказчиком работ выступает подведомственное Минкомсвязи федеральное государственное ...

Hitachi Vantara объявила о приобретении Waterline Data Компания Hitachi Vantara, дочернее предприятие Hitachi, Ltd., объявила о намерении приобрести Waterline Data, Inc. Компания предлагает решения по интеллектуальной каталогизации данных для методологии DataOps, которые позволяют заказчикам получать уникальные знания из больших...

readable — еще один линтер для PHP Хочу представить линтер для PHP readable. Сейчас в нем 16 правил, которые должны улучшить читабельность кода. К основным преимуществам можно отнести: скорость — меньше секунды на 1000 файлов настройка baseline — можно не исправлять все ошибки в проекте сразу, а создать конф...

Что такое DASH (Dash)? 1 Что такое DASH (Dash)? Dash – это пиринговая платежная система с открытым исходным кодом и одноименной расчетной единицей. 2 Кто, когда и как создал DASH? Дата запуска: 18 января 2014 года Создатель: Эван Даффилд, американский программист Название при запуске: Xcoin Даты п...

«Норникель» построил собственный модульный центр обработки данных "Мы стали первой металлургической компанией, которая построила собственный модульный ЦОД, - сообщил директор департамента информационных технологий Юрий Шеховцов. - Центр был полностью создан на базе отечественного производства в Новосибирске, что соответствует политик...

Ободрать до нитки: Тинькофф нашел новый способ разорить своих клиентов Пользователи сервисов могут сами загнать себя в ловушку. Мобильный оператор «Тинькофф мобайл», являющийся дочерним сервисом одноименного банка, запустил новую услугу по записи телефонных разговоров. Согласно официальному порталу, все записи будут храниться бессрочно в прил...

Создаем свою CRUD API на Express и MySQL: часть первая Всем привет. В преддверии старта курса «Fullstack разработчик JavaScript», хотим поделиться небольшим материалом, который был написан нашим внештатным автором. Express один из самых популярных веб-фреймворков, который поддерживает роутинг, миддлвейрс и систему шаблонов. Д...

[Из песочницы] Автоопределение кодировки текста Введение Я очень люблю программировать, я любитель и первый и последний раз заработал на программировании в далёком 1996 году. Но для автоматизации повседневных задач иногда что-то пишу. Примерно год назад открыл для себя golang. В качестве инструмента создания утилит golan...

Что общего между LVM и матрешкой? Доброго времени суток. Хочу поделиться с сообществом практическим опытом построения системы хранения данных для KVM с использованием md RAID + LVM. В программе будет: Сборка md RAID 1 из NVMe SSD. Сборка md RAID 6 из SATA SSD и обычных дисков. Особенности работы TRIM/DI...

Эксперимент VTrade. Часть 1: Биржи и современные технологии Цикл статей освещает попытку создания реактивной системы силами одного человека с минимальным бюджетом и в кратчайшие сроки. Цели эксперимента: Более глубокое понимание предметной области и улучшение технической экспертизы Выявление сильных и слабых сторон использования фу...

Обучение универсальной модели NLU c BERT и Multitask Learning В современной компьютерной лингвистике понимание смысла написанного или сказанного достигается с помощью моделей естественного языка (NLU). С постепенным ростом аудитории виртуальных ассистентов Салют встает вопрос об оптимизации наших сервисов, работающих с естественным яз...

[Перевод] Алгоритм сжатия Хаффмана В преддверии старта курса «Алгоритмы для разработчиков» подготовили для вас перевод еще одного полезного материала. Кодирование Хаффмана – это алгоритм сжатия данных, который формулирует основную идею сжатия файлов. В этой статье мы будем говорить о кодировании фиксирован...

Envoy для самых маленьких Всем привет! Я работаю бэкенд-разработчиком в компании Tinkoff, где участвую в разработке платформы CRM-системы для обслуживания физических и юридических лиц. Использование edge proxy и балансировщика в частности — это почти мастхэв при построении современных систем. Сегодн...

Как программировать многоядерные микроконтроллеры В течение последних десяти лет процессоры практически во всех наших устройствах стали многоядерными. Вслед за ними появляются и многоядерные микроконтроллеры. В каталогах крупных производителей уже сейчас можно найти микроконтроллеры общего назначения с несколькими ядрами п...

В Safari нашли 5 уязвимостей, позволявших следить за пользователями Safari оказался не таким безопасным, как было принято считать Чувство защищённости – одна из услуг, которые Apple дарит своим клиентам при покупке каждого фирменного устройства. Покупая iPhone, iPad или Mac, мы можем быть уверенными, что нам не подсунут инструмент для тайног...

[Перевод] Конференция HACKTIVITY 2012. Теория большого взрыва: эволюция пентестинга в условиях повышенной безопасности. Часть 2 Конференция HACKTIVITY 2012. Теория большого взрыва: эволюция пентестинга в условиях повышенной безопасности. Часть 1 Сейчас мы попробуем другой способ внедрения SQL. Посмотрим, будет ли база данных продолжать отбрасывать сообщения об ошибках. Этот метод называется «ожидани...

Эволюция QR-кода Что хранится в чёрных квадратах, и как их используют бренды.

Apple признала, что просматривает фотографии пользователей iPhone Американская технологическая компания официально подтвердила, что контролирует все хранящиеся на смартфонах iPhone и передающиеся через фирменный сервис iCloud фотографии. Делается это с целью мониторинга контента, содержащего детскую порнографию и файлы, свидетельствующие о...

[Перевод] Docker Compose: упрощение работы с использованием Makefile Каждые несколько лет в индустрии разработки ПО происходит смена парадигмы. Одним из таких явлений можно признать рост интереса к концепции микросервисов. Хотя микросервисы — это технология не самая новая, лишь в последнее время её популярность буквально взлетела до небес. Б...

Взломать iPhone проще, чем Android-смартфон? Взлом iPhone стал большой проблемой для правоохранительных органов США, а сама компания постоянно транслирует месседж, что информация, хранящаяся на смартфоне, хорошо защищена. В Купертино гордятся безопасностью своих устройств и неизменно повторяют, что iOS безопаснее ...

Работа с объектным S3-хранилищем Mail.ru Cloud Solutions как с файловой системой Waste Pickers by GabrielBStiernstrom С объектными хранилищами чаще всего работают через API. Но если очень хочется, можно сложить туда файлы и работать с ними в объектном хранилище, как в файловой системе, с иерархией каталогов. Грубо говоря, в хранилище можно выложить фото...

Атрибут cleanup Цитата из документации GCC [1]: Атрибут cleanup предназначен для запуска функции, когда переменная выходит из области видимости. Этот атрибут может быть применён только к auto-переменным, и не может быть использован с параметрами или с static-переменными. Функция должна прин...

Ростех интегрирует «Электронную школу» с функционалом образовательных онлайн-платформ Интеграция систем "БАРС.Образование - Электронная школа" с ЦОР "ЯКласс" − резидентом Кластера информационных технологий Фонда "Сколково" − позволит планировать уроки при помощи цифровых ресурсов, автоматизировать проверку школьных ра...

Линейный криптоанализ на примере блочного алгоритма шифрования NUSH В современном мире остро стоит вопрос о конфиденциальности данных при обмене ими и их хранении, которая достигает за счет все возможных способов шифрования. Однако при появление новых алгоритмов шифрования  начинают проводиться работы по изучению способов нарушить конфи...

[Перевод] Стек технологий Shiro Games Наш игровой движок Heaps.io и набор инструментов и технологий, на котором он основан, являются результатом опыта, накопленного за двадцать лет, посвященных созданию игр: сначала в компании Motion-Twin (создатели Dead Cells), а с 2012 года в Shiro Games (Evoland, Northgard и ...

Автомобили в Голландии: статистика и информация за 2019 год Привет Хабр. Эта статья является продолжением цикла про Велоинфраструктуру в Голландии. В этот раз речь пойдет про автомобили. Недавно в одном из проектов довелось получить доступ к данным с камеры, распознающей автомобильные номера. Зная номер, можно получить довольно м...

Книга «Программирование на Rust» Привет, Хаброжители! Официальный гайд по языку программирования Rust поможет вам создавать более быстрое и надежное программное обеспечение. Высокоуровневая эргономика и низкоуровневое управление часто противоречат друг другу, но Rust бросает вызов этому конфликту. Авторы ...

Установленные лица: в России начали тестировать биометрические банкоматы В России начали тестировать банкоматы с функцией распознавания лиц, для обслуживания в них не нужно иметь при себе карту. Пилотные проекты запустили «Тинькофф» и Сбербанк, а ВТБ планирует внедрить новую технологию в 2020 году, сообщили «Известиям» в этих кредитных организаци...

Обнаружено кладбище «Запорожцев» «Українські автомобілі" / Facebook В Энергодаре, городе в северо-западной части Украины, обнаружили кладбище «Запорожцев» — автомобилей ЗАЗ-1103 «Славута». Как можно заметить на фотографиях, которыми поделилось сообщество «Українські автомобілі" в Facebook, да...

Что означает оранжевая и зеленая точка на экране iPhone в iOS 14 iOS 14 включает в себя несколько основных новых функций и множество мелких изменений, а также визуальных обновлений. Те, кто уже успели установить новую версию мобильной операционной системы Apple, наверняка заметили новые индикаторы в правой части строки состояния (рядом с...

[Из песочницы] 5NO — NodeJS ORM for Postgres Кратко об этом модуле Этот модуль разработан мной для упрощения взаимодействия между Postgres и JS. Я понимаю что есть много подобных модулей, но хотелось сделать что то гибкое и простое в обращение средство для разных нужд. Модуль объединяет в себе три важные функции: вал...

После удаления Telegram входит в учетную запись без верификации даже после смены пароля После удаления приложения Telegram с Вашего macOs устройства стандартным путем (переносом из папки Applications в корзину) — в нем остаются файлы. Скриншот файлов Это какая-то часть переписки, информация об аккаунте и т.д. Вещи на первый взгляд не страшные — все, что ест...

Открытые онлайн-материалы от Computer Science центра, часть 2 В первой части поста мы рассказали о наших популярных онлайн-курсах на Stepik, а теперь выкладываем записи открытых лекций и видеокурсов на YouTube и напоминаем о том, что до 11 апреля открыт новый набор в CS центр в Санкт-Петербурге и Новосибирске. Читать дальше →

Подключение к session в Java и Python. HttpURLConnection и CookieManager (Java). Requests(Python) Допустим, что нам надо подключиться к серверу, авторизоваться и поддерживать сессию. В браузере это выглядит следующим образом: На адрес http://localhost:8080/login отправляется пустой GET запрос. Сервер присылает формочку для заполнения логина и пароля, а также присылает ...

Apache Kafka для чайников Данная статья будет полезной тем, кто только начал знакомиться с микросервисной архитектурой и с сервисом Apache Kafka. Материал не претендует на подробный туториал, но поможет быстро начать работу с данной технологией. Я расскажу о том, как установить и настроить Kafka на W...

ROS: Застрявшим в Gazebo посвящается… Платформа для робота за 28.000 руб Инструкция по сборке роботизированной платформы для изучения ROS с грузоподъемностью более 30 кг ROS — это мета-операционная система (с открытым исходным кодом) для роботов. Это превратилось в стандарт отрасли. Имея готовый интерфейс обмена сообщениями между различными узлам...

INLINE Technologies перевела службу сервиса на технологию "цифровых двойников" INLINE Technologies модернизировала процессы деятельности своей службы сервиса, использовав цифровые модели ИТ-инфраструктуры. Работа проведена в рамках корпоративной программы по совершенствованию инструментов и методов сервисного сопровождения заказчиков. Для перехода к ц...

[Перевод - recovery mode ] Учебный проект на Python: алгоритм Дейкстры, OpenCV и UI ( часть 1) Лабиринты — это распространенная головоломка для людей, но они представляют из себя интересную задачу для программирования, которую мы можем решить, используя методы кратчайшего пути, такие как алгоритм Дейкстры. Вспоминаем алгоритм Дейкстры Алгоритм Дейкстры — один из наиб...

Импорт ЕГРЮЛ ФНС средствами Apache NiFi. Шаг 2 — преобразование XML в JSON В одном из проектов возникла необходимость перевести процессы импорта данных сторонних систем на микросервисную архитектуру. В качестве инструмента выбран Apache NiFi. В качестве первого подопытного выбран импорт ЕГРЮЛ ФНС. В предыдущей статье было описано, как получить файл...

[Перевод] Запускаем Keycloak в HA режиме на Kubernetes TL;DR: будет описание Keycloak, системы контроля доступа с открытым исходным кодом, разбор внутреннего устройства, детали настройки. Читать дальше →

Шаблон backend сервера на Golang — часть 2 (REST API) Представленный ниже шаблон сервера на Golang был подготовлен для передачи знаний внутри нашей команды. Основная цель шаблона, кроме обучения — это снизить время на прототипирование небольших серверных задач на Go. Первая часть шаблона была посвящена HTTP серверу: настройка...

PostgreSQL Antipatterns: вредные JOIN и OR Бойтесь операций, buffers приносящих… На примере небольшого запроса рассмотрим некоторые универсальные подходы к оптимизации запросов на PostgreSQL. Пользоваться ими или нет — выбирать вам, но знать о них стоит. Читать дальше →

От ICQ к CRM: как цифровизуется спичечная промышленность Объединенная спичечная компания построила виртуальную частную сеть на базе ЦОД КОМПЛИТ, куда вошли все фабрики и головной офис ОСК. Теперь у сотрудников любого филиала есть оперативный доступ к нужной информации, затраты на ПО сократились более чем вдвое, качество связи конт...

Беспилотное судно готовят к походу через Атлантику В сентябре 2020 года будет отмечаться 400-летие Mayflower — корабля, на котором в 1620 году в Северную Америку прибыли одни из первых английских поселенцев. В честь этого события один из первых полностью автономных полноразмерных кораблей повторит этот путь, проплыв из Плиму...

Как просканировать весь интернет Весь диапазон IPv4 адресов — это 4-миллиарда IP-адресов. Это кажется огромной цифрой, но весь IPv4 интернет можно полностью просканировать на предмет одного TCP-порта за 40 минут, например найти все веб-серверы в мире или все открытые SSH-порты. При этом достаточно одного ...

Использование RabbitMQ вместе с MonsterMQ часть 3 В нашей предыдущей статье мы создали очередь задач. Она предполагает что одна задача в виде сообщения доставляются одному получателю. В этой статье мы сделаем кое-что другое, мы будем отсылать одно сообщения сразу нескольким получателям. Мы создадим систему логгирования кото...

Как легко почистить легко клавиатуру от мусора, пыли и микробов? Если в семье кончится еда, можно «сварганить» еще минимум один прием пищи. Как? Скорее всего, в клавиатуре вашего «дотера» или «танкиста» хранится не один ужин и завтрак. А все от любви перекусить прямо во время игрового процесса! Но шутки шутками, а клавиатура и правда по...

Проактивное управление проблемами В редакцию портала поступил вопрос: Добрый день! Вопрос по проактивному управлению проблемами. Поддержка, которая решает инциденты, может создавать отдельные запросы на вендора. Таким образом, инциденты от заказчиков, с одинаковой «проблемой» могут быть связаны с одним запр...

Подключение Yandex Database к serverless телеграм боту на Yandex Functions Данная статья является продолжением вот этой статьи. В ней мы рассмотрели создание и настройку yandex cloud functions телеграм бота. А сегодня мы рассмотрим подключение телеграм бота к базе данных и сохранение какой-либо информации о пользователе, с которым общается бот.В ка...

Fluentd: почему важно настроить выходной буфер В наше время невозможно представить проект на базе Kubernetes без стека ELK, с помощью которого сохраняются логи как приложений, так и системных компонентов кластера. В своей практике мы используем стек EFK с Fluentd вместо Logstash. Fluentd — это современный универсальный ...

[Перевод] Сравнение React Native и Flutter с точки зрения их применения в реальных проектах Чем React Native отличается от Flutter, за исключением того, что речь идёт о разных фреймворках, в основу которых положены разные технологии? На что ориентироваться тому, кто не знаком с этими инструментами для разработки кросс-платформенных приложений, но хочет выбрать один...

Наш опыт с графовой базой данных Dgraph в Kubernetes Недавно перед нами встала задача развернуть Dgraph в кластере Kubernetes. В этой статье я поделюсь полученным опытом: с чем мы столкнулись во время деплоя и последующего использования этого приложения в различных окружениях, от dev до production. Что вообще такое Dgraph? ...

Пользуетесь Google Chrome? Значит Google собирет ваши данные через X-client-data Многие считают сервисы Google полезными и удобными в использовании, однако у них есть как минимум одна важная особенность. Речь идет о постоянной слежке за пользователями, об интенсивном сборе и отправке данных об их активности. Далеко не все пользователи представляют, как...

Парсинг фотографий с сайта cian.ru с помощью Selenium Здравствуйте дорогие хабровчане, в этом небольшом примере я хочу показать как можно распарсить страницу, данные на которую подгружаются с помощью javascript виджетов. Более того, даже если страницу в этом примере просто сохранить, то всё равно не получится спарсить из неё вс...

Исследование: плотность мощности IT-оборудования в стойках ЦОД растет До недавнего времени средняя мощность IT-оборудования в ЦОД составляла 5 кВт на стойку. Теперь ситуация иная. Сорок пять процентов участников опроса 451 Research, который охватил в общей сложности 750 респондентов, заявили, что ожидают выхода на среднюю плотность в 11 кВт н...

Портативные твердотельные накопители IO Data SSPH-UT сертифицированы для использования с PlayStation 4 Компания IO Data представила линейку портативных твердотельных накопителей SSPH-UT, которые сертифицированы для использования с консолями PlayStation 4 и PlayStation 4 Pro в качестве дополнительного хранилища. Они оснащены интерфейсом USB 3.1 Gen 1 (5 Гбит/с) и использу...

[Перевод] Дизайн-токены способны на большее: создаем единый источник информации о компонентах UI Термином «дизайн-система» в IT давно никого не удивишь. Компании систематизируют дизайн продуктов, придумывая свои или используя чужие инструменты для управления стилями, паттернами и компонентами.  Badoo не является исключением: с помощью нашей дизайн-системы Cosmos мы подд...

Как весь мир пытался создать альтернативу Android, но не смог Были ли альтернативы Андроиду? Android-смартфоны сегодня доминируют на рынке телефонов. Многие даже не знают, что когда-либо существовали альтернативы не в виде iOS, которой уж очень тяжело тягаться с Android за счет того, что это закрытая операционная система, привязанная к...

Хочу middleware, но не хочу ExpressJS Middleware в случае с HTTP-сервером в Node.JS — это промежуточный код, который выполняется до того, как начнёт выполняться ваш основной код. Это, чаще всего, нужно для того, чтобы сделать какой-то дополнительный тюнинг или проверку входящего запроса. Например, чтобы преврати...

Как мы работаем над качеством и скоростью подбора рекомендаций в Яндекс.Дзене Меня зовут Павел Пархоменко, я ML-разработчик в Яндекс.Дзене. В этой статье я хотел бы рассказать об устройстве нашего сервиса и поделиться техническими улучшениями, внедрение которых позволило увеличить качество рекомендаций. Из поста вы узнаете, как всего за несколько милл...

UML для разработчиков Интернет полон статей про UML, вы найдете сотни примеров для каждого вида диаграмм, и без проблем создадите свои, нотация не сложная. Но так ли уж необходимо тратить на это время? Наш богатый опыт говорит «Да». Если у вас в команде более 2 человек и проект от 3 месяцев, то у...

[Перевод] Как ханипоты деанонимизируют хакеров и онлайн-мошенников Ханипот – это утилита, которая служит в качестве приманки, и представляет с виду соблазнительную цель для атакующего и искушает его к раскрытию самого себя. В то время как продвинутые ханипоты спроектированы для более простого обнаружения и изучения типов атак, используемы...

Твердотельные накопители Kingston DC1000M объемом до 7,68 ТБ предназначены для центров обработки данных Компания Kingston Digital сообщила о выпуске твердотельных накопителей DC1000M, которые предназначены для центров обработки данных. Среди возможных нагрузок названы облачные вычисления, веб-хостинг, высокопроизводительные вычисления (HPC), виртуальные инфраструктуры, ис...

Мониторинг запросов в Greenplum Часто при работе с разными базами данных необходимо отслеживать выполнение текущих запросов. В основном это связано с задачами администрирования или аналитики. Средства мониторинга, позволяющие управлять и наблюдать за выполнением запросов, сильно помогают в этом. Я расскажу...

Как сервис Estimate помогает автоматизировать процесс оценки и узнать стоимость IT-проекта Как для бизнеса, так и для IT-компании оценка – один из самых важных этапов в начале работы над проектом. Бизнес готов сотрудничать с тем подрядчиком, который назовет стоимость объективно, прозрачно и быстро, в идеале – немедленно. При этом на рынке существует значительный ...

[Перевод] Создавайте приложения бесплатно с помощью Azure Cosmos DB Free Tier Хотите создать новое приложение, разработать и протестировать или запустить небольшие производственные рабочие нагрузки с помощью Azure Cosmos DB? Наш новый уровень бесплатного пользования позволяет начать работу без затрат и сэкономить деньги при создании и развитии новых п...

macOS Big Sur: как настроить Dock и строку меню? Если вы уже установили macOS Big Sur (подробный обзор), то, вероятно, все еще наслаждаетесь новым видом системы и ее улучшенным функциям. Но помимо изменения дизайна, необходима и максимальная эффективность работы macOS. Как минимум, для этого придется организовать удобное и...

Продажи СХД на базе жестких дисков в России растут быстрее всего Аналитическая компания IDC обнародовала некоторые результаты исследования российского рынка систем хранения данных.

Что такое Android? Когда речь заходит об Android, многие не совсем понимают, что имеет ввиду человек. Android — это смартфон или операционная система? Что вообще такое «операционная система»? Многим может показаться этот вопрос слишком простым, но не все до конца понимают это....

Форум BIG DATA 2020 и 10% скидка на участие Приглашает форум «BIG DATA 2020: данные в основе цифровой экономики» 25 марта 2020 года издательство «Открытые системы» проведет в Москве деловой форум «BIG DATA 2020: данные в основе цифровой экономики», который соберёт специалистов в сфере больших данных и интеллектуально...

[Из песочницы] База данных на ScriptableObject c системой сейва/загрузки Введение В каждой игре есть данные, с которыми работают гейм-дизайнеры. В рпг — это база данных айтемов, в матч-3 — стоимость в кристаллах инструментов из магазина, в экшенах — количество хп, на которое лечит аптечка. Для хранения таких данных существует много способов — кт...

Декриптор вымогателя Ryuk повреждает большие файлы В обновленной версии вымогателя Ryuk был незначительно изменен алгоритм шифрования файлов, из-за чего декриптор, который злоумышленники предоставляют жертвам после получения выкупа, может работать некорректно. Об этом сообщили специалисты компании Emsisoft, которые проанализ...

SSD-накопитель Intel 660p емкостью 2 ТБ: размер имеет значение не только сам по себе Твердотельные накопители на базе QLC-памяти массово поставляются уже более года, однако многие покупатели до сих пор относятся к ним насторожено. Современная QLC всегда хуже (в житейском понимании) современной же TLC — но и дешевле. Поэтому ее используют в самых дешевых SSD ...

На ОДК создан центр компетенции по управлению ИТ-услугами К задачам общекорпоративного центра компетенции относятся централизация функций, унификация и стандартизация процессов, организация методологического и информационно-технического обеспечения управления ИТ-услугами. Еще одной важной составляющей деятельности является сбор ста...

ИИ трансформирует сельское хозяйство Центр развития финансовых технологий Россельхозбанка оценил объем данных, которые необходимо будет хранить при переходе всех сельскохозяйственных компаний России на использование технологий AI (искусственного интеллекта). По оценкам специалистов банка, для хранения этих данн...

[Из песочницы] Android Remote Debugger — удаленная отладка Android приложений Отладка является важным этапом разработки программного обеспечения. Поиск и исправление ошибок позволяет разрабатывать качественные продукты. В данной статье я хочу поговорить об отладке только Android приложений. Android Studio предоставляет нам различные инструменты профил...

Базу практик применения ИИ в разных бизнес-процессах сформировала ICT.Moscow Платформа о московских высокотехнологичных решениях ICT.Moscow открыла доступ к базе практик применения искусственного интеллекта (ИИ) в разных сферах и бизнес-процессах: ict.moscow/ai/. Всего собрано более 300 российских и международных практик использования технологии ...

Инкапсулятор Etherblade.net и импортозамещение сетевых компонентов (часть вторая) В первой статье я хотел показать, что FPGA девелопмент — интереснейшее занятие, а реализация потокового инкапсулятора является достаточно несложным проектом, который вполне мог бы выступить в качестве академического проекта для студентов старших курсов или аспирантуры. Да...

«Промобит» и «Аэродиск» создали новую СХД Компании «Аэродиск» и «Промобит» представляют совместную разработку — систему хранения данных «Аэродиск Восток Битблейз», построенную на базе процессоров Эльбрус-8СВ. Новинка сочетает в себе аппаратную часть BITBLAZE ...

Slush Pool представил новую версию операционной системы Braiins OS Компания Braiins сообщила о выходе новой версии прошивки для ASIC-устройств и производного коммерческого продукта Braiins OS+. Braiins является оператором старейшего пула для майнинга биткоина Slush Pool. Новая версия Braiins OS включает полнофункциональный BOSminer (замена ...

Рынок программно-определяемых сетей и дата-центров находится на пороге стремительного взлёта Эксперты не уточнили динамику относительно 2018 года, но говорят, что рынок является растущим и останется таковым. Ожидается, что продажи расходы на программно-определяемые решения в глобальном масштабе будут увеличиваться на 25,5% ежегодно, а к 2024 году они достигнут $160,...

Накопительные обновления KB4565351 и KB4566782 не устанавливаются у некоторых пользователей Windows 10 Согласно сообщениям пользователей, некоторым юзерам не удается установить важное обновление безопасности Windows 10 за август 2020 года. Накопительные обновления KB4565351 и KB4566782 вызывают проблемы с установкой у пользователей, на компьютерах которых установлено обновлен...

[Перевод] 10 практических рекомендаций по безопасности образов Docker. Часть 2 Перевод статьи подготовлен специально для студентов курса «Безопасность Linux». Читать первую часть 5. Не оставляйте чувствительные данные в образах Docker Иногда при создании приложения внутри образа Docker вам нужны такие секретные данные, как приватный SSH-ключ для извл...

Почём цифровой след абонента? Как повысить ARPU и не потерять абонентов? Да попросту этих абонентов продать… Вернее не их самих, конечно, а данные о них. Именно эти данные ценятся сегодня на вес золота. Главное знать, как монетизировать сокровища, словно бриллианты в сундуке, хранящиеся у оператора связи...

Американские учёные создали транзистор со встроенной памятью FeRAM Исторически сложилось, что обработка и хранение данных происходят в разных устройствах. Объединить вычислительные элементы и ячейки памяти в один электронный прибор означает нечто большее, чем умножить плотность размещения элементов на кристалле. Транзистор с памятью ― это з...

Bitwarden: храните пароли безопасно Если у вас есть хотя бы пять паролей к разным аккаунтам, держать их в голове становится непросто. На помощь приходят менеджеры паролей. Это небольшие программные решения, которые позволяют хранить пароли (а иногда и другие ценные данные) в защищенной базе. Парольные менедже...

[Перевод] Использование современных графических форматов в веб-проектах Эдди Османи, в статье «Цена JavaScript в 2018 году», озвучил одну ценную мысль: время, необходимое на обработку скрипта размером 200 Кб, и на обработку изображения, имеющего такой же размер, серьёзно различается. Дело в том, что при обработке кода браузеру нужно проделать бо...

Как оцифровать старые фотографии в домашних условиях: 3 способа Распечатанные снимки могут храниться годами, но со временем их качество будет ухудшаться. Чтобы надолго сохранить старые фото и память о минувших годах, стоит задуматься об оцифровке. Сегодня оцифровать фотографии можно даже в домашних условиях, используя сканер, фотоаппарат...

[Перевод] Мои любимые трюки в JavaScript Приветствую. Представляю вашему вниманию перевод статьи «My Favorite JavaScript Tips and Tricks», опубликованной 28 июля 2020 года автором Tapas Adhikary Большинство языков программирования являются достаточно открытыми, чтобы предоставить разработчикам возможность делать о...

Разработчик объяснил, почему слежка за больными коронавирусом от Apple безопасна Система отслеживания больных коронавирусом от Apple, релиз которой должен состояться буквально со дня на день, ещё до своего запуска вызывала ряд вопросов. Под сомнение ставилась не только эффективность новой инициативы, но и безопасность пользователей, которые согласятся п...

SQL Server Plan Guide и другие не самые лучшие практики Обычно посты об оптимизации запросов рассказывают о том, как делать правильные вещи, чтобы помочь оптимизатору запросов выбрать оптимальный план выполнения: использовать SARGable-выражения в WHERE, доставать только те столбцы, которые нужны, использовать правильнопостроенные...

Автомобильный видеорегистратор Playme Sigma: магнитные крепления, GPS-информатор и скромное качество съемки Автомобильный видеорегистратор Playme Sigma — недорогой, удобный в обращении и надежный прибор. Модульная конструкция с магнитными соединениями освобождает пользователя от необходимости всякий раз заниматься монтажом, что обычно приводит к износу креплений, а наличие GPS-при...

[Из песочницы] Моя реализация кольцевого буфера в NOR flash Предыстория Есть торговые автоматы собственной разработки. Внутри Raspberry Pi и немного обвязки на отдельной плате. Подключены монетоприёмник, купюроприёмник, банковский терминал… Управляет всем самописная программа. Вся история работы пишется в журнал на флешке (MicroSD), ...

История нашего open source: как мы сделали сервис аналитики на Go и выложили его в открытый доступ В настоящее время практически каждая компания в мире собирает статистику о действиях пользователя на web ресурсе. Мотивация понятна — компании хотят знать как используется их продукт/веб сайт и лучше понимать своих пользователей. Конечно на рынке существует большое количеств...

[Перевод] 14 open-source проектов для прокачки Data Science мастерства (easy, normal, hard) Data Science для начинающих 1. Sentiment Analysis (Анализ настроений через текст) Посмотрите полную реализацию проекта Data Science с использованием исходного кода — Sentiment Analysis Project в R. Sentiment Analysis — это анализ слов для определения настроений и мнений...

[Перевод] Как научить нейросеть воспроизводить игровую физику Практически в любой современной компьютерной игре наличие какого-либо физического движка является обязательным условием. Развевающиеся на ветру флаги и кролики, бомбардируемые шарами, ― всё это требует надлежащего исполнения. И, конечно, пусть не все герои носят плащи… но те...

Как расширить возможности встроенного поиска в Windows 10 Windows Search – это поисковая система, которая работает на вашем компьютере с Windows 10. В фоновом режиме поиск Windows сканирует новые и измененные файлы в папках с данными или библиотеках вашего личного профиля. Поиск Windows индексирует каждый документ и изображение, ко...

Репликация баз данных MySQL. Введение Редкая современная продакшн система обходится без репликации баз данных. Это мощный инструмент на пути к повышению производительности и отказоустойчивости системы, и современному разработчику очень важно иметь хотя бы общее представление о репликации. В данной статье я подел...

CrowdSec — современная альтернатива Fail2Ban и коллективный иммунитет для Интернета CrowdSec Инструмент Fail2Ban хорошо известен админам. Программа анализирует логи на сервере и подсчитывает количество попыток доступа с конкретных IP-адресов по указанным протоколам. В случае нарушения правила данный IP-адрес блокируется на заданный отрезок времени. Наприм...

Уродливый API В этой статье хочу рассказать о проблемах, с которыми столкнулся в процессе интеграции с API по HTTP протоколу, и поделиться опытом их решения.При разработке фронтенд приложений (mobile/web), часто сталкиваешься с тем, что API на бэкенде еще не реализован. Приходится ждать р...

Microsoft случайно оставила в открытом доступе 250 млн разговоров пользователей со службой поддержки У компании Microsoft очень часто случаются различные неприятности с ее продуктами, а теперь она призналась, что оставила в открытом онлайн доступе записи службы поддержки и обслуживания клиентов.Есть информация, что речь идет о 250 млн записей. Указанная база данных совершен...

МВД и Роскомнадзору сообщили о популярной схеме онлайн-мошенничества Как сообщает "КоммерсантЪ", схема основана на том, что мошенник создает, например, сайт по проведению платных опросов, после участия в которых пользователю приходит ссылка на получение крупного выигрыша. Для получения денег пользователю нужно заполнить несколько фо...

Легко ли взломать iPhone и как это делают спецслужбы Если вы думаете, что спецслужбы, которые взламывают iPhone подозреваемых в совершении преступлений, всесильны, это, конечно, не так. По данным Motherboard, до половины всех смартфонов, проходящих в качестве вещественного доказательства по уголовным делам, так и остаются в с...

[Перевод] Разворачиваем модель машинного обучения с Docker – Часть 1 Перевод статьи подготовлен в преддверии старта базового и продвинутого курсов по машинному обучению. Расширяем возможности для наших студентов. Теперь в OTUS есть целых два курса по Machine Learning: базовый и продвинутый. Оба курса стартуют в августе, в связи с чем мы приг...

Новую линейку серверов MegaDC представила Supermicro Компания Super Micro Computer, Inc.(код NASDAQ: SMCI), мировой лидер в сфере корпоративных вычислительных решений, а также экологически безопасных технологий для хранения данных и сетевого взаимодействия, представила новую линейку серверов MegaDC. В этой линейке представлены...

Раскрыта фишинговая кампания, нацеленная на Microsoft Office 365 Исследователи из Check Point раскрыли сложную фишинговую кампанию, нацеленную на сбор корпоративных данных, которые хранятся в учетных записях Microsoft Office 365. Для того, чтобы избежать обнаружения программами безопасности, злоумышленники использовали названия известных ...

Ernst & Young передаст налоговикам данные пользователей биткоин-биржи Quadriga Компания Ernst & Young, утвержденная судом в качестве доверительного управляющего обанкротившейся криптовалютной биржи Quadriga, получила запрос Налогового управления Канады (CRA) о предоставлении сведений по 115 тысячам клиентов. Sixth Report of the Trustee 24 March 202...

[Перевод] Рекомендации по REST API — примеры проектирования веб-сервисов на Java и Spring В последней статье этой серии вы познакомитесь с рекомендациями по REST API и с примерами разработки из Java и Spring Web Services. При разработке хорошего REST API важно иметь хорошие микросервисы. Как вы разрабатываете свой REST API? Каковы лучшие практики? Читать дальше...

5.8 млн IOPS: зачем так много? Привет Хабр! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на ...

MSI Bravo 15 и Bravo 17: игровые ноутбуки полностью на AMD за примерно $1000 Для экономных геймеров, не готовых платить за игровую портативную машину существенно больше $1000, тайваньская компания MSI подготовила новую серию ноутбуков Bravo 2020, которая пришла вслед за прошлогодней моделью Alpha 15. Новинки Bravo 15, которую показывали ещё на CES в ...

Не только космический зум и суперразрешение. Samsung Galaxy S20 получил еще одно преимущество Дата выхода Samsung Galaxy S20 и Galaxy Z Flip 11 февраля состоится мероприятие Galaxy Unpacked, на котором будут представлены флагманские смартфоны Galaxy S20, S20 Plus и S20 Ultra, а также сгибающийся смартфон Samsung Galaxy Z Flip. Мы знаем, что флагманский смартфон...

(Не)очевидный OSINT в Twitter Twitter — достаточно старый, но при этом все еще популярный у широкой аудитории сервис микроблогов, которым активно пользуются как рядовые пользователи, так и публичные личности. Лучший пример — официальные Twitter-аккаунты политиков, писателей, музыкантов, актеров. Конечн...

Ищем подходящий автомобиль… В субботу вечером я, как всегда, сидел и снифил трафик со своего телефона. Внезапно, открыв приложение «Ситимобил» я увидел, что один интересный запрос выполняется без какой-либо аутентификации. Это был запрос на получение информации о ближайших машинах. Выполнив этот запр...

Infortrend представила горизонтально масштабируемое хранилище данных EonStor CS Компания Infortrend® Technology, Inc. (код TWSE: 2495), разработчик передовых корпоративных систем для хранения данных,  представила легко масштабируемое хранилище для совместного использования EonStor CS, поддерживающее популярные программы для нелинейно...

Microsoft выпустила программу для восстановления потерянных или удалённых данных Компания Microsoft выпустила полезную программу для пользователей Windows 10, которые случайно удалили или каким-то другим образом потеряли данные.Приложение Windows File Recovery доступно для бесплатной загрузки в онлайн-магазине приложений Microsoft Store.Инструмент исполь...

Планшеты не умирают. У Samsung на подходе новинка В базе данных Google Play Console появились основные характеристики нового планшета южнокорейской компании Samsung, который должен появиться на рынке в этом году. Устройство должно быть оснащено экраном диагональю 8,4 дюйма разрешением 1920 х 1200 пикселей. В качестве о...

МТС, ГК «Дикси» и «Бристоль» заключили соглашение о стратегическом сотрудничестве К мобильным сервисам МТС совокупно будут подключены свыше 10 тысяч сотрудников компаний "Дикси" и "Бристоль". Более 2,5 тысяч розничных точек будут обеспечены фиксированными услугами связи. Проводной интернет МТС будет использоваться для работы POS-терми...

Алгоритмы быстрой обработки HTTP-строк В HTTP/2 появилась компрессия стандартных заголовков, но тело URI, Cookie, значения User-Agent по-прежнему могут составлять десятки килобайт и требуют токенизации, поиска и сравнения подстрок. Задача становится критичной, если HTTP-парсер должен обрабатывать интенсивный злон...

[Из песочницы] Большое тестирование процессоров различных архитектур Предисловие Попытка сравнить производительность процессоров на разнородных архитектурах x86-64, e2k (Эльбрус), mips и arm. Все тесты написаны на языке C (взяты из исходных кодов, которые я не модифицировал и не оптимизировал) и компилируются под конкретную архитектуру с испо...

Печать разными цветами на одноцветной голове. GCode. Навеяно https://3dtoday.ru/blogs/xedos/gcode-the-basics/.Возжелалось тут мне распечатать табличку Чтоб на основном фоне буковки были другого цвета.Сразу ограничение - материал обоих цветов должен быть одного типа. В данном случае PETG разных производителей.Желаемого эффекта ...

[Из песочницы] Игра с открытым API: Swagger Play В данной статье я хочу рассказать, как использовать Swagger модуль для Play Framework, с примерами из реальной жизни. Я расскажу: Как прикрутить последнюю версию Swagger-Play (модуль Play, позволяющий использовать аннотации swagger-api и генерировать на их основе документ...

12 Тфлопс, SSD, трассировка лучей: Microsoft раскрыла некоторые особенности консоли Xbox Series X Сегодня корпорация Microsoft обнародовала информацию о своей игровой консоли нового поколения Xbox Series X, тем самым официально подтвердив некоторые её особенности. Прежде всего, было объявлено, что в качестве процессора будет задействовано кастомное решение на базе AMD Ze...

PostgreSQL Antipatterns: сизифов JOIN массивов Иногда возникает задача «склеить» внутри SQL-запроса из переданных в качестве параметров линейных массивов целостную выборку с теми же данными «по столбцам». Читать дальше →

[Перевод] Как создать свой первый open source проект на Python (17 шагов) Каждый разработчик ПО должен знать как создать библиотеку с нуля. В процессе работы Вы можете многому научиться. Только не забудьте запастись временем и терпением. Может показаться, что создать библиотеку с открытым исходным кодом сложно, но Вам не нужно быть потрепанным ж...

[Перевод] А нужен ли Redis или хватит PostgreSQL Есть проверенная архитектура, которую я видел много раз для поддержки ваших веб-сервисов и приложений: PostgreSQL для хранения данных Redis для координации очередей фоновых заданий (и некоторых ограниченных атомарных операций) Redis — это фантастика, но что, если бы я с...

Быстрее, чем C++; медленнее, чем PHP Привет, Хабр. У меня тут случайно код на хаскеле получился быстрее аналогичного кода на C++. Иногда — на 40%. (время работы, меньше — лучше, C++ снизу) Что самое смешное — я собирал хаскель-код через LLVM-бекенд, но при этом сравнивал с GCC. Если сравнивать с clang (что вро...

Выпущена новая сборка Microsoft Edge Dev 81.0.403.1 Компания Microsoft выпустила новую сборку Microsoft Edge на базе Chromium под номером 81.0.403.1 для канала Dev, которая принесла с собой несколько новых функций, а также различные исправления и улучшения. Сообщается, что на прошлой неделе была временно отключена функция пе...

Китайские компании решили начать войну с Google Китайские компании объявили войну Google? Правительство США запретило Google предоставлять Huawei собственные сервисы в мае 2019 года. Это привело к тому что, в новых смартфонах Huawei больше не использует множество приложений американского гиганта. Скандал между Huawei и пр...

Немного о WebRTC: что где использовать и случай из практики WebRTC — это браузерная технология, предназначенная для передачи потоковых данных между браузерами или приложениями с использованием технологии двухточечной передачи (point-to-point transmission). Эта технология хороша тем, что позволяет устанавливать связь между пользоват...

Как выбрать сервис по ремонту телефона в 2021 году на примере отделения Мастерфон Дарница Цены на ремонт у всех сервисов примерно одинаковые. Но цены на запчасти разные и могут быть очень разные. Оптимально использовать запчасти качества сервисный оригинал.

Облачные игры: стресс-тест 5 облачных игровых сервисов плохим интернетом Около года назад я публиковала статью «Облачные игры: оценка возможностей сервисов для игры на слабых ПК из первых рук». В ней анализировались плюсы и минусы разных сервисов для облачных игр на слабых ПК. Я в ходе игры тестировала каждый сервис и поделилась в итоге общим впе...

Дипфейк видео по одному кадру пример работы First Order Motion Model Можно ли из одной фотографии сделать целый фильм? А записав движения одного человека, заменить его на другого в видео? Безусловно, ответ на эти вопросы, крайне важен для таких сфер как кинематограф, фотография, разработка компьютерных...

Ask me anything! Задай вопрос Android-команде Badoo Предлагаем продолжить добрую традицию Ask me anything на Хабре и поговорить про разработку Android-приложений. Сегодня и завтра Android-команда Badoo будет на связи и ответит на любые вопросы о разработке и тестировании приложений с многомиллионной аудиторией, даст советы на...

Статический генератор сайтов Hugo. Фронтенд реалии В 2020 практически весь мир фронтенда заполонили Javascript фреймворки. Только и слышно о React, Angular, Vue и иногда в далеких просторах можно услышать тихий шепот «Svelte». Разработчики умело используют эти инструменты для создания крутых продуктов, но есть и «динозавры» ...

Оно никуда не делось В последнее время о цифровом неравенстве в России практически перестали говорить. Но коронакризис показал, что оно никуда не исчезло. Более того, данная проблема глубже, чем казалось многим, и она имеет склонность усугубляться. Первые проблемы всплыли с переходом на удален...

CacheOut: у процессоров Intel обнаружили очередную уязвимость Очередная уязвимость была обнаружена в процессорах Intel. Данная уязвимость получила название CacheOut, по той причине, что она дает доступ к информации, хранящейся в кэш-памяти процессора. Подробнее об этом читайте на THG.ru.

Обмен с окружением на Андроид — что это и как отключить Android – чрезвычайно функциональная операционка. Это её и плюс, и минус одновременно. Ведь то, в чём одни видят возможности, для других является сложностью, с которой нужно разобраться. Причём последних, как показывает практика, оказывается намного больше, чем первых. Всё-...

Настройка аутентификации в сети L2TP с помощью Рутокен ЭЦП 2.0 и Рутокен PKI Проблематика Ещё совсем недавно многие не знали, как это — работать из дома. Пандемия резко изменила ситуацию в мире, все начали адаптироваться к сложившимся обстоятельствам, а именно к тому, что выходить из дома стало просто небезопасно. И многим пришлось быстро организовы...

Современный Web-UI для SVN в 2020 году cSvn — это web-интерфейс к Subversion репозиториям. Основу cSvn представляет CGI-скрипт написанный на языке С. В мае 2020 года был опубликован релиз очередной версии Apache Subversion 1.14.0. В свете этого события, был создан новый, современный web-интерфейс для просмотра S...

Имитация целенаправленных кибератак, Read Team, Pentest, сканирование уязвимостей. Плюсы и минусы различных методов В данной статье мы попытаемся сделать небольшое сравнение различных способов тестирования безопасности вашей сети и понять, есть ли какие-то преимущества у относительно новых BAS (Breach & Attack Simulations) систем, которые имитируют взлом и кибератаки. Для примера, в...

Минкомсвязь предложила регулировать big data Согласно законопроекту, большие данные определяются так: "Большие данные - совокупность неперсонифицированных данных, классифицирующая по групповым признакам, в том числе информационные и статистические сообщения, сведения о местоположении движимых и недвижимых объектов, кол...

[Перевод] Как использовать Инверсию Управления в JavaScript и в Reactjs для упрощения работы с кодом Инверсия Управления это довольно простой для понимания принцип программирования, который, при этом, может заметно улучшить ваш код. В данной статье будет показано как применять Инверсию Управления в JavaScript и в Reactjs. Если вы уже писали код который используется больше ...

Как защитить данные игры на Unity в оперативной памяти? Привет! Не секрет, что существует множество программ для взлома игр и приложений. Способов взлома тоже много. Например, декомпиляция и модификация исходного кода (с последующей публикацией кастомных APK, к примеру, с бесконечной голдой и всеми платными покупками). Или самы...

Asus ROG Phone 3 впервые демонстрирует свои возможности К выходу готовится игровой смартфон Asus ROG Phone 3, который уже был замечен в базе данных организации Wi-Fi Alliance, а также был протестирован в популярном бенчмарке Geekbench. Смартфон Asus ROG Phone 3 проходит под одним и тем же модельным номером I0003DD в обоих ба...

/proc/meminfo + gawk = удобный JSON для discovery метрик в zabbix В работе над одной задачей понадобилось добавить в мониторинг все счетчики памяти находящиеся в /proc/meminfoПосле создания шаблона, создавать руками каждую метрику и настроить опрос ее с хоста мне показалось полным отстоем, так как сейчас можно делать один запрос к хосту по...