Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин (2018г)

Приводим уравнение линейной регрессии в матричный вид Цель статьи — оказание поддержки начинающим датасайнтистам. В предыдущей статье мы на пальцах разобрали три способа решения уравнения линейной регрессии: аналитическое решение, градиентный спуск, стохастический градиентный спуск. Тогда для аналитического решения мы примени...

Синхронная репликация в Tarantool Tarantool — это платформа для in-memory вычислений, где упор всегда делался на горизонтальную масштабируемость. То есть при нехватке мощности одного инстанса нужно добавить больше инстансов, а не больше ресурсов одному инстансу. С самого начала из средств горизонтального ...

Почему может понадобится полусинхронная репликация? Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский ...

Embox на процессоре Эльбрус. Или никогда не забывайте о том, что получили при разведке Данная статья является логическим завершением серии статьей “восхождение на Эльбрус” об ознакомлении Embox с процессорной архитектурой Эльбрус (E2K) . Почему логическим завершением, потому что в результате удалось через telnet запустить приложение, которое выводит на экран ...

Архитектура транзакций в Apache Ignite В этой статье мы рассмотрим, как устроены транзакции в Apache Ignite. Не будем останавливаться на концепции Key-Value хранилища, а перейдем сразу к тому, как это реализовано в Ignite. Начнем с обзора архитектуры, а затем проиллюстрируем ключевые моменты логики транзакций при...

Сравнение производительности HashiCorp Vault с разными бэкендами Vault — Open Source-решение от HashiCorp для управления секретами. Его изначальная ориентированность на модульность и масштабируемость позволяет запускать как небольшой dev-сервер Vault на своем ноутбуке, так и полноценный HA-кластер для production-сред.Начиная работать с Va...

Зачем нам 170 разработчиков Привет, Хабр! Меня зовут Андрей Евсюков, я заместитель CTO в Delivery Club. Наша компания устроена сложнее, чем может показаться, когда представляешь себе сервис по доставке еды. Даже когда примерно знаешь, что там может быть под капотом. В этой серии статей я расскажу о ...

Оперативная аналитика в микросервисной архитектуре: п̶о̶н̶я̶т̶ь̶ ̶и̶ ̶п̶р̶о̶с̶т̶и̶т̶ь̶ помочь и подсказать Микросервисная архитектура, как и все в этом мире, имеет свои плюсы и свои минусы. Одни процессы с ней становятся проще, другие — сложнее. И в угоду скорости изменений и лучшей масштабируемости нужно приносить свои жертвы. Одна из них — усложнение аналитики. Если в монолите ...

Зональное хранение данных Недавно компания Western Digital объявила об инициативе по зональному хранению данных — инициативе, ориентированной на открытую инфраструктуру данных, предназначенную для использования преимуществ зональных устройств хранения данных. Zoned Storage — это новая парадигма хра...

[Из песочницы] Как GitLab помогает делать бэкапы больших хранилищ NextCloud Привет, Хабр! Сегодня я хочу рассказать о нашем опыте автоматизации резервного копирования больших данных хранилищ Nextcloud в разных конфигурациях. Я работаю СТО в «Молния АК», где мы занимаемся конфигурационным управлением IT систем, для хранения данных используется Nextcl...

Самые популярные структуры данных Что такое структура данных? Проще говоря, структура данных — это контейнер, в котором хранятся данные в определенной компоновке (формате, или способе организации их в памяти). Эта «компоновка» позволяет структуре данных быть эффективной в одних операциях и неэффективной в др...

Huawei представила в России «Белую книгу» по архитектуре «Интеллектуальных двойников» Компания Huawei представила в России «Белую книгу» по архитектуре «Интеллектуальных двойников» (Intelligent Twins), разработанную совместно с международной аналитической компанией IDC, научно-исследовательской платформой China Info100, Китайским ...

Индексируемое бинарное дерево Попалась мне задача следующего вида. Необходимо реализовать контейнер хранения данных обеспечивающий следующий функционал: вставить новый элемент удалить элемент по порядковому номеру получить элемент по порядковому номеру данные хранятся в сортированном виде Читать даль...

[Из песочницы] База данных на ScriptableObject c системой сейва/загрузки Введение В каждой игре есть данные, с которыми работают гейм-дизайнеры. В рпг — это база данных айтемов, в матч-3 — стоимость в кристаллах инструментов из магазина, в экшенах — количество хп, на которое лечит аптечка. Для хранения таких данных существует много способов — кт...

Истории аварий с Patroni, или Как уронить PostgreSQL-кластер В PostgreSQL нет High Availability из коробки. Чтобы добиться HA, нужно что-то поставить, настроить — приложить усилия. Есть несколько инструментов, которые помогут повысить доступность PostgreSQL, и один из них — Patroni. На первый взгляд, поставив Patroni в тестовой среде...

Наш опыт с графовой базой данных Dgraph в Kubernetes Недавно перед нами встала задача развернуть Dgraph в кластере Kubernetes. В этой статье я поделюсь полученным опытом: с чем мы столкнулись во время деплоя и последующего использования этого приложения в различных окружениях, от dev до production. Что вообще такое Dgraph? ...

Как мы внедряли распределенный кеш на Tarantool в одной АБС Разработка любого достаточно серьезного софта, будь то калькулятор матриц или ИИ беспилотного автомобиля, — это всегда какая-то своя предметная область, определенные технологии, алгоритмы и структуры данных, архитектура кода, процесс разработки и еще много разных умных терм...

Насколько много маркетинга в ACID? Всем привет. На связи Владислав Родин. В настоящее время я являюсь руководителем курса «Архитектор высоких нагрузок» в OTUS, а также преподаю на курсах, посвященных архитектуре ПО. Помимо преподавания, как вы могли заметить, я занимаюсь написанием авторского материала для б...

[Перевод] Современные архитектуры фронт-энда В статье "Contemporary Front-end Architectures" рассмотрены архитектуры фронт-энда с точки зрения потоков данных в исторической ретроспективе. Материал состоит из трех частей Теория и история Реализация Перспективы Читать дальше →

Чистая архитектура с Go Меня зовут Эдгар (ZergsLaw), я работаю в компании, которая занимается  финтех-разработкой для b2b и b2c. Когда только устроился в компанию, то попал в команду большого финтех-проекта и получил «в нагрузку» небольшой микросервис. Мне поручили его изучить и подготовить план ре...

Оптимизация строк в ClickHouse. Доклад Яндекса Аналитическая СУБД ClickHouse обрабатывает множество разных строк, потребляя ресурсы. Для ускорения работы системы постоянно добавляются новые оптимизации. Разработчик ClickHouse Николай Кочетов рассказывает о строковом типе данных, в том числе о новом типе, LowCardinality, ...

[Перевод] Архитектура Apache Airflow на OpenShift Продолжаем публиковать блог нашего друга Алеса Носека. В первой части мы поговорили про CI/CD-конвейеры с охватом нескольких кластеров OpenShift. А сегодня расскажем об архитектуре системы Apache Airflow на платформе OpenShift, рассмотрим функции ее ключевых компонентов и сп...

Mail.ru Cloud Solutions запустила в облаке аналитическую базу данных Arenadata DB Mail.ru Cloud Solutions (MCS) запускает в облаке Arenadata DB как сервис — аналитическую базу данных на основе распределенной СУБД с открытым исходным кодом Greenplum, предназначенную для хранения и обработки больших объемов данных и легко масштабируемую в рамках одного инте...

[Из песочницы] Использование Camunda для удобной оркестровки на основе REST и Workflow Engine (без Java) Привет, Хабр! Представляю вашему вниманию перевод статьи «Use Camunda as an easy-to-use REST-based orchestration and workflow engine (without touching Java)» автора Bernd Rücker. 07.07.2020 г., перевод статьи Bernd Rücker Я часто обсуждаю микросервисную архитектуру с люд...

In-memory архитектура для веб-сервисов: основы технологии и принципы In-Memory — набор концепций хранения данных, когда они сохраняются в оперативной памяти приложения, а диск используется для бэкапа. В классических подходах данные хранятся на диске, а память — в кэше. Например, веб-приложение с бэкендом для обработки данных запрашивает их в ...

[Из песочницы] Большое тестирование процессоров различных архитектур Предисловие Попытка сравнить производительность процессоров на разнородных архитектурах x86-64, e2k (Эльбрус), mips и arm. Все тесты написаны на языке C (взяты из исходных кодов, которые я не модифицировал и не оптимизировал) и компилируются под конкретную архитектуру с испо...

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions. Часть 2: настройка и запуск приложения для транскрибации видео Это продолжение практикума по развертыванию Kubernetes-кластера на базе облака Mail.ru Cloud Solutions и созданию MVP для реального приложения, выполняющего транскрибацию видеофайлов из YouTube. Я Василий Озеров, основатель агентства Fevlake и действующий DevOps-инженер...

Установка ReportPortal в kubernetes ReportPortal – это веб-решение на базе открытого ПО, созданное разработчиками EPAM и OSS-сообщества. Его использование позволяет собрать в одном месте документы и результаты различных проектов по тестированию, которые выполняются в компании, и сделать их доступными для тести...

[Перевод] Использование Clickhouse в качестве замены ELK, Big Query и TimescaleDB Clickhouse — это столбцовая система управления базами данных для онлайн обработки аналитических запросов (OLAP) с открытым исходным кодом, созданная Яндексом. Ее используют Яндекс, CloudFlare, VK.com, Badoo и другие сервисы по всему миру для хранения действительно больших об...

[Перевод] Трюк с XOR для собеседований и не только Есть целая куча популярных задач для собеседований, которые можно решить одним из двух способов: или логичным применением стандартных структур данных и алгоритмов, или использованием некоторых свойств XOR сложным для понимания способом. Хоть и непривычно ожидать решения с...

Сверхсовременные иммутабельные структуры данных Годами эксперты в С++ рассуждают о семантике значений, иммутабельности и разделении ресурсов за счет коммуникации. О новом мире без мьютексов и гонок, без паттернов Command и Observer. На деле все не так просто. Главная проблема по-прежнему в наших структурах данных. Имму...

«Новые Былины», часть первая: Введение По многочисленным просьбам читателей начинается большой цикл статей о применении технологии бессерверных вычислений для разработки реального приложения. В этом цикле будет рассмотрена разработка приложения, тестирование и поставка конечным пользователям с использованием сов...

Храним числа экономно Недавно в одном из проектов встала задача: есть набор множеств (Set), которые надо достаточно эффективно хранить в оперативной памяти. Потому что множеств много, а памяти мало. И с этим надо что-то делать. Так как язык, на котором всё это написано — C#, то есть нюансы. А и...

Клиент-серверная архитектура в картинках Знакомая картинка? А вы ведь постоянно сталкиваетесь с этой архитектурой — когда покупаете билет в кино онлайн, бронируете путевку на море или записываетесь ко врачу. На клиент-серверной архитектуре построены все сайты и интернет-сервисы. Также ее используют десктоп-про...

[Перевод] Три уровня автомасштабирования в Kubernetes: как их эффективно использовать Для полного освоения Kubernetes нужно знать различные способы масштабирования кластерных ресурсов: по словам разработчиков системы, это одна из главных задач Kubernetes. Мы подготовили высокоуровневый обзор механизмов горизонтального и вертикального автомасштабирования и из...

Mail.ru Cloud Solutions запустила в облаке Arenadata DB на основе Greenplum Mail.ru Cloud Solutions (MCS) запустила в облаке Arenadata DB как сервис — аналитическую базу данных на основе распределенной СУБД с открытым исходным кодом Greenplum, предназначенную для хранения и обработки больших объемов данных и легко масштабируемую ...

[Перевод] Thanos — масштабируемый Prometheus Перевод статьи подготовлен специально для студентов курса «DevOps практики и инструменты». Фабиан Рейнарц (Fabian Reinartz) — разработчик программного обеспечения, фанат Go и любитель решать сложные задачи. Также он мэйнтейнер Prometheus и соучредитель Kubernetes SIG instr...

[Перевод] Архитектурный шаблон MVI в Kotlin Multipaltform, часть 1 Около года назад я заинтересовался новой технологией Kotlin Multiplatform. Она позволяет писать общий код и компилировать его под разные платформы, имея при этом доступ к их API. С тех пор я активно экспериментирую в этой области и продвигаю этот инструмент в нашей компани...

Книга «Профессиональный TypeScript. Разработка масштабируемых JavaScript-приложений» Любой программист, работающий с языком с динамической типизацией, подтвердит, что задача масштабирования кода невероятно сложна и требует большой команды инженеров. Вот почему Facebook, Google и Microsoft придумали статическую типизацию для динамически типизированного кода....

[Перевод] Привлечение и удержание художников в open-source играх Автор оригинальной статьи — Jetrel. Художник, который активно участвует в проектах Open Source игр. Несколько лет назад он был «арт-директором» игры Battle for Wesnoth. Кроме того, он сделал львиную долю арта для Frogatto and friends и продолжает работать над этой игрой. По...

[Из песочницы] Riak Cloud Storage. Часть 1. Настройка Riak KV Riak CS (Cloud Storage) – лёгкое в использовании программное обеспечение для организации хранилища объектов, работающее поверх Riak KV. Riak (KV) это распределённая NoSQL база данных типа «ключ-значение(key-value)». Riak CS спроектирована так, чтобы обеспечить простоту, дост...

[Перевод] Процессор NXP S32G для современной архитектуры автомобильной электроники В ближайшее десятилетие, когда все больше автомобилей перейдут на электричество, будут иметь больше подключений и станут автоматизированными как никогда раньше, мы также увидим серьезные изменения в архитектуре автомобильной электроники. Поскольку все больше данных генериру...

Эффективное хранение сотен миллионов маленьких файлов. Self-Hosted решение Уважаемое сообщество, эта статья будет посвящена эффективному хранению и выдаче сотен миллионов маленьких файлов. На данном этапе предлагается конечное решение для POSIX совместимых файловых систем, в том числе кластерных, и вроде бы даже уже без костылей. Поэтому для это...

Город и данные: анализ пешеходной доступности объектов в Праге с помощью data science Несколько лет назад компания Veeam открыла R&D центр в Праге. Изначально у нас был небольшой офис примерно на 40 человек, но компания активно растет, и сейчас, в новом просторном офисе Rustonka нас уже больше двухсот. Veeam нанимает сотрудников не только из Чехии и Евро...

[Перевод] GPT-2 в картинках (визуализация языковых моделей Трансформера) В 2019 году мы стали свидетелями блистательного использования машинного обучения. Модель GPT-2 от OpenAI продемонстрировала впечатляющую способность писать связные и эмоциональные тексты, превосходящие наши представления о том, что могут генерировать современные языковые мо...

[Перевод] Высокопроизводительный TSDB benchmark VictoriaMetrics vs TimescaleDB vs InfluxDB VictoriaMetrics, TimescaleDB и InfluxDB были сравнены в предыдущей статье по набору данных с миллиардом точек данных, принадлежащих 40K уникальным временным рядам. Несколько лет назад была эпоха Zabbix. Каждый bare metal сервер имел не более нескольких показателей – использ...

Baidu и Samsung Electronics готовы начать выпуск ускорителей искусственного интеллекта Китайский гигант интернет-поиска Baidu и южнокорейская компания Samsung Electronics, располагающая передовым полупроводниковым производством, объявили, что разработка первого ускорителя искусственного интеллекта Baidu KUNLUN завершена. Серийный выпуск Baidu KUNLUN начне...

Camunda external tasks — мощный инструмент для создания приложений с отказоустойчивой и масштабируемой архитектурой В Тинькофф для разработки систем автоматизации бизнес-процессов мы используем фреймворк Camunda + Spring. Сами бизнес-процессы описываем с помощью BPMN (Business Process Management Notation) в виде блок-схем. Наиболее часто используемый элемент на наших схемах — service ta...

PubSub почти бесплатно: особенности NOTIFY в PostgreSQL Если ваши микросервисы уже используют общую базу PostgreSQL для хранения данных, или ей пользуются несколько экземпляров одного сервиса на разных серверах, можно относительно «дешево» получить возможность обмена сообщениями (PubSub) между ними без интеграции в архитектуру Re...

[Из песочницы] Адекватное MVC для начинающих и не только Небольшое вступление Всем 404! Большинство IOS-разработчиков не понимают как работать с Apple-MVC. Из-за чего появляется необоснованная критика, маленькие проекты стараются писать на архитектурах для этого не предназначенных, ViewController'ы становятся огромными, не читаемы...

[Перевод] Анализ библиотеки ИИ ботов из Quake 3 Изучение исходного кода ИИ уже выпущенных игр — превосходный способ изучения хитростей на реальных примерах. Quake 3 Arena — интересный образец, потому что код игры полностью выложен в открытый доступ (за исключением инструментов), а сама игра стала примером архитектуры дви...

[Из песочницы] Краткое сравнение архитектуры SDS или поиск подходящей платформы хранения (GlusterVsCephVsVirtuozzoStorage) Данная статья написана для того, чтобы помочь выбрать для себя подходящее решение и понять отличия между такими SDS как Gluster, Ceph и Vstorage (Virtuozzo). В тексте используются ссылки на статьи с более детальным раскрытием тех или иных проблем, поэтому описания будут мак...

Платформа Lattice Nexus стала основой FPGA CrossLink-NX Компания Lattice Semiconductor объявила о выпуске первой программируемой пользователем вентильной матрицы (FPGA), разработанной на новой платформе Lattice Nexus. К достоинствам FPGA CrossLink-NX отнесено низкое энергопотребление, малый форм-фактор, высокая надежность и ...

Репликация баз данных MySQL. Введение Редкая современная продакшн система обходится без репликации баз данных. Это мощный инструмент на пути к повышению производительности и отказоустойчивости системы, и современному разработчику очень важно иметь хотя бы общее представление о репликации. В данной статье я подел...

Интернет вещей в Яндекс.Облаке: как устроены сервисы Yandex IoT Core и Yandex Cloud Functions В октябре прошлого года состоялась первая облачная конференция Яндекса Yandex Scale. На ней было объявлено о запуске множества новых сервисов, в том числе Yandex IoT Core, который позволяет обмениваться данными с миллионами устройств Интернета вещей. В этой статье я расск...

Android: архитектура Fuchsia и тяжеловесные вычисления в UI-потоке Для подписчиковВ этом выпуске: погружение в архитектуру и безопасность ОС Fuchsia, несколько способов использовать Kotlin в качестве скриптового языка, неожиданный способ запустить тяжеловесные вычисления в основном потоке приложения, советы по работе с отладчиком, способ хр...

[Перевод] Решение проблемы N+1 запроса без увеличения потребления памяти в Laravel Одна из основных проблем разработчиков, когда они создают приложение с ORM — это N+1 запрос в их приложениях. Проблема N+1 запроса — это не эффективный способ обращения к базе данных, когда приложение генерирует запрос на каждый вызов объекта. Эта проблема обычно возникает, ...

Двухрычажные HDD Seagate MACH.2 позволяют удвоить производительность Главной проблемой жёстких дисков является их медленный доступ к данным. И чем больше объём накопителя, тем больше времени требуется, чтобы найти нужные данные и обеспечить к ним доступ. Однако с ростом объёма хранимых данных нужно ускорять доступ к ним.

[Перевод] Python Gateway в InterSystems IRIS Эта статья посвящена Python Gateway — комьюнити-проекту с открытым исходным кодом для платформы данных InterSystems IRIS. Этот проект позволяет оркестрировать любые алгоритмы машинного обучения, созданные на языке Python (основная среда для многих Data Scientists), использов...

[Из песочницы] Кому на Руси жить хорошо? Как мы искали самый “зеленый” город с помощью OpenStreetMap и Overpass API У каждой карты есть легенда: именно она говорит читателю о том, что и каким образом на ней обозначено. Домам соответствуют многоугольники серого цвета, дорогам — отрезки и кривые, территории парков и скверов заливаются светло-зеленым и украшаются пиктограммой дерева. А к нек...

Кэши Tarantool и репликация из Oracle Меня зовут Александр Деулин, я работаю в отделе развития собственной разработки «Фабрика микросервисов» в компании МегаФон. И хочу рассказать о тернистом пути появления кэшей Tarantool в ландшафте нашей компании, а также о том, как мы внедряли репликацию из Oracle. И сразу...

Полноценный Kubernetes с нуля на Raspberry Pi Совсем недавно одна известная компания объявила, что переводит линейку своих ноутбуков на ARM-архитектуру. Услышав эту новость, я вспомнил: просматривая в очередной раз цены на EC2 в AWS, обратил внимание на Graviton'ы с очень вкусной ценой. Подвох, конечно же, был в том, ...

[Перевод] Prometheus и VictoriaMetrics: отказоустойчивая инфраструктура для хранения метрик Рассказываем, как в Miro выглядит инфраструктура для хранения метрик. Все компоненты в ней соответствуют принципам высокой доступности (High Availability) и отказоустойчивости (Fault Tolerance), имеют чёткую специализацию, могут хранить данные долгое время и оптимальны с точ...

[Из песочницы] Архитектура нейронной сети RetinaNet Данная статья посвящается объяснению устройства архитектуры нейронной сети RetinaNet. Обзор был проведён мною в ходе выполнения дипломной работы, а так как для его написания потребовалось обращаться исключительно к англоязычным источникам и собрать найденную информацию воеди...

Qualcomm представила новые чипы Snapdragon Wear 4100 для смарт-часов Компания Qualcomm сегодня представила новые платформы Snapdragon Wear 4100 и Snapdragon Wear 4100+, разработанные для умных часов следующего поколения. Платформа Snapdragon Wear 4100+ основана на проверенном гибридном подходе и включает в себя быстрый процессор, более интелл...

Услуга электронной рассылки На сегодняшний день практически все сферы бизнеса активно используют интернет сеть для расширения своих возможностей и улучшения качества обслуживания клиентов. Существует множество способов по продвижению онлайн проектов и по их коммуникации со своими клиентами и с потенциа...

[Перевод] Мониторинг Kubernetes с помощью Prometheus и Thanos Поздравляем! Вам удалось убедить ваше начальство в миграции приложений на микросервисную архитектуру с использованием контейнеров и Kubernetes.Вы очень довольны и все идет по плану. Вы создаете свой первый кластер Kubernetes (у всех основных облачных провайдеров: Azure, AWS ...

Технический обзор архитектуры СХД Infinidat InfiniBox – модерновая система хранения, сразу попавшая в правую часть магического квадрата. В чем ее уникальность? Краткая предыстория Что такое InfiniBox? Это система хранения компании Infinidat. Что такое компания Infinidat? Это компания, созданная Моше Янаем (создатель...

[Перевод] Использование Redis в инфраструктурных микросервисах В 2019 году я писал о том, как создать хранилище событий, основанное на Redis. Я рассказывал о том, что потоки Redis хорошо подходят для организации хранения событий, так как они позволяют хранить события с использованием иммутабельного механизма, напоминающего журнал транза...

Практика использования Spark SQL или как не наступить на грабли Если вы работаете с SQL, то вам это будет нужно очень скоро. Apache Spark – это один из инструментов, входящих в экосистему Hadoop, который обрабатывает данные в оперативной памяти. Одним из его расширений является Spark SQL, позволяющий выполнять SQL-запросы над данными. Sp...

Одна история с оператором Redis в K8s и мини-обзор утилит для анализа данных этой БД Что будет, если использовать всем известное in-memory-хранилище ключей и значений в качестве персистентной базы данных, не используя TTL? А если оно запущено с помощью надёжного, казалось бы, оператора в Kubernetes? А если в процессе увеличения реплик Redis мы внесём ещё о...

G-Core Labs запустила точку присутствия CDN и хостинга в Мумбаи G-Core Labs запускает новую точку присутствия своей глобальной сетевой инфраструктуры в крупнейшем городе Индии 20-миллионном Мумбаи. Локация в экономической столице страны обеспечивает услуги хостинга на выделенных или виртуальных серверах, а также дополняет глобальн...

[Перевод] Жизнь байта данных Любой облачный провайдер предлагает услугу хранения данных. Это могут быть холодные и горячие хранилища, Ice-cold, и т.д. В облаке хранить информацию довольно удобно. Но как вообще хранили данные 10, 20, 50 лет назад? Cloud4Y перевёл интересную статью, рассказывающую как р...

Опыт создания web-приложения с Pony ORM Привет, Хабр! Недавно передо мной встала задача написать на Python web-приложение для разделения счёта в ресторане между участниками трапезы. Так как нужна DB для хранения данных о заказах и пользователях, встал вопрос выбора ORM для работы с базой. Разработка велась на Flas...

AMD представила самый мощный в мире суперкомпьютер El Capitan на основе CPU и GPU, которые выйдут не ранее следующего года Компания AMD сегодня опубликовала пресс-релиз, в котором рассказала о суперкомпьютере El Capitan и его особенностях. Напомним, это система уровня exascale (1018 операций с плавающей запятой в секунду), которая создаётся по заказу Министерства энергетики США компанией Cr...

Синхронное фуэте: биологические моторы в нанотехнологиях На необъятных просторах нашей галактики сокрыто множество секретов, которые так усердно пытаются найти и разгадать ученые со всего мира. Однако не обязательно чему-то быть большим, чтобы быть загадочным. Ярким тому доказательством является мир, лежащий на клеточном уровне....

Диагностируем проблемы в микросервисной архитектуре на Node.js с помощью OpenTracing и Jaeger Всем привет! В современном мире крайне важна возможность масштабировать приложение по щелчку пальцев, ведь нагрузка на приложение может сильно отличаться в разное время. Наплыв клиентов, которые решили воспользоваться вашим сервисом, может принести как большую прибыль так и...

Apache Kafka: основы технологии У Kafka есть множество способов применения, и у каждого способа есть свои особенности. В этой статье разберём, чем Kafka отличается от популярных систем обмена сообщениями; рассмотрим, как Kafka хранит данные и обеспечивает гарантию сохранности; поймём, как записываются и ч...

Системный подход к переменным в Ansible ansible devops codestyle Hey! Меня зовут Денис Калюжный я работаю инженером в отделе автоматизации процессов разработки. Каждый день новые сборки приложений раскатываются на сотнях серверов кампании. И в этой статье я делюсь опытом использования Ansible для этих целей. Этот ...

Как определить, что в жестком диске применена технология SMR В последние месяцы на глаза попадалось много материалов о том, что производители скрывают использование технологии SMR в своих устройствах. Новости о том, что покупатели жестких дисков подают в суд на производителей и тому подобное. Дело в том, что в силу особенностей тех...

Алгоритмы быстрой обработки HTTP-строк В HTTP/2 появилась компрессия стандартных заголовков, но тело URI, Cookie, значения User-Agent по-прежнему могут составлять десятки килобайт и требуют токенизации, поиска и сравнения подстрок. Задача становится критичной, если HTTP-парсер должен обрабатывать интенсивный злон...

Экономим копеечку на больших объемах в PostgreSQL Продолжая тему записи больших потоков данных, поднятую предыдущей статьей про секционирование, в этой рассмотрим способы, которыми можно уменьшить «физический» размер хранимого в PostgreSQL, и об их влиянии на производительность сервера. Речь пойдет про настройки TOAST и вы...

Всем Zen. AMD не собирается делать отдельную архитектуру для энергоэффективных процессоров Только вчера в продажу поступили новейшие 7-нм мобильные APU Ryzen 4000, содержащие до восьми процессорных ядер Zen 2 с поддержкой технологии многопоточной обработки данных и встроенный GPU Radeon Vega 2-го поколения. И сейчас AMD, как известно, готовится к выпуску новых про...

GridGain и Intel обеспечат поддержку энергонезависимой памяти Intel Optane 200 серии для векторных вычислений GridGain Systems, поставщик корпоративных решений для вычислений в оперативной памяти (In-Memory) на основе распределенной базы данных Apache Ignite, объявила о партнерстве с компанией Intel. Цель сотрудничества - создание первой в отрасли платформы In-Memory-вычислений на б...

Анализ и хранение больших данных: так ли неизбежен переход в облака? Популярность аналитических облачных сервисов растет. Но станет ли успешным облачное хранение больших данных? Возможность использования облаков для хранения больших данных рассматривается сегодня во многих крупных российских компаниях. Сергей Золотарёв, генеральный директо...

Как на андроиде посмотреть сохранённые пароли Пароли – это явление, с которым мы живём уже много лет. Несмотря на то что современные смартфоны, планшеты и даже некоторые компьютеры оснащаются биометрическими датчиками идентификации, отказаться от цифробуквенных защитных комбинаций человечеству пока не удалось. Однако п...

[Перевод] О роли фронтенд-разработчика Привет, Хабр! Представляем вашему вниманию перевод статьи фронтенд-разработчика из MediaMonks Рональда Мендеса. Будучи родом из Венесуэлы, Рональд перебрался в Аргентину и построил успешную карьеру, а благодаря своему большому интересу к дизайну и анимации стал одним из член...

Как писать техстандарт по защите информации для крупной компании Любая крупная компания со временем сталкивается с проблемой появления неразберихи в применяемых методах, способах и средствах защиты информации. Каждая компания решает проблему хаоса по-своему, но обычно одна из самых действенных мер — написание технического стандарта ИБ....

Книга «Разработка с использованием квантовых компьютеров» Привет, Хаброжители! Квантовые вычисления не просто меняют реальность! Совершенно новая отрасль рождается на наших глазах, чтобы создать немыслимое ранее и обесценить некоторые достижения прошлого. В этой книге рассмотрены наиболее важные компоненты квантового компьютера: ку...

Под капотом OpenVINO (Intel Neural Stick) Привет, Habr! Сегодня я хочу рассказать немного об аппаратном ускорителе Neural Compute Stick. Расскажу с точки зрения hardware-разработчика. Известно, что OpenVINO взаимодействует с Neural Compute Stick, а сердцем самого стика является чип Movidius Myriad X. Некоторые ...

[Перевод] Определяем подходящий размер для кластера Kafka в Kubernetes Прим. перев.: В этой статье компания Banzai Cloud делится примером использования её специальных утилит для облегчения эксплуатации Kafka в рамках Kubernetes. Приводимые инструкции иллюстрируют, как можно определить оптимальный размер инфраструктуры и настроить саму Kafka для...

Хранилище данных Synology SA3600 масштабируется до 1,5 ПБ Компания Synology объявила о доступности системы хранения SA3600, предназначенной для предприятий. Это хранилище позволяет удовлетворять текущие и будущие потребности за счет значительного масштабирования: подключая до семи блоков расширения, можно довести его объем до ...

Fujitsu построит суперкомпьютер для центра информационных технологий Нагойского университета Компания Fujitsu получила заказ на суперкомпьютерную систему следующего поколения от центра информационных технологий Нагойского университета. Запуск системы запланирован на июль 2020 года. Это будет первая в мире система из 2304 суперкомпьютерных узлов Fujitsu PRIMEHP...

Обзор внешнего SSD Verbatim Store n Go 240 Gb Ко внешним портативным жёстким дискам мы давно уже привыкли — удобные устройства. Но сейчас рынок предлагает нам внешние SSD. Те самые, что мы ещё недавно подключали к материнской плате, устанавливая на твердотельный накопитель систему, чтобы ощутимо её ускорить. А теперь ...

Новая архитектура AMD RNDA 2: преимущества видеокарт Radeon RX 6800 по сравнению с конкурентами и предшественницами На осенней презентации AMD представила новое поколение видеокарт семейства Radeon RX 6000 серии, построенных на архитектуре RDNA 2. Та же архитектура используется и в консолях следующего поколения Xbox Series X и S и PlayStation 5. На презентации сотрудники компании сравн...

[Перевод] Что такое Emergent Communication и почему это нужно знать TL;DR: перевод поста Михаила Нуховича What is Emergent Communication and Why You Should Care: что это такое, зачем это нужно, какие есть точки зрения на задачу и перспективные направления исследований. Обучение с подкреплением, обработка естественного языка, теория игр и фил...

[Из песочницы] Как миновать мины информационных технологий В статье сформулированы некоторые проблемы информационных технологий (ИТ) и рассматривается подход к их решению, который может быть интересен разработчикам архитектур вычислительных систем и языков программирования, а также бизнесу в сфере ИТ. Но все они, исключая некоторых...

Бесшовные A/B-обновления в Android: как они устроены Всем привет. В SberDevices наша команда занимается разработкой различных железок прошивок и для них на базе AOSP. Начиная с Android 8 (у некоторых вендоров с 7.1) в системе появился новый механизм накатки OTA-обновлений, т. н. Seamless A/B OTA Updates — бесшовные обновле...

Обзор графических интерфейсов для Kubernetes Для полноценной работы с системой важно знание утилит командной строки: в случае с Kubernetes это kubectl. С другой стороны, хорошо спроектированные, продуманные графические интерфейсы могут выполнять большую часть обычных задач и открыть дополнительные возможности при экс...

Массовая оптимизация запросов PostgreSQL. Кирилл Боровиков (Тензор) В докладе представлены некоторые подходы, которые позволяют следить за производительностью SQL-запросов, когда их миллионы в сутки, а контролируемых серверов PostgreSQL — сотни. Какие технические решения позволяют нам эффективно обрабатывать такой объем информации, и как эт...

[Перевод] Пять вопросов о Ceph с пояснениями Что нужно знать о Ceph, хранилища с открытым исходным кодом, чтобы решить, подходит ли оно вашей компании. В статье будет сравнение с альтернативными объектными хранилищами, а также рассмотрена оптимизация Ceph. Читать дальше →

Разбиваем монолит на микросервисы В настоящее время, задача разбивки монолита на микросервисы приобрела поистине огромную популярность в бизнес среде. Как будто все корпорации России вдруг осознали все перспективы “новой” архитектуры, получили при этом пинок от начальства и бросились брать под козырек. Ретив...

Почему появились асинхронные веб-сервера? Всем привет. На связи Владислав Родин. В настоящее время я являюсь руководителем курса «Архитектор высоких нагрузок» в OTUS, а также преподаю на курсах, посвященных архитектуре ПО. Помимо преподавания, как вы могли заметить, я занимаюсь написанием авторского материала для б...

[Перевод] Скрытая цена CSS-in-JS-библиотек в React-приложениях В современных фронтенд-приложениях технология CSS-in-JS пользуется определённой популярностью. Всё дело в том, что она даёт разработчикам механизм работы со стилями, который удобнее обычного CSS. Не поймите меня неправильно. Мне очень нравится CSS, но создание хорошей CSS-ар...

DBA: Находим бесполезные индексы Регулярно сталкиваюсь с ситуацией, когда многие разработчики искренне полагают, что индекс в PostgreSQL — это такой швейцарский нож, который универсально помогает с любой проблемой производительности запроса. Достаточно добавить какой-нибудь новый индекс на таблицу или включ...

[Из песочницы] Автобэкапы сетевого оборудования и хранение их в системе контроля версий Уточнение: решение настроено для D-Link DFL, cisco 29xx и WatchGuard Firebox, но подходит для всего, что умеет делать бэкапы при подключении по ssh и/или заливать их по расписанию/событию на ftp/tftp сервер. Всё началось с того, что мой знакомый программист спросил: «А поч...

Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные Так выглядит избыточность. Коды избыточности* широко применяются в компьютерных системах для увеличения надёжности хранения данных. В Яндексе их используют в очень многих проектах. Например, применение кодов избыточности вместо репликации в нашем внутреннем объектном хранил...

Visiology: мониторинг ситуации по COVID-19 в Нижегородской области В Нижегородской области создан высокотехнологичный «Центр управления регионом». В Нижегородской области создан высокотехнологичный «Центр управления регионом» (ЦУР), в пилотном режиме проект начал работу 2 апреля. Российская аналитическая платформа Vis...

[Из песочницы] Микросервисы или модульные системы? Как заказчику выбрать подход к IT-архитектуре продукта Микросервисная и модульная системы — это типы архитектуры IT-решений. При работе с модулями мы дорабатываем коробочную версию существующего IT-продукта. Под коробочной версией имеем в виду монолит, готовую систему с ядром, которая поставляется всем заказчикам одинаково, «ка...

Infortrend оснастил системыNAS EonStor CS технологией SMB Multichannel Компания Infortrend® Technology, Inc. (код TWSE: 2495), разработчик передовых корпоративных систем для хранения данных, оснастил свои системы NAS EonStor CS c горизонтальным масштабированием технологией SMB Multichannel. Поддержка SMB Multichannel по...

2.Elastic stack: анализ security логов. Logstash В прошлой статье мы познакомились со стеком ELK, из каких программных продуктов он состоит. И первая задача с которой сталкивается инженер при работе с ELK стеком это отправление логов для хранения в elasticsearch для последующего анализа. Однако, это просто лишь на словах...

Huawei представила в России СХД с ИИ без американских компонентов 5 декабря в Москве состоялась презентация компании Huawei, где была представлена новая система хранения данных на основе технологий искусственного интеллекта (ИИ) Huawei OceanStor Dorado V6. Скорость обмена данными выросла, а задержки существенно снизить за счет применения п...

[Из песочницы] Еще раз про усложненность архитектуры и порог входа В данной статье я коснусь вопроса порога входа в проект с устоявшейся архитектурой и дам несколько вариантов ответа на очень часто возникающий вопрос: почему так сложно? Такой вопрос частенько возникает у новичков, которые приходят на проект. Или же бывают ситуации, когда пр...

[Перевод] Как линейное время превращается в Windows в O(n²) Недавно я столкнулся с многоминутными задержками на моей рабочей станции. После расследования выяснилось, что причина проблемы заключалась в блокировке, которая могла длиться по пять минут, во время которых источник блокировки в основном крутился в цикле из девяти инструкци...

[Перевод] Как написать собственную файловую систему на языке Rust Исходные данные и результаты работы программ должны где-то храниться для дальнейшего использования. Их хранение нужно организовать так, чтобы мы могли быстро получить нужную информацию. За эту задачу отвечает Файловая система (FS): она предоставляет абстракцию для устройств,...

СУБД Arenadata DB теперь работает в среде защищенной ОС «Альт 8 СП» Сочетание двух продуктов представляет собой эффективное решение для организаций, которые обязаны хранить и обрабатывать крупные массивы информации, обеспечивая при этом импортозамещение в сфере ИТ. Российская аналитическая СУБД для хранения больших данных Arenadata DB про...

[Из песочницы] Практичные способы маппинга данных в Kotlin Маппинг данных – один из способов для разделения кода приложения на слои. Маппинг широко используется в Android приложениях. Популярный пример архитектуры мобильного приложения Android-CleanArchitecture использует маппинг как в оригинальной версии (пример маппера из CleanArc...

Введение в архитектурный фреймворк для анализа данных Lena Привет, Хабр! Я расскажу об архитектурном фреймворке, который я разрабатываю. Архитектура определяет наиболее общее устройство программы и взаимодействие её компонентов. Lena как фреймворк реализует конкретную архитектуру для анализа данных (подробнее о ней ниже) и предостав...

Как в системах, построенных на технологии блокчейн, осуществлять операции с ценностями, не разглашая их содержание? Последние годы в мире активно развивается технология блокчейн, которая представляет собой распределенную архитектуру, состоящую из множества равноправных «узлов». «Узлы» в свою очередь осуществляют обмен информацией в виде транзакций, содержащих информацию как о движении цен...

[Перевод] Не начинайте учиться кодингу с Python, начните с языка C Python удивителен своей способностью продвигать программирование. Он как будто является подтверждением популярной идеи «если вы знаете английский, то должны знать, как писать код». Благодаря синтаксису, напоминающему английский язык, парадигме отступов и огромному количест...

Массивно-параллельная база данных Greenplum — короткий ликбез Для Hadoop и Greenplum есть возможность получить готовый SaaS. И если Хадуп — известная штука, то Greenplum (он лежит в основе продукта АrenadataDB, про который далее пойдёт речь) — интересная, но уже менее «на слуху». Arenadata DB — это распределённая СУБД на базе опенс...

«Умные» Amazfit ZenBuds помогают пользователям добиться здорового ночного сна 21 марта, накануне Всемирного дня сна, бренд Huami (код NYSE: HMI) Amazfit обнародовал технический доклад под названием 2019 Chinese Sleep Whitepaper с аналитическими данными по различным вопросам сна в Поднебесной. В ходе CES2020 торговая марка Amazfit предст...

Применение принципов функционального программирования при проектировании ERP Привет, Хабр! В этой статье мы попробуем взглянуть на архитектуру учетных систем (ERP, CRM, WMS, MES, B2B, ...) с позиций функционального программирования. Существующие системы сложны. Они базируются на реляционной схеме данных, и имеют огромный мутабельный стейт в виде сот...

Intel будет всё сложнее бороться с AMD. Уже в этом году нас ждут процессоры Ryzen на архитектуре Zen 3 Сегодня глава AMD Лиза Су (Lisa Su) уже подтвердила журналистам, что у компании имеется GPU Navi для высокопроизводительных видеокарт. Подробностей нам не раскрыли, но мы теперь можем быть уверенными в том, что в этом году такая 3D-карта действительно появится. Кроме то...

Переводить электромобили на LFP-батареи компанию Tesla вынуждает дефицит никеля Литиевые батареи на основе фосфата железа (LFP) обладают меньшей плотностью хранения заряда и хуже переносят морозы, но при этом они более долговечны и менее опасны с точки зрения возгораний, чем литиевые аккумуляторы с никелем. Илон Маск (Elon Musk) на этой неделе дал понят...

[Перевод] Как я собрал домашний кластер Kubernetes на базе Raspberry Pi Здесь есть поклонники Kubernetes? Я уже довольно давно пользуюсь Kubernetes как на работе, так и в других местах, где занимаюсь частными проектами, но иногда мне нужно место, где можно быстро и без особых затрат разработать и протестировать новые функции или просто, как гово...

Тестируем ruGPT-3 на новых задачах Рекомендательные системы с нуля, чат-боты и многое другое Погрузившись в пучину текстовых данных, в октябре этого года мы обучили модели ruGPT-3 — модели для русского языка на основе архитектуры от OpenAI. Но на что же способны эти модели? В этой статье мы соберем первые при...

Как ускорить работу микросервиса с помощью многопоточности, асинхронности и кэша: пошаговая инструкция To Destination by BisBiswas Микросервисная архитектура звучит неплохо само по себе, но еще лучше — быстрый микросервис, который эффективно использует ресурсы сервера. Я покажу, как последовательно применять к простому без затей микросервису методы ускорения его работы, поп...

Pure Storage присоединилась к Google Cloud Anthos Ready Storage Initiative Компания Pure Storage присоединилась к Google Cloud's Anthos Ready Storage Initiative - экосистеме партнеров Google, создающих решения для ее открытой платформы Anthos, которая позволяет бизнесу ускорить разработку нов...

Мониторим базу PostgreSQL — кто виноват, и что делать Я уже рассказывал, как мы «ловим» проблемы PostgreSQL с помощью массового мониторинга логов на сотнях серверов одновременно. Но ведь кроме логов, эта СУБД предоставляет нам еще и множество инструментов для анализа ее состояния — грех ими не воспользоваться. Правда, если про...

[Перевод] EOF — это не символ Недавно я читал книгу «Компьютерные системы: архитектура и программирование. Взгляд программиста». Там, в главе про систему ввода-вывода Unix, авторы упомянули о том, что в конце файла нет особого символа EOF. Если вы читали о системе ввода-вывода Unix/Linux, или эксперим...

Сжатие данных в Apache Ignite. Опыт Сбера При работе с большими объемами данных иногда может остро встать проблема нехватки места на дисках. Одним из способов решения данной проблемы является сжатие, благодаря которому, на том же оборудовании, можно себе позволить увеличить объемы хранения. В данной статье мы расс...

Свой стек навигации. Лучше чем у ROS? Это вторая статья команды setUP про наш опыт создания автономных роботов для соревнований Eurobot Open и использования для этого ROS. Первая статья про механику и общую архитектуру роботов. Роботы ездят по ровному полю и большинство препятствий заранее известно, однако, ко...

Унифицируем арсенал Gatling Тестирование производительности — это непрерывный процесс оптимизации, контроля быстродействия систем и подтверждения их отказоустойчивости как на стадии моделирования и проектирования, так и на каждой итерации внесения изменений. Сейчас в Тинькофф мы активно занимаемся разв...

Gartner прогнозирует рост поставок дронов IoT в 2020 году на 50% В 2020 году мировые поставки беспилотных летательных аппаратов корпоративного сегмента, относящихся к интернету вещей (IoT), составят 526 000 единиц, что на 50% больше, чем в 2019 году. Такой прогноз дают специалисты аналитической компании Gartner, добавляя, что 2023 го...

1. Group-IB. Комплексная защита сети. Архитектура TDS Добрый день, коллеги! Сегодня начинаем новый цикл статей, посвященный решениям информационной безопасности от компании Group-IB. Компания работает на рынке информационной безопасности уже более 17 лет, и за это время обросла весьма существенными компетенциями, выполняя про...

Переезжаем на ClickHouse: 3 года спустя Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHo...

В ноутбуке Asus Zenbook 14 (UX434IQ) процессор AMD Ryzen 7 4700U будет дополнен видеокартой Nvidia GeForce MX350 По данным источника, Asus готовит к выпуску мобильный компьютер Zenbook 14 (UX434IQ), в котором процессор AMD Ryzen 7 4700U (Renoir) будет дополнен видеокартой Nvidia GeForce MX350 начального уровня. Эта модель уже появилась в базе данных теста Futuremark. В распоряжен...

3D-аркада в браузере: как мы сделали игру на React + Redux Привет, Хабр! В не такие уж далёкие годы, на первом курсе «программистского» факультета, мне нравилось задавать товарищам по учёбе вопрос: «Зачем вы вообще пошли сюда учиться?» Точной статистики ответов я, конечно, не вёл, но доподлинно помню: больше половины хотели делать и...

[Перевод] Пошаговое руководство по созданию торгового бота на любом языке программирования У меня нет квалификации, позволяющей давать советы, касающиеся инвестиций, законов, или чего-то подобного. Я и не пытаюсь этого делать. Цель руководства заключается в том, чтобы, в учебных целях, рассказать о программировании торговых ботов. Вы должны понимать, что, создав б...

[Перевод] Логирование в Kubernetes: EFK против PLG Мониторинг стал весьма важным компонентом растущих облачных решений с ростом сложности распределенных систем. Он необходим для понимания их поведения. Нужны масштабируемые инструменты, которые смогут собрать данные со всех сервисов — и предоставить специалистам единый интер...

Встраиваемые системы машинного обучения на базе Nvidia Jetson Аппаратные платформы для машинного обучения быстро развиваются и дешевеют. Модули Nvidia Jetson позволяют создавать эффективные и доступные решения для Edge Computing. Сегодня стало возможным уместить высокопроизводительную систему с 256 графическими ядрами Nvidia Cuda в к...

Портрет клиента: составляем и считаем Мы все пытаемся найти боль клиента и предложить ему свой продукт для решения. Но перед этим нужно провести огромную аналитическую работу, чтобы узнать, а кто же наш клиент вообще. В этой статье мы подробно рассказываем, как составить работающий портрет клиента и посчитать ст...

Восстановление жестких дисков С переходом в цифровую эру практически все компании стали хранить информацию исключительно на цифровых носителях. Такие данные очень легко изменять, если есть оригинал, передавать по электронной почте, можно распечатывать, если мы говорим про документы и фотографии и еще мно...

Представлено обновление информационно-аналитической платформы Visiology 2.17 Основные изменения в релизе Visiology 2.17 коснулись экспорта и импорта аналитических панелей и связанных с ними метаданных, что значительно облегчит работу на проектах с несколькими контурами разработки. Российская ИТ-компания Visiology выпустила обновленную версию однои...

Искусственный интеллект DeepMind учится предсказывать будущее, основываясь на прошлом ИИ учится предсказывать будущее. Что дальше? Многие системы искусственного интеллекта достигают целей, опираясь на представления о мире, основанные на прошлом опыте. Они обобщают их и перекладывают на новые ситуации, что позволяет им выполнять задачи даже в условиях, с котор...

AMD готовит следующий удар. В Сети засветился гибридный процессор линейки Ryzen 5000 Многочисленные слухи и утечки указывают на то, что гибридные процессоры AMD следующего поколения (Cezanne) получат CPU с архитектурой Zen 3 и GPU Vega. Выйдут они, скорее всего, в начале следующего года. Сегодня в Сети появились данные о конкретном APU. Инженерный обра...

Только 16% государственных инфосистем имеют высокую степень открытости Такие данные представлены в аналитическом докладе "Оценка открытости государственных информационных систем в России" , подготовленном Счетной палатой совместно с экспертами АНО "Информационная культура" и Центром перспективных управленческих решений.Наибо...

Ищем цепочку событий в потоке данных с помощью FlinkCEP В данной статье речь пойдет об использовании открытой платформы Apache Flink для обнаружения цепочки последовательности событий. Статья подойдет как для начинающих разработчиков в области обработки потоковых данных, так и для тех, кто желает познакомиться с Apache Flink. Н...

Домашний кластер на Dask Я недавно проводил исследование, в рамках которого было необходимо обработать несколько сотен тысяч наборов входных данных. Для каждого набора — провести некоторые расчеты, результаты всех расчетов собрать вместе и выбрать "лучший" по некоторым критериям. По сути ...

Паттерн «сага» как способ обеспечения консистентности данных Всем привет. Уже сейчас в OTUS открывает набор в новую группу курса «Highload Architect». В связи с этим я продолжаю серию своих публикаций, написанных специально для этого курса, а также приглашаю вас на свой бесплатный демо урок по теме: «Индексы в MySQL: best practices и ...

[Из песочницы] Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить. Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как...

Агломеративная кластеризация: алгоритм, быстродействие, код на GitHub Несколько лет назад мне потребовалось очень качественно кластеризовать относительно неплотные графы среднего размера (сотни тысяч объектов, сотни миллионов связей). Тогда оказалось, что алгоритма с подходящим набором свойств просто не существует, несмотря на всё разнообраз...

[Из песочницы] Новая архитектура нейросети — EfficientDet Привет, Хабр! представляю вашему вниманию перевод статьи «EfficientDet: Scalable and Efficient Object Detection» автора Mingxing Tan, Ruoming Pang, Quoc V. Le. В последние годы был достигнут огромный прогресс в направлении более точного обнаружения объектов, в то же время с...

[Перевод] Взлом ESP32 путём обхода Secure Boot и Flash Encryption (CVE-2020-13629) Мы провели исследование микроконтроллера Espressif ESP32 на предмет устойчивости к атакам, выполняемым методом внесения сбоев в работу чипов (Fault Injection). Мы постепенно шли к тому, чтобы найти уязвимости, которые позволят нам обойти механизмы защищённой загрузки (Secure...

5 фактов о Windows 10X: контейнеры, универсальные приложения, приложения Win32 Компания Microsoft представила новую информацию о работе операционной системы Windows 10X. Ещё она выпустила эмулятор, благодаря которому разработчики могут начать оптимизировать свои приложения под устройства с двумя экранами. Главная новость заключается в том, что Windows ...

[Из песочницы] Императивный подход к реактивным данным на примере Jetbrains KTor и R2DBC Статья об использовании реактивного доступа к базам данных из корутин. Spring все упрощает, но это плохо сказывается на понимании реальных процессов работы приложения. Для демонстрации был выбран фреймворк KTor (просто потому, что мне нравится смотреть на то, что делает JetB...

Бумажный бит: создание механической памяти из оригами «Бегущий по лезвию», «Воздушная тюрьма», «Heavy Rain» — что общего между этими представителями массовой культуры? Во всех в той или иной степени присутствует древнее японское искусство по складыванию бумаги — оригами. В кино, играх и в реальной жизни оригами частенько испо...

[Перевод] HTTP-заголовок Feature-Policy и контроль поведения веб-страниц в браузерах Существует одна совершенно бесподобная методика, позволяющая держать производительность веб-проекта под контролем. Она заключается во внедрении в процесс разработки механизмов, результаты работы которых хорошо заметны. Эти механизмы нацелены на то, чтобы всегда напоминать пр...

[Перевод] Разбираемся в моделях кода архитектуры x64 «Какой моделью кода мне воспользоваться?» — часто возникающий, но нечасто разбираемый вопрос при написании кода для архитектуры х64. Тем не менее, это довольно интересная проблема, и для понимания генерируемого компиляторами машинного кода х64 полезно иметь представление о м...

Бэкап-хранилище для тысяч виртуальных машин свободными инструментами Привет, недавно мне попалась интересная задачка настроить хранилище для бэкапа большого количества блочных устройств. Каждую неделю мы выполняем резервное копирование всех виртуальных машин в нашем облаке, таким образом нужно уметь обслуживать тысячи резервных копий и делат...

Книга «Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту» Привет, Хаброжители! Глубокое обучение стало мощным двигателем для работы с искусственным интеллектом. Яркие иллюстрации и простые примеры кода избавят вас от необходимости вникать в сложные аспекты конструирования моделей глубокого обучения, делая сложные задачи доступными ...

[Перевод] Hardware-in-the-Loop Сложным, дорогостоящиям и требующим длительной разработки техническим системам для проверки и подтверждения работоспособности архитектуры нужны тщательные и надежные тесты. Но по мере усложнения современных систем, особенно в случае программного обеспечения, об этом критич...

Сверточная нейронная сеть и ее интеграция в iOS (часть 1) Средства реализации. Различные алгоритмы машинного обучения интегрированы в множество высокоуровневых языков программирования. Наиболее популярным и быстро развивающимся из них является Python. TensorFlow — открытая программная библиотека для машинного обучения, разработа...

Обзор и тестирование Huawei Dorado 5000V6 Полгода назад я уже начинал рассказывать об обновлении линейки СХД компании Huawei – Dorado V6. На самом деле, мне удалось познакомиться с ними еще до официального анонса, и логично, что тогда у меня не было возможности потрогать их в работе собственными руками. В своей ста...

Как мы считаем людей с помощью компьютерного зрения Фото из открытых источников Массовые скопления людей создают проблемы в самых разных областях (ритейл, госслужбы, банки, застройщики). Заказчикам необходимо объединять и мониторить информацию о количестве людей во множестве мест: в офисах обслуживания, административных пом...

[Supercomputing-2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M Представьте, что вы запускаете инновационный медицинский бизнес — индивидуальный подбор лекарств на основе анализа генома человека. У каждого пациента 3 миллиарда пар генов, и обычному серверу на процессорах х86 потребуется несколько дней на расчеты. Вы знаете, что ускорить ...

RISC без риска. Ставим RISC OS на Raspberry Pi, чтобы прикоснуться к истории Для подписчиковДля Raspberry Pi и его многочисленных клонов адаптировано множество операционных систем. Среди них есть оригинальная и почти забытая ОС, получившая второй шанс возродиться из небытия. Речь о RISC OS — платформе с британским акцентом родом из 80-х, которую когд...

[Перевод] Как микросервисы Netflix справляются с Pub-Sub данными Перевод статьи подготовлен специально для студентов курса «Архитектор высоких нагрузок». Введение В микросервисной архитектуре Netflix передача наборов данных от одного к нескольким конечным точкам может быть крайне сложной. Эти наборы данных могут содержать все, что уго...

Hitachi Vantara разработала самые быстрые в мире хранилища данных Hitachi Vantara представила новый класс корпоративных СХД на базе технологий искусственного интеллекта на основе флеш-технологий с показателем доступности 99,999999%. Описание В октябре Hitachi Vantara представила...

ArangoDB в реальном проекте ArangoDB гибридная (документная и графовая) база данных. К ее положительным сторонам относятся: мощный и удобный язык запросов AQL JOIN (даже более мощный чем в реляционных базах данных) репликация и шардинг ACID (в кластере работает только в платной версии) Из менее сущес...

[Из песочницы] Flutter. BlOC, Provider, async – архитектура «по полочкам» Вступление Когда пытаешься написать приложение, то первое с чем сталкиваешься – это как организовать архитектуру приложения. А когда еще при этом речь идет про Flutter, так голова совсем может пойти кругом от того, что выдает Гугл — Vanilla, Scoped Model, BLoC, MVP, MVC, MVV...

Apple TimeCapsule/AirPort Extreme. Root доступ и побег из привязанного региона Наверняка многие владельцы сетевых устройств Apple, которые читают эту статью, таких как TimeCapsule или Airport Extreme, рано или поздно задумывались почему у купленных в России устройств нет поддержки beamforming и максимальная ширина канала 40МГц? И как следствие максимал...

[Перевод] Тесты Ферма и Миллера-Рабина на простоту Салют хабровчане! Сегодня мы продолжаем делиться полезным материалом, перевод которого подготовлен специально для студентов курса «Алгоритмы для разработчиков». Дано некоторое число n, как понять, что это число простое? Предположим, что n изначально нечетное, поскольку в ...

Виртуальные машины А2 – крупнейшие облачные образы с графическими процессорами NVIDIA A100 теперь доступны для всех Недавно, в нашем Google Cloud блоге, мы анонсировали, что в сервисе Compute Engine появились виртуальные машины A2 на базе графических процессоров NVIDIA Ampere A100 с тензорными ядрами. С их помощью пользователи смогут выполнять машинное обучение и высокопрои...

Развитие компилятора C для нового мультиклета-нейропроцессора На конференции разработчиков системного и инструментального ПО – OS DAY 2016, которая прошла в г. Иннополис 9-10 июня 2016 (Казань) при обсуждении доклада о мультиклеточной архитектуре была высказана мысль, что она будет наиболее эффективной при решении задач искусственног...

[Из песочницы] Логическая репликация из PostgreSQL в Erlang Довольно типичная схема при разработке системы, когда основная логика обработки сосредоточена в приложении (в нашем случае Erlang), а данные для работы этого приложения (настройки, профили пользователей и т. д.) в базе данных (PostgreSQL). Приложение Erlang кэширует настройк...

Основы линейной регрессии Здравствуй, Хабр! Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена стр...

Запускаем тесты на GitLab Runner с werf — на примере SonarQube Если в качестве инфраструктуры, где разворачивается приложение, выступает Kubernetes, можно сказать, что существует два способа запуска тестов (и других утилит для анализа кода) в CI/CD: непосредственно в кластере K8s — с помощью отдельных Job или Helm hooks; «снаружи»...

[Перевод] Как устроен Selenium: Эпизоды 3 — 5 Салют, хабровчане. Сегодня мы продолжаем серию переводов, приуроченных к запуску курса «Java QA Engineer». Эпизод 3 — isDisplayed В результате диалога, произошедшего в последние выходные января 2020 года, который был посвящен одной из проблем в Selenium, где кто-то сказал ...

История нашего open source: как мы сделали сервис аналитики на Go и выложили его в открытый доступ В настоящее время практически каждая компания в мире собирает статистику о действиях пользователя на web ресурсе. Мотивация понятна — компании хотят знать как используется их продукт/веб сайт и лучше понимать своих пользователей. Конечно на рынке существует большое количеств...

Microsoft будет исследовать проблемы Проводника в Windows 10 Windows 10 November 2019 Update является второстепенным выпуском, но оно по сообщениям пользователей делает нерабочим функцию поиска в Проводнике на ряде устройств. Microsoft, очевидно, знает об ошибке, и исправление находится в стадии разработки, но похоже, что проблема не ...

Как добавить кодек в FFmpeg FFmpeg — это грандиозный Open Source проект, своего рода мультимедийная энциклопедия. С помощью FFmpeg можно решить огромное число задач компьютерного мультимедиа. Но все-таки иногда возникает необходимость в расширении FFmpeg. Стандартный способ — это внесение изменений в к...

Основы правил проектирования базы данных Введение Как это часто бывает, архитектору БД нужно разработать базу данных под конкретное решение. Однажды в пятницу вечером, возвращаясь на электричке домой с работы, подумал, как бы я создал сервис по найму сотрудников в разные компании. Ведь ни один из существующих серви...

Windows на iPad Pro через Boot Camp? Почему бы и нет Спорить с тем, что в последнее время Apple старательно пытается превратить iPad Pro из планшета в компьютер, бессмысленно. В Купертино придумали для планшетов отдельную программную платформу, оснастили их поддержкой мышей, трекпадов, создали для них специальную клавиатуру и...

[Перевод] Как автоматизировать развертывание баз данных с помощью Liquibase? Liquibase — это инструмент управления изменениями в базе данных. С его помощью вы можете отслеживать изменения в базе данных, сделанные с помощью SQL (или XML) скриптов. Эти скрипты могут быть добавлены в системы контроля версий, такие как git.В данной статье мы рассмотрим, ...

Наши в квадранте 2019! Как изменился за пять лет аналитический отчет Gartner Meeting Solutions про видеоконференцсвязь Материал подготовлен редакцией сайта "Видео+Конференция". Фото: Наше Радио В 2019 году впервые в аналитическом отчете агентства Gartner, который про видеосвязь и совместную работу, появилась российская компания. В окружении Microsoft, Google, Cisco, Huawei и других монстров...

МТС, «Элемент» и Сколтех будут сотрудничать в разработке российского 5G-оборудования В рамках соглашения МТС и "Элемент" намерены содействовать лидирующему исследовательскому центру Сколтеха в реализации проекта по разработке сквозного цифрового решения Open RAN для сетей 5G и последующей локализации производства в России разработанных решений с ис...

Как научиться разработке на Python: новый видеокурс Яндекса Осенью прошлого года в московском офисе Яндекса прошла первая Школа бэкенд-разработки. Мы сняли занятия на видео и сегодня рады поделиться на Хабре полным видеокурсом Школы. Он позволит вам научиться промышленной разработке на Python. Авторы лекций — опытные разработчики в Я...

Amazon выпустила открытую библиотеку для создания ИИ-моделей несколькими строками кода Благодаря AutoGluon можно создавать модели искусственного интеллекта, использующие изображения, текст и табличные наборы данных, путём написания небольшого количества строк кода.Создание таких приложений - задача непростая, поскольку разработчики должны знать, как настраиват...

Где порешать аналитические задачи от команд Яндекса? Контест и разбор Сегодня начинается пробный раунд чемпионата по программированию Yandex Cup. Это означает, что можно с помощью системы Яндекс.Контест решать задачи, подобные тем, которые будут в квалификационном раунде. Пока результат ни на что влияет. В посте вы найдёте условия задач трек...

База данных как сервис: когда, зачем и как использовать DBaaS в облаке Database by Julian-Faylona Многие облачные платформы предлагают базы данных как сервис (Database as a Service, DBaaS). Базу можно создать в облаке в несколько кликов, не тратя время на настройку и поддержку. Но не всем приложениям облачные базы данных подходят. Мы расскажем...

[Перевод] Keras Functional API в TensorFlow В Keras есть два API для быстрого построения архитектур нейронных сетей Sequential и Functional. Если первый позволяет строить только последовательные архитектуры нейронных сетей, то с помощью Functional API можно задать нейронную сеть в виде произвольного направленного ац...

Знакомство с pg_probackup. Вторая часть Продолжаем знакомиться с инструментом pg_probackup. В первой части мы установили pg_probackup, создали и настроили экземпляр, сняли два бэкапа — полный и инкрементный в режиме DELTA, научились просматривать и изменять конфигурацию экземпляра. Получили список бэкапов, нап...

Продажи СХД на базе жестких дисков в России растут быстрее всего Аналитическая компания IDC обнародовала некоторые результаты исследования российского рынка систем хранения данных.

Универсальная стойка-крепление мобильного телефона для начинающего блогера Если честно, даже не знаю как вкратце назвать данное решение. Сфера его применения широка, точно также как и функционал. Это и простая стойка трипод, это и миништатив, это и кронштейн для телефона с креплением к кромке стола или полки. Вообще применять его можно по желанию, ...

MLOps без боли в облаке: как развернуть Kubeflow в продакшен-кластере Kubernetes Новые экспериментальные модели машинного обучения важно быстро разворачивать в продакшене, иначе данные устареют и появятся проблемы воспроизводимости экспериментов. Но не всегда это можно сделать быстро, так как часто процесс передачи модели от Data Scientist к Data Enginee...

"Газпром нефть" создала платформу управления данными "Умное озеро данных" включает компоненты обработки, хранения и анализа данных – Data lake и хранилище данных, лабораторию продвинутой аналитики Data science, работающие в тесной интеграции с компонентами Data Governance. Внедрение аналитической платформы является частью стр...

[recovery mode] Как искусственный интеллект может улучшить киберфизические системы? Что такое киберфизические системы, почему они так актуальны сегодня, и какую роль в их развитии играет искусственный интеллект? Изучение различных свойств информационно-технических систем с точки зрения взаимодействия их физической и цифровой составляющих — новое и актуаль...

[Из песочницы] Самый простой алгоритм для создания Филворда (Часть 1) Привет, Хабровцы. В этой статье я хочу поделиться с вами немного своим опытом и показать вам мой простой алгоритм, который я придумал для создания Филворда. Под «Филвордом» я буду иметь ввиду эту многим знакомую игру. В игре есть поле размером обычно NxN заполненное словами...

[Перевод] Sktime: унифицированная библиотека Python для машинного обучения и работы с временными рядами Всем привет. В преддверии старта базового и продвинутого курсов «Математика для Data Science», мы подготовили перевод еще одного интересного материала. Решение задач из области data science на Python – это непросто Почему? Существующие инструменты плохо подходят для реше...

ИИ-кластер Huawei Atlas 900 открывает новые высоты в области ИИ-инноваций Ассоциация GSMA в рамках награждения лауреатов Global Mobile Awards 2020 (GLOMO) присудила ИИ-кластеру Huawei Atlas 900 премию Tech of the Future Award. Atlas 900 сумел выделиться среди конкурентов лучшими в мире показателями мощ...

Zen 4, RDNA3 и совершенно новая видеокарта Radeon. AMD рассказала о новых архитектурах и ближайших планах Компания AMD провела мероприятие Financial Analyst Day, на котором рассказала о грядущих процессорных и графических архитектурах. Начнём мы со свежей дорожной карты компании, которая позволяет нам понять, когда ждать те или иные новинки. Как можно видеть, до 20...

Приложения Android «сливают» данные Facebook При этом создатели приложений могли быть не в курсе кражи личной информации. Сотрудники компании Privacy International провели исследования, результаты которых показали, что приложения Android «сливают» данные соцсети Facebook. При этом существует вероятность, что даже созд...

Почему мои коллеги/сотрудники ведут себя как @%§? Не за горами очередной старт курса для руководителей разработки «Team Lead 2.0». В связи с этим мы провели открытый урок под названием «Почему мои коллеги/сотрудники ведут себя как @%§?». На вебинаре поговорили о том, что заставляет людей вести себя некорректно, почему люди ...

Как восстановить удаленные файлы с Mac Мы вообще за бэкапы, но иногда файлы случайно удаляются К данным на компьютере следует относиться внимательно и ответственно. Вроде бы это знают все, но случаи, когда с устройства внезапно пропадают важные документы или фотографии с последнего отпуска, встречаются ежедневно....

CRM для юридической компании Сегодня на рынке CRM-систем и автоматизации бизнес-процессов множество предложений для организаций, стремящихся автоматизировать бизнес, сократить штат и минимизировать накладные расходы. Специалисты IT-компании СВД «Веб мастерская» разработали и внедрили в промышленную эксп...

Nginx-log-collector утилита от Авито для отправки логов nginx в Clickhouse В этой статье будет рассматриваться проект nginx-log-collector, который будет читать логи nginx, отправлять их в кластер Clickhouse. Обычно для логов используют ElasticSearch. Для Clickhouse требуется меньше ресурсов (дисковое пространство, ОЗУ, ЦПУ). Clickhouse быстрее запи...

[Перевод - recovery mode ] Делаем быстрее POSTGRESQL COUNT (*) Часто жалуются, что count (*) в PostgreSQL очень медленный. В этой статье я хочу изучить варианты, чтобы вы получили результат как можно быстрее. Почему count (*) такой медленный? Большинство людей без проблем понимают, что следующий запрос будет выполняться медленно: S...

Windows 10 KB5004237 не может исправить проблемы с производительностью, но исправление скоро появится Согласно отчетам пользователей, обновление Microsoft Windows 10 от июля 2021 года (KB5004237) не может исправить раздражающие проблемы с производительностью и играми. Однако Microsoft, похоже, знает об этих отчетах, и они работают над еще одним обновлением, которое устранит ...

В чем главный плюс смартфонов Google В чём плюс смартфонов Google? Безопасность данных крайне важна многим пользователям. Никто не хочет, чтобы их данные оказались в руках крупных компаний, которые в дальнейшем могут делать с ними всё что угодно. По этом вопросу люди разделились на два лагеря — кто-то спо...

[Перевод] Идея, взятая из физики, помогает ИИ работать в высших измерениях Законы физики не меняются от смены точки зрения. Однако эта идея помогает компьютерам распознавать определённые особенности в искривлённом пространстве высших измерений. Компьютеры учатся водить автомобили, обыгрывают чемпионов мира в настольные игры, и даже пишут прозу. П...

1. Fortinet Getting Started v 6.0. Введение Добро пожаловать на новый видеокурс, посвященный решениям компании Fortinet — Fortinet Getting Started. По ходу данного курса я расскажу об основных решениях компании в рамках концепции Fortinet Security Fabric, а также на практике покажу работу с двумя основными решениями...

Java-сериализация: максимум скорости без жёсткой структуры данных Наша команда в Сбербанке занимается разработкой сервиса сессионных данных, который организует взаимообмен единым Java-контекстом сессии между распределёнными приложениями. Наш сервис крайне нуждается в очень быстрой сериализации Java-объектов, поскольку это часть нашей missi...

Управление трафиком в Kubernetes-кластере с Calico Практически каждый инженер, практикующий DevOps, в какой-то момент сталкивается с задачей настройки правил доступа для своих проектов. В данной статье мы рассмотрим примеры настройки сетевых политик Kubernetes-кластера, в котором используется плагин Calico и осветим некотор...

Почему VR разработка вам не подходит Всем привет! Меня зовут Григорий Дядиченко, и я занимаюсь AR/VR. (Слышны хлопки по залу). В AR/VR я уже больше 4 лёт, хотя занимаюсь всё это не только исключительно ими, а самыми различными проектами под заказ всё это время. Я работал в студиях, я долгое время был фрилансеро...

Windows 10 20H1: решения проблем высокой загрузки процессора и диска Microsoft представляет новый алгоритм для индексатора поиска Windows, который делает его более эффективным с точки зрения общей производительности системы, использования процессора и диска. Изменения, включенные в Windows 10 версии 2004 (20H1), могут, наконец, устранить жало...

Безопасность REST API от А до ПИ Введение Умение реализовать грамотное REST API — полезный навык в наше время, т.к. все больше сервисов предоставляют свои возможности с помощью API. Но разработка REST API не ограничивается реализацией HTTP запросов в определенном стиле и формированием ответов в соответстви...

Почему iPad Pro 2020 — неудачная копия Microsoft Surface Мы уже давно привыкли к тому, что только Apple под силу создать новую рыночную нишу. Планшеты, смарт-часы, ультрабуки – всё это и многое другое стало популярным именно с подачи Apple. Тот же iPad сегодня и вовсе является, пожалуй, единственным планшетом на рынке, чьи продаж...

Идея децентрализованной социальной сети следующего поколения В данной статье я представляю вам свои размышления на тему истории и перспектив развития интернета, централизованных и децентрализованных сетей и как итог — возможной архитектуры децентрализованной сети следующего поколения. С интернетом что-то не так Впервые я познакомилс...

Подтвердилась информация о разработке архитектуры Nvidia Hooper В прошлом месяце в сети появилась информация, что следующее поколение видеокарт, которое появится после выхода видеокарт Ampere, получит название Hooper. Новый архитектура названа в честь одного из пионеров информатики - американского ученого Грейс Хоппер. Подробнее об этом ...

Hitachi Vantara купит компанию Waterline Data Разработанная Waterline технология интеллектуальной каталогизации данных будет встроена в комплекс сервисов данных Lumada Data Services. Компания Hitachi Vantara, дочернее предприятие концерна Hitachi, объявила о намерении приобрести компанию Waterline Data, предлагающую ...

CES 2020: о чём компания AMD расскажет на своей презентации Презентация компании AMD обещает стать одним из главных событий выставки CES 2020, которая совсем скоро начнёт свою работу в Лас-Вегасе (Невада, США). На мероприятии, которое начнётся 7 января в 01:00 по московскому времени, выступит генеральный директор компании AMD, Лиза С...

Slack предоставил пользователям возможность выбрать страну для хранения данных Мессенджер хранит переписки, публикации, файлы, историю поиска и другие данные.

Slack предоставил пользователям возможность выбрать страну для хранения их данных Мессенджер хранит переписки, публикации, файлы, историю поиска и другие данные.

Как выжить SQL-базе в 21 веке: облака, Kubernetes и PostgreSQL multimaster Привет, хабровчане. Сегодня стартуют занятия в первой группе курса «PostgreSQL». В связи с этим, хотим рассказать вам о том, как проходил открытый вебинар по данному курсу. В очередном открытом уроке поговорили о том, с какими вызовами столкнулись SQL-базы в эру облаков и...

Детектирование аномалий с помощью автоенкодеров на Python Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про оди...

5.8 млн IOPS: зачем так много? Привет Хабр! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на ...

Принимаем 10 000 ивентов в Яндекс.Облаке. Часть 1 Привет всем, друзья! * Эта статья написана по мотивам открытого практикума REBRAIN & Yandex.Cloud, если вам больше нравится смотреть видео, можете найти его по этой ссылке — https://youtu.be/cZLezUm0ekE Недавно нам представилась возможность пощупать вживую Яндекс.Обла...

Российская компания впервые вошла в отчет Gartner по MDM-решениям «Юнидата» включена список ведущих игроков рынка управления мастер-данными Gartner's Magic Quadrant for Master Data Management Solutions. В январе 2020 года крупнейшее и авторитетнейшее международное аналитическое агентство Gartner опубликовало рейтинг лучших мировых ...

Что выбрать вместо Google Фото, когда он станет платным На прошлой неделе стало известно, что через несколько месяцев Google Фото отберет у нас возможность бесплатного хранения фото на просторах этого сервиса. Раньше можно было загружать туда сколько угодно фотографий при условии, что они будет оптимизированы, но обработка была ...

Что делать, если забыл пин-код телефона Неприятная ситуация, в которую попадали многие владельцы смартфонов, сейчас встречается не так часто, как раньше, но все равно случается. Я говорю о забытом ПИН-коде от телефона. Системы биометрической разблокировки сделали свое дело и теперь пароль часто просто не нужен. С...

Еще немного про сервисный слой в PHP В жизни каждого разработчика наступает момент, когда одного понимания популярных паттернов и правил написания чистого кода начинает не хватать. Обычно это происходит, когда на поток поступает проект сложнее типового сайта-каталога. При создании такого проекта очень важно зал...

Пилим веб-опросник как у Meduza: пошаговый гайд для начинающих Меня зовут Егор, я Full-stack разработчик в Leader-ID. В этой статье я хочу поделиться простым рецептом по созданию красивого и удобного веб-опросника наподобие тех, что делает Meduza. Он умеет показывать статистику после ответа на отдельные вопросы, подсчитывать общий балл,...

Генерация под контролем: как обуздать мощные языковые модели Intro Если вы не проспали последние пару-тройку лет, то вы, конечно, слышали от трансформерах — архитектуре из каноничной Attention is all you need. Почему трансформеры так хороши? Например, они избегают рекуррентности, что дает им возможность эффективно создавать такое пред...

Angular: еще один способ отписываться Подписок в коде компонента следует избегать, перекладывая эту задачу на AsyncPipe, однако не всегда это возможно. Есть разные способы завершать подписки, но все они сводятся к двум — ручная отписка или использование takeUntil. Со временем я все чаще стал использовать свой де...

Как избавиться от навязчивой рекламы в телефоне: самые эффективные способы Пользуясь мобильными устройствами, мы постоянно сталкиваемся с пестрящим рекламным контентом, который не только закрывает собой большую часть экрана и замедляет Интернет, но еще и плохо воздействует на глаза. В результате получается, что поиск нужной информации на веб-исто...

Debian: простое превращение i386 в amd64 Это краткая статья о том, как без переустановки организовать 64-x битную архитектуру на вашем 32-х битном Debian/Deabian-based дистрибутиве (который вы могли по-невнимательности загрузить вместо 64bit). * Ваше железо должно изначально поддерживать amd64, магию творить никто...

GitHub: шаблон Zabbix для мониторинга задач сбора данных в MaxPatrol SIEM Сегодня SIEM – это главный помощник при анализе событий ИБ: трудно представить, сколько бы потребовалось времени, чтобы вручную просматривать логи с множества источников. При этом прекращение сбора данных с источника – достаточно распространенная проблема SIEM. И далеко не...

[Перевод] Что такое тензорные ядра: вычисления со смешанной точностью В течение последних трёх лет Nvidia создавала графические чипы, в которых помимо обычных ядер, используемых для шейдеров, устанавливались дополнительные. Эти ядра, называемые тензорными, уже есть в тысячах настольных PC, ноутбуков, рабочих станций и дата-центров по всему ми...

[Из песочницы] Фундаментальное решение системы линейных уравнений. Взгляд со стороны Добрый день! В данной статье я попробую взглянуть по новому на алгоритм поиска общего решения системы линейных уравнений. Задача, которой мы займемся звучит так. Найти общее решение следующей системы уравнений Такую задачу решают, приведя исходную систему к треугольному...

Hitachi Vantara представила Lumada Data Catalog Новое решение для управления данными создано на основе технологии каталогизации данных компании Waterline Data, недавно приобретенной Hitachi Vantara. позволяет создать требуемый слой метаданных для поддержки критически важных информационных проектов Компания Hitachi Vant...

NVIDIA DLSS и AMD FidelityFX Super Resolution сравнили в играх — пока всё не так однозначно Одной из игр, в которую была добавлена поддержка технологии интеллектуального масштабирования AMD FidelityFX Super Resolution (FSR), стал шутер Necromunda: Hired Gun. Хотя игра вышла совсем недавно, она поддерживает не только FSR, но и технологию NVIDIA DLSS, выполняющую ту ...

Что ожидается в Windows 10 версии 21H1 Вот-вот недавно вышло обновление системы Windows 10 версии 20H2, которое почти не отличается от выпущенного в первом полугодии May 2020 Update (версия 2004). Если принцип выпуска обновлений не изменится, версия Windows 10 21H1 появится весной 2021 года. Однако, слухи утвержд...

PostgreSQL Antipatterns: сизифов JOIN массивов Иногда возникает задача «склеить» внутри SQL-запроса из переданных в качестве параметров линейных массивов целостную выборку с теми же данными «по столбцам». Читать дальше →

У Google уже готова собственная SoC для смартфонов и хромбуков По данным источника, компания Google достаточно далеко продвинулась в создании собственных однокристальных систем (SoC) для мобильных устройств и хромбуков. В рамках проекта Whitechapel, реализуемого при технической поддержке Samsung, уже создана первая модель. Как утве...

USB4: все тот же USB? В конце 2020 года ожидается выход устройств с поддержкой интерфейсов нового поколения USB4/Thunderbolt 4. Данные интерфейсы похожи, однако имеют ряд принципиальных отличий. Среди таких отличий можно выделить наиболее значимое: спецификации на USB4 общедоступные и любой жела...

Поиск и устранение проблем в Postgres с помощью pgCenter. Алексей Лесовский Предлагаю ознакомиться с расшифровкой доклада начала 2019 года Алексея Лесовского — «Поиск и устранение проблем в Postgres с помощью pgCenter» Время от времени при эксплуатации Postgres'а возникают проблемы, и чем быстрее найдены и устранены источники проблемы, тем благодарн...

[Перевод] Ассемблер RISC-V для начинающих Если вы не знаете ни одного ассемблера, или, возможно, не имеете большого опыта кодинга как такового, то ассемблер RISC-V может быть одним из лучших вариантов для того, чтобы погрузиться в эту тему. Конечно, материалов по ассемблеру x86 гораздо больше. Больше людей, которые ...

"Аскона" автоматизировала программу лояльности с помощью low-code платформы Creatio Для построения идеальных взаимоотношений с клиентами в "Асконе" функционирует программа лояльности (ПЛ), которую компания приняла решение усовершенствовать. Для реализации проекта требовался инструмент, мощности которого позволят обрабатывать постоянно растущие объемы клиент...

Новые iPhone следят за пользователями? Зачем iPhone следят за нами? Между пользователями iPhone с Apple U1 внутри (в настоящий момент этот чип установлен только во всех вариантах iPhone 11) и Apple возникло недоразумение, грозящее перерасти в конфликт с судебными исками, скандалами и увлекательными разоблачениями...

Обезл***вание д***ных — это не просто рандомизация В банке есть проблема: нужно давать доступ к базе данных разработчикам и тестировщикам. Есть куча клиентских данных, которые по PCI DSS требованиям Центробанка и законам о персональных данных вообще нельзя использовать для раскрытия на отделы разработки и тестирования. К...

[Перевод] Распознавание маски на лице с помощью YOLOv3 YOLO или You Only Look Once — это архитектура свёрточных нейронных сетей, которая используется для распознавания множественных объектов на изображении. В 2020, на фоне пандемии, задача детектирования объектов (object detection) на изображении стала как никогда актуальной. Эт...

[Перевод] 5 диаграмм, необходимых для документирования архитектуры решений Процесс документирования архитектуры программного обеспечения может показаться пугающим. Но на самом деле достаточно всего 5 диаграмм, чтобы объяснить структуру вашей системы практически любому.  Читать далее

Новые архитектуры нейросетей Новые архитектуры нейросетей Предыдущая статья «Нейросети. Куда это все движется» В этой статье кратко рассматриваются некоторые архитектуры нейросетей, в основном по задаче обнаружения объектов, чтобы найти (или хотя бы попытаться найти) будущие направления в этой быстро р...

Trello — эффективная система управления знаниями для небольшой IT-команды Когда мы говорим о базе знаний, то обычно представляем сложную систему в большой IT-компании или корпорации. Они используют базу, чтобы хранить инструкции, документацию, курсы, карты навыков. Но базы знаний нужны даже небольшим командам. Например, дизайнерам, чтобы хранить с...

[Перевод] Covid-19, ваше общество и вы с точки зрения науки о данных Как датасайентисты, мы обязаны уметь анализировать и интерпретировать данные. И мы были очень обеспокоены результатами анализа данных, касающихся covid-19. Наибольшему риску подвержены самые уязвимые категории – пожилые люди и люди с достатком ниже среднего, но для контроля ...

Как собрать образ Oracle DB для Testcontainers Код должен тестироваться на той СУБД, с которой он будет работать. Testcontainers — это такая библиотека, которая позволяет использовать в юнит тестах практически любую СУБД с той же лёгкостью, что embedded базы данных типа HSQLDB или H2. Был бы только Docker образ Именно с...

Ноутбуки с жёсткими дисками исчезнут из продажи в Западной Европе к концу года Снижение цен на твердотельные накопители достигло уровня, после которого нет смысла думать о конфигурации ноутбука с жёстким диском в качестве основного накопителя. Значимую роль в этом сыграло двухгодичное снижение цен на флеш-память. Поэтому к концу года новых моделей ноут...

Обзор Toshiba X300 8Tb (HDWF180EZSTA). Самый доступный жесткий диск 8 Тбайт В вопросе пересчета стоимости за 1 Гбайт под хранение данных твердотельные диски в ближайшем будущем не смогут обойти жесткие диски. Особенно если касается решения задачи хранения больших объемов данных или организации рейда с резервированием. Поэтому оптимальным под организ...

Как сторожить стражей: от открытых данных к гражданским технологиям Под civic tech или гражданскими технологиями часто понимают низовые проекты, направленные на поддержку местного сообщества. Но это также могут быть проекты большего масштаба, которые пытаются сделать общественные институты более прозрачными и подотчетными. Они важны для жур...

Windows 10 20H1 решит проблему высокой загрузки процессора и производительности Компания Microsoft представляет новый алгоритм для индексации поиска Windows, который делает его более эффективным с точки зрения общей производительности системы, использования процессора и дисков.

Opennebula. Короткие записки Всем привет. Данная статья написана для тех, кто до сих пор мечется между выбором платформ виртуализации и после прочтения статьи из серии «Поставили proxmox и вообще все отлично, 6 лет аптайм не единого разрыва». Но после установки того или иного коробочного решения, воз...

Orchestrator и VIP как HA-решение для кластера MySQL В Ситимобил мы используем базу данных MySQL в качестве основного хранилища постоянных данных. У нас есть несколько кластеров баз данных под различные сервисы и цели. Постоянная доступность мастера является критическим показателем работоспособности всей системы и ее отдельны...

[Перевод] Тестирование производительности аналитических запросов в PostgreSQL, ClickHouse и clickhousedb_fdw (PostgreSQL) В этом исследовании я хотел посмотреть, какие улучшения производительности можно получить, используя источник данных ClickHouse, а не PostgreSQL. Я знаю, какие преимущества производительности при использовании ClickHouse я получаю. Будут ли эти преимущества сохранены, если я...

Чем Snapdragon 865+ будет отличаться от Snapdragon 865 В феврале появились слухи, что Qualcomm планирует вывести на рынок более производительную версию флагманского чипа Snapdragon 865. Новая платформа получит название Snapdragon 865+ и от базовой версии однокристальной системы должна отличаться повышенными частотами процессорны...

Managed Databases в Selectel: приглашаем в бету Сегодня мы представляем открытую для тестирования бета-версию Managed Databases для PostgreSQL, использование которой будет бесплатным на период бета-тестирования. Базы данных — один из наиболее значимых и сложных компонентов любой информационной системы или приложения. Пр...

[Перевод] 3 способа рендеринга больших списков в Angular В 2020 году фронтенд-фреймворки стали лучше, эффективнее и быстрее. Но, даже учитывая это, рендеринг больших списков без «замораживания» браузера всё ещё может оказаться сложной задачей даже для самых быстрых из существующих фреймворков. Это — один из тех случаев, когда «фр...

Новое обновление Windows 10 может замедлить работу вашего ПК В 2018 году Microsoft изменила движок своего преемника Internet Explorer «Edge», чтобы использовать те же функции, что и Google Chrome. Edge на базе Chromium был выпущен в январе 2020 года для ОС Windows 10, Windows 8.1, Windows 7 и macOS. В прошлом месяце Microsoft также на...

Как устроен Performance Management в лучших IT компаниях Каждый руководитель сталкивается с вопросами:  Как повысить производительность команды, чтобы за то же время делать в полтора раза больше?  Как замотивировать, чтобы люди горели своей работой? Как в ценном сотруднике распознать слабые стороны и дать ему развивающий фидбэк?...

Реализация строкового типа в CPython Продолжу неспешный разбор реализации базовых типов в CPython, ранее были рассмотрены словари и целые числа. Тем, кто думает, что в их реализации не может быть ничего интересного и хитрого, рекомендуется приобщиться к данным статьям. Те, же, кто уже их прочёл, знают, что CPyt...

Apache Kafka для чайников Данная статья будет полезной тем, кто только начал знакомиться с микросервисной архитектурой и с сервисом Apache Kafka. Материал не претендует на подробный туториал, но поможет быстро начать работу с данной технологией. Я расскажу о том, как установить и настроить Kafka на W...

Вышел Wine 5.0 21 января 2020 года состоялся официальный релиз стабильной версии Wine 5.0 — свободного инструмента для запуска нативных Windows-программ в UNIX-среде. Это альтернативная, свободная реализация Windows API. Рекурсивный акроним WINE означает "Wine Is Not an Emulator"...

Избавляемся от паролей в репе с кодом с помощью HashiCorp Vault Dynamic Secrets Привет, Хабр! Меня зовут Сергей, я работаю IT Head в компании Quadcode. Сегодня хотел бы рассказать о том, как я решил проблему с хранением паролей в открытом виде в коде одного из моих pet-проектов. Думаю, это знакомая для многих ситуация. Знакомая — и неприятная. Сразу ска...

Инновационные хранилища Infortrend удовлетворяют растущие потребности в НРС Компания Infortrend® Technology,  Inc. (код TWSE: 2495), разработчик передовых корпоративных систем для хранения данных, сообщила, что ее высокопроизводительные и высокодоступные хранилища ориентированы на удовлетворение непрерывно растущих потребностей в НРС ...

Конец эпохи ARMv7 или же немного о портировании игр Вступление Пару недель назад я столкнулся с проблемой отсутствия у игры поддержки архитектуры моего процессора в телефоне. Конечно, я знал, что ARMv7 устареет, но не ожидал, что это случиться так быстро. В сети особо информации по downgrade приложения не было, поэтому пришло...

Самоучитель клингонского Пару лет назад мы рассказали о том, как в системе Антиплагиат устроен поиск русского перевода английских статей. Естественно, без машинного переводчика в алгоритме не обойтись. В основе машинного переводчика, конечно, лежит машинное обучение, которое, в свою очередь, требует...

[Из песочницы] Методы регрессионного анализа в Data Science Накануне запуска курса «Математика для Data Science. Продвинутый курс» мы провели открытый вебинар на тему «Методы регрессионного анализа в Data Science». На нём познакомились с понятием линейных регрессий, изучили, где и как их можно применять на практике, а также узнали, к...

Micron представила движок хранения данных с открытым исходным кодом Micron Technology, сегодня анонсировала первый движок хранения данных с открытым исходным кодом (HSE), разработанный специально для твердотельных накопителей (SSD) и памяти класса хранения (SCM). Подробнее об этом читайте на THG.ru.

Каким облаком на iPhone я пользуюсь в 2020 году В наше время существует довольного много облачных хранилищ. Есть сервисы, которые в основном следует использовать для хранения фото, а есть «облака» для всего — и все они имеют свои достоинства и недостатки. Одни могут похвастаться высокой скоростью загрузки, но при этом пр...

Восемь «больших» и восемь «маленьких» ядер в CPU Intel. Настольные процессоры Alder Lake будут очень необычными Как известно, у Intel нет 10-нанометровых настольных процессоров и не будет в ближайшее время. Грядущие новинки — CPU линейки Comet Lake — не принесут никаких кардинальных изменений, если не считать нового сокета и появления 10-ядерных моделей. Следующие за ...

Какие смартфоны покупают украинцы – аналитика Vodafone Retail Vodafone Retail представил ежеквартальный аналитический отчет рынка смартфонов в Украине. В основе отчета – данные продаж в собственной розничной сети за третий квартал 2019 года, а также big data аналитика на базе данных сети Vodafone.

Линейный криптоанализ на примере блочного алгоритма шифрования NUSH В современном мире остро стоит вопрос о конфиденциальности данных при обмене ими и их хранении, которая достигает за счет все возможных способов шифрования. Однако при появление новых алгоритмов шифрования  начинают проводиться работы по изучению способов нарушить конфи...

Docs as code против или вместе с Confluence? Обзор нескольких способов публикации из репозитория в Confluence Многие уже давно или активно используют или смотрят в сторону модели хранения и публикации документации как кода, это значит применять к документации все те же правила, инструменты и процедуры, что и к программному коду, например, хранить в репозитории, прогонять тесты, соби...

Sealed classes. Semantics vs performance Наверное, не я один после прочтения документации о sealed классах подумал: «Ладно. Может быть это когда-нибудь пригодится». Позже, когда в работе я встретил пару задач, где удалось успешно применить этот инструмент, я подумал: «Недурно. Стоит чаще задумываться о применении»....

[Перевод] Многопоточность. Модель памяти Java (часть 2) Привет, Хабр! Представляю вашему вниманию перевод второй части статьи «Java Memory Model» автора Jakob Jenkov. Первая часть тут. Аппаратная архитектура памяти Современная аппаратная архитектура памяти несколько отличается от внутренней Java-модели памяти. Важно понимать апп...

RemNUT - Стоит ли насиловать паяльник?         Очень часто мне приходится использовать латунные гайки, которые нужно впрессовывать или вплавлять в распечатанные детали, на 3д принтере. Сейчас мне чтобы установить гайку в нужное отверстие, распечатанной детали из ABS пластика, использую паяльник, с разогретым жало...

Шифрование FileVault на Mac: что это такое и нужно ли включать? Сегодня большинство пользователей считают, что их данные более-менее защищены, если для входа в учетную запись надо ввести пароль. Вот только такой способ все же не совсем безопасный. Есть немало способов сброса пароля пользователя, что даст возможность получить доступ ко вс...

Intel представит архитектуру Xe GPU на GDC 2020 Intel планирует подробнее рассказать о своей новой архитектуре Xe Gpu на конференции разработчиков игр GDC 2020, которая пройдет с 16 по 20 марта в Сан-Франциско. Новая архитектура графического процессора Xe обеспечивает значительное улучшение вычислений, геометрии и п...

Redux Toolkit как средство эффективной Redux-разработки В настоящее время разработка львиной доли веб-приложений, основанных на фреймворке React, ведется с использованием библиотеки Redux. Данная библиотека является самой популярной реализацией FLUX-архитектуры и, несмотря на ряд очевидных преимуществ, имеет весьма существенные ...

Обновлённый Google Chrome стал меньше нагружать железо Новая функция Google Chrome позволит снизить нагрузку на железо компьютера О прожорливости Google Chrome можно слагать легенды. Пожалуй, ни один другой браузер не нагружает «железо» компьютера так, как это делает он. Сказывается большое количество функций Chrome, занимающего...

Как менялся рынок BI и почему мы решили создать свою BI платформу Я работаю в «Инфосистемы Джет» около 7 лет, большую часть из которых проектировал и внедрял BI-решения и системы, на них построенные: ситуационные центры, информационно-аналитические системы и всё, что создано, чтобы собирать и анализировать данные. За это время у меня нак...

Практическое занятие «Поиск вредоносного ПО в IoT» Продолжаем серию занятий по разбору CTF-задач для тех, кто начинает карьеру в ИТ и ИБ. Ближайший вебинар стартует в четверг 23 апреля в 18:00 и будет посвящен поиску вредоносного ПО в IoT. Будем разбирать протокол общения вредоносного ПО с C&C-серверами на примере ботне...

Способы хранения информации - паролей, сканов документов, фото и прочего - чтобы ничего не терялось и было под рукой Все мы храним информацию в электронном виде, но к сожалению не все делают это правильно. В этой статье мы разберём как сохранять Ваши данные, чтобы не жалеть потом об их пропаже.

[Из песочницы] Прикручиваем ActiveDirectory авторизацию к Kubernetes c помощью Keycloak Данная статья написана с целью расширить уже существующую, но рассказывает про особенности связки именно с Microsoft ActiveDirectory, а так же дополняет ее. В этой статье я расскажу как установить и настроить: Keycloak — это проект с открытым исходным кодом. Который обес...

8-битные сети на Эльбрусе, есть ли смысл? Привет, Хабр! Мы вдруг поняли, что наша последняя статья про Эльбрус вышла год назад. Поэтому мы решили исправить эту досадную оплошность, ведь мы не бросили эту тему! Сложно представить распознавание без нейронных сетей, поэтому мы расскажем о том, как мы запустили 8-битные...

[Перевод] Как прошел 2019 год в области математики и Computer Science Перевод статьи подготовлен специально для студентов базового и продвинутого курсов «Математика для Data Science». Математики и информатики за прошедший год добились больших успехов в теории чисел, теории графов, машинном обучении и квантовых вычислениях, даже пересмотрел...

[Из песочницы] Android Remote Debugger — удаленная отладка Android приложений Отладка является важным этапом разработки программного обеспечения. Поиск и исправление ошибок позволяет разрабатывать качественные продукты. В данной статье я хочу поговорить об отладке только Android приложений. Android Studio предоставляет нам различные инструменты профил...

Какие процессоры от AMD ждать в будущем? В данной заметке речь пойдет не о «Matisse Refresh», а о более новых чипах, появление которых ожидается в ближайшие два года. Сообщается, что у AMD в «рукаве» уже есть несколько решений (в основном на базе микроархитектуры Zen 3, а также RDNA2). Уже известно о новых серверн...

Windows 10 станет быстрее в May 2020 Update Устройства Windows 10 могут стать медленнее со временем. Несмотря на то, что существуют способы улучшить производительность вашего устройства, похоже, что Microsoft наконец-то вносит изменения с обновлением May 2020 Update, чтобы ускорить работу Windows 10 на некоторых устро...

OnePlus стремится эффективно продавать свои продукты ... Смартфоны OnePlus постепенно завоевывают мир. Проделанная компанией работа принесла свои плоды — про OnePlus знают во всем мире. В прошлом году она отметила свое 5-летие, и у нее есть повод гордиться своим успехами на рынке. За достаточно короткий срок команде OnePlus ...

Как выглядит лаборатория по взлому iPhone полиции Нью-Йорка У полиции Нью-Йорка есть своя лаборатория по взлому iPhone Всё, что происходит на вашем iPhone, остаётся на вашем iPhone, обещает нам Apple. Не поверить ей трудно. Компания так много делает для обеспечения нашей конфиденциальности, что было бы странно даже думать, что всё эт...

Применение Flowmon Networks для контроля производительности распределенных приложений и баз данных Статью подготовил Dmitriy Andrichenko | Sales Executive, Russia & CIS | Flowmon Networks Приветствуем Вас на странице нашей новой статьи, посвященной решению задач контроля производительности распределенных сетевых приложений и баз данных. Данная статья является продо...

Серверы Inspur Edge AI поддерживают платформу Nvidia EGX Компания Inspur объявила, что ее серверы для периферии облачных вычислений NE5260M5 и NF5280M5 поддерживают платформу Nvidia EGX и получили сертификацию NGC-Ready for Edge, что позволяет пользователям быстро развертывать и эффективно выполнять рабочие нагрузки ИИ в пери...

Google записывает вас почти во всех своих приложениях. Как удалить Google записывает почти всё, что вы говорите, даже если вы об этом не знаете Практика сбора пользовательских данных, начинавшаяся как побочная деятельность для компаний, имеющих доступ к соответствующей информации, постепенно превратилась в одно из ключевых направлений очень...

[Перевод] Антипаттерны событийно-ориентированной архитектуры И снова здравствуйте! В преддверии старта курса «Архитектор ПО» подготовили перевод еще одного интересного материала. Последние несколько лет наблюдается рост популярности микросервисной архитектуры. Есть много ресурсов, которые учат правильно ее реализовывать, однако дост...

80-ядерные ARM-процессоры Ampere Altra составят конкуренцию Intel Xeon и AMD EPYC Молодая ИТ-компания Ampere Computing, у руля которой стоит бывшая президент Intel Рене Джеймс (Renee James), выпустила высокопроизводительный серверный процессор Altra на базе архитектуры ARM Neoverse N1. Сейчас Ampere принимает заказы на готовые серверы...

[Перевод] Конференция HACKTIVITY 2012. Теория большого взрыва: эволюция пентестинга в условиях повышенной безопасности. Часть 2 Конференция HACKTIVITY 2012. Теория большого взрыва: эволюция пентестинга в условиях повышенной безопасности. Часть 1 Сейчас мы попробуем другой способ внедрения SQL. Посмотрим, будет ли база данных продолжать отбрасывать сообщения об ошибках. Этот метод называется «ожидани...

[Перевод] Как левел-дизайнеры используют приёмы теории архитектуры для создания игровых уровней Теория архитектуры включает в себя множество аспектов и по своей сути является сплавом многочисленных художественных, социальных и психологических техник. Однако, вне зависимости от архитектурного движения или эпохи, одна идея всегда остаётся неизменной: архитектура — разу...

Рассказываем про библиотеку для Process Mining: теперь SberPM в открытом доступе Process Mining – это подход к извлечению, анализу и оптимизации процессов на основе данных из так называемых журналов событий (event logs), доступных в корпоративных ИТ-системах. Являясь своеобразным мостиком между Data Mining и Process Management, он выводит исследование би...

[Перевод] Стандарты проектирования баз данных Переходя от проекта к проекту, мы сталкиваемся, к сожалению, с отсутствием единообразных стандартов проектирования баз данных, несмотря на то, что SQL существует уже несколько десятилетий. Подозреваю, причина отчасти в том, что большинство разработчиков не понимают архитект...

НКО и активистов приглашают подготовить гражданский обзор Коалиция за устойчивое развитие страны приглашает НКО и активистов к подготовке гражданского обзора о реализации Целей устойчивого развития (ЦУР) в России. ООН в 2015 приняли программу «Цели устойчивого развития» (ЦУР). Это общемировые цели и стандарты, которые должны до...

Apple рассказала, как защищает своих пользователей Apple занимается вашей безопасностью так, как этого не делает никто Apple очень любит отчёты, ведь они не только придают ей значимости, но и позволяют держать тех, ради кого она ведёт свою деятельность, в курсе текущей повестки. Компания отчитывается регулярно и перед всеми,...

Обратная разработка аналоговой видеокамеры Ранее на хабре я публиковал статьи, связанные с системой аналогового видеонаблюдения. В частности, были статьи, связанные с изучением файловой системы HDD видеорегистратора (DVR). В данной статье речь пойдёт про обзор навороченной аналоговой видеокамеры модели Evidence EVR...

[Перевод] Погружение в CQRS Эта статья является конспектом материала Clarified CQRS. Прежде чем начать разбираться с CQRS, нужно понять две основные движущие силы, стоящие за ним: сотрудничество и устаревание.Сотрудничество относится к ситуациям, когда несколько участников используют или изменяют один ...

Как (вы)жить без отдела безопасности Безопасность — это защита объектов и интересов от угроз. Когда кажется, что с ней всё хорошо, в интернете появляется много интересного: списки e-mail и телефонов из незащищённой базы данных крупных магазинов, записи колл-центров некоторых операторов, логины и пароли производ...

Разведка с geo2ip и reverse-whois Разведка сетевых ресурсов компании главным образом заключается в брутфорсе поддоменов с последующим ресолвом найденных сетевых блоков. Далее могут быть найдены новые домены 2 уровня и процедура повторяется снова. Это позволяет найти новые IP-адреса на каждой итерации.Этот ме...

[Перевод] Реализация SOLID и слоистой архитектуры в Node.js с TypeScript и InversifyJS Привет, Хабр! Предлагаю вашему вниманию перевод статьи Implementing SOLID and the onion architecture in Node.js with TypeScript and InversifyJS автора Remo H. Jansen В этой статье мы рассмотрим архитектуру, известную как слоистая (onion). Слоистая архитектура — подход к пост...

Масштабирование базы данных. Microsoft AlwaysOn Привет. Меня зовут Тигран Петросян, я ведущий инженер по технической поддержке Docsvision, и сегодня расскажу о применении технологии MS SQL AlwaysOn. Это вторая статья из мини-серии «Масштабируемость системы ECM на предприятии», в которой первая статья моего коллеги была по...

Microsoft вдвое увеличила скорость ввода и вывода за счет накопителей Seagate Exos 2X14 Exos 2X14, новый жесткий диск корпоративного класса компании Seagate, ― это первый накопитель, выполненный по революционной технологии MACH.2 Multi-Actuator. В настоящее время проводится его тестирование в центрах обработки данных нескольких компаний. По сравнению с накопите...

[Перевод] Работа с GeoJSON в среде Node.js: практическое знакомство GeoJSON — это стандартизованный формат представления географических структур данных, основанный на JSON. Существует множество замечательных инструментов для визуализации GeoJSON-данных. При этом данный формат хорош не только в деле хранения координат неких точек. Он, помимо ...

[Перевод] Построение кластеров Kubernetes средствами самого Kubernetes Думаете, я сошел с ума? Я уже сталкивался с такой реакцией, когда впервые предложил развертывать кластеры Kubernetes с помощью Kubernetes.Но я убежден, что для автоматизации облачной инфраструктуры нет более эффективного инструмента, чем сам Kubernetes. С помощью одного...

Мелочи, за которые я люблю iOS больше, чем Android Мне никогда не быть фанатом. Ведь фанатизм предполагает безотчётное поклонение чему бы то ни было без шанса на критику. А я так не могу. Независимо от того, каким смартфоном я пользуюсь, я неизменно нахожу в нём недостатки. Конечно, кто-то скажет, что свинья везде грязь най...

Сделано не в США Китайская компания продолжает отвечать на давление со стороны США. "СХД Huawei OceanStor Dorado V6 - первое наше решение такого класса, созданное под лозунгом No A. В нем нет ни одного компонента, изготавливаемого американской фирмой, и нет ни одного компонента, лицензи...

[Перевод] Сравнение React Native и Flutter с точки зрения их применения в реальных проектах Чем React Native отличается от Flutter, за исключением того, что речь идёт о разных фреймворках, в основу которых положены разные технологии? На что ориентироваться тому, кто не знаком с этими инструментами для разработки кросс-платформенных приложений, но хочет выбрать один...

Архивы памяти: как мозг кодирует и воспроизводит воспоминания С одной стороны мозг человека достаточно понятен, с другой — полон загадок и вопросов, на которые пока нет ответов. И тут все логично, учитывая, что данная система чрезвычайно сложна как с точки зрения архитектуры, так и с точки зрения протекающих процессов и связи между н...

Архитектура и дизайн Android приложения (мой опыт) Хабр, привет! Сегодня я хочу рассказать об архитектуре, которой я следую в своих Android приложениях. За основу я беру Clean Architecture, а в качестве инструментов использую Android Architecture Components (ViewModel, LiveData, LiveEvent) + Kotlin Coroutines. К статье прил...

Как мы Elasticsearch в порядок приводили: разделение данных, очистка, бэкапы Эта статья — практическая история о том, как мы столкнулись с проблемой разделения логов, хранимых в Elasticsearch, из-за которой пришлось поменять подход к бэкапам и управлению индексами. Всё началось вскоре после того, как было поднято production-окружение. У нас был «б...

[recovery mode] TOP12 междисциплинарных научных открытий 2019 года Спойлер! В статье возможно самое интересное из мира науки за 2019 год. Но это не точно. Коротко о нас — мы белоруские научные скауты, молодость которых еще только разбивается о гранит реальности. Мы проводим те научные мероприятия, которые считаем нужными и потому что можем...

2. Fortinet Getting Started v 6.0. Архитектура решения Приветствую! Добро пожаловать на второй урок курса Fortinet Getting Started. Если вы еще не знакомы с курсом, советую посмотреть первый урок — в нем разъясняются основные цели и структура курса. Данный урок является чисто теоретическим, но в нем содержится множество полезн...

Бионические кораллы спасут рифы от вымирания Коралловый риф — потрясающий пример природного симбиоза. Кораллы собирают и перераспределяют солнечный свет так, чтобы живущие в них водоросли могли добывать сахар через фотосинтез. Рифы — разнообразная и эффективная экосистема, к сожалению, находятся под угрозой вымирания и...

Квантовый «пластырь» может помочь человеку справиться с болезнями Сможет ли квантовый пластырь стать перспективной технологией будущего? Квантовые технологии для большинства наших современников все еще остаются чем-то фантастическим и запредельным. Вместе с тем, именно развитие квантовых устройств привело человечество к тому, что практичес...

Чему Apple должна поучиться у Google, или За что я люблю Google Assistant Залог успеха голосового ассистента – глубокая интеграция с экосистемой. При наличии достаточно развитой системы ПО виртуальный помощник будет независим от аппаратной основы и сможет работать на любых устройствах независимо от их типа. Google уже давно это поняла и добилась ...

[Перевод] Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python Всем привет. В преддверии старта курса «Нейронные сети на Python» подготовили для вас перевод еще одного интересного материала. Рады представить вам PyCaret – библиотеку машинного обучения с открытым исходным кодом на Python для обучения и развертывания моделей с учителем...

Intel и Broadcom – единственные компании полупроводникового сектора, которые нарастили выручку в 2019 году Аналитическая компания Omdia представила топ-10 крупнейших игроков сектора полупроводниковой продукции с точки зрения объёма выручки от реализации по итогам 2019 года.

Унифицируй это: как Lamoda делает единообразными свои Go сервисы Мы широко используем микросервисную архитектуру, хоть и не считаем ее панацеей, и чуть больше 2 лет назад начали переходить на язык Go. Он сравнительно прост и, на мой взгляд, очень хорошо подходит для создания простых, небольших и быстрых микросервисов. Эта простота имеет и...

OceanStor Dorado V6: торжество азиатских технологий Новые полностью твердотельные массивы хранения Huawei не содержат американских компонентов. Компания Huawei представила в Москве высокопроизводительные, полностью твердотельные (All Flash Array, AFA) массивы хранения OceanStor Dorado V6. В системах, которые были объявл...

ИТ компания TrustSol Современный бизнес на сегодняшний день требует поддержки со стороны IT сервисов и систем. Компания TrustSol предоставляет услуги ИТ-аутсорсинга, Ит услуг разной сложности. Компания готова оказать помощь в виде единого консультирования или же полного создания и внедрения прое...

Российская СХД на отечественных процессорах «Эльбрус»: все, что вы хотели, но боялись спросить BITBLAZE Sirius 8022LH Не так давно мы публиковали новость о том, что отечественная компания разработала систему хранения данных на «Эльбрусах» с уровнем локализации >90%. Речь идет об омской компании «Промобит», которой удалось добиться включения своей СХД Bitblaze Siriu...

Зонтичная Grafana — скрещиваем Zabbix и Microsoft SCOM Если у вас есть Grafana и несколько систем мониторинга, то почему бы не визуализировать все имеющиеся данные и статусы в едином интерфейсе? Покажем на примере нашего тестового стенда как скрестить Zabbix и SCOM в единой Grafana и сделать сервисный мониторинг (с точки зрен...

Грабли на пути к keep-alive Увеличение активности обмена данными между микросервисами зачастую является проблемой в архитектуре современных IT решений. Выжать максимум и выжить любой ценой — серьёзный вызов для любой разработки. Поэтому поиск оптимальных решений — это не прекращающийся процесс. В стать...

Почему удалось взломать? Наверное, потому что злоумышленник Почему государственные сервера частенько плохо поддерживаются, используют устаревшее ПО и не безопасны? Есть много объяснений этого грустного феномена, однако не будем об этом. Я переписываю эту статью во второй раз, т.к. не так давно часть проблем была исправлена, а дока...

Как оценить ёмкость сервиса и не упасть под нагрузкой Рано или поздно любому растущему сервису приходится оценивать свои технические возможности. Сколько посетителей мы в силах обслужить? Какова ёмкость (она же capacity) системы? Не добрались ли мы до предела и не упадём ли, если привлечём ещё несколько тысяч пользователей? С...

База данных на SharedPreferences — Android Kotlin Для хранения большого количества информации в Android используется DataBase (SQLite, FireBase и т. п.), а для простого хранения настроек SharedPreferences. Вопрос, можно ли использовать SharedPreferences как своего рода Базу Данных и как это сделать? Статья написана об учеб...

Перенос работающего сервера на RAID Жил-был LAMP-сервер на Ubuntu 12.04, который работал на одном диске. Соответственно, возникла задача обеспечить перенос сервера на более отказоустойчивую конфигурацию – RAID1. Товарищи, в ведении которых был данный сервер установили второй диск, а дальнейшее было возложено н...

Почему зарядка смартфона быстро садится? Почему зарядка на смартфоне быстро садиться? Наверняка каждый из вас сталкивался с ситуацией, когда заряда аккумулятора смартфона не хватало и на день использования. В случае с Android-смартфонами эта проблема не столь актуальна, ведь даже самые дешевые смартфоны сегодня осн...

Как описать 100 Gitlab джоб в 100 строк В продолжение предыдущей статьи про инструменты деплоя в Kubernetes, хочу рассказать вам про то как можно использовать Jsonnet для упрощения описания джоб в вашем .gitlab-ci.yml Дано Есть монорепа, в которой: 10 Dockerfiles 30 описанных деплоев 3 окружения: devel, staging...

Chrome для Android теперь можно управлять голосом при помощи Google Assistant Google Chrome можно управлять голосом при помощи Google Assistant Скорость, с которой развивается Google Assistant, действительно поражает. Кажется, ещё вчера максимум, о чём его можно было спросить, был прогноз погоды, а теперь с его помощью можно выполнять множество различ...

[Перевод] Билл Гейтс: Что вам нужно знать о вакцине от COVID-19 Инженер, бизнесмен и филантроп Билл Гейтс стал объектом атаки сторонников абсурдных теорий заговора, утверждающих, будто он причастен к созданию коронавируса. В своём блоге создатель крупнейшего в мире частного благотворительного фонда размещает аналитические обзоры, делится...

Нужно ли разработчику знать Kubernetes Допустим, в вашей компании решили перейти на Kubernetes. Это должно было повысить стабильность сервисов, увеличить скорость разработки, но в реальности этих изменений не произошло. В чем причина: Kubernetes не работает или процессы не отлажены? За круглым столом поговори...

3.Elastic stack: анализ security логов. Дашборды В прошлых статьях мы немного ознакомились со стеком elk и настройкой конфигурационного файла Logstash для парсера логов, в данной статье перейдем к самому важному с точки зрения аналитики, то что вы хотите увидеть от системы и ради чего все создавалось — это графики и табл...

4 способа выбрать (выделить) файлы на Mac (macOS) Большинство — если практически не все — взаимодействия с файлами на Mac происходят в специализированном приложении Finder. Конечно, базовые вещи вроде «выбрать и скопировать / вставить» знает каждый пользователь. Но операционка Apple предлагает и множество других удобных спо...

Лучшие утилиты для андроид На сегодняшний день существует множество программ позволяющих выполнять определенные задачи в системе своего компьютерного устройства. Данные устройства могут быть разными, современные смартфоны и мобильные телефоны работают на системе андроид, которая как нельзя лучше подхо...

[Перевод] Почему разработчики влюбляются в функциональное программирование? Функциональное программирование (ФП) существует уже лет 60, но до сих пор оно всегда имело достаточно узкую сферу использования. Хотя компании, меняющие мир, вроде Google, полагаются на его ключевые концепции, средний современный программист знает об этом феномене очень мало...

Большие данные будут мгновенно анализировать медицинские изображения В Центре компетенций НТИ на базе МГУ «Технологии хранения и анализа больших данных» разработан проект ПО, которое позволяет осуществлять автоматизированный анализ данных снимков флюорографий, маммографий и кардиограммам ...

Pipes & Filters. Пример применения и реализации при помощи Spring В данной статье речь пойдёт о применении паттерна Pipes & Filters. Для начала мы разберём пример функции, которую позже перепишем с помощью выше упомянутого паттерна. Изменения в коде будут происходить постепенно и каждый раз мы будем создавать работоспособный вариант, п...

Логирование запросов к приложению Django Привет, меня зовут Дмитрий Чернышов, я ведущий разработчик компании «БАРС Груп». Последние несколько лет среди прочих задач нам в команде приходится сталкиваться с необходимостью анализа производительности приложений на Django с большим количеством пользователей и постоянн...

[Перевод] Полигоны Another World Существует интересный способ изучения архитектуры компьютеров прошлого. Найти знакомую вам программу и попытаться выяснить, как она была портирована. Хорошим выбором для этого мог бы стать DOOM. Мегахит 1994 года от id Software был портирован на всё, что только можно. Игра с...

Качество данных: как перестать его повышать и начать им управлять? На конференции «Качество данных 2020» Алексей Незнанов рассмотрит типичные ошибки в области управления качеством данных. «Грязные» данные грозят похоронить любой проект, основанный на аналитике. Но в подавляющем большинстве проектов управлению качество...

Microsoft DirectStorage API — механизм ускорения загрузки данных для Windows 10 На этой неделе Microsoft в своем блоге представила программный интерфейс DirectStorage из семейства DirectX, призванный значительно ускорить операции ввода-вывода информации. Технология берет свое начало из архитектуры Xbox Velocity для консоли нового поколения Xbox...

Чистая архитектура в платёжной платформе Всем привет! Хочу рассказать, как мы применили чистую архитектуру в платежной платформе. Сегодня наша платежная платформа представляет собой целый агрегатор самых разных финансовых решений, хотя продукт достаточно молодой, ему не более 1,5 лет. Читать дальше →

Высокопроизводительные мобильные процессоры Intel 11-го поколения (Tiger Lake-H) выйдут в начале 2021 года По сообщению Compal, компания Intel готовит серию 10-нм процессоров Tiger Lake-H для высокопроизводительных ноутбуков, планируя их выход на первый квартал 2021 года. Эти процессоры придут на смену нынешним 45-ваттным CPU Intel 10-го поколения Comet Lake-H, использующим стару...

платформа Visiology вошла в состав перечня одобренных технических решений Минпромторга Платформа Visiology позволяет решать задачи сбора данных, мониторинга, аналитической обработки и прогнозирования в различных сферах управления.

Bloomberg: в 2021 году Apple выпустит первый Mac на базе собственного ARM-процессора По информации агентства Bloomberg, в следующем году Apple намерена выпустить первое устройство линейки Mac, построенное на базе собственного процессора с архитектурой ARM. Более того, компания работает над целым рядом чипов для будущих устройств Mac. Предполагается, что пер...

[Из песочницы] О проблемах транслятора Python и переосмысление языка — Сколько нужно архитекторов, чтобы реализовать язык программирования? — Сто. Один будет писать реализацию, а 99 — говорить, что могут сделать лучше. В этой статье я хочу затронуть не столько сам язык, сколько детали реализации CPython и его стандартной библиотеки, которые г...

Занимательный JavaScript: Почти линейное уравнение Что если взять замечательную математику (а именно линейные уравнения) и наш не менее замечательный JavaScript, а потом наложить одно на другое? То в условиях ограничений и специфики js-среды простая математическая задача может обернуться весьма любопытной и полной подводных ...

Закон Конвея и его важность при создании команд Закон Конвея (Conway’s Law) имеет большое значение для понимания тех сил, что возникают при формировании команд, и того результата, который они могут оказать на команды в условиях длительного и автономного, неуправляемого и некорректируемого воздействия. И, как следствие, дл...

Эксперты показали, как приложения для iOS могут воровать ваши данные Буфер обмена — довольно простой, но при этом многогранный инструмент, который может обернуть себе на пользу любой злоумышленник Apple довольно категорична в вопросах обеспечения безопасности и чаще всего оказывается на шаг впереди хакеров и злоумышленников, старательно...

[Перевод] Простой подход к работе с отзывчивыми изображениями Спецификация по отзывчивым изображениям — это фантастический документ, в котором описано множество вариантов использования таких изображений. Но опыт подсказывает мне, что чаще всего при работе с ними нужно знать лишь о том, как отдавать клиенту копии одного и того же изобра...

AMD подтверждает, что продукция на архитектурах Zen 3 и RDNA2 появится в конце 2020 года Комментируя отчет за первый квартал, компания AMD подтвердила, разработка процессоров на архитектуре Zen 3 и графических процессоров на архитектуре RDNA2 идет по графику. Первые изделия, основанные на Zen 3 и RDNA2, будут представлены в конце 2020 года. Производитель н...

Опыт внедрения Service Mesh на Nomad и Consul В этой статье мы расскажем, как развернули Service Mesh, решили часть проблем микросервисной архитектуры и уменьшили нагрузку на разработчиков и инженеров инфраструктуры. Читать дальше →

С Hyper-V на VMware и обратно: конвертация виртуальных дисков Привет, Хабр! Периодически я слышу от практикующих инженеров странное: VMDK, VHD и VHDX – абсолютно разные форматы виртуальных дисков, чуть ли не закрытые, а конвертировать из одного в другое – долго и больно. Сегодня наглядно покажу, что это не так, разберу, как эти форм...

В базе данных SiSoft замечен процессор Intel на новой архитектуре База данных теста SiSoft послужила источником сведений о процессоре Intel, который, на первый взгляд, похож на выпускаемые сейчас 14-нанометровые модели, но имеет важное отличие. Процессор имеет шесть ядер и может исполнять двенадцать потоков, работая на частоте 3 ГГц....

Исправление проблем под Docker. Казалось бы, при чём здесь GIT? Докер под Windows — это постоянные приключения. То ему нужно обновить операционку, иначе последние версии не ставятся, то он забывает, как подключаться к сети. В общем, каждый день от него новости. «Поставил и забыл» — это не про Docker Desktop for Windows. Особенно, когда...

Django Rest Framework для начинающих: создаём API для чтения данных (часть 1) Меня зовут Стас Гаранжа, я выпускник курса «Python-разработчик» в Яндекс.Практикуме. Я хочу помочь начинающим разработчикам, которые приступили к изучению Django Rest Framework (DRF) и хотят разобраться, как устроен этот фреймворк. Я готовлю цикл статей, в которых расскажу о...

Как стереть все данные со смартфона, который у вас украли Позаботиться о безопасности личных данных лучше заранее Нет ничего хуже того, кроме как потерять свой смартфон. Ведь на сегодняшний день приложения, заметки и электронные письма хранят массу важной конфиденциальной информации о нас. Да и банковские приложения или личные фото...

«Утечка» базы специалистов Хабр Карьеры Сначала в телеграм-каналах, а потом и на Хабре появилась информация об утекших данных пользователей с сайта Хабр Карьеры. Считаем нужным дать более развёрнутый комментарий, а также рассказать о том, как устроены настройки приватности на сервисе. Утечка Читать дальше →

Hitachi Vantara объявила о приобретении Waterline Data Компания Hitachi Vantara, дочернее предприятие Hitachi, Ltd., объявила о намерении приобрести Waterline Data, Inc. Компания предлагает решения по интеллектуальной каталогизации данных для методологии DataOps, которые позволяют заказчикам получать уникальные знания из больших...

Компьютерное зрение для распознавания недвижимости Компания НОРБИТ (входит в группу компаний ЛАНИТ) и ее партнер в сфере машинного обучения компания «Н-Системс» разработали приложение классификации геоданных для компании «Шахты» – разработчика беспилотных летательных систем и программного обеспечения для обраб...

Нерушимая PostgreSQL, или Как обеспечить отказоустойчивость для «открытой» СУБД На просторах Интернета море информации о том, как построить отказоустойчивую систему управления базами данных PostgreSQL. Но она слабо применима к задачам крупных компаний и не выдерживает строгости требований стандартов enterprise. В проекте создания ИТ-инфраструктуры для н...

[Перевод] Анатомия накопителей: жёсткие диски Он магнитный. Он электрический. Он фотонный. Нет, это не новое супергеройское трио из вселенной Marvel. Речь идёт о хранении наших драгоценных цифровых данных. Нам нужно где-то их хранить, надёжно и стабильно, чтобы мы могли иметь к ним доступ и изменять за мгновение ока. З...

[Перевод] Loki — сбор логов, используя подход Prometheus Салют, хабровчане! В преддверии старта нового набора на курс «DevOps практики и инструменты» подготовили для вас перевод интересного материала. Эта статья — краткое введение в Loki. Проект Loki поддерживается Grafana и направлен на централизованный сбор логов (с серверов ил...

[Перевод] Разница между @StateObject, @EnvironmentObject и @ObservedObject в SwiftUI Эту неделю я решил посвятить потокам данных в SwiftUI. В этой статье мы обсудим разницу между обертками свойств (property wrappers) @StateObject, @EnvironmentObject, и @ObservedObject, поскольку я знаю, что это самая запутанная тема для новичков в SwiftUI.Зачем нужны обертки...

[Перевод] Три редко используемых возможности Python 3, о которых каждый должен знать Python 3 существует уже какое-то время и довольно много разработчиков, особенно те, кто только начинает свой путь в Python, уже используют эту версию языка. Несмотря на то, что множество новых возможностей широко используются, похоже, что некоторые остались за кадром. В это...

Что такое платформа как услуга (PaaS)? В модели «Платформа как услуга» (PaaS) разработчики, по сути, арендуют все, что им нужно для создания приложения, полагаясь на облачного провайдера для средств разработки, инфраструктуры и операционных систем. Это одна из трех сервисных моделей облачных вычислений. PaaS знач...

Различия индексов MySql, кластеризация, хранение данных в MyIsam и InnoDb Как устроены индексы в MySql, чем отличается индексирование в двух наиболее популярных движках MyISAM и InnoDb, чем первичные ключи отличаются от простого индекса, что такое кластерные индексы и покрывающие индексы, как с помощью них можно ускорить запросы. Вот как мне кажет...

Cassandra. Как не умереть, если знаешь только Oracle Привет, Хабр. Меня зовут Миша Бутримов, я хотел бы хотел немного рассказать про Cassandra. Мой рассказ будет полезен тем, кто никогда не сталкивался с NoSQL-базами, — у нее есть очень много особенностей реализации и подводных камней, про которые нужно знать. И если кроме Or...

Profinvestment.com: отзывы и обзор информационно-аналитического сайта о финансах и криптовалютах Profinvestment.com – это информационно-аналитический сайт о криптовалютах и финансах, основанный в 2015 году. Содержит большое количество профессиональных материалов на тему инвестиций и новых технологий, которые помогут оставаться в курсе событий и осознанно планировать вло...

Hitachi Vantara диджитализует Россию Об этом компании объявили вчера в ходе пресс-конференции. Директор департамента по работе с партнерами Hitachi Vantara в России и СНГ Александр Кочетков сказал, что 100% бизнеса в России Hitachi ведет через партнеров и дистребутеров. "Это позволяет нам охватить большую терри...

6 причин купить игровой смартфон Redmi K40 Несколько недель назад китайский производитель Redmi выпустил свой первый игровой смартфон. Игровая версия Redmi K40 — это устройство, которое имеет несколько функций, делающих его привлекательным. По словам Лу Вейбинга, генерального менеджера бренда Redmi, целевой об...

СХД Huawei: all-flash, all-сhinese, AI OceanStor Dorado V6, новые топовые системы хранения (СХД) данных корпоративного класса, представленные Huawei для российского рынка, построены целиком на китайских компонентах, чем вендор явно гордится и на чем делает особый акцент в маркетинге этих ...

[Перевод] Локальное хранилище или куки? Безопасное хранение JWT на клиенте JWT (JSON Web Token) — это замечательный стандарт, основанный на формате JSON, позволяющий создавать токены доступа, обычно используемые для аутентификации в клиент-серверных приложениях. При использовании этих токенов возникает вопрос о том, как безопасно хранить их во фрон...

[Перевод] Post Mortem по недоступности Quay.io Прим. перев.: в начале августа Red Hat публично рассказала о решении проблем доступности, что возникали в предыдущие месяцы у пользователей её сервиса Quay.io (в его основе — реестр для образов контейнеров, доставшийся компании вместе с покупкой CoreOS). Вне зависимости от в...

RabbitMQ. Часть 3. Разбираемся с Queues и Bindings Queue (очередь) — структура данных на диске или в оперативной памяти, которая хранит ссылки на сообщения и отдает их копии consumers (потребителям). Queue представляет собой Erlang-процесс с состоянием (где могут кэшироваться и сами сообщения). 1 тысяча очередей может занима...

Компания ANTARES сообщила о запуске ряда новых инвестиционных продуктов Выпущенный в конце декабря токен децентрализованных финансов dAnt (DeFi ANTARES Token) от компании ANTARES позволяет делать инвестиции доступными для каждой целевой аудитории. Данный токен является первым стейблкоином, обеспечивающим фиксированную  доходность по инвестиционн...

Intel может тестировать процессор с новой архитектурой Компания Intel работает над новым, пока неанонсированным процессором, который появился в базе данных бенчмарка SiSoft.

Кластер Elasticsearch на 200 ТБ+ С Elasticsearch сталкиваются многие. Но что происходит, когда хочешь с его помощью хранить логи «в особо крупном объёме»? Да ещё и безболезненно переживать отказ любого из нескольких дата-центров? Какой стоит делать архитектуру, и на какие подводные камни наткнёшься? Мы в О...

[Перевод] Сравнение стоимости на Managed Kubernetes (2020) Прим. перев.: Американский DevOps-инженер Sid Palas, пользуясь недавним анонсом Google Cloud как инфоповодом, провёл сравнение стоимости услуги Managed Kubernetes (в разных конфигурациях) от ведущих мировых облачных провайдеров. Дополнительным плюсом его работы стала публика...

DevOps-инженеров не существует. Кто тогда существует, и что с этим делать? В последнее время такие объявления заполонили интернет. Несмотря на приятную зарплату, не может не смущать, что внутри написана дикая ересь. Вначале предполагается, что «DevOps» и «инженер» можно каким-то образом склеить вместе в одно слово, а далее идет рандомный список тр...

Не приходят уведомления на Android. Что делать Не приходят уведомления? Возможно, этот способ поможет Android – платформа, очень богатая настройками, которые позволяют сконфигурировать работу смартфона ровно так, как нужно пользователю. Однако именно это становится отталкивающим фактором для тех, кто не слишком близко зн...

Интеграция в стиле BPM Привет, Хабр! Наша компания специализируется на разработке программных решений класса ERP, в составе которых львиную долю занимают транзакционные системы с огромным объемом бизнес-логики и документооборотом а-ля СЭД. Современные версии наших продуктов базируются на техноло...

Почему я полюбил увеличение экрана iPhone Увеличение дисплея делает использование компактного iPhone комфортнее Я владею смартфонами Apple на протяжении нескольких лет. В 2013 году приобрел свой первый iPhone, им оказался 5s. Уже тогда экран 5s казался не таким большим, но всё еще удобным. К слову, до сих пор габари...

Расширяющийся нейронный газ При проведении проверок с использованием моделей машинного обучения одной из часто решаемых задач является задача кластеризации. Например, необходимо разбить на несколько кластеров отзывы клиентов на мобильное приложение (задача тематического моделирования). Для задач класте...

Мои заметки Viber: как хранить важную информацию и быстро находить ее прямо в мессенджере Чаты Viber у многих постепенно превращаются из каналов для разговоров в место хранения информации. В тысячах сообщений находится немало ценного: адреса, телефоны, пароли, е-мейлы, задания. Запомнить все это сложно, как и искать потом требуемые данные. От кого и когда они исх...

Почему я люблю IKEv2 больше других VPN Сейчас все вокруг настраивают VPN для удаленных сотрудников. Мне больно смотреть, как люди устанавливают монструозные глючные программы, настраивают какие-то сертификаты, устанавливают драйвера TUN/TAP и делают множество сложных операций, в то время как лучшее решение уже ...

Анонс Windows 10 Insider Preview Build 19555 (Ранний доступ) Добрый вечер, друзья! Компания Microsoft выпустила новую предварительную сборку Windows 10 под номером 19555 для участников программы Windows Insider, использующих канал «Ранний доступ» (Fast Ring). Полный номер сборки: 19555.1001.rs_prerelease.200127-0900. Напоминаем, что ...

[Перевод] Как я получил сертификат TensorFlow-разработчика (и как его получить вам) В начале мая я решил получить сертификат TensorFlow-разработчика. Для этого я разработал программу обучения для совершенствования своих навыков и выполнил задания сертификационного экзамена пару дней назад (3 июня). Оказалось, что я сдал экзамен успешно. Позвольте мне рас...

Найден новый способ взлома любого номера WhatsApp Для проведения новой атаки злоумышленнику даже никак не нужно взаимодействовать с жертвой. Достаточно лишь знать номер телефона, с которым будет проводиться манипуляция. Но нам кажется, что это как раз не проблема дял вредителя. Читать полную статью

[Перевод] Canary Deployment в Kubernetes #1: Gitlab CI Мы будем использовать Gitlab CI и ручной GitOps для внедрения и использования Canary-деплоя в Kubernetes Статьи из этого цикла: (эта статья) Canary Deployment при помощи ArgoCI Canary Deployment при помощи Istio Canary Deployment при помощи Jenkins-X Istio Flagger Выполн...

Эффективный поиск информации в работе В последнее время стал больше замечать, что люди не могут сами найти нужную информацию. Вместо того, чтобы искать ее, они начинают спрашивать в общих чатах или кого-либо напрямую. В большинстве случаев, это дополнительно отвлекает от работы и, как результат, какая-либо задач...

У Apple уже есть дисплейный Touch ID, но пока им оснащают только MacBook Pro 16″ Apple уже изобрела дисплейный сканер отпечатков, но поместила его только в MacBook Pro 16″ Когда Apple заменила Touch ID на Face ID во флагманских iPhone, многие пользователи долго не могли поверить, что в Купертино вот так запросто отказались от такого удобного и инту...

Автоматизация сбора купонов для бесплатной литературы Предыстория На ЛитРес есть система бонусов и купонов, которые появляются с завидной регулярностью. Чтобы сделать приятное жене, да и в целом может найти себе интересную книжку, начал мониторить сайт в котором появляются свежие купоны и скидывал их в телеграм. Но буквально сп...

ViPNet в деталях: разбираемся с особенностями криптошлюза Жизнь сетевого инженера была счастливой и беззаботной, пока в ней не появился сертифицированный криптошлюз. Согласитесь, разбираться с решениями, предназначенными для шифрования каналов передачи данных по ГОСТу, задача не из легких. Хорошо, если это известные и понятные пр...

Хранилищу данных в Банке «Санкт-Петербург» исполняется 5 лет В Банке «Санкт-Петербург» положительно оценивают итоги эксплуатации корпоративного хранилища данных (КХД). КХД стало эффективной платформой для сбора и подготовки данных для аналитической поддержки информационных запросов Дирекций кредитных рисков, бухгалтерск...

[Перевод] Canary деплой с Jenkins-X, Istio и Flagger Доброго времени суток, читатель! Вот мы и подошли к заключительной части цикла статей о Канареечных релизах в Kubernetes и методах их реализации. Желаю приятного чтения и надеюсь, что данный цикл был для вас полезным. Использование решения Jenkins X для выполнения Canary де...

[Из песочницы] Парсер Блокчейна в 300 строчек на Питоне В далёком 2015 году, когда криптовалютам ещё не уделялось такое внимание широкой общественности как сейчас, мне пришла в голову мысль узнать в подробностях — что такое блокчейн, криптовалюты и Биткоин, в частности. Попытки провести детальный анализ исходного кода проекта ...

Качественный фотоконвертер Многие пользователи ПК знают на сколько удобно работать с фотоконвертер, который позволяет преобразовывать изменять форматы файлов. Для большинства это необходимая функция в его работе, которая позволяет экономить время и выполнять качественно работу. Существует большое коли...

Графический процессор SoC Apple A12Z Bionic оказался быстрее GPU Ryzen 5 4500U и Core i7-1065G7 Тест однокристальной платформы Apple A12Z Bionic дает представление о том, насколько мощными будут компьютеры Mac на базе процессоров на архитектуре Arm. Графический процессор A12Z Bionic в тесте OpenCL обошел по производительности встроенные GPU APU Ryzen 5 4500U и CPU...

Плохо срабатывает сканер отпечатков на смартфонах Samsung. Как ускорить Я никогда не любил экранные сканеры отпечатков из-за их медлительности. Несмотря на то что в последнее время ситуация изменилась в лучшую сторону, ни одному производителю до сих пор не удалось заставить их срабатывать так же быстро, как и физические дактилоскопы. Даже Galax...

AMD не ограничится только повышением частот: интегрированные GPU новых мобильных APU Ryzen получат до 832 потоковых процессоров В начале следующего года компания AMD выпустит 7-нм APU Ryzen Mobile 4000-й серии, известные под кодовым именем Renoir, которые должны произвести мини-революцию на рынке ноутбуков. Они перейдут на  архитектуру Zen 2 и нарастят число процессорных ядер до 6–8 единиц, но сохран...

Почему квантовый интернет строят в космосе, и кто уже реализует такие проекты Есть мнение, что спутниковые квантовые сети — самый эффективный способ развертывания глобальных систем распределения криптографических ключей. Рассказываем, кто уже работает в этом направлении, и говорим о потенциальных проблемах такого подхода. Читать дальше →

Эльбрус VS Intel. Сравниваем производительность систем хранения Аэродиск Восток и Engine Всем привет. Мы продолжаем знакомить вас с системой хранения данных Аэродиск ВОСТОК, выполненной на базе российского процессора Эльбрус 8C. В этой статье мы (как и обещали) детально разберем одну из популярнейших и интереснейших тем, связанной с Эльбрусами, а именно – прои...

[Из песочницы] Чистая архитектура с Typescript: DDD и слоистая архитектура Привет, Хабр! В последнее время уделяю много внимание архитектуре и решил поделиться с сообществом переводом статьи Clean Architecture with Typescript: DDD, Onion автора André Bazaglia. Введение На протяжении более 6 лет моего профессионального опыта, я имел возможность раб...

Как проверить, поддерживает ли приложение процессор M1 Основной причиной отказа пользователей от покупки новых Mac на базе архитектуры ARM, стала проблема совместимости старых приложений, разработанных для Intel, с процессором M1. Ну, по крайней мере, их эта мифическая несовместимость очень сильно беспокоит и не даёт покоя. Вед...

AliExpress Россия разрешила продавцам хранить товары на складе бесплатно На первом этапе для хранения выделено порядка 20 тыс. кв. метров, но постепенно будут вводиться дополнительные площади.

[Из песочницы] User flow: как создаются популярные приложения и сайты Всем привет! Я – Максим Скворцов, UX/UI-дизайнер Omega-R, международной компании по разработке и интеграции IT-решений. Я занимаюсь проектированием и визуализацией интерфейсов мобильных и веб-приложений. На базе своего опыта в сфере информационных технологий и экспертизы...

[Перевод] Проект ELISA: Linux в Safety-Critical системах Представляем вам перевод пресс-релиза (февраль 2019) в котором анонсируется проект ELISA, который позволит включать Linux в системы, для которых критически важна безопасность. За наводку спасибо lingvo Arm, BMW Car IT GmbH, KUKA, Linutronix и Toyota присоединяются к прое...

9 способов чистить поисковые запросы в Key Collector Дорогие друзья, сегодня я хочу рассказать о том, как эффективно чистить поисковые запросы в программе Key Collector http://www.key-collector.ru/. Чтобы почистить семантическое ядро, я использую следующие способы: Чистка семантического ядра с помощью регулярных выражений. Уд...

Пишем «калькулятор» на C#. Вычисление значения, производная, упрощение, и другие гуси Привет! Калькулятор у нас почему-то ассоциируется с чем-то, что должен написать каждый новичок. Возможно потому, что исторически компьютеры с той целью и создавались, чтобы считать. Но мы будем писать непростой калькулятор, не sympy конечно, но чтобы умел базовые алгебраиче...

TCP BBR: быстрый и простой способ ускорения загрузки страниц. Доклад Яндекса Современные протоколы прикладного уровня используют для ускорения передачи данных мультиплексирование, которое повышает требования к надёжности канала. На конференции YaTalks Александр Грянко phasma рассказал, как мы ускоряем загрузку страниц на каналах с большими потерями п...

На что способны китайские клоны процессоров AMD? В 2016 году компания AMD продала китайским коллегам лицензии на создание процессоров на архитектуре Zen первого поколения. Если точнее, тогда было создано совместное предприятие THATIC, которое и получило соответствующие лицензии. На тот момент AMD ещё только начинала ...

Luxoft создала компанию-интегратор для внедрения цифровой платформы Сбера на внешнем рынке На должность генерального директора Integrity Solutions назначен Михаил Краснов, ранее руководивший одним из крупнейших подразделений в финансовой линейке бизнеса компании Luxoft и имеющий обширный опыт в управлении разработкой программного обеспечения для российских и заруб...

Моноблоки в России стали продаваться хуже Аналитическая компания ITResearch обнародовала некоторые результаты исследования российского рынка настольных персональных компьютеров.

[Из песочницы] Кластер из двух узлов – дьявол в деталях Привет, Хабр! Представляю вашему вниманию перевод статьи «Two Nodes — The Devil is in the Details» автора Andrew Beekhof. Многие люди предпочитают кластеры состоящие из двух узлов, потому что они кажутся концептуально более простыми, кроме того еще и на 33% более дешевыми ч...

Юрий Рогачев: «Делать М-1 я пришел, не зная вычислительной техники» Сейчас Юрию Васильевичу 94 года, но он прекрасно помнит, как в начале 1950-х создавалась М-1 — первая в мире цифровая вычислительная машина, в которой логические схемы строились на полупроводниковых элементах. В интервью музейному проекту DataArt Рогачев рассказа о разрабо...

Radeon RX 5950 XT — цена в 1000 долларов и производительность на 33% выше, чем у RTX 2080 Ti Согласно всем слухам и утечкам, позже в этом году AMD должна выпустить на рынок новые видеокарты поколения Navi, которые при этом будут основаны на новой архитектуре — RDNA2. Она даст жизнь настоящих флагманским видеокартам. Если учитывать утечки из сертификационн...

Нужно ли создавать RAID-массив из SSD и какие контроллеры для этого нужны Привет Хабр! В этом материале мы расскажем, стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит? Мы решили разобраться в этом вопросе, рассмотрев виды и типы контроллеров, которые позволяют это сделать,...

Версионирование структуры БД при помощи Liquibase Большая часть приложений, которые мне встречались, хранят данные в SQL базе данных. Если у вас корпоративное приложение, то скорее всего имеется несколько стендов: стенд разработки, пре-прод и прод. А над приложением трудится команда разработчиков.Такие приложения сталки...

РИТ++ 2020: консультации с инженерами Авито в Зуме Привет, Хабр! 25 и 26 мая будет РИТ++. Это большая онлайн-конференция для всех, кто делает интернет. В обычных условиях мы бы встретились на стенде Авито в зале мероприятия, но 2020 перевернул всё с ног на голову. Так что общение переноситс...

[Из песочницы] Создание упаковщика x86_64 ELF файлов под linux Введение В данном посте будет описано создание простого упаковщика исполняемых файлов под linux x86_64. Предполагается, что читатель знаком с языком программирования си, языком ассемблера для архитектуры x86_64 и с устройством ELF файлов. В целях обеспечения ясности из приве...

i18n в Angular Angular i18n Цель статьи — это описать детальные шаги интернационализации вашего приложения на Angular с помощью родного функционала. На входе мы имеем коммерческое приложение. Как традиционно положено сначала сделали, запустили, а потом решили что ой, у нас же есть другие р...

SVM. Объяснение с нуля, имплементация и подробный разбор Привет всем, кто выбрал путь ML-самурая! Введение: В данной статье рассмотрим метод опорных векторов (англ. SVM, Support Vector Machine) для задачи классификации. Будет представлена основная идея алгоритма, вывод настройки его весов и разобрана простая реализация своими рука...

Apple представила новую клавиатуру Magic Keyboard. Что о ней нужно знать Вчера, как и ожидалось, Apple представила обновлённую линейку iMac на базе процессора M1 в совершенно новом дизайне. Мало того, что моноблок вышел в семи цветовых вариациях, так ещё и получил более тонкий корпус, чем у модели предыдущего поколения. Это стало возможно благод...

3D принтер Anycubic Vyper Китайский производитель 3D принтеров Anycubic анонсировал новый FDM 3D принтер Anycubic Vyper. Новинка оснащена новой 32-битной материнской платой и высокопроизводительным управляющим чипом с архитектурой Cortex-M3. 32-битная материнская плата с чипом Cortex M3 и драйвера TM...

Чистая архитектура для фронтендера Современный веб — это сложно. Количество фреймворков и темп их развития заставляет разработчика скакать галопом. Кто-то новые либы юзает, кто-то модные книжки читает. Но иногда чтение и потраченные силы на углубление в архитектуру, ООП, TDD, DDD и т.д. не оправдывают ожида...

Hitachi Vantara представила флэш-платформу хранения данных VSP E990 Предназначенная для предприятий среднего бизнеса платформа позволяет значительно снизить затраты на хранение данных и упростить управление инфраструктурой данных. Hitachi VSP E990 обеспечивает одни из лучших в отрасли показат...

В 2022 году NVIDIA может выпустить видеокарты на архитектуре Hopper – огромный GPU и 5-нм техпроцесс NVIDIA готовит ещё одну графическую архитектуру

[Перевод] Типовые ситуации при непрерывной интеграции Вы изучили команды Git но хотите представлять, как непрерывная интеграция (Continuous Integration, CI) происходит в реальности? Или может вы хотите оптимизировать свои ежедневные действия? Этот курс даст вам практические навыки непрерывной интеграции с использованием репозит...

[Из песочницы] Поиск работы в Германии продакт менеджером и не только. Часть 1/5. Почему Германия? Виза для поиска работы Всем привет, меня зовут Тимофей. Мне 43 года, последние 20 из которых я провел в IT — сначала разработчиком, а затем менеджером проектов и бизнес девелопером. Всю жизнь прожил в Новосибирске, но в прошлом году решился на эмиграцию, в качестве страны назначения выбрав Германи...

Как превратить любой скрипт в Telegram-бота Если вам нужен простенький Telegram bot, способный выполнять скрипты (написанные на любом языке) и отвечать текстом и картинками, то вам под кат. Там вы найдёте рассказ о бот-движке, который делает то, что вам надо. Читать дальше →

Как собрать компьютер для ML Свой собственный сервер для обучения — как машина в 20 веке: если вы всерьез занимаетесь Data Science, рано или поздно вы придете к тому, что нужна единая настроенная среда, уверенность в ресурсах, независимых от правил работодателя и админов. Кто-то скажет, что всё можно ...

Российские учёные на порядок улучшили алгоритмы обработки изображений Томский государственный университет (ТГУ) сообщает о разработке передового метода анализа сигналов и изображений в сложных телекоммуникационных и навигационных системах, на которые воздействуют случайные помехи. Утверждается, что предложенная технология позволяет повысить то...

В Китае разработана технология распознавания лиц в масках В Китае уже используются наиболее передовые системы электронного наблюдения, выполняющие распознавание лиц, но они хорошо работают в обычных условиях, когда лицо человека не прикрыто. Китайская компания Hanwang Technology, также известная как Hanvon, сообщила, что разра...

Compositional Layout в iOS 13. Основы Добрый день, На практике iOS разработчик часто сталкивается с задачей показа большого количества информации в виде списка или в виде коллекции, как правило, для этого отлично подходят UITableView или UICollectionView. Также часто встречается задача реализации экрана, который...

Искусственный интеллект, машинное и глубокое обучение — в чём разница Сейчас много пишут и говорят об искусственном интеллекте (ИИ). Наряду с другими связанными понятиями — такими, как машинное обучение (machine learning) и глубокое обучение (deep learning). Многие люди склонны неправильно понимать термины, используемые в контексте...

Организм человека стареет с момента зачатия: новое исследование Существует множество мнений, когда начинается старение человека (в момент рождения, при достижении половозрелости, при достижении максимума когнитивных или физических функций и т. д.). Классической точкой зрения считается также то, что старение — это увеличение вероятности с...

[Перевод] Разворачиваем вложенные столбцы — списки с помощью языка R (пакет tidyr) В большинстве случаев при работе с ответом полученным от API, или с любыми другими данными которые имеют сложную древовидную структуру, вы сталкиваетесь с форматами JSON и XML. Эти форматы имеют множество преимуществ: они достаточно компактно хранят данные и позволяют избежа...

Создание зашифрованного диска с «двойным» дном с помощью Veracrypt VeraCrypt — свободный форк TrueCrypt используемый для сквозного шифрования в Windows, Mac OSX и Linux, и позволяет шифровать системный диск, отдельный внутренний или внешний диск или создавать виртуальные диски с использованием файлов-контейнеров. В этой статье мы рассмот...

Как скачать резервную копию из любого приложения Google Google позволяет извлечь все данные из своих приложений У Google очень много сервисов и приложений, числу которых может позавидовать даже Apple. Все они образуют обширную экосистему с широким спектром возможностей, о которых большинство пользователей даже не догадываются. К ...

[Перевод] Руководство по Node.js для начинающих. Часть 1 Доброго времени суток, друзья! Представляю Вашему вниманию перевод этого руководства по Node.js. Введение в Node.js Node.js — это открытая и кроссплатформенная среда выполнения JavaScript. Это отличное решение почти для любого проекта. Node.js запускает «движок» Java...

Число депозитов на биткоин-биржах опустилось до минимумов 2016 года 12 апреля совокупное число депозитов клиентов биткоин-бирж опускалось до значений августа 2016 года. Об этом пишет Cointelegraph со ссылкой на данные аналитической компании Glassnode. К сегодняшнему дню этот показатель вернулся к значениям середины 2019 года. Объемы хранимых...

Принцип «тик-так» не является главенствующим для AMD при смене архитектур В ноябре курирующий серверное направление в AMD Форрест Норрод (Forrest Norrod) намекнул, что компания будет придерживаться принципа, похожего на знаменитый «тик-так» Intel. Одна архитектура может использовать две смежные ступени техпроцесса, а новую архитектуру принято внед...

Самоучитель по WinCC OA. Часть 1. Создание проекта и модуль para Решил немного рассказать про систему визуализации от Siemens под названием WinCC OA. Эта SCADA на рынке России распространена гораздо меньше классических версий WinCC (и tia-портальных тоже), знаний по ней в открытом доступе достаточно мало, знаниями делятся неохотно. В ряде...

[Из песочницы] Оптимальный путь новичка в мире C++/Qt Часто задаваемый начинающими программистами вопрос – какие материалы читать для повышения своего профессионального уровня? В таком, наиболее общем виде, ответить на данный вопрос невозможно. Это зависит от текущих знаний и умений человека, от его специализации, от задач, кот...

[Перевод] Zero Downtime Deployment и базы данных В этой статье подробно объясняется, как решать проблемы, связанные с совместимостью баз данных при деплое. Мы расскажем, что может произойти с вашими приложениями на проде, если вы попытаетесь выполнить деплой без предварительной подготовки. Затем мы пройдемся по этапам жиз...

[Перевод] Создавайте приложения бесплатно с помощью Azure Cosmos DB Free Tier Хотите создать новое приложение, разработать и протестировать или запустить небольшие производственные рабочие нагрузки с помощью Azure Cosmos DB? Наш новый уровень бесплатного пользования позволяет начать работу без затрат и сэкономить деньги при создании и развитии новых п...

Apple может отключить Rosetta 2 на Mac в некоторых странах. Чем это опасно После перехода новых Mac на архитектуру ARM многие стали беспокоиться, что это вызовет проблемы совместимости старых приложений, разработанных для Intel, с процессором M1. Но Apple заранее обо всём позаботилась и встроила в macOS эмулятор Rosetta 2, который по сути заставля...

Рынок серверов в первом квартале показал уверенный рост Специалисты аналитической компании Omdia подвели итоги первого квартала текущего года на мировом рынке серверов. По их словам, уверенный спрос на серверы привел к тому, что были зафиксированы рекордные для первого квартала показатели. Аналитики объясняют это востребован...

Quartet 9: Allegro | TypeScript Когда создавалась библиотека для валидации данных quartet были поставленны следующие цели-ориентиры: TypeScript Краткость и простота Производительность В этой статье я хотел бы рассмотреть ориентированность quartet на TypeScript. Читать дальше →

MS Remote Desktop Gateway, HAProxy и перебор пароля Друзья, привет! Существует множество способов подключения из дома к рабочему месту в офисе. Один из них — это использовать Microsoft Remote Desktop Gateway. Это RDP поверх HTTP. Я не хочу здесь затрагивать настройку самого RDGW, не хочу рассуждать, почему он хорош или плох,...

Хостим Bitwarden — open-source менеджер паролей Менеджеры паролей действительно полезны и важны как для отдельных пользователей, так и для организаций, и они пригодятся, когда у вас много разных учетных записей и паролей. Обычно люди не любят пользоваться сторонними менеджерами паролей с сервисной архитектурой — неизвес...

DCIRN: может ли база данных о даунтаймах ЦОД предотвращать аварии? Тем не менее, объем данных часто затрудняет выявление первопричины. С другой стороны, чем больше данных, тем выше вероятность того, что аналитическая система или даже алгоритм искусственного интеллекта (ИИ) обнаружит «виновника». Вопрос: сколько данных необходим...

[Из песочницы] Оценка задач в Story Points Практически каждый человек, который сталкивался с разработкой ПО знает что такое оценка задач в Story Points (SP), тем не менее периодически мне доводится рассказывать коллегам из других отделов или новичкам в команде, которые ни разу не сталкивались с таким подходом, зачем ...

Как на Android скачивать обои из прошивок разных смартфонов Обои – это едва ли не самый просто способ кастомизировать интерфейс смартфона. Всё-таки лаунчеры, прошивки и темы – это штука для более продвинутых пользователей, которые хотя бы примерно представляют себе, где и что включить или отключить, когда надо. А обои может установи...

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xe...

Ещё один взгляд на вопрос «нужна ли дефрагметация для SSD» Несомненно, вопрос, вынесенный в заголовок статьи, не нов, поднимался не раз и по нему достигнут консенсус «не особо нужна, и даже может быть вредна». Однако недавнее обсуждение в комментариях заставило меня ещё раз задуматься. Со временем любой SSD всё равно сильно фрагмент...

[Перевод] Как устроен билд APK файла внутри Процесс создания APK и компиляции кода Рассматриваемые темы Архитектура процессоров и необходимость для виртуальной машины Понимание Java виртуальной машины Компиляция исходного кода Виртуальная машина Андроид Процесс компиляции в .dex файл ART против Dalvik Описание каждой...

Nvidia представила архитектуру Turing и три новые видеокарты для профессионалов Сегодня на выставке SIGGRAPH компания Nvidia представила новую архитектуру видеокарт, которая будет в ближайшие несколько лет использоваться во всех новых 3D-картах компании. Архитектура получила название Turing. В компании отмечают, что Turing стала самым большим прорывом с...

Капля в море: Запуск Drupal в Kubernetes Я работаю в компании Initlab. Мы специализируемся на разработке и поддержке Drupal проектов. У нас есть продукт для быстрого создания Ecommerce решений, основанный на Drupal. В 2019 году мы начали решать задачу построения масштабируемой и отказоустойчивой инфраструктуры для...

Зачем нужен свободный доступ к данным Открытые данные – один из инструментов подотчетности государства перед обществом. Несмотря на открытость данных о культуре, госфинансах, деятельности бюджетных организаций, данные о качестве жизни населения – по экологии, образованию, здравоохранению, криминальной статистик...

«Hadoop. ZooKeeper» из серии Технострима Mail.Ru Group «Методы распределенной обработки больших объемов данных в Hadoop» Предлагаю ознакомиться с расшифровкой лекции "Hadoop. ZooKeeper" из серии "Методы распределенной обработки больших объемов данных в Hadoop" Что такое ZooKeeper, его место в экосистеме Hadoop. Неправда о распределённых вычислениях. Схема стандартной распре...

Серверы Huawei на процессорах Kunpeng 920 получат российскую «импортонезависимую» операционную систему Компании Huawei и РЕД СОФТ сообщили о подписании соглашения о технологическом сотрудничестве. Предмет соглашения — продажи на российском рынке комплексных решений, в которых объединены флагманские продукты двух компаний: серверы Huawei Taishan 200 (модель 2...

Проблемы спечатью Доброго времени суток, дорогие Печатники!Пришло к вам с просьбой о помощи и норм найти разъяснений по поводу проблем с ровной печатью. Дано:Самоделашный принтерArduino Mega + Ramps 1.4Драйверы шаговых двигателей drv8825Собственно в чем проблема головка бегает по оси Х стол п...

10 лучших облачных сервисов для хранения и синхронизации данных в 2020 году Современные облачные сервисы помогают сохранять гигабайты фотографий, документов, файлов и прочих данных. Мы собрали в одной статье лучшие из подобных хранилищ. Несмотря на то, что у них есть общие черты, каждый сервис по своему уникален, имеет оригинальные фишки, преимущест...

[Из песочницы] WAL-G: бэкапы и восстановление СУБД PostgreSQL Уже давно известно, что делать бэкапы в SQL-дампы (используя pg_dump или pg_dumpall) – не самая хорошая идея. Для резервного копирования СУБД PostgreSQL лучше использовать команду pg_basebackup, которая делает бинарную копию WAL-журналов. Но когда вы начнёте изучать весь про...

Thumbtack Tech Day Три города, три спикера, три темы Объединяем в один онлайн-митап экспертизу сразу трех направлений из городов присутствия компании «Тамтэк» в России. Специалисты из Омска, Саратова и Санкт-Петербурга расскажут о практиках и фишках разр...

Celery + asyncio Привет, Хабр! Я хочу рассказать, как я решал проблему эффективного конкурентного исполнения asyncio задач в Celery. Читать дальше →

[Перевод] Как бороться с привычками запрограммированным людям Перевод статьи из микроблога биохакера Сержа Фаге. В человеке есть запрограммированные паттерны поведения, которые всегда запускаются одним и тем же механическим, линейным способом. Так называемые «страстные желания» (англ. – cravings) – вещи и занятия, которые очень хочетс...

[Перевод] Вы правда знаете о том, что такое массивы? Там, где я тружусь, от веб-разработчиков ожидают знания PHP и JavaScript. Я, проводя собеседования, обнаружил, что достаточно задать всего один простой вопрос для того чтобы узнать о том, насколько глубоко разработчик понимает инструменты, которыми пользуется каждый день. Во...

Слухи: релиз GeForce RTX 3080 и RTX 3070 состоится в этом году Некоторые специалисты предполагают, что NVIDIA анонсирует видеокарты GeForce RTX 3080 и RTX 3070 (архитектура “Ampere”) уже 22 марта 2020 года. По слухам, в указанных ускорителях будут использоваться чипы GA103 и GA104, а старшая модификация похвастается 3840 CU...

[Перевод] Использование API Gateway в качестве единой точки входа для веб-приложений и API Перевод статьи подготовлен специально для студентов курса «Архитектор высоких нагрузок». Введение Преимущества AWS, такие как высокая доступность, масштабируемость и эластичность, уже доказали свою эффективность для SaaS-провайдеров (Software-as-a-Service). При модернизац...

Слухи: «большой» Navi 21 для флагманского Radeon будет в два раза больше и быстрее Navi 10 Компания AMD в наступающем 2020 году представит новые видеокарты на графических процессорах Navi. По слухам, среди них будут и флагманские модели, в основе которых будет лежать «большой» графический процессор Navi 21 на архитектуре RDNA 2. И сейчас в Сети появились новые под...

Почему успехи ИИ DeepMind в Atari вызывают у меня разочарование Картинка, которую вы видите, позаимствована с сайта DeepMind, и демонстрирует 57 игр, в которых их новейшая разработка Agent57 (обзор статьи на Хабре) достигла успеха. Само число 57 взято не с потолка, — именно столько игр было выбрано еще в 2012 году, чтобы стать своеобра...

[Из песочницы] Зачем нужен eSIM. Как это работает и почему об этом так много говорят Мы стоим, как обычно, на пороге очередной технологической революции (я уже запутался какой там номер...). IoT или Интернет вещей принесет новые бизнес модели, новые сценарии использования и приведет к очередному переделу всего рынка телекома. Как и в любом деле существует ку...

Престижное онлайн казино Слотозал Вы мечтаете стать богатым человеком, но с вашей зарплатой это несбыточная мечта? Тогда пришло время менять ситуацию. Если вы хотите обрести финансовую независимость и в ближайшее время начать жить так, как заслуживаете, тогда заходите в онлайн казино Слотозал. Чтобы подробне...

Книга «Совершенный алгоритм. Жадные алгоритмы и динамическое программирование» Привет, Хаброжители! В новой книге Тим Рафгарден рассказывает о жадных алгоритмах (задача планирования, минимальные остовные деревья, кластеризация, коды Хаффмана) и динамическом программировании (задача о рюкзаке, выравнивание последовательностей, кратчайшие пути, оптималь...

[Из песочницы] GSM IoT-провайдер в ЖКХ (Часть 1) Прочитал статьи автора Interfer о трудностях в Iot и решил рассказать о своём опыте IoT-провайдера. Статья первая не рекламная, большая часть материала без моделей оборудования. Постараюсь написать детали в следующих статьях. Не вижу проблем применения GSM модемов для сбо...

[Перевод] Смешиваем OpenJDK и NodeJS: межъязыковые взаимодействия и вертикальная архитектура Привет, Хабр! Давно вынашивали мысль обсудить с вами тему GraalVM, откладывали, пока не нашли, наконец, сегодняшнюю статью, тематика которой серьезно выходит за рамки разбора конкретной виртуальной машины. Автор Майк Хёрн (Mike Hearn) ни много ни мало излагает целую парадиг...

[Перевод] Контрольный список для ревью кода в распределенных системах points of view by sanja Микросервисная архитектура широко распространена в разработке программного обеспечения. Но организации, которые ее используют, помимо сложностей в реализации бизнес-логики сталкиваются еще и с распределенными сбоями. Ошибки распределенных вычислений...

Масштабирование андроид-тестирования в Одноклассниках Привет! Меня зовут Роман Иваницкий, я работаю в команде автоматизации тестирования Одноклассников. OK — огромный сервис с более чем 70 миллионами пользователей. Если говорить про мобильные устройства, то большинство пользуется OK.RU на смартфонах под управлением Android. П...