Продюсеры и консьюмеры с Apache Kafka в Python

Построение пайплайна обработки данных в реальном времени с использованием Python Привет, Хабр!Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и б...

Потоковая обработка данных: анализ альтернативных решений Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональ...

Делегаты и с чем их едят Делегат, по сути, это ссылка на метод. Техническим языком, это типобезопасный указатель на функцию. То есть делегат хранит адрес метода, позволяя нам вызвать этот метод без необходимости вызывать его напрямую.Определение: Делегат - это переменная ссылочного типа, которая мож...

Проектирование эффективной системы кэширования для высоконагруженной системы Способность обрабатывать большой объем запросов и данных в реальном времени является ключевым аспектом надежности и производительности современных информационных систем. Одним из способов повышения надежности, снижения нагрузки и, как следствие, расходов на сервера, является...

Эффективное обновление состояний в БД из сервисов потоковой обработки событий Как хранить сложные сущности в БД? Что нужно сделать, чтобы не перезаписывать весь рекламный баннер для обновления одного лишь заголовка? Рассмотрим как минимум 5 независимых и взаимно совместимых идей для многократного снижения нагрузки на чтение и запись подобных объектов....

Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

Асинхронная работа с файловой системой в Vert.x Vert.x – это экосистема для создания реактивных приложений на JVM, которые могут масштабироваться и обрабатывать огромные объемы данных в реальном времени. Это полиглоттная платформа, поддерживающая не только Java, но и Kotlin, Groovy, Scala, и еще js. В контексте статьи раб...

Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое? Данных становится все больше. Важно уметь эффективно хранить и обрабатывать их для решения сложных бизнес-задач. Одним из первых шагов на пути к успешной стратегии является выбор технологии хранения, поиска, анализа и отчетности по данным. Как выбрать между базой данных, Dat...

Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

Из пет-проекта в самостоятельную компанию: Алексей Миловидов о разработке ClickHouse и премии Highload++ Алексей Миловидов — разработчик и создатель технологии ClickHouse. Проект получил больше $2 млрд инвестиций. Эта распределенная аналитическая система управления базами данных с открытым исходным кодом используется компаниями со всего мира. Она столбцовая и позволяет онлайн о...

Основные функции Apache Tomcat Привет, дорогие читатели! Apache Tomcat — это открытое программное обеспечение, реализующее спецификации Java Servlet, JSP и Java WebSocket, предоставляя таким образом платформу для запуска веб-приложений, написанных на языке Java. Разработанный и поддерживаемый Apache Softw...

Разработка высокопроизводительного кеш-слоя на основе Redis в телеграм-боте Мгновенность процессов стала золотым стандартом. Пользователи требуют мгновенных результатов, и телеграм-боты не являются исключением. Без кеширования данных, боты могут столкнуться с серьезными задержками при обработке запросов. Кеш-слои в теботах - это ключевой инструмент,...

Как перезапускать PySpark-приложение и зачем это может понадобиться Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позв...

И снова про SIEM Решение класса SIEM уже давно стали неотъемлемой частью любой серьезной системы информационной безопасности. В этой статье мы поговорим о том, что такое SIEM, для чего они предназначены и как можно использовать решения с открытым исходным кодом.Итак, SIEM (Security informati...

Отправка и обработка HTTP запросов в PostgreSQL Эта статья о том как отправлять и обрабатывать HTTP-запросы непосредственно из/в PostgreSQL. Автор расскажет о том, что такое асинхронное уведомление в PostgreSQL, и наглядно продемонстрирует, как с его помощью можно взаимодействовать с внешними системами из самой СУБД. Чита...

Инструкция по настройке RAG-системы для тех поддержки клиентов Retrieval Augmented generation - генерация ответа с использованием результатов поиска. RAG-архитектура - это подход к созданию приложений, в которых большая языковая модель без дополнительного обучения отвечает на вопросы с использованием информации из внутренней базы знаний...

[recovery mode] Kubeshark — мониторинг и анализ Kuberneres Wireshark - это хорошо известный инструмент для захвата пакетов, анализа и устранения неполадок. Он может перехватывать текущий сетевой трафик и анализировать его в режиме реального времени на микроскопическом уровне, а также считывать и обрабатывать сохраненные файлы захват...

[Перевод] Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей о...

Бесплатные курсы для изучения SQL в 2024 году Изучение SQL в 2024 году остается важным для по нескольким причинам:1. Широкое применение: SQL является стандартным языком для работы с реляционными базами данных, которые широко используются в различных отраслях. Большинство предприятий и организаций все еще хранят свои дан...

[sobjectizer] Релиз версии 5.8.1: реализация пожеланий пользователей и исправление недочетов Пару дней назад мы зафиксировали версию 5.8.1 открытого проекта SObjectizer. В данной статье поговорим о новых возможностях, которые появились в SObjectizer благодаря пожеланиям пользователей, и упомянем исправление не выявленного ранее недочета. Кому интересно, милости прош...

Обзор релиза Apache Ignite 2.16.0 Apache Ignite — это высокопроизводительная распределенная база данных с открытым исходным кодом, предназначенная для хранения и распределенной обработки больших объемов данных в кластере узлов. В СберТехе есть команда, которая занимается ее развитием...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Архитектурный паттерн для обработки больших данных: Lambda Привет, Хабр! Мы сталкиваемся с огромными объемами информации, высокой нагрузкой, и постоянно меняющимися требованиями. Все это требует от нас не только навыков программирования, но и грамотного проектирования архитектуры, которая способна справиться с этими вызовами.Именно ...

Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...

Подводные дата-центры и хранение информации в QR-кодах: новшества индустрии ЦОД По данным TAdviser, в России зафиксирован небывалый «бум» строительства ЦОДов. Схожая картина наблюдается и в остальных странах: по итогам 2022 года общий объем данных в мире составил 97 зеттабайт, в 2023 году — 110-120 зеттабайт, а к 2025 году — прогноз вплоть до 180-ти. Вс...

Настройка CI/CD для самых маленьких разработчиков Считается, что построение CI/CD - задача для DevOps. Глобально это действительно так, особенно если речь идет о первоначальной настройке. Но часто с докручиванием отдельных этапов процесса сталкиваются и разработчики. Умение поправить что-то незначительное своими силами позв...

Kafka, go и параллельные очереди В этой статье я расскажу о паре способов увеличить пропускную способность системы с помощью партиций kafka и каналов go. В качестве библиотеки-клиента kafka буду использовать segmentio/kafka-go. Статья будет полезна начинающим go-разработчикам, которые уже знакомы с основным...

Методы оптимизации в машинном и глубоком обучении. От простого к сложному В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концеп...

Обеспечение бесперебойной работы ЦОДов. Опыт МКБ Центры обработки данных (ЦОДы) играют ключевую роль в банковской индустрии — они контролируют проведение всех операций, хранят и обрабатывают огромный объем информации: данные клиентов, отчеты и финансовые документы. В 2022 году ...

От хаоса к порядку. Как мы внедряем стандарты в CDEK Привет, Хабр! Меня зовут Олег Бондарь, я архитектор решений в CDEK. В этой статье расскажу о стандартах — сводах правил и требований, которые позволяют всем участникам процесса быть в общем контексте, действовать единообразно и совершать меньше ...

[Перевод] FIFO очередь asyncio в Python Очереди в Asyncio могут быть полезны для создания программ, в которых используются паттерны производитель-потребитель, где одна или несколько корутин производят элементы и помещают их в очередь, а одна или несколько корутин потребляют элементы и обрабатывают их из очереди.В ...

pgvector: как хранить и обрабатывать многомерные вектора в PostgreSQL На Хабре было много упоминаний pgvector в обзорах Postgresso. И каждый раз новость была про место которое где-то за границей и далеко. Многие коммерческие решения для хранения и поиска векторов в базе данных нынче не доступны, а pgvector доступен любому, тем более в самой по...

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Самый простой гайд по созданию бота для анализа сообщений в Telegram Есть Telegram-каналы, которые отслеживают определенные события в мире. А мы следим за их сообщениями, чтобы не упустить ничего важного. Если собирать и анализировать данные вручную, процесс будет отнимать много времени и требовать высокой концентрации от человека. Чтобы реш...

Нефть глазами аналитика данных Любите ли вы работать с данными, как люблю это делать я? Страдаете ли вы также от несовершенства инструментов для анализа данных? И вот, буквально в первых строках, я понимаю, что мне надо быть очень аккуратным, дабы не задеть чувства, к примеру, фанатов Excel или Notepad+...

Построение OLAP-запросов с использованием аналитических функций Привет, уважаемые читатели Хабра! Сегодня мы вас познакомим с OLAP и аналитическими функциями.OLAP, или Online Analytical Processing, представляет собой технологию для анализа и извлечения данных из больших наборов информации. Это позволяет производить сложные агрегации, рас...

Как мы упростили работу с данными с помощью пайплайна: пошаговый план Привет, меня зовут Руслан Шкарин. Я Senior Software Engineer и это моя первая статья в DIY-медиа вАЙТИ от beeline cloud. Расскажу, как занимался построением пайплайна для сбора и анализа логов системы в реальном времени для сервиса, который обходил сотни ...

[Перевод] Достижение высокой пропускной способности без усугубления задержки Задержка и пропускная способность При обсуждении производительности часто встречаются термины «задержка» (latency) и «пропускная способность» (throughput) для описания характеристик программного компонента. Мы можем дать следующее толкование этим терминам: Задержка — это м...

Python, Go или… готовим сырой видеопоток с полсотни камер В проектах, связанных с машинным зрением и обучением приходится работать с сырым видеопотоком с камер. Чтобы принимать, предобрабатывать и передавать эти данные нейросетям необходим отдельный программный компонент, который мы условно называем «видеоридер». Это микросервис, к...

По одному кабелю передали данные на скорости 22,9 млн Гбит/с — это 20 раз быстрее всего мирового интернет-трафика Японские инженеры установили новый рекорд скорости передачи данных по одному оптоволоконному кабелю (22,9 петабита в секунду или 22,9 млн Гбит/с), что более чем в 20 раз превышает весь мировой интернет-трафик в секунду. Согласно пресс-релизу, это более чем вдвое превыси...

Обзор современных СКС CommScope Systimax Рост объема генерируемых данных и разнообразие электронных устройств стимулируют развитие сетей передачи данных. Чтобы обрабатывать большие объемы информации с высокой скоростью, кабельная инфраструктура требует все больше ресурсов. Рассмотрим решения СКС, отвечающие совреме...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

Разработка алгоритмов обработки данных в реальном времени на Python Привет, Хабр! С появлением больших объемов информации и необходимостью обработки данных в реальном времени, разработчиками все чаще приходится создавать эффективные алгоритмов обработки данных, способных обеспечивать высокую отзывчивость и мгновенное реагирование на измен...

[Перевод] Сравнение технологий WebSockets, Server-Sent-Events, Long-Polling, WebRTC и WebTransport При работе с современными веб-приложениями реального времени незаменима возможность отправлять события с сервера на клиент. Именно этой необходимостью продиктовано то, что за годы работы было изобретено несколько методов для этой цели, каждый с собственным набором достоинств...

Оптимален ли блокчейн для хранения идентификационных данных? Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изучен...

Обзор библиотеки bleve в Golang Bleve предоставляет индексации любых структур данных Go, он поддерживает различные типы полей: текст, числа, даты и логические значения, а также разнообразие запросов: от простых терминов до фраз и сложных булевых запросов.В этой статье рассмотрим основной функционал этой би...

[Перевод] Data Mesh – ячеистые топологии для работы с данными Из каких соображений можно хранить данные в виде ячеистой сети Во всех организациях, где мне доводилось работать, всегда понимали важность данных. Поэтому я видел, что руководство либо заинтересовано, либо прямо планирует создать платформу нового поколения для обращения с ...

Платформа для корпоративных опросов Корпоративные опросы играют в этом процессе важнейшую роль, позволяя менеджерам и HR-специалистам получать ценные отзывы, анализировать уровень удовлетворенности и вовлеченности, а также идентифицировать области для улучшения. В этой статье мы поговорим о том, как современны...

Делаем HMI-панель из планшета для системы автоматизации на контроллере Wiren Board Система автоматизации обычно работает автономно без участия пользователя, но единая точка контроля и управления системой всё равно нужна: вмешаться в работу автоматических алгоритмов, внести изменения в параметры или просто проверить, что система работает верно.В комплекте с...

Обзор параллельных режимов работы хэш-функций С каждым днем, по мере роста объема обрабатываемых данных, становится все более важным использование эффективных методов обработки. Особенно значимым является внедрение параллельных вычислительных архитектур для достижения высокой производительности. Однако многие стандартны...

На что способны виртуальные потоки Java в обработке файлов Привет, Хабр!ПредисловиеНачнем с того,что я не специалист по Java и у меня нет коммерческого опыта на этом языке. Я просто обычный кодер, который по вечерам пилит проекты на Java, а основной мой стек состоит из PHP и смеси Python + Go. В данной статье хочу с вами поделиться ...

Что под капотом у цифрового фото и видео: субдискретизация Время от времени мне приходится общаться с фотографами, видео- и кинооператорами, монтажёрами, колористами, дизайнерами и специалистами других профессий, работающими с изображениями — как неподвижными, так и движущимися.Не&nb...

[Перевод] Краткий обзор техник векторизации в NLP Как переводчик-редактор, я интересуюсь темой NLP и автоматизации рутины бюро переводов. Изучая вопрос того, как смысл слов превращается в векторы, наткнулся на эту обзорную статью. Статья мне показалась изложенной доступно, поэтому я перевел ее для удобства других коллег. Ра...

SDR приемник GPS на микроконтроллере В этой статье я расскажу о том, как я делал самодельный SDR GPS приемник на микроконтроллере. SDR в данном случае означает, что приемник не содержит готовых GPS-модулей или специализированных микросхем для обработки GPS сигналов - вся обработка "сырых" данных выполняется в р...

Проблемы согласованности данных в микросервисах и их решение Привет, Хабр!Микросервисы стали выбором многих благодаря их гибкости, масштабируемости и способности поддерживать сложные приложения в динамично меняющемся мире.Но не всё так просто. Одной из ключевых проблем, с которыми сталкиваются при переходе от монолитных архитектур к м...

MERGE и её улучшение производительности с помощью work_mem С выходом PostgreSQL 15 мы застали появление долгожданной команды MERGE, которая позволяет реализовывать эффективные способы синхронизации обновлений.Суть MERGE заключается в ее универсальности: она позволяет объединить операции INSERT, UPDATE и DELETE в одном запросе, автом...

Все про композитинг в X11 | Linux Приветствую, читатели хабра! Вы когда-нибудь задумывались над тем, что скрывается за красотой и динамичностью вашего рабочего стола? Какие компоненты реализовывают анимации и различные графические эффекты: блюр, тень, скругления, прозрачность? В X11 есть одна очень интересна...

Apache Flink: динамическое определение выходного топика в Kafka Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей статье — «Apac...

ЦЕРН увеличил объем своего хранилища до первого в истории эксабайта. Как хранятся данные Большого адронного коллайдера Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения м...

Ученые доказали, что люди обрабатывают информацию эффективнее мышей Ученые обнаружили фундаментальное различие в том, как мозг человека и мыши обрабатывает информацию. Исследование, опубликованное в журнале Science, показало, что нейроны в неокортексе человека — месте, где «находится» интеллект, — взаимодействуют в одном направлении, в отлич...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 2 Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта ...

Архитектурный паттерн для обработки больших данных: Kappa Привет, Хабр!Если вы уже знакомы с архитектурным паттерном Lambda, то сегодня мы поговорим о его ближайшем родственнике - Kappa. Когда речь идет о обработке больших данных, архитектурные паттерны играют самую важную роль. Ранее мы обсудили Lambda, который предлагает подход, ...

Эффективное использование журнала регистрации и технологического журнала 1С в решении вопросов производительности Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).Напомню, что ЖР логирует действия пользователей — кто,...

Питер Джексон станет продюсером фильма "Властелин колец: Охота на Голлума" Режиссер классической трилогии "Властелин колец" возьмет на себя роль продюсера в новом проекте. В своё время трилогия завоевала в общей сложности 17 Оскаров.

Трансляция графических HANA Calculation View в SQL, или как переехать так, чтобы ничего не поменялось Повинуясь всеобщей тенденции и следуя духу времени, мы в Норникеле переводим расчёты нашего хранилища на уровень БД. Так мы ускоряем обработку данных и формирование отчётности, да и система работает стабильнее. Но пока мы оптимизируем и переносим "классический" код в базу, з...

Эволюция BP-сервиса компании Магнит Как на сервисе весом в 10 ТБайт ежедневно обрабатывать 1 Тбайт пользовательских данных и спать спокойно.В статье описана эволюция системы управления процессами в компании «Магнит». Некоторые детали были упрощены для лаконичности и последовательности повествования, некоторые ...

Начинаем продолжать: обработка исходников с помощью ИИ в оффлайне В этой статье я расскажу про расширение «Continue» для VSCode, помогающее обрабатывать исходные коды и просто текст любым ИИ, в том числе бесплатным и запущенным локально; а так же покажу, что умеет делать локальный вариант ИИ уже сейчас.  Читать далее

48 ГБ памяти и производительность почти на уровне RTX 4070 — это новый китайский графический ускоритель Moore Threads MTT S4000 Китайская компания Moore Threads представила новую графическую карту MTT S4000, которая оснащается огромным объёмом памяти.  Это не потребительская видеокарта, а ускоритель для ЦОД и в том числе для ИИ. В основе новинки лежит GPU с архитектурой MUSA третьего покол...

[Перевод] Создаем свой аналог sqlite c нуля. Часть #1 Это цикл статей где мы создаем базу данных с нуля. За образец автор взял sqlite, так как простая база данных, где вся база данных храниться в одном файле и меньше фич по сравнению с mysql.Мы ответим на эти вопросы: В каком формате данные будут сохранены(в памяти или на диске...

[recovery mode] Как в Node.js контролировать потребление памяти при обработке сетевых запросов Всем привет! Я Виктор Кугай, руководитель команды разработки спецпроектов в Тинькофф. Мы создаем геймификационные проекты, основанные на данных, чтобы познакомить пользователей с экосистемой компании и повысить узнаваемость бренда.Расскажу, как с помощью Node.js Streams и ме...

«Импульс» в профессию инженера: какие задачи решают стажеры в YADRO Получить опыт работы в сложной инженерной специальности сегодня проще, чем когда-либо. Герои этого материала — студенты и недавние выпускники технических вузов, которые прошли летнюю стажировку Импульс от YADRO в 2023 году и остались работать в компании. Ребята решают реальн...

Как работает дедупликация данных в потоке Kafka-to-Kafka? Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей части «Как исп...

C этой платформы Qualcomm начнёт новую эпоху Windows-ПК с Arm. Раскрыты все параметры SoC Snapdragon X Elite Наконец-то мы можем понять, какие платформы Qualcomm будут конкурировать с Apple M на рынке ПК. В Сеть попали данные с грядущей презентации, где описана SoC Snapdragon X Elite.  Судя по всему, Snapdragon X будет новой линейкой, а модель Elite займёт в ней место фл...

Функциональная панель Инструменты в Платформе nanoCAD При работе с CAD-системами у пользователя зачастую возникает потребность адаптировать интерфейс «под себя» – к примеру, собрав в выбранном месте все часто используемые и специализированные инструменты. В Платформе nanoCAD такую возможность предоставляет функциональная панель...

Простой способ обработки качественных исследований Данная статья может оказаться полезной начинающим менеджерам, аналитикам и дизайнерам. В ней рассказано о подходе, который поможет структурировать и упорядочить информацию, полученную из различных источников, таких как “one to one” встречи, глубинные интервью и другие подобн...

О коммерческой тайне без коммерческой тайны: как мы автоматизировали развёртку Kubernetes в изолированной среде В этой статье мы расскажем о том, как в ОТП автоматизировали развёртку Kubernetes в изолированной среде, обрабатывающей чувствительные данные. Поэтому примеров кода не будет, как и деталей нашего харденинга — это был бы очень длинный и специфичный список. Но на идейном, архи...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

“Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python Привет, хабр! Сегодня мы хотели бы продолжить тему обработки пространственных данных средствами Python библиотеки estaty. Мы уже рассказывали о том как можно Объединять открытые данные Open Street Map и Landsat для уточнения площадей зеленых зон вокруг объектов недвижимости....

[Перевод] Продвинутые техники извлечения данных для достижения максимальной производительности Cегодня мы поговорим на тему оптимизации производительности для масштабируемых систем.В современной постоянно развивающейся цифровой среде необходимо держать фокус внимания не только на функциональности программных систем — нужно создавать системы, способные беспроблемно и э...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

DevOps as a Service. Часть 4. Решаем проблемы развития сотрудников подразделения и управления инициативами Всем доброе утро! С Вами Крылов Александр, и мы продолжаем серию статей про DevOps as a Service, и как с помощью данного подхода возможно решить ряд распространённых проблем. В прошлых статьях мы описали сам подход, показали пути решения различных проблем. Со статьями можно ...

Шифрование в Kubernetes: основы Многие приложения работающие в Kubernetes обрабатывают конфиденциальную информацию, требующую защиты от несанкционированного доступа. Kubernetes предлагает удобные способы для защиты данных. Рассмотрим основные из них в этой статье, а именно — шифрование в покое, шифрование ...

Проект «Селенит». Часть 5: Контроллер, встроенное ПО и квадратурный модулятор Аппаратура SDR (Software-defined Radio), как и следует из названия, представляет собой программно-аппаратный комплекс. В предыдущих частях цикла были рассмотрены преимущественно аппаратные решения радиотракта трансивера Selenite Lite. В большей части данной публикации будет...

Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в так называемые кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию. Из-за частичного сходства в постановке задач с кла...

Как провести unit-тестирование Flink-операторов: TestHarness Привет всем, на связи снова Александр Бобряков, техлид в команде МТС Аналитики. Продолжаем цикл статей про фреймворк Apache Flink.Напомню, в предыдущих частях я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Та...

The Hive. Разбор open source решения В свете быстрого развития информационных систем и увеличения угроз кибербезопасности поиск надежных решений, позволяющих минимизировать вред от нарушения информационной безопасности (ИБ), становится важной задачей для различных организаций. Когда инфрастр...

Пакетная обработка файлов в nanoCAD Для работы с проблемными файлами создано множество инструментов, позволяющих устранять те или иные проблемы. Но что делать в случае, когда файлов, подлежащих очистке или восстановлению – огромное количество? Неужели каждый из них придется открывать вручную и обрабатывать отд...

DIY: Ваше собственное облако на базе Kubernetes (часть 1) Мы очень любим Kubernetes и мечтаем чтобы все современные технологии поскорее начали использовать его замечательные паттерны.А вы когда-нибудь задумывались о том чтобы построить своё собственное облако? Могу поспорить что да. Но можно ли это сделать используя лишь современны...

REST API/Web сервер на PowerShell Все привет! В продолжение статьи о возможностях PowerShell, хочу поделиться несложной реализацией создания REST API и простого Web-сервера, используя только PowerShell на базе класса .NET HttpListener. Такая реализация позволяет настроить endpoint (конечные точки) для обрабо...

Интерактивные и документированные диаграммы для сложных систем Мой первый on-call выдался нелегким. Недели тренингов и обучения не подготовили меня к тому что придется бегать по Slack каналам различных команд и искать того, кто может что либо знать о какой-то из частей системы. Оказалось что многие страницы в корпоративной Wiki уже не о...

Кратко про Raft и Paxos: путь к надежным распределенным базам данных Привет, Хабр!Консенсус позволяет нескольким узлам или процессам согласовать некоторое значение или последовательность действий, даже если часть системы выходит из строя или ведет себя непредсказуемо.Среди множества подходов к решению проблемы достижения консенсуса в распреде...

Как мы Kafka с NestJS microservices подружить пытались Привет, меня зовут Валентин, я NodeJS-разработчик в Сравни. Моя команда делает Profile Service — внутренний продукт, который отвечает за быстрое получение и запись личных данных пользователей для экосистемы Сравни. Мы взаимодействуем с 20+ продуктовыми командами, которые даю...

Архитектурные нюансы OpenStack. Базы данных как сервис, реализация Trove Привет, Хабр. Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платфо...

Исследование звука: удаление шумов Обработка звука - это процесс исследования динамической/статической звуковой дорожки при помощи применения определенного набора линейных и нелинейных алгоритмов с целью получения необходимой информации. Алгоритмы динамической обработки звука работают с потоковым аудио, ...

Системы автоматизации, SGRC Современная кибербезопасность включает в себя множество различных аспектов, объектов и субъектов защиты: информационные активы компании (ИТ-системы, бизнес-приложения, серверы, рабочие станции, сетевое оборудование), файлы и данные в самых разных форматах (от структурированн...

Разбираемся в BIA: популярные вопросы и неочевидные кейсы Анализ воздействия на бизнес (BIA, Business Impact Analysis) — один из фундаментов управления непрерывностью бизнеса, который, как кажется, позволяет решить основные вопросы: оценить потери от простоя критичных процессов, выделить эти критичные процессы, узнать, от чего зави...

Простыми словами про обработку текстовых запросов пользователя в Телеграмм ботах на java Тем, кто так или иначе уже сталкивался с разработкой Telegram-ботов на java, известно, что бот должен уметь отправлять запросы Telegram-серверу и получать от него обновления (updates). В настоящее время существует два способа получения обновлений:- использование LongPolling ...

[recovery mode] Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование Проведение анализа дефектов, обнаруженных на продакшене, кажется сложной и трудоемкой задачей. Однако в команде Polymatica мы успешно интегрировали этот процесс в цикл тестирования, сделав его неотъемлемой частью обеспечения качества ПО. Локализация дефектов с...

Кратко про Nameko Python Привет, Хабр!Nameko, как фреймворк для Python, предлагает удобные абстракции и инструменты для создания микросервисов, ориентированных на сообщения и события.С Nameko можно получить не только инструмент для создания микросервисов, но и платформу для реализации распределенных...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

Распределенный SQL в Picodata Недавно мы выпустили новую значительную версию Picodata — распределенной in-memory СУБД с открытым исходным кодом. Это продукт на основе Tarantool c поддержкой плагинов на Rust и некоторыми другими интересными особенностями, о которых можно почитать в статье Picodata: просто...

WinRAR CVE-2023-38831 10 июля 2023 года при исследовании распространения троянского ПО под названием DarkMe, специалистами из Group-IB была обнаружена раннее неизвестная уязвимость в WinRAR, которая касалась обработки zip-архивов. Данная уязвимость получила идентификатор CVE-2023-38831. С помощью...

Project Loom. Не только виртуальные потоки Начиная с Java 19 нам доступны виртуальные потоки, которые отличаются от обычных, тем что умеют освобождать поток операционной системы во время блокирующих I/O операций. Для этого на уровне JVM был реализован механизм сохранения в хипе и восстановления из хипа стека вызова....

LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql) Привет, Хабр! На связи участница профессионального сообщества NTA Марина Коробова.Данные занимают центральное место в информационном обществе. Именно информация является основой для принятия решений, развития бизнеса и научных исследований. Многие организации инвестируют огр...

Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...

Дела сердечные: роботизированный правый желудочек Не будет преувеличением сказать, что мозг человека является самым важным органом. Ведь именно мозг собирает, хранит и обрабатывает информацию, которая поступает к нему из окружающего мира посредством работы органов чувств. Мозг участвует в регуляции работы других органов. ...

В прямом смысле космические SSD. Kioxia и Hewlett Packard обновили компьютеры на МКС, установив множество больших SSD Компания Kioxia отправила на МКС свои твердотельные накопители. Теперь на космической станции есть первая коммерческая система периферийных вычислений с искусственным интеллектом в космосе.  Совместно с Hewlett Packard компания Kioxia в рамках программы Spaceborne...

Блок питания Afox 1200W: поддержка ATX 3.0 и PCIe 5.0 при хороших, но не выдающихся характеристиках Потребительские качества Блок питания Afox 1200W находятся на хорошем уровне. Нагрузочная способность канала +12VDC высокая, что позволяет использовать данный БП в мощных системах с несколькими видеокартами. Акустическая эргономика на высокой мощности далеко не выдающаяся, н...

Взгляд в хранилище данных. Анализ диска с помощью Kali Linux В данной статье мы рассмотрим основные инструменты и методы, предоставляемые Kali Linux, для анализа содержимого дисков, включая методы извлечения данных, анализ файловой системы, поиск удаленных следов и многое другое. Погрузимся в мир цифровой форензики и обнаружения инфор...

Перфокарты против перфокарт: война систем до появления iOS и Android Первая система для обработки больших объемов данных появилась в конце 19 века. Американский инженер Герман Холлерит создал ее для того, чтобы обрабатывать результаты переписи населения США. Компания Холлерита — первый ИТ-стартап — нашла частных инвесторов и государственные з...

Используем Gemini для просмотра лекции В феврале Google мы познакомились с Gemini 1.5 Pro с контекстным окном в 1 миллион токенов. Больший размер контекста означает, что Gemini 1.5 Pro может обрабатывать огромные объемы информации за один раз — 1 час видео, 11 часов аудио, 30 000 строк кода или более 700 000 слов...

Метод Reverse-engineering на практике: как расшифровать исходный код Всем привет! Сегодня в нашем эфире новый автор - Никита Синкевич, руководитель группы анализа и реагирования Инженерного центра Angara Security. Итак, начинаем!Иногда в ходе расследования инцидента информационной безопасности необходимо понять, имеет ли та или иная программа...

VK представляет новаторскую систему Tarantool Column Store для обработки данных в реальном времени VK запустила Tarantool Column Store, инновационную систему для мгновенной обработки и анализа данных в реальном времени.

Что такое Data Service и почему он может быть вам полезен Привет, Хабр! На связи группа экспертов по управлению данными из МТС.А именно: Патрисия Кошман — руководитель группы (управление метаданными) и Аксинья Ласкова — эксперт по практикам качества данных.Сервисы МТС собирают огромное количество данных разных типов и качества, нач...

Европейский миграционный кризис: Албанский суд дал добро на миграционное соглашение с Италией Албанский Конституционный суд одобрил спорное соглашение между Италией и Албанией, позволяющее Италии отправлять просителей убежища в Албанию. Соглашение предусматривает построение двух центров обработки на севере Албании, которые будут принимать до 36 000 человек в год, жел...

Опросы с использованием метода Дельфи Метод Дельфи, представляет собой уникальный подход к систематическому и структурированному сбору мнений экспертов для прогнозирования или решения сложных проблем. Цель статьи — не только описать метод Дельфи, его основные этапы и применение, но и показать, как его преимущест...

[Перевод] Использование фреймворков модульного тестирования для выявления уязвимостей Формулировка проблемы Поиск уязвимостей — сложный процесс, а еще сложнее пользоваться уязвимостями на нескольких целях в разных конфигурациях. Именно по этой причине существует множество фреймворков, таких как Metasploit, и различных сканеров уязвимостей, таких как nuclei....

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

Особенности обработки native events в React.js В данной статье рассматриваются особенности, которые связаны с обработкой нативных событий (native events) в React-приложениях. Существует проблема частичной потери контекста функционального компонента при обработке нативных событий, которые навешиваются на элементы с помощь...

Симуляция высокоскоростных приёмопередатчиков с динамической реконфигурацией для ПЛИС Intel серии 10 В этой статье мы подошли к самому "свежему" поколению ПЛИС фирмы Intel, а именно 10 поколение. И теперь мы будем создавать проект в среде симуляции для Arria 10.Напомню, что высокоскоростные приёмопередатчики - это пара RX и TX, встроенные в ПЛИС, которые позволяют преобразо...

Построение сложных логических элементов на резисторно-транзисторной логике В своей прошлой статье я концептуально показал как устроены основные логические элементы РТЛ. Сегодня на их базе рассмотрим более сложные элементы. Читать далее

SQL HowTo: итоги по строкам и столбцам «в одно действие» Немного отвлечемся от простых SELECT и посмотрим на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок", как знание возможностей SQL может облегчить жизнь и разработчику, и его базе. Читать далее

Как выбрать GPU для машинного обучения Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты...

[Перевод] Увлекательный лексический анализ языка Rust Давайте поговорим о лексическом анализе. Сначала я собирался назвать этот пост «Реализуем токенайзер», но ветер переменился, времена изменились… и, чтобы не утонуть в потоке комментариев вида «фыр, а где мой BPE-токенизатор LLama, который вы мне обещали», ограничимся пока л...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1 Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения...

Обработка результатов статистических наблюдений с помощью толерантных интервалов Здравствуйте, уважаемые читатели!В статье хочу поделиться личным опытом использования толерантных интервалов для обработки результатов статистических наблюдений, привести некоторые примеры и дать краткое описание процедуры расчета с реализацией на языке Python. Может быть, к...

ZENTAO – больше чем просто ITSM-платформа Привет! На связи GlowByte Soft. ITSM-платформы заслуженно заняли свое место в ландшафте ИТ-систем крупных компаний. В этой статье мы собрали 20 ИТ- и бизнес-процессов, которые могут быть реализованы на современной ITSM-платформе ZenTao. Больше информации об этом инструменте ...

Основы репликации в Kafka Привет, Хабр!Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами. В этой статье рассмотрим основы репликации в...

Это база машинного обучения Рассказать всё о машинном обучении на двух страницах текста — невыполнимая задача. Именно сложность и многообразие темы могут отталкивать тех, кто только начинает знакомство с ней. Однако мы хотим помочь на этом пути и дать упрощённое введение в машинное обучение, чтобы кажд...

[Перевод] Создание сквозного конвейера MLOps с помощью Open-source инструментов MLOps с открытым исходным кодом: TL;DR Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения трад...

Это самый сложный и современный чип китайской разработки. Nio представила SoC Shenji NX9031 с 50 млрд транзисторов и 32 ядрами Пока компания Huawei вместе со SMIC привлекают внимание их 7-нанометровой SoC Kirin и слухами о работе над 3-нанометровыми чипами, китайская компания Nio, которая к полупроводникам в целом отношения не имеет, создала собственный чип по техпроцессу 5 нм.  Однокрист...

Отправляем и принимаем SMS с помощью SIM868 и Repka Pi В этой статье мы продолжим рассказ об использовании модуля GSM/GPRS/GNSS Bluetooth HAT, созданного на базе SIM868, для беспроводной передачи данных в виде СМС-сообщений через Российский одноплатник Repka Pi. Такой способ даже в наше время актуален, когда нужно управлять авто...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

КамАЗ увеличит производство моторов Р6 для флагманских грузовиков КамАЗ К5 КамАЗ сообщил о закупке нового оборудования, которое позволит нарастить выпуск двигателей Р6. Теперь рамки масляного насоса будут обрабатывать на одном станке, раньше эти детали обрабатывались на двух обрабатывающих центрах. Фото: Ростех Новый станок позволит выпускать...

Hippotable — анализ данных прямо в браузере Сегодня я расскажу про hippotable — удобный инструмент для анализа данных. Мне часто нужно поковыряться в датасете среднего размера (1–100 Мб), чтобы ответить на довольно простые вопросы. Ни один из существующих инструментов (bash, google sheets, jupyter + pandas) не показал...

Бизнес-правила в действии: семь лет развития и усовершенствования Business Rules Engine Привет! Меня зовут Владислав Кучинский. Я начинал свой карьерный путь в IT с разработки на С++ и Java, а сейчас являюсь руководителем группы Platform Event Management в компании Bercut. Сегодня я расскажу историю создания платформы Business Rules Engine (BRE) Bercut – систем...

Как управлять трафиком с помощью BGP и OSPF Привет, Хабр! BGP и OSPF — это протоколы, которые позволяют нам строить и поддерживать сети, способные справляться с огромным объемом данных и обеспечивать высокую доступность. BGP чаще всего используется для маршрутизации трафика между разными автономными системами (AS), в ...

Реверс и анализ Keyzetsu Clipper Недавно я увидел новость о появлении на GitHub фальшивых репозиториев, которые обманом заставляют жертв скачивать вредонос, угрожающий безопасности их криптоактивов. Вредонос называется Keyzetsu Clipper, и в тот момент мне очень захотелось узнать, ка...

Интервью с руководителем отдела анализа защищённости Angara Security Михаилом Суховым о пентесте Я много бывал за последнее время на разных ИБ‑мероприятиях, где проходили различные киберучения. Много писал об уязвимостях, об ИБ‑решениях, борющихся с ними, специалистах, выявляющих бреши в инфраструктурах. И как раз на последне...

Мониторинг и трассировка в Go: от Prometheus до Jaeger Привет, Хабр!Когда приложения становятся все более сложными и распределенными, и эффективное управление ими требует глубокого понимания происходящего внутри. Мониторинг позволяет нам наблюдать за состоянием приложения, собирать ценные метрики о его работе и предоставлять нам...

Kornia — библиотека компьютерного зрения Kornia это open source библиотека для решения задач компьютерного зрения. Она использует PyTorch в качестве основного бэкенда и состоит из набора дифференцируемых процедур и модулей. Создатели библиотеки вдохновлялись OpenCV, и поэтому Kornia является его аналогом, но при эт...

— Пакет брать будете? — Нет, я со скриптом. Сравнение софта на скриптах и готовых пакетных решений для сбора данных Продукты для сбора и инвентаризации данных делятся на два типа: софт, который собирает данные с помощью скриптов, и пакетные решения, которые собирают данные готовым программным кодом. В статье разбираем плюсы и минусы каждого варианта, а также окунаемся в краткую истор...

В России создали лазерный станок для обработки деталей газотурбинных двигателей По сообщению руководителя Департамента инвестиционной и промышленной политики Москвы Владислава Овчинского, столичный разработчик лазерных систем и оборудования — компания «Лассард» — по индивидуальному заказу Объединённой двигателестроительной к...

Формальные методы проверки смарт-контрактов Друзья, приветствую! Меня зовут Сергей Соболев, я представляю отдел безопасности распределенных систем Positive Technologies. В этой статье начну рассказывать про методы и инструменты формальной верификации, их практическое применение в аудите смарт-контрактов, а также про п...

Пишем GPT4 ботов на coze.com Нет времени объяснять! Bytedance тестирует платформу создания АИ ботов, coze.com, в том числе на базе gpt-4/gpt-3.5/Dalle-3 с возможностью интеграции в телеграм/дискорд. На данный момент ограничений практически нет, бесплатный доступ к огромному количеству сервисов, включая...

Проектируем микросервисы с Reactive Manifesto Работаете с распределенными системами или только пытаетесь к ним подобраться? Проектировать такие системы с нуля бывает сложно и страшно: чтобы учесть все нюансы, нужен определенный багаж знаний. На помощь приходит Reactive Manifesto — документ, который обобщил опыт цел...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Автоматизированная торговля акциями с использованием глубокого обучения с подкреплением В этой статье мы начинаем рассматривать практическое применение библиотеки FinRL для построения торгового агента. В предыдущей статье мы вкратце рассмотрели библиотеку FinRL, предоставляемые ей возможности моделирования рынка и обучения торговых агентов на основании алгоритм...

Путеводитель по DDoS: основные виды и методы борьбы Всем привет! На связи Николай Едомский, руководитель группы сетевых инженеров в ЕДИНОМ ЦУПИС.В этой статье я простыми словами расскажу о том, что из себя представляет DDoS, о самых распространенных видах DDoS и методах борьбы с ними. Основная цель материала – на простых прим...

Тюнинг Wireshark Анализатор пакетов Wireshark является мощным инструментом как для сбора, так и для анализа трафика. Ранее мы уже рассматривали использование Wireshark для работы с пакетами DNS. В этой статье мы рассмотрим различные приемы гибкой настройки данного инструмента для того, чтобы...

[Перевод] Xv6: учебная Unix-подобная ОС. Глава 6. Блокировки Ядро ОС выполняет программы параллельно и переключает потоки по таймеру. Каждый процессор выполняет поток независимо от других. Процессоры используют оперативную память совместно, поэтому важно защитить структуры данных от одновременного доступа. Потоки испортят данные, если...

Ученые создали микроскоп с ИИ Ученые создали микроскоп с ИИ, который анализирует данные прямо во время работы. Это позволит проводить больше экспериментов и быстрее получать результаты. Рентгеновские микроскопы стали настолько мощными, что ученые не успевают обрабатывать всю получаемую информацию. Новая ...

Новая техника скрытого извлечения данных из реестра: анализ и рекомендации по защите Недавно в сети появился инструмент, который позволяет получить учетные данные из реестра Windows без взаимодействия с файловой системой — непосредственно из памяти. Детектировать такие атаки средствами штатного аудита очень непросто. В статье сравниваем механизм работы новой...

Разработка и интерпретация иерархической кластеризации Привет Хабр!Иерархическая кластеризация является мощным методом анализа данных, позволяющим группировать схожие объекты в кластеры. В этой статье мы рассмотрим процесс разработки и интерпретации иерархической кластеризации, погружаясь в методы создания кластеров и анализа ре...

Бельгийский производитель Simera Sense получил $15 млн инвестиций на расширение производственных мощностей для кубсатов с улучшенным разрешением Бельгийский производитель фотоаппаратов Simera Sense привлек почти $15 000 000 на расширение мощностей по сборке систем за пределами Южной Африки и ближе к производителям компонентов в Европе с целью разработки продуктов для кубсатов с более высоким разрешением. Генерал...

Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты В центрах обработки данных используется оборудование от разных вендоров, с различными встроенными системами мониторинга. Когда таких систем становится много, уследить за подобным «зоопарком» непросто.Но как сделать систему мониторинга, которая будет работать в любом автозале...

Celery: изучаем на реальных примерах ч.1 Лучший способ что-то понять - попробовать на практике, а лучшая практика - это реальные примеры. В этой статье мы узнаем шесть основных сценариев использования Celery. Разберем основные методы и аргументы, которые точно пригодятся. От асинхронной обработки задач до управлени...

DataOps Platform: из чего состоит наша платформа для работы с данными и как мы её создавали Привет, Хабр! Меня зовут Наджим Мохаммад, я руководитель продукта МТС. Вместе с моим коллегой, руководителем направления разработки платформы МТС Big Data Максимом Бартеневым сегодня мы  поговорим об эволюции платформ данных и нюансах работы платформы МТС для работы с д...

Почтовый сервер с нуля. Часть первая Очень часто на этапе стажировки новых сотрудников мы в нашей компании сталкиваемся с типичными простыми ошибками, непониманием работы DNS и почты. При этом обучение новых сотрудников по этой теме — достаточно длительный и сложный процесс, так как сами вопросы требуют построе...

Как наушники работают через Wi-Fi и для чего это нужно Многие не серьезно относятся к портативному аудио, думая, что звук из телефона — это что-то обыденное и не требующее улучшения. Мол, звучит и ладно, музыку же слышно. На самом деле, даже небольшие изменения могут очень серьезно поменять качество звука даже в самых простых н...

Viasat и Rocket Lab объединились для разработки системы ретрансляции данных с минимальной задержкой для спутников LEO Компания Viasat, один из лидеров в области спутниковой связи, объявила о заключении стратегического партнёрства с Rocket Lab USA. Основная цель этого партнёрства — демонстрация технологий ретрансляции данных с минимальной задержкой для спутников LEO (с низкой окол...

Финансовые данные: об измерении автокорреляции, тяжелых хвостах и других статистиках (Vol 1) Финансовые данные — одни из самых популярных данных для анализа сегодня. Однако применимы ли классические методы статистического анализа для работы с финансовыми данными? В данной статье мы обсудим ключевые свойства данных о доходностях финансовых активов и поговорим о подво...

VK даст малому и среднему бизнесу простой доступ к инструментам анализа больших данных Сервис позволяет сократить до 60% стоимости вычислительных ресурсов при работе с большими данными за счет автоматического масштабирования Kubernetes в зависимости от текущей нагрузки.

Спутники будущего: автономность ИИ и облачная система станут реальностью Главный исследователь в исследовательском центре SmartSat Cooperative Research Centre (CRC) утверждает, что будущие спутники будут иметь возможность принимать самостоятельные решения, будут оснащены искусственным интеллектом и смогут работать в собственной «облачн...

Программно-определяемые сети SD-WAN Современные сетевые архитектуры содержат в себе множество технологических решений. Классический подход предполагает построение сетевой инфраструктуры, в которой весь трафик идет по одному и тому же маршруту, независимо от того, какие приложения участвуют в этом информационно...

Как извлекать пользу из данных: подборка материалов Анализ данных — один из ключевых драйверов роста для бизнеса. Аналитика позволяет выявить скрытые закономерности и тренды, прогнозировать будущие события и принимать обоснованные решения на основе фактов. Бизнес, основанный на данных, не просто реагирует на переменчивость, н...

Спецификация уникальных идентификаторов UUIDv7 для ключей баз данных и распределенных систем по новому стандарту RFC9562 Долгожданный стандарт RFC9562 "Universally Unique IDentifiers (UUID)" с тремя новыми версиями идентификаторов UUID (6, 7 и 8) вместо малопригодного RFC4122 наконец-то вступил в силу. Я участвовал в разработке нового стандарта. Обзор стандарта можно посмотреть в статье.Введен...

Как человек покоряет Марс: хронология В настоящее время исследование Марса — одна из важнейших задач мировых космических агентств. Развитие технологий приводит к появлению новых методов изучения космического пространства. Это, в свою очередь, помогает решaть отдельные научные задачи. Космические аппараты собираю...

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

SPARK для «малышей» Примеры кода на Python для работы с Apache Spark для «самых маленьких» (и немного «картинок»).Данная статья представляет собой обзор основных функций Apache Spark и рассматривает способы их применения в реальных задачах обработки данных. Apache Spark — это мощная и гибкая си...

Microsoft добавила GPT-4 Turbo в бесплатную версию Copilot Microsoft объявила, что улучшенная языковая модель GPT-4 Turbo теперь доступна всем пользователям Copilot, в том числе в бесплатной версии. Это более точная и производительная модель, которая обучалась на более свежих данных и может обрабатывать более сложные задачи. Ранее ...

Книга «Объектно-ориентированный Python, 4-е изд.» Привет, Хаброжители! Глубоко погрузитесь в различные аспекты объектно-ориентированного программирования на Python, паттерны проектирования, приемы манипулирования данными и вопросы тестирования сложных объектно-ориентированных систем. Обсуждение всех понятий подкрепляетс...

Как в России в XIX веке компьютер изобрели Компьютер придумал русский учёный Семён Корсаков в первой половине XIX века. Что? Да! И теоретическое обоснование к изобретению искусственного интеллекта впервые подвёл тоже он. «Как микроскоп и телескоп усилили наши чувства, так и интеллектуальные машины могут усиливать наш...

Ветер и кольца: об экзотических звёздных классах Be и WR Большинство звёзд относится к основным спектральным классам, от бело-голубых O до красных M. Проходя типичную звёздную эволюцию, они укладываются в знаменитую Главную Последовательность, раскинувшуюся по центру диаграммы Герцшпрунга-Расселла. Возможно, данная диаграмма была ...

CSS и безопасность данных Различные компоненты фронтенда традиционно являются вотчиной веб разработчиков и дизайнеров и они не всегда задумываются о безопасности контента. В этой статье я предлагаю поговорить о безопасности CSS.Для начала вспомним, что такое кросссайтскриптинг (CSS).  XSS это ти...

Пять лучших NLP инструментов для работы с русским языком на Python В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка. Читать далее

Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...

Линейная регрессия. Основная идея, модификации и реализация с нуля на Python В машинном и глубоком обучении линейная регрессия занимает особое место, являясь не просто статистическим инструментом, но а также фундаментальным компонентом для многих более сложных концепций. В данной статье рассмотрен не только принцип работы линейной регрессии с реализа...

Пишем файловую систему для работы с изображениями на TypeScript В этой статье мы займемся созданием файловой системы на NodeJS + TypeScript в пользовательском пространстве, которая будет управлять изображениями пользователей. Она будет преобразовывать их в различные форматы, изменяя размеры и предоставляя уникальные бинарные данные изобр...

MyBatis «на минималках» Привет, Хабр! Меня зовут Пётр Гусаров, я Java‑программист в CDEK. В этой статье расскажу про не очень распространённый фреймворк MyBatis. Почему MyBatis? Потому что мы в CDEK используем его в большинстве проектов, и в деле он весьма не...

Путешествие в глубины сети с Shodan – поисковой системой, открывающей двери в неизведанное ВведениеКак говорится, добрый день! Сегодня я хотел бы поведать вам небольшую тайну. Мало кто знает, но неправильная настройка устройств тоже является уязвимостью и зачастую большинство атака производятся именно за счёт этого. Так как в данной статье мы будем рассматривать п...

[Перевод] Введение в цифровую обработку сигналов Эта статья дает общее представление о том, что такое ЦОС (цифровая обработка сигналов), как она работает и какие преимущества может предложить. Цифровая обработка сигналов включает разработку алгоритмов, которые могут быть использованы для улучшения сигнала определенным обр...

Асимметричные и симметричные ключи в PostgreSQL Привет, Хабр!Как мы знаем, защита конфиденциальной информации — это неотъемлемая часть любого проекта. В статье поговорим про шифрование данных в PostgreSQL, а именно про шифрование с использованием как асимметричных, так и симметричных ключей. Читать далее

CVE-2024-1709 и массовая атака на медицинские учреждения США В данной статье рассказывается о 0-day уязвимости CVE-2024-1709, позволяющей обойти аутентификацию и получить неограниченный доступ к серверам и машинам, которые управляются с помощью ПО удаленного рабочего стола ConnectWise ScreenConnect. Данное ПО повсеместно используется ...

Представлен ИИ-чип следующего поколения Artemis. Он уже используется Meta* Meta* обнародовала подробности о своем ИИ-чипе следующего поколения под кодовым названием Artemis. Этот чип предназначен для удовлетворения постоянно растущей потребности в вычислительной мощности, необходимой для запуска функций искусственного интеллекта в Facebook**, ...

Статический анализ структуры базы данных (часть 2) Продолжим разбор проверок структуры базы данных, на примере PostgeSQL. Данная статья будет посвящена проверкам связанным с ограниением FOREIGN KEY (FK). Часть проверок целесообразно выполнять на регулярной основе, а некоторые позволяют лучше понять структуру проекта при перв...

AMD выпускает самый большой и сложный в мире GPU со 192 ГБ памяти и гигантский APU со 128 ГБ. На рынок выходят чипы Instinct MI300A и Instinct MI300X Монструозные специализированные чипы Instinct MI300A и Instinct MI300X компания AMD представила ещё в июне, но лишь сейчас она объявила о доступности этих продуктов, а заодно раскрыла больше деталей.  Напомним, Instinct MI300X представляет собой ускоритель на осно...

Многокритериальная оптимизация для ранжирования и отбора торговых систем Отбор торговых систем: как выбрать лучшие из произвольного количества имеющихсяВ статье пойдёт речь о механизме отбора или расчёте коэффициента для ранжирования пула торговых систем. Мы рассмотрим один из способов, используя который можно определить лучшие варианты.Важно пон...

VK обновила частное облако Private Cloud – с усиленной защитой и маркетплейсом приложений Команда VK (бывшая Mail.ru Group) объявила о выпуске новой версии Private Cloud — платформы для построения частного облака в ЦОДе заказчика.  Как отметили разраотчики, версия 4.0 обеспечивает повышенный уровень защищенности — ядро облака соответствует ...

Приглашаем на Ozon Tech Community BI Meetup Всем привет!Меня зовут Дмитрий, я руководитель группы разработки инструментов BI. Стоит ли говорить, что данные вокруг нас и, если мы не умеем с ними работать, то мы не можем функционировать как бизнес вообще? Наша команда платформы данных старается обуздать десятки пет...

Палочки Непера и «Шпаргалка» — карманные «калькуляторы» XVII века для умножения и деления сложных чисел В рамках серии материалов о различных старинных счетных устройствах мы уже познакомились со сложными механизмами, в основном предназначенными для сложения чисел. Операции умножения во всех случаях требовали выполнения ряда сложных действий, но в...

Всё что вы хотели знать про ACL в Active Directory В данной статье я постарался максимально полно и глубоко рассказать про построение и внутреннее использование ACL (Access Control List) внутри Active Directory. В этой статье нет рассказов про "null DACL" и "empty DACL" и тому подобного. Если читатель хочет изучить все более...

[Перевод] 13 инструментов для тестирования методом «чёрного ящика» Инструменты для тестирования методом «чёрного ящика» сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное...

LSTM и GRU Рекуррентные нейронные сети уникальны тем, что способны обрабатывать последовательности данных, будь то тексты, временные ряды или даже музыка. В отличие от их бро — сверточных нейронных сетей, которые идеально подходят для обработки изображений, RNN обладают способностью ...

Как применяется и для чего нужен local first подход Local first — это подход к разработке приложений, когда данные обрабатывают в первую очередь на устройствах пользователей, а не в облаке. Обсудим ключевые принципы подхода и примеры в контексте организации совместной работы. Читать далее

Инструкция по переезду и миграции данных с Google Firebase на Self-hosted Supabase Всем доброго дня! Комментарии к моей предыдущей статье о том, как я развиваю свой pet-проект, а также различные законы, подразумевающие локализацию персональных данных на серверах, размещенных на территории РФ (в частности Федеральный закон от 21.07.2014 № 242-ФЗ «О внесении...

Бэкапы исторических масштабов — как человечество сохраняет большие объемы данных? Корпоративные решения для синхронизации, резервного копирования и безопасного обмена файлами легко позволяют отправлять большие данные в облако. Но что, если нам необходимо собрать и сохранить грандиозный объем данных — например, записать историю человеческой цивилизации? ...

Сквозное наблюдение (observability) в микросервисах Привет, Хабр! Сегодня мы поговорим о чем-то, что является неотъемлемой частью современной микросервисной архитектуры, что-то, без чего трудно представить себе успешное и надежное приложение в мире распределенных систем. Да, вы правильно догадались, мы говорим о сквозном набл...

Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий Привет, Хабр! Миграция баз данных из одной СУБД в другую представляет собой особо сложную задачу, требующую тщательного планирования, подготовки и исполнения. В 2023 году в Сбербанке завершился масштабный проект по миграции крупного аналитического хранилища данных с платформ...

BDUI: sapere aude или продолжай писать на коленке Backend Driven UI — относительно новая парадигма создания приложений. Она позволяет сделать продукт индивидуально полезным для каждого пользователя. На личном опыте я убедился, что это очень важно в современном процессе мобильной (и не только) разработки.В данной статье я по...

В России создали бионический коленный протез с микропроцессорным управлением Московское производственное объединение «Металлист» госкорпорации Ростех разработало бионический коленный модуль «Комета» со встроенным микропроцессором. Предсерийный образец устройства впервые был представлен на национальном форуме «Надежд...

[Перевод] Xv6: учебная Unix-подобная ОС. Глава 5. Прерывания и драйверы устройств Драйвер управляет устройством - настраивает, отправляет команды, обрабатывает прерывания и общается с процессами, которые ожидают завершения ввода-вывода. Код драйвера зависит от конкретного устройства, поэтому изучайте документацию на устройство, чтобы понять код драйвера.У...

Анализ текстовых данных с помощью NLTK и Python Привет, Хабр!NLTK предлагает удобные инструменты для множества задач NLP: токенизация, стемминг, лемматизация, морфологический и синтаксический анализ, а также анализ настроений. Библиотека идеально подходит как для начинающих, так и для опытных разработчиков, предоставляя и...

Геометрия и навигация В этой статье будут рассмотрены некоторые проблемы и размышления, связанные с довольно интересной задачей коррекции/восстановления автомобильного трека на основе данных, полученных от MEMS датчика и навигационного приемника. Эта задача содержит много различных а...

FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...

Samsung представила рекордно ёмкую память HBM3E 12H объёмом 36 ГБ на стек с пропускной способностью 1,28 ТБ/с Компания Samsung объявила о том, что разрабатывает первую в отрасли микросхему памяти HBM3E 12H объёмом 36 ГБ.  Так как это память HBM, корректнее говорить, что это не микросхема, а стек. В данном случае состоящий из 12 слоёв, что в итоге даёт самую большую в отра...

Какой плащ был у Понтия Пилата? Отвечает GigaChat Всем привет! На связи лид разработки SDK GigaChat’a — Константин Крестников. В этой статье я расскажу о том, что такое GigaChain и как в целом SDK позволяет упростить жизнь разработчика LLM, например, научить LLM давать ответы на вопросы по вашим документам или работать в ре...

Основные возможности кластеризации Patroni в PostgresSQL Patroni – опенсоурсный инструмент, с которым можно подключить аварийное управление для кластеров Постгресе. Т.е можно автоматически преключать работу на резервный сервер в случае сбоя основного. Patroni может интегрироваться с различными системами распределенной конфигурации...

[Перевод] Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.Написано много хороших постов, в которых сравнивают архите...

Самый простой и подробный гайд по конкурентным коллекциям в C# Когда несколько потоков обращаются к общим ресурсам, должна быть обеспечена потокобезопасность, чтобы избежать повреждения данных и неожиданного поведения. Конкурентные коллекции в C# предлагают встроенные механизмы для обработки конкурентного доступа, что делает их мощны...

Концепция построения кустов сетецентрической системы управления войсками «Без применения военной науки победить нельзя» В.И.ЛенинВ предыдущей статье «Применение стационарных умных приёмников звука в составе сетецентрической системы» упор делался на одиночном кусте сетецентрической системы уровня батареи. Куст предназначен для установления 3–х м...

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя реш...

Основы работы с хранилищами в Kubernetes Привет, Хабр! В Kubernetes принято разделение хранилищ на два основных типа: постоянные и временные. Постоянные хранилища (PV) представляют собой сегменты дискового пространства, которые могут быть подключены к подам и сохранять данные даже после перезапуска или удаления кон...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

О разжиревшей ИС «Управления проектами» или как мы боролись с ограничениями SharePoint в legacy проекте В этой статье мы опишем наш опыт работы с очень большой системой управления проектами, реализованной на SP, с какими ограничениями мы столкнулись и как добились похудения данной ИС. Читать далее

Business Intelligence — быстрый старт Все мы работаем в разных предметных областях, и бывает усложно уделить время знакомству с BI. Надеюсь, у Вас есть менее получаса на чтение этой статьи и знакомство с примером, а также есть желание провести графический BI анализ на .NET, в таком случае - добро пожаловать.В эт...

Детальный React. Реконсиляция, рендеры, Fiber, виртуальное дерево В сети можно найти огромное количество статей, мануалов и книг по основам React, включая официальную документацию от разработчиков. В этой статье мы не будем писать HelloWorld и изучать общеизвестные концепции. Сегодня мы заглянем под капот библиотеки и попытаемся понять, ка...

Дженерики в go Привет, Хабр!Дженерики (или generics) существуют во многих языках, таких как Java, C#, и Rust, но для Go это относительно новая фича, введенная в версии 1.18 в 2022 году.До версии 1.18 Go был известен своим строгим и простым подходом к типизации. Однако, с ростом сообщества ...

Моделирование курса валют методом Монте-Карло Метод Монте-Карло — это мощный инструмент стохастического моделирования, который используется в самых разнообразных областях науки и инженерии. В финансах, этот метод часто применяется для анализа и прогнозирования временных рядов, таких как курс валют или акций. Использован...

Кастомные декораторы в Angular приложениях При разработке приложений мы каждый день решаем как типичные задачи , так и весьма сложные. Иногда сложные задачи решаются очень просто и быстро, а иногда даже самые простые требуют нестандартных решений и не малого опыта от разработчика. В данной статье я хочу поделиться с ...

Безопасность веб-приложений для самых маленьких фронтов С первого взгляда кажется, что безопасность - это тема devops-а или бэкенда. Но разделить зоны ответственности в этом вопросе очень сложно. В этой статье я хотел бы поговорить о моментах, связанных именно с фронтендом - т.е. об атаках, которые могут грозить приложениям и по-...

Пишем свой вариантный тип C++ 17 привнес в язык достаточно много нововведений, в том числе шаблон std::variant (хоть в Boost он есть уже довольно давно). Фактически, последним вышедшим и полноценно реализованным стандартом C++ на тот момент, как я начал изучать данный язык, являлся как раз C++17, поэ...

[Перевод] Ликбез по корутинам Kotlin Корутины — это паттерн проектирования, предназначенный для написания асинхронных программ, способных выполнять нескольких задач одновременно.В асинхронных программах несколько задач выполняются параллельно в отдельных потоках, не дожидаясь завершения друг-друга. Потоки — рес...

Apple вернулась к использованию двух чипов SSD в новых MacBook Air на M3 Данное решение привело к существенному увеличению скорости работы SSD, поскольку два чипа могут обрабатывать запросы параллельно.

Укрощаем DNS в Wireshark. Часть 2 В предыдущей статье мы начали рассматривать использование анализатора пакетов Wireshark для работы с DNS. В этой мы продолжим рассмотрение данной темы и поговорим о рекурсии DNS. Здесь принцип обмена пакетами будет немного сложнее, потому что помимо обмена DNS пакетами между...

Многопоточность в Python: очевидное и невероятное В данной статье я покажу на практическом примере как устроена многопоточность в Python, расскажу про потоки, примитивы синхронизации и о том зачем они нужны.Изначально я планировал что это будет простая и короткая заметка, но пока готовил и тестировал код нашел интересный не...

[Перевод] Как проанализировать риски: 4 шага Оценка потенциальных рисков и их влияния на бизнес-операции играет ключевую роль в обеспечении успеха проектов и стратегий организации. Риск-менеджеры проводят анализ, используя различные методы и расчеты, чтобы определить вероятность возникновения рисков и разработать планы...

ESA разрабатывает цифрового помощника по наблюдению Земли, основанного на глубоком обучении Спутники ежедневно производят огромное количество ценных данных, но их использование может быть сложным и не всегда приносит максимальную пользу пользователям. Поэтому Европейское Космическое Агентство (ESA) совместно с технологическими партнёрами разрабатывает приложен...

Apple понизила пропускную способность памяти в процессорах M3 По своей мощности и энергоэфективности новые яблочные чипы заметно превосходят своих предшественников. Например, M3 Pro на 40% быстрее, чем M1 Pro. Однако, как выяснилось, есть у новых чипов и ряд параметров, по которым они уступают предшественникам. Речь идет о пропускной с...

Sony не устранила проблему со фризами в PlayStation Portal Проблемы с фризами на PlayStation Portal, с которыми многие геймеры сталкиваются с момента запуска портативного устройства, по мнению западных журналистов, вызваны тем, как консоль PlayStation 5 обрабатывает потоковую передачу данных через Remote Play. Специалисты отмечают, ...

То есть Qualcomm сделала 12-ядерный Arm-процессор, который потребляет больше, чем 16-ядерный Core Ultra? Стали известны лимиты мощности для Snapdragon X Elite После вчерашних новостей об обмане Qualcomm уже вовсе не факт, что она изменит рынок ПК со своими SoC Snapdragon X, но компания точно уже вляпалась в скандал. И новые данные о высоком потреблении новых платформ подливают масла в огонь.  Компания никогда не заявлял...

Яндекс представил новое поколение нейросетей YandexGPT Команда Яндекса анонсировал линейку нейросетей YandexGPT 3. Первая языковая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Она лучше работает со сложными запросами и точнее следует заданному формату ответов, благодаря чему будет особе...

Бесшовность 2.0: как работает шардирование в Сбере Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостнос...

Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...

Моделирование размещения хабов в pyomo Транспортные, телекоммуникационные и компьютерные сети часто используют Hub-and-Spoke архитектуру для эффективной маршрутизации потоков между множеством отправителей и получателей. Особенность такой топологии заключается в использовании специального объекта сети - хаба. Хабо...

[Перевод] Как утереть нос NumPy с помощью двумерного БПФ Двумерное преобразование Фурье — один из важнейших алгоритмов компьютерной науки этого столетия. Он нашел широкое применение в нашей повседневной жизни — от фильтров Instagram до обработки MP3-файлов.Наиболее частой реализацией, используемой рядовым пользователем, иногда даж...

На крупнейшей конференции разработчиков HighLoad++2023 представлена новая экосистема продуктов Deckhouse На крупнейшей конференции разработчиков высоконагруженных систем HighLoad++ представлена новая экосистема продуктов Deckhouse, предназначенная для построения сверхнадежной еnterprise-инфраструктуры.

Создание собственного компилятора В сети не так много короткой информации по написанию компиляторов, оформленных в виде краткой статьи, поэтому я решил попробовать восполнить этот пробел.В рамках данной статьи будет написан простой компилятор на C++, транслирующий код в ассемблер для MS-DOS, а также опробова...

Как стать надёжной базой Secure-base leadership или как стать надежной базой для коллег в нестабильные времена Сейчас набирает популярность относительно новый вид лидерства: secure base или «надёжная база». Этот подход в большей степени отражает контекст и потребности людей в вопросах построения карьеры и коммуникаций на работе. Во времена неопределенности важно, чтобы лидер мог воод...

Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще Привет Хабр! В этой статье мы рассмотрим некоторые полезные библиотеки Python для задач обработки данных, с которыми, возможно, вы еще не знакомы. Хотя для задач машинного обучения на ум приходят такие библиотеки, как pandas, numpy, scikit-learn, keras, tensorflow, matplotli...

Храним файлы Strapi в облаке Selectel Привет, я некоторое время работаю над своим пет проектом, где в основном занимаюсь фронтом, а для данных использую headless CMS под названием strapi.io. В какой-то момент у меня появилась потребность вынести медиа хранилище из локальной папки в облако. А так-как основно...

Security Week 2404: подглядывание через датчик освещенности Научные исследования в сфере безопасности довольно регулярно посвящены угрозам совершенно теоретического плана. В публикации попадают потенциальные уязвимости, которые никто прямо сейчас эксплуатировать не будет. Задача таких работ — усилить безопасность в перспективе. Если ...

Атакуем WiFi или NodeMCU на службе сил зла О макетной плате NodeMCU можно найти немало статей на просторах Хабра. Авторы предлагают управлять шторами, включать освещение и выполнять другие операции с ее помощью для создания умного дома. Однако это небольшое устройство можно использовать и при тестировании на проникно...

Передаем данные с одноплатника Repka Pi (или Raspberry Pi) в интернет по GSM связи через модуль SIM868 и GPRS протокол Всегда ли вы берете с собой смартфон? Наверное да, ведь это удобно, когда под руками есть все каналы связи.Но что, если вы собираете автономно работающее устройство с микрокомпьютером, такое как как радиоуправляемый вездеход, робот присутствия, устройство управления шлагбаум...

Виртуальная инфраструктура и облачные сети: как создать единую систему в разных зонах доступности Поскольку все больше корпоративных рабочих нагрузок переносится в облако, компании ищут способ связать облака и распределенные офисы.Задача состоит в том, чтобы безопасно и с минимальной задержкой перемещать данные между частной сетью и облачной инфраструктурой. Сегодня...

6 важных принципов GDPR Привет, Хабр!Сегодня я хочу поговорить о GDPR – регуляции, которая изменила понимание приватности данных в Европе и за ее пределами. На первый взгляд, GDPR может показаться очередной бюрократической головной болью, но на самом деле это очень большой шаг в сторону уважения и ...

[Перевод] Как я уменьшил размер образа docker на 40% Ежедневно по работе я сталкиваюсь с Dockerfile, написал несколько из них самостоятельно, создавал контейнеры и всё такое. Но я никогда не публиковал их в реестре docker hub. Мне хотелось создать ugit — инструмент для отмены команд git (написанный в виде шелл-скрипт...

Большая охота. Практикуемся в Threat Hunting Для подписчиковПервый этап реагирования на ИБ‑инцидент — это обработка событий и поиск в них артефактов. Затем специалист строит таймлайны и определяет вектор и время атаки. В этой статье мы поговорим об инструментах, которые облегчают этот труд и помогают в расследовании, в...

В Москве наладили выпуск лазерных станков для прецизионной обработки печатных плат Московская ГК «Лазеры и аппаратура» впервые в России наладила выпуск лазерных станков для высокоточной микрообработки печатных плат и полупроводников. «Установка на ультрафиолете предназначена для прецизионной микрообработки плоских и объемных полимер...

Всё ещё в поисках алгоритмического дзена Не так давно прочитал статью "В поисках алгоритмического дзена", где автор обсуждает подходы к использованию алгоритмов в рабочих задачах. В статье подчеркивается, что даже наивная реализация конкретного алгоритма будет быстрее готовых средств/реализаций, существующих в плат...

Получаем спутниковые координаты GPS/ГЛОНАСС с помощью модуля SIM868 на Repka Pi Сегодня уже трудно найти человека, который не знает, что такое навигатор и GPS-координаты. В этой статье мы расскажем о том, как встроить функции навигатора в устройство, собранное на базе микрокомпьютера Repka Pi. Для получения координат мы будем использовать модуль GSM/GPR...

ABC-XYZ анализ на Python. Управление ассортиментом и схемами поставок Управление ассортиментной матрицей и складскими запасами является нетривиальной задачей для бизнеса, требует аналитики и научного подхода к решению задачи. Одним из методов управления ассортиментом и закупками является ABC-XYZ классификация. Рассмотрим ее реализацию на Pytho...

«Когда будет готово?». Декомпозируем задачи и оцениваем сроки без фатальных ошибок Всем привет! Я Виктор Брыксин, руковожу разработкой Яндекс Телемоста. В статье поговорим про декомпозицию задач в проекте и как можно получить реальные сроки его выполнения.Спойлер: вы все равно ошибетесь, прогнозируя сроки. Но что можно сделать? Минимизировать шанс на ошибк...

XMPP vs WebSockets: что использовать для приложения чата Если вы планируете разработать приложение для коммуникации в реальном времени, например чат, следует тщательно выбирать технологии. В этой статье Анастасия Иванова, технический писатель платформы МТС Exolve (входит в экосистему МТС), сравнивает два популярных инструмента — п...

Google представила Gemini — «убийцу» ChatGPT Компания Google официально объявила о запуске собственной системы искусственного интеллекта Gemini. По заявлению генерального директора Google Сундара Пичаи (Sundar Pichai), который провёл презентацию новейшей разработки, Gemini 1.0 на данный момент является самой мощно...

Делаем из Black Box мониторинга внешнее observability Есть мнение, что Black Box подход к мониторингу хуже, чем White Box. Мол, мы получаем от него мало информации. Данных действительно немного, но мы можем развить нашу систему Black Box мониторинга и добиться довольно информативной системы контроля, которую мы условно назвали ...

Solana дороже $200, монета растёт против рынка: она уже вошла в топ-4 криптовалют В мире криптовалют произошло знаменательное событие: Solana (SOL) преодолела отметку в 200 долларов за монету и ворвалась в топ-4 криптовалют по рыночной капитализации. Этот рост стал результатом растущего интереса инвесторов и разработчиков к данной блокчейн-платформе....

Методы оценки руководителей Руководители не только определяют стратегическое направление компании, но и вдохновляют свои команды на достижение общих целей. Именно поэтому оценка руководителей является важнейшим инструментом в руках современного HR-специалиста и топ-менеджмента. Она позволяет не только ...

PaaS два года спустя. Обзор инструментов и какие задачи они решают Друзья, привет! Если у вас так же много разработчиков как у нас, то и им, возможно,  стало тесно стоять в очереди на deploy в монолите. А значит, вы можете решить перейти на микросервисную архитектуру и дать каждому игроку свой мяч каждой команде свой микросервис. ...

Простое внедрение аннотаций статистической значимости Привет, Хабр!Сегодня с вами участница профессионального сообщества NTA Яруллина Ляйсян.В современном мире визуализация данных используется повсеместно. Она позволяет в сжатые сроки предоставить изображение или видео, описывающее колоссальное количество ин...

В борьбе со сложностью, или Как обуздать лог-экспоненциальный алгоритм (со ссылкой на код) В этой статье я расскажу об алгоритме, который помогает нам решить задачу дедупликации данных без идентификатора, дам контекст решаемой проблемы и словесное описание алгоритма с визуализацией. Реализацию алгоритма можно посмотреть по ссылке в заключении. Алгоритм решает прос...

Интеграция интернет-опросов на веб-сайты Интернет-опросы становятся незаменимым инструментом для сбора мнений, предпочтений и отзывов пользователей. Они позволяют компаниям и индивидуальным предпринимателям быстро и эффективно получать обратную связь от своей аудитории, что является ключом к успешному развитию бизн...

Во что обойдется линеаризуемость в распределенной системе Всем привет, меня зовут Сергей Петренко, я программист в Tarantool. Сегодня мы посмотрим, с какими трудностями сталкивается клиент, когда вместо того чтобы общаться с системой, расположенной на одном инстансе, начинает общаться с распределенной системой. И разумеется, пого...

[Перевод] Когнитивные искажения, о которых стоит помнить Из-за когнитивных искажений мы иногда принимаем иррациональные решения, а также выносим суждения на основе информации, которую мы обрабатываем. Фактически, когнитивные искажения — это запрограммированная ошибка в нашем мозге.Также их можно представить как простые правила, ко...

Big Data в облаке: строим доступное хранилище За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны ...

Bandai Namco показала геймплей новой игры "DRAGON BALL: Sparking! ZERO" Продюсер игры, Дзюн Фурутани, рассказал о различных новых механиках и функциях, возвращенных в игру.

Тестируем отечественную систему виртуализации: VMmanager Привет, Хабр!В первой статье моего цикла я предложил читателям выбрать системы виртуализации, которые должны стать «подопытными кроликами» в моем исследовании. Одним из лидеров народного голосования стала российская платформа VMmanager. Пришло время посмотреть, что из себя п...

Создаем I2C Master Controller на Verilog. Проверим работу на реальном железе После того, как Я реализовал битовый контроллер I2C Master — уж очень чесались руки опробовать его в реальной задаче. Теперь можно начинать строить уровни абстракции от манипуляции отдельными битами и уже формировать полноценные транзакции, которые приводят к какому-либо дей...

Samsung Knox появится и на умных телевизорах Технология Samsung Knox уже десять лет является важнейшей частью устройств компании Samsung, защищая пользователей от утечки информации, различных взломов и прочих неприятностей. А теперь корейская компания официально объявила, что ей система безопасности данных будет расшир...

Эволюция системы разработки на SQL Мы — SQL команда Срочного рынка Московской Биржи, занимаемся разработкой и сопровождением бэкофиса торгово-клиринговой системы Spectra с момента ее возникновения. Срочный рынок Московской Биржи — это более 500 фьючерсных и 30000 опционных инструментов, несколько миллионов сд...

Эффективные вложения в ИТ: Как посчитать ROI при внедрении ПО на примере системы маскирования данных Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачаст...

[Перевод] Миграции в YDB с помощью «goose» Любой более или менее серьезный продакшен, работающий с базой данных, подразумевает процесс миграции - обновление структуры базы данных от одной версии до другой (обычно более новой) [источник].Миграции в БД можно делать вручную или использовать для этого специальные утилиты...

Эпоха Flash: как разработчики в одиночку делали мировые шедевры Мы уже поговорили об инди-студиях и об играх, которые разработчики создавали в одиночку. В комментариях к последней статье поступило замечание о том, что пропущены целые эпохи – и в их числе эпоха Flash-игр. Спасибо за идею! В 1996 году появилась платформа FutureSplash ...

Основы Rust: синтаксис и структуры данных Привет, Хабр! Rust - это язык, который становится плюс-минус более популярным в последние годы благодаря своей высокой производительности и безопасности. Он был разработан Mozilla и сообществом разработчиков с целью предоставить инструмент для системного программирования, ко...

AMD упакует 32 процессорных ядра в один чиплет. Такими будут уже CPU на архитектуре Zen 6 Несмотря на то, что в Сети ещё достаточно мало информации об архитектуре AMD Zen 5 и продуктах на её основе, сегодня мы получили достаточно подробные данные о CPU на основе Zen 6.  Информация касается в основном серверных CPU, но она всё равно важна, потому как ко...

Простейший пример kafka + golang В данной статье представлен простой способ реализации микросервисной архитектуры с использованием Kafka, Golang и Docker. Читать далее

Построение платформенного продукта в Авито Мы в Авито разработали свою внутреннюю платформу для разработчиков. Несмотря на то, что создание платформенного продукта — довольно затратная история, в итоге мы видим сплошные плюсы. Она растит скорость и качество разработки, делает системы стабильнее, помогает инженерам со...

Космическая сокровищница всё ещё заперта: команда OSIRIS-REx столкнулась с трудностями при открытии контейнера с образцами астероида Во многих отношениях миссия NASA по сбору образцов астероида OSIRIS-REx уже является огромным успехом. На основе предварительного анализа образцов, собранных за пределами основного контейнера, космическое агентство объявило, что материал астероида богат как водой, так и...

Оценка эффективности программ обучения В этой статье мы поговорим о том, почему оценка эффективности программ обучения является неотъемлемой частью образовательного процесса, какие методы и подходы можно использовать для оценки и какие инструменты могут помочь в этом нелегком деле.Статья адресована HR-специалиста...

В поиске оптимального подхода к миграциям в Go Привет! Меня зовут Нина, и я Golang разработчик.Однажды, мы поняли, что в нашей компании очень много Go-сервисов, но каждая команда использует свой инструмент и подход. Поэтому мы решили систематизировать и унифицировать инструменты, используемые для создания и применения ми...

Искусственный интеллект Apple будет работать без подключения к Интернету В отличие от облачных сервисов, ИИ будет обрабатывать данные локально на устройстве, не передавая их на серверы.

Async iterator timeout в Python Представим следующую задачу: у нас есть микросервисная архитектура, в которой сервисы взаимодействуют через брокер сообщений, или через gRPC. Так или иначе, оба варианта предоставляют полнодуплексный канал связи, через который один сервис может отправлять множество сообщений...

@Scheduled + @Async (в Spring Boot) Недавно отвечал на вопрос почему аннотации @Scheduled и @Async иногда используют вместе, данный вопрос попался человеку на собеседовании.Многие начинающие разработчики на java не до конца понимают в каких потоках происходит выполнение программы в таком случае.В данном матери...

История Джона Чоффи: создателя первого в мире DSL-модема В 80-х годах многие компании, занимавшиеся системами связи, полагали, что будущее скоростного интернет-соединения — за оптоволокном. Скорость и пропускная способность выше, а затухание при передачи на большие расстояния — меньше. Однако технология передачи данных при помощи ...

Как мы сделали настоящий хакатон. Такой, каким он должен быть Привет! Меня зовут Игорь Бессчастный, я лидер Платформы API ВТБ. Мы представили рынку Платформу два с половиной года назад в рамках большой цифровой трансформации банка. Продумывая хакатон, мы хотели и привлечь внимание к интерфейсам прикладного программирования, и найти реш...

Анализ вакансий ИТ в Москве: системное администрирование, 2023г Прошел ровно год с предыдущего анализа вакансий системных администраторов и снова появилась необходимость в актуальных данных для планирования заработных плат специалистам уже на 2024 год.Цели, условия, методика и формат анализа остались без изменений, их можно про...

Библиотека Granite от elementary OS На данный момент существует множество различных операционных систем на базе ядра Linux. Буквально на любой вкус. Некоторые операционные системы пользуются уже готовыми графическими оболочками, а другие создают свои. В дистрибутиве elementary OS применяется свое окружени...

Автор Dead Space 3 "переделал бы весь основной сюжет", если бы ему дали такую возможность Продюсер признался, что «переделал бы всю игру», если бы ему выпал такой шанс.

Передача контекста и знаний в IT команде Всем привет и добро пожаловать! Данная статья не является научной и не относится к разряду технических, она больше про коммуникации и командные процессы в IT. Это попытка систематизировать реальные практики по передаче контекста и знаний в ...

Как быстро и безболезненно выбрать лучшую из десяти выборок Всем привет! Меня зовут Мария Ходякова, я продуктовый аналитик Тинькофф Страхования. В этой статье мы поговорим о множественном тестировании. Хорошо известен такой подход, как А/В-тестирование, когда в тесте участвуют две выборки. Но иногда нужно сравнить больше двух выборок...

Внедрение процесса тестирования Google Tag Manager: увлекательная история Даши-путешественницы Март принес с собой проблему: у некоторых клиентов начали подвисать страницы, на которых монолитный js был разделен на чанки. На таких страницах в основном бандле содержится минимум для отрисовки первого экрана, а остальные чанки мы загружаем отложено. Однако из-за неправиль...

VK Cloud представила Cloud Kafka — облачный сервис для сбора и обработки потоковых данных Лёгкая интеграция в текущую IT-среду — ключевая особенность данной платформы.

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных Я работаю в компании STM Labs, где мы строим большие высоконагруженные системы класса Big Data. Эта статья написана по мотивам моего выступления на конференции Saint Highload 2023. Хочу рассказать вам увлекательную историю про то, как мы искали лучшее решение по синхронизаци...

Как использовать Spring в качестве фреймворка для Flink-приложений Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в наши продукты в цикле статей. В ...

SALMONN — универсальная модель для всех типов аудиоданных Человек без труда воспринимает речь на фоне тихой музыки и звуков окружающей среды. Более того, прямо во время разговора он может мысленно подпевать и реагировать на звуки. До недавнего времени нейросети так не умели. Одни были заточены на распознавание речи, другие — на обр...

[Перевод] Конкурентный отказ Любая задача может быть завершена несколькими способами: 1. Нормальное завершение, после которого мы получаем результат (например, Ничего/Единица). 2. Сообщение об ошибке. 3. Принудительное завершение, после которого программа может остаться в неопределённом состоянии. В к...

Управление загрузкой с помощью PostgreSQL и pg_headerkit Привет, Хабр!Supabase – это крутой open-source аналог Firebase, с его помощью можно организовать крутые штуки вроде ограничения скорости запросов.Supabase – это инструмент, который дает возможность создавать масштабируемые серверные решения, используя PostgreSQL. С его помощ...

[Перевод] Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, п...

Корпоративные войны: почему бастовали сценаристы Голливуда? Остановка производства сериалов и фильмов, перенос премьер, отмена анонсированных проектов… Нет, это не закат Голливуда, речь идет о второй крупнейшей забастовке «WGA». Она стала ответной реакцией на жадность в край обнаглевших корпоратов из стриминг-сервисов, которые не зах...

Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...

Rostic’s будет создавать нейросети и анализировать данные на платформе Yandex Cloud Сеть ресторанов быстрого обслуживания Rostic’s перевела обработку больших данных на платформу Yandex Cloud.

Сам себе экосистема. Часть 4: как я реализовал клиент Telegram на Android-смартфоне 14-летней давности? С момента выхода первой части статьи из рубрики «сам себе экосистема» прошёл уже практически год! За это время, мы успели с вами реализовать клиенты VK и YouTube, которые работают на Android 2.2+, а также на Windows Phone 8, написать небольшую 2D-игру с нуля весом менее 1М...

Тесты: 100% покрытия и юниты не нужны Мы покрываем код тестами, когда хотим быть уверенными, что в негативных сценариях он сработает надёжно. Хочется, чтобы тесты были не бланковой заглушкой, а полезной нагрузкой, которая позволит считать, что наше поведение достаточно валидное. Так мы можем обеспечить корректно...

Какую базу данных выбрать для Home Assistant На случай, если ещё не встречались с HA (Home Assistant) - это opensource веб сервис для умного дома, доступный как на облаке, так и в виде self hosted, который позволяет подключить к себе кучу всяких устройств и настроить для них любые желаемые автоматизации. Например, откр...

MaaS, или мониторинг как сервис Привет, Хабр! Меня зовут Валентин Лебедев, я отвечаю за мониторинг в Газпромбанке. Мой опыт в области построения систем мониторинга — более двенадцати лет, из которых последние шесть — строил мониторинг для крупного и сверхкрупного бизнеса. Статья будет полезна специали...

Векторные базы данных: простым языком про устройство и принцип работы Только изучили один инструмент, как сразу же появились новые? Придется разбираться! В статье мы рассмотрим новый тип баз данных, который отлично подходит для ML задач. Пройдем путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутрен...

Делаем макросы в Rust Привет, Хабр!Rust имеет два основных типа макросов: декларативные и процедурные. Каждый из этих типов служит различным целям и предоставляет различные возможности манипуляции с кодом.Декларативные макросы работают, сопоставляя заданные шаблоны с фактическим кодом и заменяя е...

Именно такую память может получить GeForce RTX 5090. Стандарт GDDR7 официально принят Ассоциация JEDEC объявила о принятии стандарта графической памяти GDDR7.   Сам собой, это не означает, что такая память появится у потребительских устройств в самое ближайшее время, но, напомним, слухи давно приписывают её как минимум видеокарте GeForce RTX 5090.&...

Хакеры нацелились на Kodex: она проверяет запросы полиции на данные IT-гигантов Хакеры атаковали учетные записи на платформе Kodex, предназначенной для обработки запросов на получение экстренных данных (EDR) между правоохранительными органами и технологическими компаниями, говорится в разговорах между киберпреступниками, изученных 404 Media.

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

ВРМ. Смарт-инструменты «Таблица -> Схема» для формализации бизнес-процессов. Рестайлинг ARIS SmartDesign Ставится задача повторить доселе непревзойдённый ARIS SmartDesign, который по табличному представлению процесса автоматически рисует схему процесса (структуры чего-либо). Схемы процессов желательно строить в нескольких процессных нотациях (EPC, VAD и т.п.). ARIS SmartDesign ...

Это самый современный техпроцесс Intel на сегодня. Компания Faraday разработает 64-ядерную SoC на основе Arm Neoverse под техпроцесс Intel 18A Похоже, Intel заполучила заметного клиента для своего самого современного техпроцесса. О заключении соглашения объявила компания Faraday Technology.  фото: Arm Faraday опубликовала пресс-релиз, где рассказала, что будет сотрудничать с Arm и Intel в процессе разраб...

Изучение потребительского поведения с помощью анализа данных Привет, Хабр!В этой статье мы разберем принципы потребительского поведения. Понимание потребительского поведения становится не просто важным аспектом, а маст хев элементом стратегии любой компании. Ведь каждый клик, каждый выбор и даже секунды пребывания на сайте рассказыва...

Как мы анализируем потребление памяти нативными приложениями Технологическая платформа 1С:Предприятие – это большой программный продукт (только на С++ - более 10 миллионов строк кода, а есть ещё Java и JavaScript). Подробнее про устройство платформы можно прочитать тут.В процессе эксплуатации решений, созданных на платформе 1С:Предпри...

[Перевод] Прекратите клепать базы данных В жизни каждого инженера-фронтендера наступает момент, когда осознаёшь: далее не обойтись без кэширования данных из API. Всё может начаться с самых невинных вещей: сохраняем предыдущую страницу с данными, чтобы кнопка «Назад» срабатывала мгновенно; реализуем простенькую логи...

[Перевод] Создаём надёжные API для бэкенда при помощи конечных автоматов: подробное руководство Я — бэкенд-разработчик, поэтому мне довелось по достоинству оценить, насколько важны конечные автоматы при построении надёжных систем, которые хорошо масштабируются. Конечные автоматы отлично подходят для моделирования сложной бизнес-логики и автоматизации переходов между со...

Как необычные решения приводят к критическим уязвимостям. Или история одного бага, найденного в CloudTips Привет, Хабр! В данной статье хотел бы поделиться историей, как был найден достаточно простой в исполнении баг, но приводящий к опасной уязвимости веб приложения. Данный баг был найден в сервисе CloudTips от Тинькофф и CloudPayments на BugBounty площадке app.bugbounty.bi.zon...

Как в СУБД реализовать администратора без прав доступа к данным В СУБД-строении есть не новая, но не теряющая актуальности задача. Сформулировать её можно примерно так: как убрать возможность суперпользователя взаимодействовать с данными, но оставить ему все возможности по управлению СУБД? Эта функция затребована не только большими компа...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 3 Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта ...

Блок питания XPG CyberCore II 1000 Platinum: качественный киловаттник с гибридным режимом и соответствием ATX 3.0 Потребительские качества XPG CyberCore II 1000 Platinum находятся на очень высоком уровне, если рассматривать применение данной модели в домашней системе, в которой используются типовые компоненты. Акустическая эргономика БП до 400 Вт включительно очень хорошая. Отметим высо...

Именитый игродел предсказал смерть консолей в 2030-х годах Наоки Ёсида, продюсер игры Final Fantasy XVI, предсказал, что игровые консоли, как аппаратные платформы, могут исчезнуть в течение следующего десятилетия.

9 полезных крейтов в Rust Привет, Хабр!Rust, как любимый многими разработчиками знаменит своей скоростью и безопасностью. Но его истинная сила заключается в экосистеме крейтов — библиотек и инструментов, которые могут превратить сложные и трудоёмкие задачи в удивительно простые и приятные процессы.Кр...

Применение алгебраических типов данных для моделирования ошибок и сообщений в журнале В функциональном программировании широко используются так называемые алгебраические типы данных. Такие данные формируются из более простых типов с использованием всего двух операций — "суммы" и "произведения". Использование таких математических операций о...

SpaceX запустила на орбиту еще 46 спутников Starlink для подключения к интернету Около 6000 спутников Starlink сейчас вращаются вокруг Земли. Илон Маск говорит, что недавно запущенные спутники все вместе могут обрабатывать 4 терабита данных в секунду.

Китайские автопроизводители голосуют за Nvidia. Li Auto, Great Wall Motors, Zeekr и Xiaomi будут использовать платформу Nvidia Drive Orin в системах автономного вождения На стартовавшей в США выставке CES 2024 Nvidia заявила о широком сотрудничестве с китайскими автопроизводителями. Хорошо известные в России Li Auto, Great Wall Motors и Zeekr используют сейчас (в некоторых моделях) и будут использовать в дальнейшем платформу Nvidia Driv...

Сравнительный анализ методов аппроксимации на основе SQL-запросов При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), г...

[Перевод] Небольшой туториал по полигруппам в Zbrush Полигруппы (Polygroups) в Zbrush представляют из себя способ разделения уже существующей 3D-модели на группы полигонов с целью выполнения над ними различных видов работ. При создании каждой из этих групп полигонов ей назначается свой уникальный цвет, что помогает нам визуаль...

Работа с очередями в RabbitMQ на основе EAV-модели: превращаем плоское в реалистичное Мы добавили реалистичные дороги в навигатор 2ГИС. Теперь дорожное покрытие, разметка, объёмные развязки, съезды, островки безопасности и опоры на многоуровневых дорогах выглядят как в жизни. Под капотом — решение задачи по превращению «плоской» геометрии в объекты с реалисти...

Как выбрать сервер. Что лучше сегодня — готовая или сборная система Вы, конечно, знаете, что сервер является сердцем любого онлайн-сервиса или офисной сети. Именно серверы обеспечивают работоспособность наших любимых веб-сайтов, приложений, игр и социальных сетей, а нам позволяют открывать их 24 часа в сутки 7 дней в неделю. Эта статья — для...

Поток входящих запросов: когда пора менять процесс обработки – на примере запуска первой линии технической поддержки Привет, Хабр! Меня зовут Дима, я руковожу отделом информационных технологий бэк-офиса в “Петрович-Тех”.Представьте: пользователи не могут начать работу в системе. Не испытывают сложности через день или неделю, а прямо на старте не имеют возможности начать пользоваться продук...

Внедрение pet-проекта в реальный бизнес или как в одиночку написать ERP-систему для общепита Всем добра! Данную статью меня побудило написать сильное желание, во-первых, зафиксировать некоторые результаты своего профессионального развития и личного опыта помимо основной работы, а также впервые на столь широкой сцене как Хабр, рассказать вам о нюансах развития своего...

Перспективы промышленного производства фуллеренов и нанотрубок В июне 2021 года я затрагивал в этом блоге тему наступающего углеродного века – публиковал статьи «Очень крепкие мячики. Фуллереновый конструктор и другие заметки на заре углеродного века» и «Космический лифт. Как, зачем, из чего». Под статьёй о космическом лифте развернулас...

Препарируем Wazuh. Часть 1: Базовая установка Тема SIEM решений с открытым исходным кодом постоянно проявляется на просторах сети. Одних интересуют SIEM системы как таковые, и хочется разобраться в решениях данного класса, но при этом не хочется связываться с тяжелыми и запредельно дорогими коммерческими SIEM. Другие не...

[Перевод] Проблема объёма логов Когда на нашей рабочей системе происходит какая-либо ошибка, нам хочется, чтобы логи содержали всю необходимую информацию о том, из-за чего она произошла. На достаточно сложных системах это приводит к сбору большого количества данных: какие этапы обработки были выполнены, с ...

Использование Redis почти как SQL БД: Реализация чата с кешированием сообщений Допустим, мы хотим создать чат и хранить сообщения для него. Вполне возможно, мы можем добавить для этого простую базу данных (БД), такую как MySQL или даже NoSQL БД.Обычно многие используют Redis как key‑value (dictionary) хранилище. Тем не мен...

«Повелители воздуха» от продюсеров Стивена Спилберга и Тома Хэнкса стал самым популярным сериалом Apple TV+ В первые выходные сериал Apple TV+ «Властелины воздуха» (Masters of the Air) собрал больше зрителей, чем любой другой сериал Apple TV+ за первый сезон, о чем пишет Apple Variety. Apple не предоставила подробностей о точном количестве зрителей, но новинка пре...

Что не увидит SCA Всем привет!

Лучшие игровые движки 2024 для 2D разработки Defold - это бесплатный движок для создания 2D игр и других интерактивных приложений. Он разработан компанией King (известной по игре Candy Crush) и предлагает простой и эффективный способ создания кроссплатформенных проектов. 1. Язык программирования: Defold использует язык...

[Перевод] Гайд texthero pandas Я всегда нахожусь в поиске новых инструментов, которые помогут мне упростить процедуру обработки естественного языка, поэтому, когда я наткнулся на короткий видеоклип, показывающий функциональность Texthero, я знал, что должен его попробовать. Texthero разработан как обол...

Как мы работаем с ресурсами в веб-приложениях Приложения, созданные на платформе 1С:Предприятие, могут быть развернуты в трёхзвенной архитектуре (Клиент – Сервер приложений – СУБД). Клиентская часть приложения может работать, в частности, как веб-клиент, в браузере. Веб-клиент – это довольно сложный фреймворк на JavaScr...

REST API на котиках Привет любителям котиков! Меня зовут Юля, я backend‑разработчик компании CDEK. Я сама не так давно изучала все эти сложные понятия в программировании, поэтому решила помочь и вам разобраться с одним из них.С какой стороны IT вы бы не пытали...

Внутренняя разведка Active Directory через Cobalt Strike С ростом автоматизированных вычислительных систем и с увеличением атак на данные системы резко возник вопрос мониторинга за операционными системами на базе которых и работает любая информационная система в компании. В данных операционных системах устанавливаются/подключаются...

В VK Cloud расширили поддержку внешних систем хранения данных Платформа VK Cloud для построения частного облака в ЦОДе заказчика, Private Cloud, поддержала интеграцию с системами хранения данных Lenovo и Huawei.

Полезные боты для Телеграма, которыми я не могу не поделиться с вами За последний год Ватсап сделал большой рывок вперед и по своим возможностям серьезно приблизился к Телеграму. Вот только одну из главных фишек, а именно ботов, так и не скопировал. А ведь именно они помогут отказаться от большого количества сторонних приложений на Айфоне и ...

Как приручить нейросеть: практический опыт Итак, в прошлой статье я уже немного рассказывал о том, что с LLM можно работать и даже построить определенный RAG. Как и обещал, перейдем к практике! :)Сегодня мы будем делать простейший локальный и приватный RAG для работы с базой знаний. Все это будет проходить без погруж...

HyperLogLog в PostgreSQL HyperLogLog принадлежит к категории вероятностных структур данных, которые позволяют аппроксимировать количество уникальных элементов в больших наборах данных с удивительно низким потреблением памяти. HLL использует логарифмическую память.В PostgreSQL HyperLogLog предоставля...

CPM vs. BI:  о чем не расскажут продавцы Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.Написать данную статью мен...

Фильтры Ansible: превращаем сложное в простое Используя Ansible в качестве инструмента автоматизации, часть приходится сталкиваться с задачей обработки и фильтрации структурированных данных. Как правило, это набор фактов, полученных с управляемых серверов, или ответ на запрос к внешним API, которые возвращают данные в в...

Как я проходила стажировку в отделе аналитических решений почти без опыта работы с данными Привет, меня зовут Луиза, я инженер данных в ЮMoney — работаю здесь уже год. Мы собираем данные, структурируем их, храним и создаём аналитические решения, например OLAP-кубы и дашборды. Департамент разделён на несколько команд, у каждой своя предметная область. За год я прев...

[Перевод] Агрегат WITH CUBE В предыдущей статье говорилось о том как  работает агрегат WITH ROLLUP. В этой статье мы рассмотрим, как реализована агрегация WITH CUBE. Как и предложение WITH ROLLUP, предложение WITH CUBE позволяет просчитать несколько «уровней» агрегации в одном опера...

CV Tools — система зрения для конечных пользователей Задача создания классификатора изображений на основе пользовательского набора данных является частой задачей для AI программиста, однако автоматический инструмент, решающий задачу без участия программиста мне на глаза не попадался. CV tools — с...

История создания агрегатора для фриланс бирж Привет, читатель, хочу поделиться своей историей по разработке проекта для сбора фриланс заказов, на данный момент с русских фриланс бирж, реализованных на языке джава, то есть агрегатор. Разработка проекта была начата 15.10.2022. Данная статья будет интересна следующим: опт...

Как Data Science помогает разрабатывать лекарства На протяжении более чем десяти лет я профессионально занимаюсь анализом медицинских данных и участвую в разработке инновационных препаратов. Не скрою, меня приятно удивляет, что в данный момент наука о данных (Data Science) привлекает все больше внимания и захватывает умы ма...

Аутентификация в Kubernetes через Gitlab'овские JWT токены Представим ситуацию, что мы деплоим по push-модели. В качестве платформы для запуска деплоя у нас используется Gitlab: в нём настроен пайплайн и джобы, разворачивающие приложения в разные окружения в KubernetesКакой бы инструмент мы не использовали (kubectl, helm), для манип...

Реализация консенсусного алгоритма Raft Привет, Хабр!Когда речь идет о распределенных системах и сетевых приложениях, консенсусный алгоритм становится must have. Эти алгоритмы играют ключевую роль в обеспечении надежности, согласованности и целостности данных в условиях, когда у нас есть несколько участников (узло...

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации В предыдущих статьях статья 1, статья 2, статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов я...

Парсер бинарных данных с WPF визуализацией в виде дерева структур и их полей. Структура, управляемая данными Как известно нет ничего более постоянного чем временное. Нам нужно было сделать по возможности простую программу для визуализации сложных структур бинарных данных, считанных из разных типов-версий устройств.Адаптированный проект для публичного использования, рабочий на Гите,...

Водителей без ОСАГО начнут выявлять с помощью камер с начала 2024 Президент Российского союза автостраховщиков, Евгений Уфимцев, сообщил, что с начала следующего года автомобили, не покрытые ОСАГО, могут быть выявлены с использованием камер. При помощи камер будут определять машины, которые нарушили правила дорожного движения, включая...

Малый бот для малого бизнеса: 20 новых заказов и решение конфликта с… главным партнёром Принято считать, что боты нужны для того, чтобы справляться с огромными потоками сообщений. Но недавно мы убедились в том, что автоматизация коммуникаций может быть очень полезна и малому бизнесу — причем не только в работе, но и в личной жизни! В этой статье мы не будем пог...

[Перевод] Обработка ошибок в web apps не должна быть такой сложной В процессе работы с Go я столкнулся с ещё одной проблемой — обработкой ошибок в хендлерах. Как можно сделать этот процесс удобным и эффективным для 150+ обработчиков? Как обеспечить консистентность и поддержку при обработке ошибок? Разумеется, мои поиски палочки-выручалочки ...

Apple догонит рынок? Свой аналог ChatGPT в iOS может появиться уже в следующем году Компания Apple, похоже, наконец-то примкнёт к гонке генеративного искусственного интеллекта уже в следующем году.  Аналитик Haitong International Securities Джефф Пу (Jeff Pu) утверждает, что Apple может внедрить генеративный ИИ в iOS 18, которая выйдет ближе к ко...

Правильная работа с базой данных на Python Эта статья рассчитана в большинстве своём на новичков. Тут мы поговорим о том, как не упереться в лимиты подключений к базе, и чтобы приложение в продакшн не упало. Читать далее

SK Hynix представила планы по выпуску памяти HBM с высокой пропускной способностью HBM3E будет использоваться для удовлетворения растущих потребностей в пропускной способности данных, особенно с учетом быстрого роста генеративного искусственного интеллекта

iPhone можно использовать в роли веб-камеры с гибкой настройкой Некоторое время назад разработчики из компании Apple заявили, что в новой операционной системе для компьютеров Mac будет реализована новая функция, которая позволяет трансформировать iPhone в веб-камеру. Данная функция работает не только на ноутбуках компании, но и на дескто...

Samsung удалось победить основную проблему GPU AMD в Exynos? Частота Xclipse 940 в Exynos 2400 вдвое выше, чем Xclipse 920 в Exynos 2200 Платформа Samsung Exynos 2400 снова засветилась в бенчмарке, но теперь благодаря этому мы узнали новые подробности о GPU.  Оказалось, что Xclipse 940 имеет столько же вычислительных блоков, сколько и Xclipse 920. То есть 6 блоков CU или 384 потоковых процессора. Н...

Краткий обзор токенизаторов: что это такое и зачем это надо? Представьте себе, что вы читаете книгу и хотите найти все места, где упоминается слово «кот». Не знаю, зачем вам это, но пока остановимся на том, что вы это хотите. Вот очень надо.Так как это сделать?Вы можете просто пролистать книгу и прочитать...

Самый простой способ обхода блокировок доступа к сайтам любых стран Я понимаю, что пока, за использования VPN, аннонимайзеров и/или tor не применяют уголовные статьи, поэтому гораздо проще скачать какое нибудь приложение из магазина приложений и бесплатно воспользоваться им. Но где гарантия, что завтра они будут работать? Я понимаю (программ...

Как установить GOWIN EDA для запуска примеров Школы Синтеза Одной из проблем первых сезонов Школы цифрового синтеза является малое число поддерживаемых плат, на которых можно легко и быстро повторить упражнение.Чтобы справиться с данной проблемой, группа энтузиастов, под руководством Юрия Панчула, добавила поддержку множества плат и ...

[Перевод] Анонс Asserts Представляем вам Asserts — платформу для анализа и отслеживания метрик. Сканируя метрики вашего приложения в любой совместимой с Prometheus базе данных временных рядов (time-series database, TSDB), Asserts в реальном времени: — создаёт карту архитектуры приложения и инф...

[Перевод] О сложности и монолитах Изображение сгенерировано с помощью DALL·E. Запрос: a complex monolith in a server room, with the faces of IT consultants with suits engraved in it with twisted faces, mathematical formulations about complexity floating around, and with a mysterious malevolent godlike presen...

NVIDIA предлагает использовать GPU GeForce RTX, если вам нужен ПК премиум-класса с ИИ Та же самая архитектура, которая позволяет графическому процессору заполнять миллионы полигонов в секунду, позволяет ускорителям искусственного интеллекта обрабатывать входные токены с высокой скоростью.

Кулинарный гид по Vue.js: всё о props Привет, Хабр! В этой статье разберемся, как frontend-разработчику готовить на «кухне» props. Выбирайте подходящий уровень сложности: джуны-поварята смогут лучше разобраться в работе и применении props на фреймворке Vue.js, а еще мы затронем тему валидации. Для мидлов и более...

Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.

Автоматизация рутинной деятельности с помощью Security Vision SOAR: практика Андрей Амирах, руководитель отдела технического пресейла Security VisionТимур Галиулин, менеджер по развитию продуктов Infowatch В этой статье мы расскажем о процессе автоматизации рутинной деятельности в одном из подразделений ИБ крупной компании. Исходные данные: подр...

[recovery mode] Простой production-ready генератор студийных фото продуктов В данной статье мы рассмотрим простой пример готового к запуску в продакшн приложения с генеративным пайплайном. Расчет идет на возможность простого масштабирования и распределения вычислений на GPU. Читать далее

Продюсер Skull & Bones уверен, что его игру ждёт большой успех Приближается очередной релиз Skull & Bones — похоже, на сей раз Ubisoft твёрдо вознамерилась выпустить игру, потому что начала раздавать различные интервью с грандиозными обещаниями. Например, продюсер проекта уверен, что её ждёт большой успех. Или, по крайней мере, пыт...

Вся ваша медкарта в паре предложений: создан инструмент для обобщения данных Исследователи из Университета штата Пенсильвания решают важнейшую задачу в сфере здравоохранения: эффективность и надежность медицинских обобщающих инструментов на базе ИИ. Эти инструменты предназначены для сжатия сложной информации о пациенте в краткие резюме, что позволяет...

«Как пресейл инженер телеграм ботом дверь открывал» или «Ты куда полез?» Данная статья рассчитана на специалистов области физических систем безопасности и в частности контроля доступа. Я предполагаю, что статья может быть интересна тем, кто не обладает навыками в программировании, но всегда хотел попробовать реализовать что-то здесь и сейчас, с в...

Микросотовые IP-DECT-системы Yealink: сбор требований и проведение радиопланирования Вторая статья посвящена особенностям работы с микросотовой системой Yealink на этапе ее внедрения.Внедрение — важнейший этап построения стабильно работающей высоконагруженной микросотовой DECT-системы. В этой статье рассмотрим следующие вопросы:• что такое радиопланиров...

Spire расширяет возможности управления спутниками в «созвездии» с помощью платформы Neuraspace STM на базе искусственного интеллекта Spire, поставщик спутниковых данных и платформы аналитики, объявил о планах развернуть платформу управления космическим движением (STM) Neuraspace на своей группировке из более чем 100 многоцелевых спутников.  Все спутники будут контролироваться с помощью программн...

Борьба с несбалансированными данными Привет,Хабр! Почему несбалансированные данные - это такая большая проблема? Все начинается с того, что в реальном мире классы могут быть не равномерно представлены в наших данных. Например, в задаче обнаружения мошенничества с кредитными картами, обычные транзакции будут сос...

Пиррова победа Domain-Driven Design TL;DR: DDD неизбежно ведёт к избыточному (на порядки больше минимально необходимого) количеству саг в проекте, которые, в свою очередь, неизбежно ведут к нарушению целостности данных в БД.DDD вполне успешно решает поставленную задачу: дать разработчикам инструменты, которые ...

[Перевод] Common Table Expressions Common Table Expressions (CTE) или обобщенное табличное выражение, впервые появилось в версии SQL Server 2005, и это простой способ разбить сложный запрос T-SQL на несколько запросов, что придаёт больше гибкости и управляемости. CTE во многом очень похожи на представлен...

МТС внедрила новую систему мониторинга качества работы сетевой инфраструктуры Разработка МТС собирает в режиме реального времени информацию о состоянии оборудования и обрабатывает ее с помощью искусственного интеллекта, повышая стабильность и надежность работы сетевой инфраструктуры.

[Перевод] Идиоматическая обработка ошибок в Rust Вы забудете о необработанных исключениях, если научитесь обращаться с ошибками, как это принято в Rust Обработка ошибок – важнейшая часть любого языка программирования, а в Rust предлагается для этого уникальный мощный подход. Rust, в отличие от многих других языков программ...

Несмотря на провальную «Матрицу 4», началась работа над пятой частью Студия Warner Bros. Discovery собирается выпустить новый фильм о Матрице, несмотря на предыдущие предостережения о коммерциализации культовых интеллектуальных свойств. Сценаристом и режиссером новой ленты станет Дрю Годдард, известный своей работой над фильмом «Марсианин». П...

Геймификация в EPM системах: фан или крутая фича? Разбираем на примере Форсайт Однажды мне попалась на глаза статья про сотрудника, который реализовал в Excel книге полноценную игру с интерфейсом, противниками и другими механиками. Продолжив изучать эту тему, я увидел целый мир, в котором люди, используя не предназначенные для этого продукты, реализуют...

Мечтают ли компьютеры строить дома? или Как заставить нейросети определять ремонт в квартирах и улучшать объявления Как для большинства выглядит процесс постройки дома? Котлован, песок, цемент, какие-то блоки, снующие люди и техника, шум, пыль на пару лет и вот, дом готов. На самом деле всё давно не так. Точнее, так, но это, как говорится, frontend. Но строительство уже давно процесс не ф...

TON Storage – прорыв в Web3 или провал? TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.Напомню, что работа TON (Telegram Open Network) на несколько лет ...

Пульс опросы по удовлетворенности сотрудников Удовлетворенность сотрудников становится не просто показателем корпоративной культуры, но и ключевым фактором успешности бизнеса. Регулярное измерение этого аспекта позволяет компаниям не только отслеживать настроения в коллективе, но и своевременно реагировать на возникающи...

Инфраструктурный пентест по шагам: боковое перемещение и повышение привилегий в сети В предыдущих статьях мы изучили подходы к разведке и анализу целей, а также ключевые аспекты этапа сканирования. Теперь пришло время разобраться в анализе парольных политик, ACL и DNS, найти способы бокового перемещения и провести обзор основных актуальных техник повышения п...

[Перевод] Классическое программирование на грани вымирания Все изображения в этой статье сгенерированы нейросетью DALL-E 2 Приближается конец эпохи классических компьютерных наук, и большинство из нас словно динозавры в ожидании падения метеорита. Период моего юношества пришёлся на 80-е годы. Тогда я занимался программированием ПК...

Введение в Apache Flink: осваиваем фреймворк на реальных примерах Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет ...

[Перевод] Что такое API-шлюзы и Gateway API и почему за ними будущее нативных облачных приложений В этой статье мы рассмотрим, почему API-шлюзы стали ключевым элементом экосистемы современных облачных вычислений и как появление Kubernetes API Gateway упростило и стандартизировало работу с ними. Статья составлена на основе сразу двух англоязычных материалов. В первом...

30 лет назад телескоп «Хаббл» едва не списали из-за технических проблем. Неполадки аппарата в прошлом и сейчас Орбитальный телескоп «Хаббл» запустили ещё в 1990 году, но он до сих пор служит науке, отправляя на Землю огромное количество важных данных. Несмотря на то, что проектировался он свыше 30 лет назад, аппарат является очень сложным устройством. Работает он отлично, но время от...

[Перевод] Битва фреймворков: сравнение высокопроизводительных HTTP-библиотек Мир веб-разработки предлагает бесконечное количество вариантов HTTP-фреймворков для разных языков программирования. Но как разработчикам понять, какие из них обеспечивают действительно высокую производительность? Под катом команда блога CodeReliant* проводит прямое сравнение...

NumPy для самых маленьких Математика везде в нашей жизни, но в программировании, а особенно ML ее два раза больше. Обычно Питон берут в пример самого "научного" языка программирования из-за математических фреймворков. Как не Питон может помочь оперировать математическими абстракциями, некоторые из сф...

Как обнаружить галлюцинации в LLM? LLM продолжают свое пребывание в центре технологических дискуссий. Они трансформируют наши взаимодействия с технологиями, поскольку предоставляют возможность усовершенствованной работы в обработке и генерации текстов. Однако и упомянутые модели не идеальны, так как одна из и...

NeoVim для Ruby разработчика Данная конфигурация собиралась очень долго. на данный момент работаю именно на ней. Является больше напоминанием для себя, и шпаргалкой для тех кому интересно. Это субъективная точка зрения, и ни кому ее не навязываю. Если захотите использовать, буду рад тем что помог.Резюме...

Аналитика с актуальной версией платформы Visiology доступна в безопасной среде ОС Astra Linux Работая с BI-решением Visiology в среде операционной системы Astra Linux, организации получат доступ к информации и полный набор инструментов для сбора, анализа и отображения данных из различных источников.

Простой пример ИИ для управления роботом. TensorFlow + Node Js Немного слов обо мне: мое хобби это робототехника. На данный момент экспериментирую с шагающим роботом на базе SunFounder PiCrawler. Последнее время тема искусственного интеллекта (ИИ) приобретает все большую популярность. Причиной этому служит в том числе совершенствование ...

Записываем экран и звук через расширение в браузере и сохраняем в NextCloud Здравствуйте дорогие читатели.В статье делюсь опытом создания расширения для Chromium и Google Chrome браузера.Причиной для создания расширения послужило отсутствие функции сохранения результатов записей в своём облаке и удобство этого процесса.Раньше я пользовался «условно ...

PostgreSQL. Устройство карты свободного пространства СУБД PostgreSQL способна бысто работать с огромными массивами данных благодаря множеству различных механизмов, таких как карта свободного пространства, позволяющая за короткий промежуток времени найти страницу из основного слоя с необходимым свободным пространством для встав...

Нервный KVADRA_T: или как я добровольно вписался в тестирование планшета на kvadraOS Данная статья могла не состояться, не возьми меня пресс-служба KVADRA на слабо. То ли под влиянием недавно вышедшего "Слова пацана" либо каких то других факторов, но это им удалось, очень даже. Читать далее

[Перевод] 8. Nix в пилюлях: Универсальные скрипты сборки Продолжаем знакомство с Nix и NixOS. В прошлых статьях мы научились собирать пакеты Nix (деривации), а теперь попробуем написать универсальный скрипт сборки, который можно было бы использовать для сборки множества пакетов.Люка Бруно продолжает свой захватывающий рассказ. Чит...

RangeVision QUANT – высокоточный и быстрый 3D-сканер для стоматологов и оцифровки мелких объектов. Обзор от 3Dtool Всем привет, с вами компания 3Dtool!Основные области применения 3D-сканеров включают создание цифровых копий объектов, контроль качества продукции, промышленное производство, архитектуру и дизайн, искусство и образование. Выбор конкретного 3D-сканера зависит от того, какую и...

Атаки на Bluetooth. Часть 1 Снова приветствуем всех заинтересованных и случайно попавших на эту статью! Продолжаем рубрику "Без про-v-ода", в основном мы разбираем для вас атаки на Wi-Fi, но в этой статье мы затронем одну из популярных беспроводных технологий - Bluetooth. Все мы каждый день им пользуем...

IBM Storage Ceph представляет собой современную программно-определяемую платформу хранения данных Одной из наиболее важных характеристик IBM Storage Ceph является его гибкость и масштабируемость

Управление цветами в Seaborn: как эффективно визуализировать данные Привет, Хабр. В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.Я покажу не только картинки было-стало, но и приведу примеры кода, а также объясню логику принятия решений: как исп...

Книга «Грокаем функциональное программирование» Привет, Хаброжители! Вам кажется, что функциональное программирование — это нечто сложное, доступное только гуру программирования? Эта книга развенчает миф об элитарности и позволит любому программисту с легкостью разобраться в хитросплетениях кода. От знакомых и простых ...

Неструктурированные данные: что это, в чем их опасность и как защититься? Объемы, разнообразие, а главное, ценность информации продолжают расти. Особенно выделяются неструктурированные данные, которые не имеют четкой организации, структуры или формата. Этим они отличаются от структурированных данных, которые обычно хранятся в базах данных и подчин...

Объединение открытых данных Open Street Map и Landsat для уточнения площадей зеленых зон Привет, Хабр! Под катом мы хотели бы поговорить о том какие преимущества привносит в нашу жизнь объединение пространственных данных из различных открытых источников. Рассматривать, для примера, будем следующую задачу: оценить насколько в “зеленом” районе расположен тот или и...

JWT-аутентификация при помощи Spring Boot 3 и Spring Security 6 Переход от базовых приложений к более сложным требует использования Spring Security для обеспечения безопасности. Новая версия, Spring Security 6, изменяет некоторые базовые реализации, а русскоязычных материалов на эту тему очень мало. В этой статье мы рассмотрим JWT-аутент...

«Некоторые из наших клиентов не поверили данным, пока не проверили их на практике». Память HBM3 Gen2 уже тестируется Nvidia Компания Micron уже начала поставки памяти HBM3 Gen2 для Nvidia, и результаты тестирования, похоже, очень впечатляющи.  Память поставляется пока лишь для тестирования: массовое производство ещё, видимо, не началось. Однако уже сейчас понятно, что новая память може...

Хранение загружаемых пользователями файлов В самом начале своей карьеры я имел честь в одно лицо разрабатывать проект, предназначенный для массового пользователя. Надо сказать, что почти все основополагающие принципы того, как провалить проект, были соблюдены, однако, он до сих пор жив. Проект был предназначен для пр...

Где мне это пригодится в жизни или применение Nothing в Kotlin на примере В данной статье я хочу показать, почему развитая система типов в языке программирования это здорово. Я попробую провести небольшой ликбез о таких на первый взгляд сложных вещах, как sealed-иерархии, ковариантность и тип Nothing на понятном практическом примере создания своей...

Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python Привет Хабр! В мире современных вычислений и информационных технологий, алгоритмы играют решающую роль. Они служат фундаментальным инструментом для решения разнообразных задач, начиная от оптимизации бизнес-процессов до анализа сложных структур данных. В контексте графовой т...

Улучшаем динамические таблицы YTsaurus с помощью алгоритмов Динамические таблицы в YTsaurus занимают заметное место во внутренней инфраструктуре Яндекса. В них можно хранить огромные массивы данных, и читать их можно настолько быстро, что многие сервисы Яндекса используют YTsaurus при построении ответа внешним пользователям. Всё...

Путь от монолита к разделению Compute и Storage: пример поиска «хранилища мечты» для большой аналитической платформы Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктур...

IBM представила новую платформу IBM LinuxONE 4 Express Она обеспечивает масштабируемость, доступность и безопасность для различных центров обработки данных

SETI@Home, или Как миллионы людей искали следы внеземного разума SETI@Home — краудсорсинг-проект для обработки данных радиотелескопов, запущенный в 1999 году, и первый масштабный проект в сфере распределенных вычислений в принципе. В этом посте мы подробней расскажем предысторию проекта, в котором на протяжении более 20 лет в разное время...

Как запустить немодерируемый юзабилити-тест? Эта статья призвана показать, как правильно организовать и провести немодерируемый юзабилити-тест, чтобы максимально повысить удобство и понятность вашего продукта для конечного пользователя. Она будет полезна UX/UI-дизайнерам, продуктовым менеджерам, маркетологам, и, коне...

В российской ролевой игре «Смута» будет 12 вариантов финала Новая российская ролевая игра «Смута» предложит игрокам 12 различных финалов. Продюсер проекта, Андрей Белов, подчеркнул, что это не означает ветвление сюжета, а скорее результаты действий игрока будут определять итоговый эпилог.

AMD и BlackBerry стали партнёрами. Компании будут продвигать роботизированные системы следующего поколения Компании AMD и BlackBerry объявили о заключении партнёрства.   В своём пресс-релизе он объявили об объединении усилий по продвижению роботизированных систем следующего поколения. В документе сказано, что новые платформы реального времени на базе системы AMD Kria K...

Apple и тут пойдёт своим путём. Все функции искусственного интеллекта в iOS 18 будут обрабатываться непосредственно на смартфоне Похоже, подход Apple к искусственному интеллекту на смартфонах будет отличаться от такового у конкурентов. Как сообщается, вся обработка данных для работы таких функций будет происходить непосредственно на смартфоне.  создано DALL-E Согласно данным журналиста Bloo...

[recovery mode] Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики В мире, где каждый клик, каждое взаимодействие и каждая транзакция превращаются в данные, способность понимать и интерпретировать этот поток информации становится все более ценной. Данные — это золото нашего времени, невидимый актив, который в правильных руках способен преоб...

gRPC Привет, Хабровчане!Для тех, кто не в курсе, gRPC - это открытый фреймворк от Google, который был представлен миру в 2016 году. Основываясь на протоколе HTTP/2, gRPC использует Protocol Buffers в качестве языка описания интерфейса. Основная идея gRPC заключается в создании ун...

Сбор обратной связи от клиентов Сбор и анализ обратной связи позволяют предприятиям не только улучшать свои продукты и услуги, но и адаптироваться к меняющимся потребностям и предпочтениям своих клиентов, опережая конкурентов и повышая лояльность своей аудитории.Целевая аудитория этой статьи - руководители...

WS, но лучше Привет, Хабр! В этой статье я хотел бы рассказать о методе работы с WebSocket, который я часто применяю в своих разработках. Если кратко, WebSocket — это, пожалуй, самое частое, что я использую в своих проектах. Мне очень важно, чтобы сервер мог общаться с клиентом в двустор...

Чего ждать от SIEM-систем на горизонте нескольких лет Свою первую SIEM-систему я внедрял в 1998-99-х годах (сам термин Gartner ввел только в 2005 году), и тогда от этого класса продуктов ожидать многого было сложно: они собирали события безопасности от систем обнаружения вторжения и сканеров уязвимостей и коррелировал...

S.T.A.L.K.E.R. 2 получит нелинейный сюжет на 40 часов и 4 концовки Во время интервью Gamer Sky, генеральный директор GSC Game World Евгений Григорович и исполнительный продюсер Мария Григорович поделились новой информацией о STALKER 2: Heart of Chernobyl, включая подробности относительно основного сюжета и графических режимов. По словам…

Представлен универсальный процессор X-Silicon CPU/GPU, ядро которого может выполнять любые задачи Компания X-Silicon представила открытую архитектуру C-GPU, которая сочетает процессорное ядро RISC-V с векторными возможностями и ускорения GPU в одном чипе.  создано DALL-E Платформа C-GPU X-Silicon нацелена на такие сегменты, как автомобильный рынок и рынок встр...

Члены AUKUS будут использовать искусственный интеллект для обнаружения китайских подводных лодок Технологии ИИ помогут быстрее обрабатывать большой объем данных и оперативно фиксировать все передвижения флота КНР

WaveSync: Новый путь к нелинейному анализу эмбеддингов WaveSync — новый алгоритм для детального, нелинейного и быстрого анализа сходства эмбеддингов и векторов. Алгоритм является в большинстве задач заменой линейному косиносному сходству. Он позволяет улучшить точность обработки языка и открывает новые перспективы для разработчи...

Смартфоны на Android получили поддержку iMessage и FaceTime Экосистема Apple является крайне распространенной, а одними из ключевых ее составляющих являются мессенджер iMessage и сервис звонков FaceTime, позволяющий совершать как голосовые звонки, так и видеозвонки. Тем не менее, поддержка данных сервисов реализована исключительно н...

Система безопасности Skyryse способна посадить вертолет с отказавшим двигателем Как известно, управлять вертолетом очень сложно, поэтому пилоты, способные выполнять в полете сложные фигуры — это, как правило, профессионалы высочайшего класса. Однако и они оказываются бессильны, если у вертолета внезапно откажет двигатель.

Краткий обзор TinyML TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к инт...

Временное хранилище данных на Apache Druid: почему это эффективно сработало для загрузки табличных файлов Всем привет! Меня зовут Амир, я Data Engineer в компании «ДЮК Технологии». Расскажу, как мы спроектировали и реализовали на Apache Druid хранилище разрозненных табличных данных.В статье опишу, почему для реализации проекта мы выбрали именно Apache Dr...

Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...

Как создать ассистента для поиска по видео Всем привет! Меня зовут Георгий, я старший разработчик-исследователь в MTS AI. Одной из задач, которыми я занимаюсь в компании, является умная видеоаналитика. Это мощный инструмент, особенно с учетом современных технологий искусственного интеллекта, который может использоват...

Как работают алгоритмы музыкальных стримингов. Разбираем на примере Кажется, что рекомендательный движок музыкального сервиса - это черный ящик. Берет кучу данных на входе, выплевывает идеальную подборку лично для вас на выходе. В целом это и правда так, но что конкретно делают алгоритмы в недрах музыкальных рекомендаций? Разберем основные п...

Object-Relational Mapping (ORM) в Golang Одна из самых важных задач ЯП`s это эффективное взаимодействие с базами данных и Go не исключение. В Go есть парадигма Object-Relational Mapping (ORM), позволяет работать с реляционными базами данных в терминах объектно-ориентированного программирования. Это очень сильно упр...

Приключение SAM в Японии или как компьютерное зрение видит гейшу Привет! Я занимаюсь разметкой данных для ИИ: экспертно и с большой любовью. Задачи компьютерного зрения — одни из самых популярных и поэтому поговорим про них.Прочитав статью вы узнаете как алгоритму отличить гейшу от китаянки, кто такая майко, как не перепутать лапшу с авто...

Трансляция видео через P2P сеть Создавая сервис видеотрансляций, рано или поздно, при увеличении числа потребителей контента, возникает вопрос о масштабировании и доставке. Вы столкнетесь с проблемой не только вычислительных мощностей, но и пропускной способности вашей сети.Я, как разработчик сервиса вебин...

Революция в цифровой инфраструктуре: контейнерные центры обработки данных (КЦОД) Приветствую всех! Я Геннадий Гужов, студент Высшей школы экономики и продакт-менеджер в компании "Солдвиг", специализирующейся на контейнерных дата-центрах. В этой статье я расскажу о контейнерных дата-центрах: что они из себя представляют, из чего состоят и какие преимущест...

За Nvidia пристально следят, а будут ли за Intel? Компания тоже создала специальные ускорители для ИИ, ориентированные на китайский рынок Компания Intel на днях представила свои ускорители для ИИ линейки Gaudi 3. Оказалось, что там есть две модели для китайского рынка.  Версии Gaudi 3 HL-328 и HL-388 разработаны специально для китайского рынка. Точнее, сконфигурированы в соответствии с санкциями. Не...

Суперкомпьютер Deep South, который в 2000 раз быстрее человеческого мозга, будет запущен в апреле Суперкомпьютер Deep South способен обрабатывать данные в 2000 раз быстрее, чем человеческий мозг. Таким образом, ученые смогут создавать более совершенные симуляции работы человеческого мозга.

Сказ о том, как РП репликацию на Марии из зеркал состряпал… Нежданно ни гадано, затеяли значит высшие "итишные" силы включить новые заморские очереди Кафка в уже выполненный на 4/3 проект и слава богу, что только для внешних взаимодействий и передачи всякой информации туды-сюды. Главный архитектор дал благословение и понеслось, да н...

Владелец крупнейшего парка спутников ДЗЗ PlanetScope объединился с Google Cloud Marketplace Компания Planet Labs PBC, поставщик данных наблюдений о Земле, заявила о доступности своих спутниковых данных PlanetScope на платформе Google Cloud Marketplace. Таким образом, пользователи получают новую возможность анализировать, обрабатывать и получать информацию из о...

Исследование рыночной корзины на основе данных розничной торговли в Стамбуле Всем привет! Вот и я добралась до Хабра :).Хочу поделиться своей проектной работой, которую написала в рамках курса OTUS "Machine Learning.Basic". Итак, нас ждет путешествие в увлекательный мир шопинга в Стамбуле! Целью работы было получить представление о тенденциях и модел...

Моделирование движения космических тел В этой статье я подробно объясню и покажу, как написать на Python простой симулятор движения космических тел и что для этого не нужно знать. Моделирование - очень удобный и понятный способ вычисления многих процессов. Он не требует использования законов, описывающих движение...

Что на самом деле влияет на скорость работы смартфона Принято считать, что скорость работы смартфона напрямую зависит от производительности процессора и оптимизации, которую провел производитель. Поэтому чем новее и мощнее чипсет и чем свежее версия операционной системы, тем лучше, по логике вещей, должен работать аппарат. Нед...

Восстановление данных с M.2 NVMe SSD. Скрипт ddrescue-loop v0.2 Речь пойдет о способе извлечения данных с неисправного SSD для случаев когда после попытки чтения любого сбойного сектора - SSD совсем перестает отдавать данные и помогает только отключение включение питания.Представляю доработанную версию скрипта ddrescue-loop с поддержкой ...

Представлен коврик для оценки состава тела Amazfit Body Composition Mat Amazfit представила новый гаджет Body Composition Mat, который предназначен для использования вместе с фитнес-умными часами Amazfit Balance, выпущенными в прошлом году. Коврик для анализа состава тела позволяет оценить состав тела, используя технологию биоэлектрического...

Система аутентификации: сделай сам vs возьми готовое Разработка системы аутентификации может показаться начинающему разработчику простой задачей. Пользователь создает учетную запись, данные сохраняются, и в дальнейшем по логину-паролю происходит вход. Но когда начинаешь копать глубже, система аутентификации, точно луковица, от...

Метод опорных векторов (SVM). Подходы, принцип работы и реализация с нуля на Python Метод опорных векторов (Support Vector Machine или просто SVM) — мощный и универсальный набор алгоритмов для работы с данными любой формы, применяемый не только для задач классификации и регрессии, но и также для выявления аномалий. В данной статье будут рассмотрены основные...

Что будет, если видеокарту GeForce RTX 4060 Ti 16GB установить в старый ПК с PCIe 3.0. Тесты показали, что урезанная шина у адаптера большой проблемой не будет Видеокарта GeForce RTX 4060 Ti 16GB является самой производительной среди адаптеров актуального поколения с восемью линиями интерфейса PCIe 4.0. Авторы Hardware Unboxed решили проверить, сказывается ли такое ограничение на производительности, если установить карту в сис...

Индуктивная статистика: доверительные интервалы, предельные ошибки, размер выборки и проверка гипотез Одной из самых распространённых задач современной аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь о небольшой части этой совокупности - выборке. Можно ли сделать вывод о миллионной ауди...

Актуальные методы проверки работоспособности больших и высоконагруженных сетей. Протоколы мониторинга Привет, Хабр!В данной статье мы рассмотрим актуальные методы проверки работоспособности сетевого оборудования. Конкретно в этой статье мы поговорим про протоколы мониторинга. Статья является переваренным опытом компании Netopia, которая занимается разработкой программного о...

Система иконок на React Очень часто при разработке React-приложения нам приходится работать с большим количеством иконок в проекте. Наверное, каждый разработчик стремится максимально упростить и автоматизировать подобные рутинные задачи. Есть несколько способов работы с иконками в веб-приложениях, ...

Тестируем отечественную систему виртуализации: ПК СВ «Брест» Привет, Хабр!Мой цикл статей о российских системах виртуализации понемногу подходит к концу. Сегодня будем разбирать возможности последнего участника эксперимента — ПК СВ «Брест». Посмотрим, как реализован заявленный производителем функционал, насколько удобно им пользоватьс...

Управление устройствами умного дома Яндекс своими скриптами В статье пойдёт речь о самом базовом управлении устройствами умного дома Яндекс - а именно функции включения/выключения, т.к. ничего больше мне не нужно, но из базы довольно легко с помощью документации, научиться управлять и другими свойствами. Может этот материал не на ста...

VK Cloud запустили облачный сервис Cloud Kafka для сбора и обработки потоков данных Облачная платформа VK Cloud запустила сервис Cloud Kafka — решение на базе технологий с открытым исходным кодом Apache Kafka и Kubernetes.

Где работать в IТ в 2024: ГНИВЦ Наша рубрика «Где работать в IT» — это интервью с интересными IT-компаниями, в которых они делятся подробностями о процессах своей работы. Представители индустрии отвечают на вопросы о найме, условиях, командах и технологиях.В этом выпуске мы расскажем об АО «ГНИВЦ», ведущем...

Microsoft анонсировала унифицированный Copilot для Windows, Bing, Edge и Microsoft 365 Большая часть сегодняшнего мероприятия Microsoft была посвящена новым функциям на базе искусственного интеллекта. Если быть более точным, то речь шла об унифицированном цифровом помощнике Copilot, который будет доступен в Windows, Microsoft 365, Edge и Bing. Стоит отметить,...

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Эмбеддинги для начинающих Привет, Хабр!В широком смысле, эмбеддинг - это процесс преобразования каких-либо данных (чаще всего текста, но могут быть и изображения, звуки и т.д.) в набор чисел, векторы, которые машина может не только хранить, но и с которыми она может работать. Звучит очень интересно. ...

Новая технология BrainGPT превращает мысли в текст Ученые устройство, которое считывает мозговые волны и преобразовывает их в текст Ученые давно работают над технологиями, позволяющими считывать и распознавать мысли человека. Мы неоднократно рассказывали, что в этой области уже удалось добиться определенных успехов. Например...

Начал бегать с марта 2023 (60 пробежек). Продолжил с марта 2024 (15 пробежек) Анализируем, визуализируем данные, ЧСС=119 Нередко попадаются видео и статьи с примерным смыслом, что начал бегать в 45+ лет, через месяц уже бегал по 10 км, через год уже марафон и похудел со 120 до 70 кг. Но это не мой случай. Начинал с 300 метров (>>моя статья как это было), прогресс шел очень тяжело, тренир...

[Перевод] Написание чистых тестов на JavaScript с использованием принципов BASIC Продакшен код может быть неидеальным, и это подразумевает риск или долг, которым команды управляют различными способами. Для кода тестов риск гораздо более значителен — они могут просто исчезнуть. Сотни часов кодирования и встреч могут просто пропасть.Вы сталкивались с подоб...

Побит новый рекорд емкости HDD. 30 ТБ и 400 градусов Цельсия внутри Многие задаются вопросом, как хранить данные дома или на работе. Надо же не только установить систему на жесткий диск, но еще куда-то сложить несколько сезонов любимого сериала, фотографии друзей и родных, видео с котиками, да и для игр тоже нужно много места. А если вы рабо...

[Перевод] За миллионы лет на поверхности Марса то и дело появлялись потоки воды Существует огромное количество доказательств того, что Марс когда-то был влажным и тёплым. Реки текли по его поверхности и прокладывали сложные системы каналов, впоследствии обнаруженные нашими орбитальными аппаратами. Обширные океаны,- возможно, даже большие, чем земные,- п...

Создание простого калькулятора в android studio В данной статье находится лабораторная работа, направленная на создание приложения калькулятора с базовыми функциями в android studio. Читать далее

[Перевод] Гексагональная архитектура со Spring Boot Гексагональная архитектура стала популярным архитектурным паттерном, помогающим отделить бизнес-логику от инфраструктуры. Такое разделение позволяет откладывать принятие решений о технологиях или легко заменять их. Кроме того, это позволяет тестировать бизнес-логику в изоляц...

Алгоритмы вокруг нас Привет, друзья! Меня зовут Алмаз. Я специалист по НСИ (нормативно-справочной информации) в компании Bimeister. Маленький дисклеймер. Данная статья – материал для размышления. В особенности для людей, которые разрабатывают новые алгоритмы и реализуют их.  Читать далее

Собирательный образ Junior Android Developer. Какой он в 2024? С каждым годом мобильные приложения становятся неотъемлемой частью нашей повседневной жизни, укрепляя свою позицию. Они интегрировались в различные аспекты делая нашу жизнь более удобной. В свете растущего интереса к сфере IT, не мало людей стремятся попасть в мир мобильной ...

Обучение OpenAI посредством видеоконтента на YouTube — нарушение условий платформы YouTube будет обрабатывать контент с искусственным интеллектом, а также введет новые правила маркировки контента, созданного ИИ.

Построение графа покрытия UI-тестами бизнес-логики на основе VisualFSM В мобильных приложениях всё больше локальной логики, всё меньше приложений выполняют функцию тонкого клиента для простого отображения данных с сервера. Описание этой бизнес-логики в виде конечных автоматов позволяет сделать код более надёжным и читабельным, а визуализация гр...

Режиссер «Оппенгеймера» и фильмов о Бэтмене получит рыцарский титул Знаменитый режиссер Кристофер Нолан и его жена-продюсер Эмма Томас получили высшее признание за свой вклад в кинематограф: рыцарское и дамское звание соответственно.

FineBI под микроскопом: Обзор новых функций и улучшений в Q1 2024 Хабр, привет! Меня зовут Александр Ларин, я являюсь руководителем центра технической поддержки и обучения в GlowByte, а также лидером самого большого в России сообщества FineBI.Сегодня в нашем фокусе – обновления, которые не оставят равнодушными ни одного бизнес-аналити...

Как обновление BIOS может повысить производительность процессоров Intel Core 14 (non-K) и снизить их температуру Сегодня, когда вычислительная мощность процессоров уже не растет семимильными шагами, как раньше, все стремятся выжимать ее из своих сборок по максимуму любыми возможными способами. Особенно это касается новейших решений, от которых ждешь наивысшей скорости обработки данных ...

Машинное обучение раскрыло скрытые закономерности мозга Ситуация: вы тянетесь за книгой, ваш мозг получает визуальные сигналы, обрабатывает их внутри себя и дает команду мышцам выполнить движение. Но как миллионы нейронов управляют этой, казалось бы, простой задачей? Ученые открыли ключевой фрагмент головоломки с помощью нового а...

Samsung Exynos 2400 производят по передовому техпроцессу и он мощнее Apple A17 Pro Некоторое время назад разработчики мобильного процессора Samsung Exynos 2400 заявили, что графический процессор данного чипа уверенно превосходит конкурентов. Хотя, безусловно, никаких реальных тестов или отзывов о данном процессоре пока что нет, а верить маркетинговым заявл...

Наиболее распространенное применение трансиверов SFP28 К числу инновационных устройств, активно и эффективно используемых при коммутации Ethernet, является ресивер 3-го поколения SFP28. Данный компонент является составной частью при построении структуры мобильных сетей пятого поколения (5G). Визуально модель схожа с предшественн...

[Перевод] Осваиваем модуляризацию: Руководство для начинающих по организации сложных программных систем ⚡ Tl;dr Модуляризация — это метод разделения сложных систем на более мелкие удобоваримые части для лучшего управления и восприятия. Она повышает эффективность, надежность и ремонтопригодность программных проектов за счет организации кода в модули. Она снижает когнитивную на...

Как мы переносили базу Clickhouse между географически удаленными дата-центрами В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте. Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с н...

Поговорим о зеркалировании трафика с помощью VxLAN Анализ сетевого трафика является важной задачей, решение которой требуется различным специалистам. Так, специалистам по информационной безопасности необходимо анализировать трафик на наличие подозрительных пакетов, вирусного трафика, сканирования портов, перебора паролей и т...

Делаем crackme. Часть первая: whitebox AES Эта статья первая из цикла, в котором мы будем создавать crackme для linux amd64. В crackme будут реализованы шифрование каждой функции отдельным ключём и наномиты для противодействия отладке. В данной статье мы рассмотрим алгоритм встраивания к...

Потребитель VS поставщик информации: принципы построения интеграционного взаимодействия Всем привет!Сегодня я расскажу про роли поставщика и потребителя в контексте информационных систем. Под поставщиками я подразумеваю информационные системы, которые передают информацию, а под потребителями – которые ее получают. Также расскажу об основных правилах игры, котор...

Друиды 21-го века или «химичим напиток силы» в домашних условиях Многие из нас увлекаются спортом, и даже не говоря о профессиональных спортсменах, желание немного улучшить свои результаты – присуще каждому, кто им увлечен. О способах, которые могут в этом помочь, о том как происходит данный процесс в человеческом организме, а так же о то...

Какую информацию собирают современные авто обо всех, кто находится в салоне Современные автомобили, превратившиеся в настоящие компьютеры на колёсах, активно собирают и обрабатывают огромное количество данных о водителях и пассажирах.

Состоялась первая передача информации с помощью телепортации Мы стали на шаг ближе к телепортации. По крайней мере, телепортации данных. В декабре прошлого года учеными из ЮАР, Германии и Испании был проведен эксперимент, в ходе которого ученые смогли телепортировать информацию с помощью квантово связанных фотонов и нелинейного детект...

Жидкостное (водяное) охлаждение для ноутбука своими руками Всем привет!На создание данного колхоза изобретения меня вдохновила эта старая статья на Пикабу. Идея родилась примерно за полгода до создания этой СЖО, навязчивой она стала примерно за месяц до, реализовал я её за неделю-две.В этой статье уважаемый fillgood изобрёл систему ...

Почему вам стоит отказаться от использования timestamp в PostgreSQL Не секрет, что работа с часовыми поясами — боль, и многие разработчики объяснимо стараются ее избегать. Тем более что в каждом языке программирования / СУБД работа с часовыми поясами реализована по-разному.Среди тех, кто работает с PostgreSQL, есть очень распространенное заб...

[Перевод] Учёные собрали рабочий компьютер с использованием мозговой ткани Не существует компьютера, даже отдалённо похожего на человеческий мозг по мощности и сложности. Комочки ткани, расположенные в нашем черепе, способны обрабатывать информацию в таких объёмах и с такой скоростью, что вычислительная техника едва может к этому приблизиться.Ключо...

Простой и сложный Always On VPN от Microsoft. Опыт внедрения VPN обеспечивает доступ удаленных пользователей в корпоративную сеть. Решений много, но выбор оптимального не всегда очевиден. В данной статье хотел бы поделиться опытом внедрения и использования такого продуктового решении как Always On VPN от компании Microsoft. Подчеркну,...

Как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне Привет, Хабр!Мультиколлинеарность возникает, когда в модели множественной регрессии одна из независимых переменных может быть линейно предсказана с помощью других независимых переменных с высокой степенью точности. Это явление приводит к тому, что расчетные коэффициенты регр...

Как я зарабатывал $10,000 в месяц на серверах ARK: Survival Evolved Я — ведущий гейм дизайнер с опытом разработки крупных, хардкорных проектов в жанрах от MMORPG и CRPG до мобильной MOBA. Почти три года мы с лучшим другом продюсировали, дизайнили, разрабатывали и занимались живым оперированием своих серверов по игре ARK: Survival Evolved. За...