Потоковая обработка данных: анализ альтернативных решений Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональ...
[Перевод] Обработка ошибок в web apps не должна быть такой сложной В процессе работы с Go я столкнулся с ещё одной проблемой — обработкой ошибок в хендлерах. Как можно сделать этот процесс удобным и эффективным для 150+ обработчиков? Как обеспечить консистентность и поддержку при обработке ошибок? Разумеется, мои поиски палочки-выручалочки ...
SDR приемник GPS на микроконтроллере В этой статье я расскажу о том, как я делал самодельный SDR GPS приемник на микроконтроллере. SDR в данном случае означает, что приемник не содержит готовых GPS-модулей или специализированных микросхем для обработки GPS сигналов - вся обработка "сырых" данных выполняется в р...
Построение пайплайна обработки данных в реальном времени с использованием Python Привет, Хабр!Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и б...
Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...
Обработка результатов статистических наблюдений с помощью толерантных интервалов Здравствуйте, уважаемые читатели!В статье хочу поделиться личным опытом использования толерантных интервалов для обработки результатов статистических наблюдений, привести некоторые примеры и дать краткое описание процедуры расчета с реализацией на языке Python. Может быть, к...
FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...
Язык программирования R для статистической обработки данных Гибадуллина Д.А Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...
Exception Handling: сквозь мультивселенные интероперабельности В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и н...
[recovery mode] Как в Node.js контролировать потребление памяти при обработке сетевых запросов Всем привет! Я Виктор Кугай, руководитель команды разработки спецпроектов в Тинькофф. Мы создаем геймификационные проекты, основанные на данных, чтобы познакомить пользователей с экосистемой компании и повысить узнаваемость бренда.Расскажу, как с помощью Node.js Streams и ме...
Step by step: интегрируем интерактивные 2D/3D-объекты в iOS-приложение Привет, Хабр! Меня зовут Степан, я iOS-разработчик SimbirSoft.В очередной раз открыв одно из ежедневных приложений, я обнаружил любопытную фичу: интерактивный 3D-элемент в виде звездочки. Казалось бы, ничего необычного, но это сделало взаимодействие с приложением немного при...
[Перевод] Учимся использовать модуль Ansible Shell для выполнения удалённых команд Мы перевели статью, где подробно рассматривается использование модуля Ansible Shell и различные способы выполнения удалённых команд на узлах в рамках работы по автоматизации. В статье рассматриваются различные опции и модули для выполнения удалённых команд, а также их различ...
В борьбе со сложностью, или Как обуздать лог-экспоненциальный алгоритм (со ссылкой на код) В этой статье я расскажу об алгоритме, который помогает нам решить задачу дедупликации данных без идентификатора, дам контекст решаемой проблемы и словесное описание алгоритма с визуализацией. Реализацию алгоритма можно посмотреть по ссылке в заключении. Алгоритм решает прос...
Big Data в облаке: строим доступное хранилище За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны ...
Большая охота. Практикуемся в Threat Hunting Для подписчиковПервый этап реагирования на ИБ‑инцидент — это обработка событий и поиск в них артефактов. Затем специалист строит таймлайны и определяет вектор и время атаки. В этой статье мы поговорим об инструментах, которые облегчают этот труд и помогают в расследовании, в...
Простой способ обработки качественных исследований Данная статья может оказаться полезной начинающим менеджерам, аналитикам и дизайнерам. В ней рассказано о подходе, который поможет структурировать и упорядочить информацию, полученную из различных источников, таких как “one to one” встречи, глубинные интервью и другие подобн...
MERGE и её улучшение производительности с помощью work_mem С выходом PostgreSQL 15 мы застали появление долгожданной команды MERGE, которая позволяет реализовывать эффективные способы синхронизации обновлений.Суть MERGE заключается в ее универсальности: она позволяет объединить операции INSERT, UPDATE и DELETE в одном запросе, автом...
Четвёртое наблюдение о командной строке и путях в файловой системе В недавно опубликованной статье «Три наблюдения о командной строке и путях в файловой системе» были рассмотрены некоторые особенности интерпретации командной строки оболочками в операционных системах Windows и Linux. Первое наблюдение было о том, что командные оболочки SH/BA...
[Перевод] Введение в цифровую обработку сигналов Эта статья дает общее представление о том, что такое ЦОС (цифровая обработка сигналов), как она работает и какие преимущества может предложить. Цифровая обработка сигналов включает разработку алгоритмов, которые могут быть использованы для улучшения сигнала определенным обр...
Разработка алгоритмов обработки данных в реальном времени на Python Привет, Хабр! С появлением больших объемов информации и необходимостью обработки данных в реальном времени, разработчиками все чаще приходится создавать эффективные алгоритмов обработки данных, способных обеспечивать высокую отзывчивость и мгновенное реагирование на измен...
Как можно использовать .NET из Javascript (React) в 2023 году Статья показывает опыт использования .NET из JavaScript (React) с помощью компиляции .NET кода в WebAssembly с помощью новых возможностей .NET 7. Включает инструкцию по созданию проекта для .NET для использования из Javascript, и интеграции его в веб-приложение, написанного...
The Hive. Разбор open source решения В свете быстрого развития информационных систем и увеличения угроз кибербезопасности поиск надежных решений, позволяющих минимизировать вред от нарушения информационной безопасности (ИБ), становится важной задачей для различных организаций. Когда инфрастр...
Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...
Архитектурный паттерн для обработки больших данных: Kappa Привет, Хабр!Если вы уже знакомы с архитектурным паттерном Lambda, то сегодня мы поговорим о его ближайшем родственнике - Kappa. Когда речь идет о обработке больших данных, архитектурные паттерны играют самую важную роль. Ранее мы обсудили Lambda, который предлагает подход, ...
Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...
Пять лучших NLP инструментов для работы с русским языком на Python В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка. Читать далее
Основы репликации в Kafka Привет, Хабр!Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами. В этой статье рассмотрим основы репликации в...
WinRAR CVE-2023-38831 10 июля 2023 года при исследовании распространения троянского ПО под названием DarkMe, специалистами из Group-IB была обнаружена раннее неизвестная уязвимость в WinRAR, которая касалась обработки zip-архивов. Данная уязвимость получила идентификатор CVE-2023-38831. С помощью...
Axiom Space вознесет данные к звездам с запуском «орбитального дата-центра» Axiom Space готовится совершить невероятный скачок в области облачных вычислений: она представила планы по созданию первого в мире орбитального центра обработки данных, запуск которого намечен на 2027 год. Техасская компания планирует совершить беспрецедентный скачок в облас...
Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее
“Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python Привет, хабр! Сегодня мы хотели бы продолжить тему обработки пространственных данных средствами Python библиотеки estaty. Мы уже рассказывали о том как можно Объединять открытые данные Open Street Map и Landsat для уточнения площадей зеленых зон вокруг объектов недвижимости....
Топ-менеджер Samsung Патрик Хомет оправдал ИИ-обработку фотографий на Galaxy S24 Топ-менеджер Samsung Патрик Хомет в интервью Tech Radar прокомментировал использование компанией ИИ-алгоритмов при обработке мобильных фотографий. По его словам, пользователи просто неправильно воспринимают понятие реалистичности картинки, которой уже давно не существует как...
[Перевод] Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей о...
Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для решения задач обнаружения опасных состояний сердечно-сосудистой системы человека. Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...
Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...
Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты В центрах обработки данных используется оборудование от разных вендоров, с различными встроенными системами мониторинга. Когда таких систем становится много, уследить за подобным «зоопарком» непросто.Но как сделать систему мониторинга, которая будет работать в любом автозале...
Apple могут оштрафовать за сбор данных россиян Как сообщает ТАСС, компанию компанию Apple могут оштрафовать за сбор данных россиян. Мировой суд в Москве рассмотрит протокол в отношении компании Apple, которую обвиняют в нарушении российского законодательства. «В отношении Apple Inc. зарегистрирован протокол, с...
Mimesis: идеальное решение для генерации данных Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, прав...
VK Cloud представила Cloud Kafka — облачный сервис для сбора и обработки потоковых данных Лёгкая интеграция в текущую IT-среду — ключевая особенность данной платформы.
Общее описание и реализация Word2Vec с помощью PyTorch В данной статье даётся общее описание векторного представления вложений слов - модель word2vec. Также рассматривается пример реализации модели word2vec с использованием библиотеки PyTorch. Приведена реализация как архитектуры skip-gram так и CBOW. Читать далее
[Перевод] Идиоматическая обработка ошибок в Rust Вы забудете о необработанных исключениях, если научитесь обращаться с ошибками, как это принято в Rust Обработка ошибок – важнейшая часть любого языка программирования, а в Rust предлагается для этого уникальный мощный подход. Rust, в отличие от многих других языков программ...
Эффективное использование журнала регистрации и технологического журнала 1С в решении вопросов производительности Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).Напомню, что ЖР логирует действия пользователей — кто,...
И снова про SIEM Решение класса SIEM уже давно стали неотъемлемой частью любой серьезной системы информационной безопасности. В этой статье мы поговорим о том, что такое SIEM, для чего они предназначены и как можно использовать решения с открытым исходным кодом.Итак, SIEM (Security informati...
Подглядывание в A/B тестах: как не потерять достоверность данных Привет, Хабр!A/B тестирование позволяет принимать обоснованные решения о том, какие функции или изменения наилучшим образом способствуют улучшению пользовательского опыта и повышению конверсии. Однако, несмотря на кажущуюся простоту проведения таких экспериментов, существует...
Оценка вооружения отечественных БМП: достоинства и недостатки модели БМП-2 В статье рассматриваются преимущества и недостатки данной модели вооружения, ее технические особенности и сравнение с аналогичными зарубежными разработками.
Обзор библиотеки drake в R Drake предлагает систематический подход к построению и управлению зависимостями в проектах, автоматизируя процесс обработки данных и анализа. С помощью drake можно отслеживать изменения в коде и данных, автоматически перезапуская только те части анализа, которые были изменен...
SALMONN — универсальная модель для всех типов аудиоданных Человек без труда воспринимает речь на фоне тихой музыки и звуков окружающей среды. Более того, прямо во время разговора он может мысленно подпевать и реагировать на звуки. До недавнего времени нейросети так не умели. Одни были заточены на распознавание речи, другие — на обр...
Методика нахождения потерь в обмотке дросселя вследствиe скин-эффекта и эффекта близости При расчетах трансформаторов и дросселей в силовой электронике очень часто сталкиваешься с необходимостью нахождения потерь в данных элементах и зачастую используются в основном только омические, разработчики 1часто забывают о потерях при поверхностной проводимости, потеря...
[Перевод] GPU-вычисления в браузере на скорости нативного приложения: марширующие кубы на WebGPU WebGPU — это мощный GPU-API для веба, поддерживает продвинутые рендеринговые конвейеры и вычислительные конвейеры GPU. WebGPU ключевым образом отличается от WebGL своей поддержкой вычислительных шейдеров и буферов хранения данных. В WebGL такие возможности отсутствуют, а Web...
[Перевод] 13 конфигураций Kubernetes, которые ты должен знать в 2k24 Поскольку Kubernetes продолжает оставаться краеугольным камнем оркестрации контейнеров, освоение его механизмов и возможностей становится обязательным для специалистов DevOps. В 2024 году некоторые конфигурации Kubernetes выделяются среди прочих благодаря функциональности в ...
Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...
Практика измерения коэффициента шума при помощи анализатора спектра. Заметки и наблюдения Одним из показателей качества аналогового тракта приемника является коэффициент шума (КШ). Чем он меньше, тем меньше дополнительных шумов вносит аналоговый тракт в сигнал, поступающий на его вход. Выбор устройств с низким КШ может позволить увеличить дальность или скорость п...
Применение алгебраических типов данных для моделирования ошибок и сообщений в журнале В функциональном программировании широко используются так называемые алгебраические типы данных. Такие данные формируются из более простых типов с использованием всего двух операций — "суммы" и "произведения". Использование таких математических операций о...
Делегаты и с чем их едят Делегат, по сути, это ссылка на метод. Техническим языком, это типобезопасный указатель на функцию. То есть делегат хранит адрес метода, позволяя нам вызвать этот метод без необходимости вызывать его напрямую.Определение: Делегат - это переменная ссылочного типа, которая мож...
Расслоение Хопфа и квантовая механика В математике существует очень интересная тема, которая носит название "расслоение Хопфа". В 1931 году Хайнц Хопф опубликовал свою работу об открытой им в топологии конструкции, получившей в истории название "Hopf fibration" - расслоение Хопфа. Суть этой конструкции, была о...
Оптимален ли блокчейн для хранения идентификационных данных? Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изучен...
[Перевод] Особенности кодировки строк в Base64 в JavaScript Кодировка (encoding) и декодирование (decoding) в Base64 — распространенный способ преобразования двоичных данных в безопасный текст. Он часто используется в Data URL, таких как встроенные (inline) изображения. Прим. пер.: с помощью data URL можно решить проблему (ошибку) ...
Начинаем продолжать: обработка исходников с помощью ИИ в оффлайне В этой статье я расскажу про расширение «Continue» для VSCode, помогающее обрабатывать исходные коды и просто текст любым ИИ, в том числе бесплатным и запущенным локально; а так же покажу, что умеет делать локальный вариант ИИ уже сейчас. Читать далее
Beeline Cloud представляет новое решение Data Platform Beeline Cloud объявляет о запуске новой облачной платформы хранения и обработки данных Data Platform, предлагающей эффективное управление данными любого типа.
SK Hynix разрабатывает первый твердотельный накопитель емкостью 300 ТБ Некоторые из лучших твердотельных накопителей, которые мы используем, обычно имеют емкость 1 или 2 ТБ, но потребительские модели достигают 8 ТБ, что в контексте центра обработки данных - ничто, и последний анонс SK Hynix показывает это в перспективе.
Книга «Объектно-ориентированный Python, 4-е изд.» Привет, Хаброжители! Глубоко погрузитесь в различные аспекты объектно-ориентированного программирования на Python, паттерны проектирования, приемы манипулирования данными и вопросы тестирования сложных объектно-ориентированных систем. Обсуждение всех понятий подкрепляетс...
Отправка и обработка HTTP запросов в PostgreSQL Эта статья о том как отправлять и обрабатывать HTTP-запросы непосредственно из/в PostgreSQL. Автор расскажет о том, что такое асинхронное уведомление в PostgreSQL, и наглядно продемонстрирует, как с его помощью можно взаимодействовать с внешними системами из самой СУБД. Чита...
Основы обработки радиолокационных данных дистанционного зондирования Земли В настоящее время все более востребованными становятся данные радиолокационного наблюдения (РЛН) с космических аппаратов дистанционного зондирования Земли. Наблюдая повышенный интерес к этой предметной области с одной стороны и явный недостаток информационных материалов по ...
Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой. С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...
Безопасный Continuous Deployment БД по принципам DB-First В статье рассматривается Continuous Deployment для БД с бесшовными релизами за счёт обратно-совместимых обновлений и автоматизации проверок совместимости с помощью подхода DB-First. Читать далее
Поток входящих запросов: когда пора менять процесс обработки – на примере запуска первой линии технической поддержки Привет, Хабр! Меня зовут Дима, я руковожу отделом информационных технологий бэк-офиса в “Петрович-Тех”.Представьте: пользователи не могут начать работу в системе. Не испытывают сложности через день или неделю, а прямо на старте не имеют возможности начать пользоваться продук...
Танк Т-50: история создания, особенности и судьба проекта В статье рассматривается история создания, основные характеристики и участь проекта советского легкого танка Т-50. Вы узнаете о сложностях военного времени, особенностях конструкции и причинах прекращения производства данной модели. Мы также расскажем о судьбе оставшихся тан...
Темпоральные типы в PostgreSQL и их использование Меня зовут Фролков Иван, я работаю программистом с 1993 года, и уже восемь лет — в Postgres Professional. Периодически выступаю на конференциях. В этой статье я расскажу вам про темпоральные типы данных в PostgreSQL — доклад о них я читал на PGConf.Russia 2022. Почему меня э...
SPARK для «малышей» Примеры кода на Python для работы с Apache Spark для «самых маленьких» (и немного «картинок»).Данная статья представляет собой обзор основных функций Apache Spark и рассматривает способы их применения в реальных задачах обработки данных. Apache Spark — это мощная и гибкая си...
Обзор параллельных режимов работы хэш-функций С каждым днем, по мере роста объема обрабатываемых данных, становится все более важным использование эффективных методов обработки. Особенно значимым является внедрение параллельных вычислительных архитектур для достижения высокой производительности. Однако многие стандартны...
Рулим запуском Spark-приложений в Airflow с помощью самописного оператора Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с пробл...
Шардирование: с нуля до Яндекс Диска Меня зовут Андрей Колнооченко. Я отвечаю за ядро файловой системы Яндекс Диска. Когда мы запускали сервис, то сразу ориентировались на рост и приняли решение шардировать базу метаданных о файлах. Но за 11 лет Яндекс Диск настолько вырос, что нам пришлось трижды менять подход...
О функциональном программировании на примере решения судоку Цель данной статьи - познакомить читателя с основными идеями функционального программирования на примере программы для решения судоку. Статья рассчитана на тех, кто не знаком с функциональным программированием, но хотел бы узнать, на что это похоже. Впрочем, опытные программ...
Реализация многофункционального терминального интерфейса для МК AVR В данной статье речь пойдёт о разработке многофункционального терминального интерфейса для МК (на примере МК Atmega32 и терминала HyperTerminal. Многофункциональность в моём случае будет заключаться в обработке управляющих символов и управляющих последовательностей с целью р...
В России предложили решение проблемы утилизации промышленных отходов спирта Ученые из Омского государственного технического университета (ОмГТУ) предложили новый способ обработки промышленных отходов, связанных с производством этилового спирта. Их исследование направлено на утилизацию спиртовой барды, побочного продукта производства спирта из з...
Оптимизация Скорости и Доступности с помощью Сети Доставки Контента (CDN) в Microsoft Azure Привет Хабр!В мире быстро развивающихся технологий быстродействие и доступность играют ключевую роль в обеспечении удовлетворения потребностей пользователей. В этой эпохе, где каждая миллисекунда имеет значение, использование современных инструментов для оптимизации скорости...
Продюсеры и консьюмеры с Apache Kafka в Python Салют, Хабр!Apache Kafka - это распределенная платформа потоковой обработки, предназначенная для построения систем обработки данных. Kafka позволяет публиковать, подписываться, хранить и обрабатывать потоки данных в реальном времени. Все это дает нам очень высокую пропускную...
ASUS представила решения для центров обработки данных на базе NVIDIA MGX Компания ASUS представила свои решения на базе модульной архитектуры NVIDIA MGX, которые позволяют ускорить супервычисления в области ИИ.
Microsoft собирается использовать ядерную энергию для ИИ Ядерная энергия — это лучший по мнению руководства компании способ получать энергию для работы центров обработки данных Microsoft и проектов искусственного интеллекта. Читать полную статью
Microsoft работает над чат-ботом Xbox с искусственным интеллектом Microsoft тестирует нового чат-бота Xbox на базе искусственного интеллекта, который призван автоматизировать задачи службы поддержки. Об этом сообщает портал The Verge со ссылкой на собственные источники. Чат-бот Xbox Support Virtual Agent представляет собой анимированного ...
VK запустила решение для гибридной обработки данных в режиме реального времени Tarantool Column Store помогает бизнесу работать с финансовыми и производственными данными, консолидировать и ускорять их
Танк Covenanter: между мифом и реальностью В данной статье рассматривается история создания, технические характеристики и боевое применение английского крейсерского танка Cruiser Tank Mk.V, также известного под названием Covenanter. Описываются причины, по которым данный танк считается одним из самых неудачных проект...
Танк Covenanter: между мифом и реальностью В данной статье рассматривается история создания, технические характеристики и боевое применение английского крейсерского танка Cruiser Tank Mk.V, также известного под названием Covenanter. Описываются причины, по которым данный танк считается одним из самых неудачных проект...
[Перевод] Краткий обзор техник векторизации в NLP Как переводчик-редактор, я интересуюсь темой NLP и автоматизации рутины бюро переводов. Изучая вопрос того, как смысл слов превращается в векторы, наткнулся на эту обзорную статью. Статья мне показалась изложенной доступно, поэтому я перевел ее для удобства других коллег. Ра...
Symfony под капотом: Symfony Messenger и механизм повторной обработки сообщений при ошибках Привет! Меня зовут Ваня, последние несколько лет я занимаюсь backend-разработкой в Сравни. Моя команда разрабатывает интеграции с сервисами наших партнёров, код пишем на PHP и Symfony Framework.При работе с интеграциями мы часто имеем дело со сбоями в сторонних сервисах, и н...
Пингвин расставил сети: работа сети в Linux Всем привет! С вами снова я, Аргентум! Сегодня я продолжу нашу серию статей об ядре Linux.В этой статье мы будем изучать способ организации сети в мире серверов и то, как она эволюционировала от использования традиционного сетевого стека ядра Linux к виртуализации сети с исп...
Функциональный Rijndael Rijndael (авторы Vincent Rijmen, Joan Daemen) - алгоритм, признанный стандартом шифрования в 2001 году, ныне называемый AES (Advanced Encryption Standard).Материалов про AES много, и я сразу выделю отличие этой статьи от других:• приведена реализация шифра в функциональной п...
Японские производители автомобилей протестируют центр обработки данных на топливных элементах Компании будут работать над разработкой электростанции, используя топливные элементы, снятые со своих электромобилей
На что способны виртуальные потоки Java в обработке файлов Привет, Хабр!ПредисловиеНачнем с того,что я не специалист по Java и у меня нет коммерческого опыта на этом языке. Я просто обычный кодер, который по вечерам пилит проекты на Java, а основной мой стек состоит из PHP и смеси Python + Go. В данной статье хочу с вами поделиться ...
Java Unsafe API для низкоуровневого манипулирования памятью Привет, Хабр!Иногда приходится сталкиваться с задачами, которые требуют выхода за рамки стандартных абстракций и безопасности Java. Мы ищем способы оптимизации, решения проблем производительности, или, возможно, просто хотим расширить свой кругозор в Java. Для таких случаев ...
Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...
Как использовать Spring в качестве фреймворка для Flink-приложений Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в наши продукты в цикле статей. В ...
Интерфейсы для конструкторов в Dart Реализация паттерна создания интерфейса для конструкторов и статических атрибутов в Dart.По умолчанию, Dart запрещает создавать контракты для статических интерфейсов классов. В статье рассматриваются причины и возможные решения проблемы. Читать далее
Сказание о static и неименованном пространстве имен для функции в C++ Команда разработчиков получила от руководства задание срочно написать приложение для обработки пользовательских данных. Руководитель быстро декомпозировал задачу на две и поручил одной команде сделать модуль подготовки данных, а другой - реализовать сами расчеты.// Все персо...
Ищем Арнольда Шварценеггера среди мужчин, женщин и детей с помощью нейросети на С++ Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-с...
Криптографически стойкие генераторы псевдослучайных чисел Статья посвящена обзору криптографически стойких генераторов псевдослучайных чисел (CSPRNG), ключевого элемента в обеспечении безопасности криптографических систем. Рассматриваются различные виды криптографически стойких генераторов псевдослучайных чисел, проведено их сравн...
Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя реш...
Обзор синтаксиса Tailwind CSS Салют, Хабр!Tailwind CSS – это utility-first CSS фреймворк, который отличается от традиционных CSS фреймворков вроде Bootstrap или Foundation тем, что вместо предопределенных компонентов предлагает набор utility-классов, позволяющих стилизовать элементы прямо в HTML.Utility-...
Серверные в США стали переходить на питание углём Бурно развивающаяся в Вирджинии индустрия центров обработки данных, отвечающая за обработку почти 70% цифрового трафика, столкнулась с серьезным препятствием: электроэнергией. Огромные потребности в энергии грозят перегрузить электросеть, что вынуждает обратиться к спорному ...
Работа с хранилищами в Kubernetes: руководство для инженеров Как DevOps-инженер я часто сталкиваюсь с необходимостью глубокого понимания тонких аспектов Kubernetes. Одним из таких ключевых элементов является управление хранилищем данных. Хотя этот элемент иногда остаётся в тени других задач, его важность для успешного развёртывания ...
Apple и тут пойдёт своим путём. Все функции искусственного интеллекта в iOS 18 будут обрабатываться непосредственно на смартфоне Похоже, подход Apple к искусственному интеллекту на смартфонах будет отличаться от такового у конкурентов. Как сообщается, вся обработка данных для работы таких функций будет происходить непосредственно на смартфоне. создано DALL-E Согласно данным журналиста Bloo...
Ученые нашли способ удвоить мощность ПК без добавления нового железа Исследователи предложили концепцию SHMT, которая может удвоить скорость обработки данных на компьютерах за счет программной оптимизации параллельных вычислений.
VK запустила решение для гибридной обработки данных в режиме реального времени Решение мгновенно анализирует наиболее актуальную информацию о транзакциях и уменьшает затраты на перенос массивов в хранилище.
Российские учёные «научили» ИИ самостоятельно готовить данные для обучения Российские программисты добавили нейросети функцию обработки данных для самообучения
Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...
[recovery mode] Android-приложение на Compose с нуля: Часть 2 (UI) Здравствуй, дорогой читатель!В статье рассматривается поэтапная разработка дизайн-системы и UI для Android-приложения "Калькулятор", используя библиотеку Jetpack Compose. Начнём с создания проекта и закончим запуском приложения на эмуляторе.Ссылка на репозиторий Читать далее
Async iterator timeout в Python Представим следующую задачу: у нас есть микросервисная архитектура, в которой сервисы взаимодействуют через брокер сообщений, или через gRPC. Так или иначе, оба варианта предоставляют полнодуплексный канал связи, через который один сервис может отправлять множество сообщений...
[Перевод] Извлечение текста из файлов PDF при помощи Python ▍ Введение В эпоху больших языковых моделей (Large Language Model, LLM) и постоянно расширяющейся сферы их применений непрерывно растёт и важность текстовых данных. Существует множество типов документов, содержащих подобные виды неструктурированной информации, от веб-стате...
DLP: предотвращаем утечки Утечки данных являются одной из главных проблем современного мира ИТ. Персональные данные, конфиденциальная информация, коммерческая тайна а иногда и что-то более секретное периодически у кого-нибудь утекает и всплывает на просторах Даркнета, телеграмм каналах для пробива и ...
Контекст в Vue/Nuxt: осознать, не терять и беречь В процессе нашей миграции на Nuxt CAPI, а потом и Nuxt 3, я очень много переосмыслял работу с контекстом как в Vue, так и в Nuxt. Как он сохраняется, на что влияет, и как можем повлиять мы. В какой-то момент я понял, что по данной тематике крайне мало публикаций, а большинст...
Фильтры Ansible: превращаем сложное в простое Используя Ansible в качестве инструмента автоматизации, часть приходится сталкиваться с задачей обработки и фильтрации структурированных данных. Как правило, это набор фактов, полученных с управляемых серверов, или ответ на запрос к внешним API, которые возвращают данные в в...
Сонары, роботы и чем флейта лучше гитары Несколько лет назад мне довелось посетить университет Харви-Мадд, в котором работали Дэвид Харрис и Сара Харрис, авторы известного учебника "Цифровая схемотехника и архитектура компьютера". Cлучайно зашел в комнату, в которой сидела группа студентов и лежало нечто, напоминаю...
Детектирование атак на контейнеры с помощью eBPF Привет, Хабр!Меня зовут Илья Зимин, я аналитик-исследователь угроз в компании R-Vision. Сегодня в статье я расскажу о возможностях обнаружения атак на контейнеризированные приложения с помощью такого инструмента, как eBPF, на примере приемов, связанных с побегом из Docker-ко...
Возможное решение проблемы ссылок в языках программирования Любому программисту знакомо понятие "ссылка". Под этим термином обычно понимают небольшой объект, главная задача которого обеспечить доступ к другому объекту, физически расположенному в другом месте. Из-за этого ссылки удобно использовать, они легко копируются, и ...
Свертка Сверточные нейронные сети (CNN) являются мощным классом глубоких нейронных сетей, которые широко применяются в обработке изображений, распознавании образов, компьютерном зрении и других задачах, связанных с анализом визуальных данных. Читать далее
Samsung выпустила первое обновление прошивки для Galaxy S24, Galaxy S24 Plus и Galaxy S24 Ultra Данное обновление исправляет проблемы с цветопередачей дисплеев смартфонов при переходе в режим повышенной контрастности, а также устраняет нестабильность в работе алгоритмов, предназначенных для обработки изображений.
[Перевод] Мега-Учебник Flask Глава 7: Обработка ошибок (издание 2024) Это седьмая часть серии мега-учебника Flask, в которой я собираюсь рассказать вам, как выполнять обработку ошибок в приложении Flask. Начать изучение
Бесшовность 2.0: как работает шардирование в Сбере Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостнос...
Celery: изучаем на реальных примерах ч.1 Лучший способ что-то понять - попробовать на практике, а лучшая практика - это реальные примеры. В этой статье мы узнаем шесть основных сценариев использования Celery. Разберем основные методы и аргументы, которые точно пригодятся. От асинхронной обработки задач до управлени...
Разработка высокопроизводительного кеш-слоя на основе Redis в телеграм-боте Мгновенность процессов стала золотым стандартом. Пользователи требуют мгновенных результатов, и телеграм-боты не являются исключением. Без кеширования данных, боты могут столкнуться с серьезными задержками при обработке запросов. Кеш-слои в теботах - это ключевой инструмент,...
Компания Supermicro представила решение хранилища данных ИИ Supermicro, Inc., производитель полных ИТ-решений для ИИ, облачных систем, хранилищ данных и 5G/Edge, начинает выпуск полного оптимизированного решения хранилища данных для конвейеров обработки массивов данных ИИ и машинного обучения, от сбора данных до высокопроизводительно...
[Перевод] Почему B-деревья быстрые? B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, ...
Введение в Apache Flink: осваиваем фреймворк на реальных примерах Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет ...
[Перевод] Terraform для инженерии данных Если перед нами стоит задача построить надёжную платформу для работы с данными, то для неё требуется предусмотреть множество компонентов: инструменты, логику обработки данных, методологии, архитектуру и инфраструктуру. Что касается инфраструктуры, здесь есть самые разные ва...
[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...
Preligens представляет новое решение на базе ИИ для обработки спутниковых изображений Французская компания Preligens предлагает использование алгоритмов ИИ для обнаружения военной техники и контроля представляющих интерес объектов по спутниковым фотографиям.
Open Source спутниковая интерферометрия PyGMTSAR (Python InSAR) С тех пор, как я рассказывал на хабре про мой открытый проект спутниковой интерферометрии PyGMTSAR (Python InSAR библиотека) для обработки и анализа радарных данных спутников Sentinel-1, прошло много времени и сегодня PyGMTSAR представляет собой наиболее мощный инструмент ср...
Революция в цифровой инфраструктуре: контейнерные центры обработки данных (КЦОД) Приветствую всех! Я Геннадий Гужов, студент Высшей школы экономики и продакт-менеджер в компании "Солдвиг", специализирующейся на контейнерных дата-центрах. В этой статье я расскажу о контейнерных дата-центрах: что они из себя представляют, из чего состоят и какие преимущест...
Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...
Как обнаружить галлюцинации в LLM? LLM продолжают свое пребывание в центре технологических дискуссий. Они трансформируют наши взаимодействия с технологиями, поскольку предоставляют возможность усовершенствованной работы в обработке и генерации текстов. Однако и упомянутые модели не идеальны, так как одна из и...
Стартап Blaize привлёк $106 млн для своих ИИ-чипов Blaize Inc., перспективная компания в области разработки чипов искусственного интеллекта, совершила значительный прорыв, привлекая $106 000 000 финансирования. Это событие произошло менее чем через полгода после объявления Blaize о планах выхода на биржу через слияние с...
Полное краткое руководство по grammY — JS-библиотеке для создания Telegram-ботов Привет! Меня зовут Арсений, я сеньор фронтенд-разработчик. В этой статье хочу рассказать про основные механизмы библиотеки grammY и разобрать стартовый набор файлов бота, обработку ошибок, виды обработчиков событий, контекст обновлений, работу с разными видами клавиатур и м...
Представлен жёсткий диск Seagate Exos емкостью 30 ТБ с технологией Mozaic 3+. На подходе модели 50 ТБ+ Seagate представители новый жесткий диск Exos емкостью 30 ТБ, использующий собственную технологию Mozaic 3+. Exos 30 TB — это устройство корпоративного уровня, Ключ к такой высокой плотности лежит в нескольких технологических достижениях. Mozaic 3+ заменяет традиц...
Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...
Как использовать html-элемент <dialog>? Привет, Хабр! Меня зовут Александр Григоренко, я фронтенд-разработчик. В основном, занимаюсь разработкой приложений на React, но также постоянно экспериментирую с различными технологиями.В своей работе я часто создаю собственные или использую уже готовые UI-компоненты. Пробл...
Рыночные данные в кармане: как получать их быстро и просто с помощью Java/Kotlin и Spring Boot + TinkoffApi Если вы хотите написать проект, связанный с рыночными данными или торговлей на бирже, и вы знакомы с Java или Kotlin и слышали про Spring Boot, то эта статья для вас Читать далее
Microsoft уверена, что устройства на базе Windows on ARM смогут превзойти решения Apple На протяжении многих лет Qualcomm не удавалось создать по-настоящему мощный ARM-процессор для настольных компьютеров, который жизненно необходим для успеха Windows on ARM. За это время Apple успела выпустить несколько поколений устройств на ARM-процессорах собственной разра...
VK Cloud запустили облачный сервис Cloud Kafka для сбора и обработки потоков данных Облачная платформа VK Cloud запустила сервис Cloud Kafka — решение на базе технологий с открытым исходным кодом Apache Kafka и Kubernetes.
SUNON предложила жидкостное охлаждение DLC для центров обработки данных SUNON: инновационные решения жидкостного охлаждения для современных центров обработки данных
Идеальный отзыв (UGC) Я взяла цитату из комментария к своей предыдущей статье @newintellimouse для того, чтобы порассуждать об идеальном пользовательском контенте. Также на создание статьи меня натолкнула мысль моего коллеги аналитика Никиты Сушкова о том, что один из трендов в обработке пользов...
Книги, специализированные Книги по теме: Астрономия, Вычислительная геометрия, Обработка естественного языка, Искусственный интеллект Читать далее
Ученые разработали чип для телекоммуникаций и искусственного интеллекта Команда из Лаборатории фотоники (PRL)-iTEAM Политехнического университета де Валенсии и компании iPRONICS создали чип для телекоммуникаций, центров обработки данных и инфраструктуры, связанной с системами искусственного интеллекта. Этот чип является первым универсальным, про...
Приглашаем на Ozon Tech Community BI Meetup Всем привет!Меня зовут Дмитрий, я руководитель группы разработки инструментов BI. Стоит ли говорить, что данные вокруг нас и, если мы не умеем с ними работать, то мы не можем функционировать как бизнес вообще? Наша команда платформы данных старается обуздать десятки пет...
Побит новый рекорд емкости HDD. 30 ТБ и 400 градусов Цельсия внутри Многие задаются вопросом, как хранить данные дома или на работе. Надо же не только установить систему на жесткий диск, но еще куда-то сложить несколько сезонов любимого сериала, фотографии друзей и родных, видео с котиками, да и для игр тоже нужно много места. А если вы рабо...
Rostic’s будет создавать нейросети и анализировать данные на платформе Yandex Cloud Сеть ресторанов быстрого обслуживания Rostic’s перевела обработку больших данных на платформу Yandex Cloud.
SASE — 5 элементов будущего облачных вычислений Как обычно организована безопасность информационной инфраструктуры предприятия? В традиционной схеме все функции контроля доступа, аутентификации и фильтрации трафика сосредоточены в центре обработки данных, к которому удаленные пользователи и филиалы подключаются с помощь...
Как быстро интегрировать Систему быстрых платежей (СБП) в приложение на Flutter Всем привет! Меня зовут Мурат Насиров, я Flutter-разработчик в Friflex. Мы разрабатываем мобильные приложения и специализируемся на решениях для ритейла. На одном из наших проектов мне пришлось столкнуться с внедрением кнопки оплаты через Систему Быстрых Платежей (СБП). В эт...
[Перевод] Частичная агрегация В нескольких предыдущих статьях обсуждалось, как в SQL Server реализована агрегация, были рассмотрены операторы агрегирования потока и хеш-агрегат. Я также использовал хеш-агрегат в качестве примера в статье Введение в распараллеливание исполнения за...
TechCrunch: Скомпрометированы данные миллионов пользователей Facebook, Google, WhatsApp и TikTok Утечка данных в компании по обработке SMS оставила миллионы пользователей Facebook, Google, WhatsApp и TikTok уязвимыми перед хакерами.
Параллельное выполнение в R Привет, Хабр!Параллельные вычисления – подход к проектированию и выполнению программ, который позволяет ускорить обработку данных и вычисления, используя множество процессоров или ядер процессора одновременно. В ЯП R паралельное выполнение также имеет свои варианты реализаци...
В России создали подразделение «санитарной обработки населения» на базе МЧС В России создали подразделение «санитарной обработки населения» на базе Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий (МЧС), данный указ был подписан Премьер-министром России Михаилом Мишуст...
MWC 2024 | Huawei и The Tolly Group тестируют решение для автономных сетей ЦОД L4 На карнавале Huawei IP Club, состоявшемся в рамках Международной выставки мобильных технологий MWC 2024 в Барселоне, Huawei и The Tolly Group представили отчет об испытаниях решения для автономно управляемых сетей уровня 4 (L4) центров обработки данных (ЦОД). Отчет показывае...
Ленивые бесконечные списки на основе Deferrable Views При создании удобных и отзывчивых интерфейсов часто возникает ситуация, когда нужно иметь дело с большими коллекциями элементов. Один из способов организации списков – бесконечный просмотр, но данный способ скрывает в себе ряд технических сложностей.В статье рассмотрим, ка...
Работа с очередями в RabbitMQ на основе EAV-модели: превращаем плоское в реалистичное Мы добавили реалистичные дороги в навигатор 2ГИС. Теперь дорожное покрытие, разметка, объёмные развязки, съезды, островки безопасности и опоры на многоуровневых дорогах выглядят как в жизни. Под капотом — решение задачи по превращению «плоской» геометрии в объекты с реалисти...
Hippotable — анализ данных прямо в браузере Сегодня я расскажу про hippotable — удобный инструмент для анализа данных. Мне часто нужно поковыряться в датасете среднего размера (1–100 Мб), чтобы ответить на довольно простые вопросы. Ни один из существующих инструментов (bash, google sheets, jupyter + pandas) не показал...
[Перевод] Как утереть нос NumPy с помощью двумерного БПФ Двумерное преобразование Фурье — один из важнейших алгоритмов компьютерной науки этого столетия. Он нашел широкое применение в нашей повседневной жизни — от фильтров Instagram до обработки MP3-файлов.Наиболее частой реализацией, используемой рядовым пользователем, иногда даж...
Как обновление BIOS может повысить производительность процессоров Intel Core 14 (non-K) и снизить их температуру Сегодня, когда вычислительная мощность процессоров уже не растет семимильными шагами, как раньше, все стремятся выжимать ее из своих сборок по максимуму любыми возможными способами. Особенно это касается новейших решений, от которых ждешь наивысшей скорости обработки данных ...
Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще Привет Хабр! В этой статье мы рассмотрим некоторые полезные библиотеки Python для задач обработки данных, с которыми, возможно, вы еще не знакомы. Хотя для задач машинного обучения на ум приходят такие библиотеки, как pandas, numpy, scikit-learn, keras, tensorflow, matplotli...
Tesla договорилась о запуске FSD в Китае, обеспечив обработку данных пользователей на территории страны Ничего пересылать в США не потребуется.
Оцифровка звука FPGA платой MCY316 Вот уже почти закончился сентябрь. Студенты уже давно вернулись за парты и учатся. Многие начали изучать цифровую обработку сигналов. А как известно, лучше предмет пощупать один раз своими руками, чем десять раз прочитать о нём в учебнике. В этой статье я расскажу о захва...
Apple заставят через суд открыть выбор приложений для NFC-оплаты Apple столкнулась с частичной неудачей, поскольку судья Северного округа Калифорнии Джеффри Уайт отклонил часть просьбы компании о прекращении рассмотрения федерального коллективного иска, связанного с Apple Pay. Три кредитных союза утверждали, что Apple нарушила антимонопол...
В Galaxy Note 9 добавили прошивку с функциями искусственного интеллекта Речь идёт о таких функциях, как интеллектуальная обработка изображений, живой перевод текстов, распознавание объектов на фото и многое другое.
SFC Vue3 Компоненты в Bitrix, с использованием Composition API, без сборщиков, без CDN и NPM пакетов В данной статье будет показана нестандартная реализация компонентов Vue + Bitrix, которую вряд ли кто то видел и использовал.Без NPM, без сборщиков и без костылей. Все "нативными" средствами Читать далее
Программист мало пишет, но много читает Здравствуйте, меня зовут Александр, я backend-разработчик. Цель данной публикации – проанализировать затраты времени при разработке приложений. Расчеты приведены на основе web приложений на языке Python. Так же не рассматривается ситуация разработки MVP для получения различн...
Особенности учёта в базе потерь событий операционного риска, связанных с кредитным риском В каких случаях можно исключать потери из расчёта КВП и как установить связь конкретной ссуды с операционным риском? С какими ещё подводными камнями может столкнуться банк при учёте событий оперриска? Об этом — в статье Вадима Ситосенко, начальника департамента операц...
IBM представила новую платформу IBM LinuxONE 4 Express Она обеспечивает масштабируемость, доступность и безопасность для различных центров обработки данных
NVIDIA и HP представили библиотеки обработки данных NVIDIA CUDA-X NVIDIA и HP представили библиотеки обработки данных NVIDIA CUDA-X, которые будут интегрированы в рабочие станции HP AI, для ускорения подготовки и обработки данных
Intel назначила Джастина Хотарда руководителем группы ЦОД и ИИ Intel назначила Джастина Хотарда руководителем группы центров обработки данных и искусственного интеллекта
Qucs-S: руководство по видам моделирования, часть 1 Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан на С++ с использованием набора библиотек Qt. О данной программе рассказывают мои предыдущие статьи. Для работы Qucs-S...
[Перевод] Data Mesh – ячеистые топологии для работы с данными Из каких соображений можно хранить данные в виде ячеистой сети Во всех организациях, где мне доводилось работать, всегда понимали важность данных. Поэтому я видел, что руководство либо заинтересовано, либо прямо планирует создать платформу нового поколения для обращения с ...
Apache Flink: динамическое определение выходного топика в Kafka Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей статье — «Apac...
Народные 200 Мп начали снимать лучше. Redmi Note 13 Pro+ получил поддержку технологий Samsung ISOCELL Zoom Anyplace и AI Remosaic – примеры фото Redmi сегодня сообщила о том, что 200-мегапиксельный Redmi Note 13 Pro+ получил поддержку фирменных технологий Samsung по улучшению качества фото и видео (напомним, в Redmi Note 13 Pro+ установлен 200-мегапиксельный сенсор Samsung S5KHP3). Технология AI Remosaic позвол...
Обработка данных для RAG-систем Всем привет, меня зовут Андрей Шахов, я Python-разработчик и Lead Backend Developer в wpp.digital. ML-направлением, а точнее LLM в компании я начал заниматься только в конце 2023 года. Сейчас на задачи подобного рода у меня уходит примерно 40% рабочего времени.Решил начать п...
Pixel 8 Pro снимает видео, а затем искусственный интеллект в ЦОД Google его улучшает. Представлена функция Video Boost Компания Google представила сегодня свои новые смартфоны Pixel 8 и Pixel 8 Pro, но, как обычно, интересны не только сами аппараты, но и программные решения. Одно из них — Video Boost. Эта функция стоит отдельного внимания, так как она и реализована необычно...
Исследование звука: удаление шумов Обработка звука - это процесс исследования динамической/статической звуковой дорожки при помощи применения определенного набора линейных и нелинейных алгоритмов с целью получения необходимой информации. Алгоритмы динамической обработки звука работают с потоковым аудио, ...
Tilda и чат-бот: пример интеграции Привет, друзья! Сегодня мы поговорим о том, как добиться эффективной обработки заказов, оформленных на сайте стандартного интернет-магазина на Tilda. Я на примере своего проекта (интернет-магазин карликовых кроликов) расскажу, почему менеджерам неудобно работать с заяв...
Google представил процессоры Axion на базе Arm для мощных центров обработки данных Специализированные процессоры Axion оптимизированны для задач облачных вычислений.
VK представляет новаторскую систему Tarantool Column Store для обработки данных в реальном времени VK запустила Tarantool Column Store, инновационную систему для мгновенной обработки и анализа данных в реальном времени.
NVIDIA планирует ежегодно внедрять новые архитектуры в сегменте центров обработки данных Компания переходит на One-Year Rhythm.
Google представляет специальные процессоры на базе Arm для центров обработки данных Процессоры Axion обещают лучшую в отрасли производительность и энергоэффективность.
Go на митап: обсудим sync.Pool, свой mini-k8s, паттерны и сообщения об ошибках 28 марта встречаемся на митапе по Go-разработке с инженерами из команд систем хранения данных и телекома YADRO, а также разработчиками из VK и AvitoTech. Эксперты расскажут, как: — снизить нагрузку на сборщик мусора,— сделать свой mini‑k8s,— написать библиотеку для...
Хакеры нацелились на Kodex: она проверяет запросы полиции на данные IT-гигантов Хакеры атаковали учетные записи на платформе Kodex, предназначенной для обработки запросов на получение экстренных данных (EDR) между правоохранительными органами и технологическими компаниями, говорится в разговорах между киберпреступниками, изученных 404 Media.
Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.
Как на стоимость брендов влияет утечка информации? Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое друго...
Страна-датацентр: корабль с 10 000 Nvidia H100 хочет стать убежищем для разработчиков ИИ. Но всё ли то, чем кажется? Весь мир говорит о стране-датацентре Del Complex. Которая будет плавать по международным водам на корабле с 10 000 GPU Nvidia. И без привязки к законам конкретного государства обеспечивать хранение и обработку глобальных данных.Новость об этом уже появилась на тысячах сайтов...
Go: передача значений VS передача указателей Go - один из немногих языков, в которых структуры можно передавать параметрами и возвращать из функций как по значению, так и по указателю. Это приводит к большей выразительности языка, но также разделяет общество разработчиков Go на два лагеря: сторонников указателей и стор...
Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM) На сегодняшний день градиентный бустинг (gradient boosting machine) является одним из основных production-решений при работе с табличными, неоднородными данными, поскольку обладает высокой производительностью и точностью, а если быть точнее, то его модификации, речь о которы...
16-, 8- и 4-битные форматы чисел с плавающей запятой Уже лет 50, со времён выхода первого издания «Языка программирования Си» Кернигана и Ритчи, известно, что «числа с плавающей запятой» одинарной точности имеют размер 32 бита, а числа двойной точности — 64 бита. Существуют ещё и 80-битные числа расшир...
Китай строит первый в мире коммерческий подводный рекламный центр Китай строит первый в мире коммерческий подводный центр обработки данных у побережья Саньи в провинции Хайнань.
Sapeon разработала новый полупроводник без памяти для обработки центров данных Sapeon X330 начнет массово производиться в первой половине 2024 года
Microsoft и OpenAI планируют построить суперкомпьютер стоимостью до $100 млрд к 2028 году Крупнейший в мире центр обработки данных ИИ с кодовым названием "Stargate" запустят к 2028 году в США.
Microsoft планирует использовать тепло своего ЦОД для обогрева 6000 домов в Дании Microsoft планирует использовать отработанное тепло из своего датского центра обработки данных для обогрева до 6 000 домов
ИИ оказался способен предсказывать события вашей жизни: от личности до времени смерти Искусственный интеллект вышел за рамки обработки языка и стал предсказывать мельчайшие детали человеческой жизни. Модель life2vec, разработанная исследователями из DTU, Копенгагенского университета, ITU и Северо-Восточного университета и обученная на огромных массивах данных...
Financial Times: Запад не планирует полную конфискацию активов России Вместо этого рассматриваются способы получить средства с активов, которые можно направить на помощь Украине.
Готовим драйвера МК для проброса периферии В предыдущей статье рассматривался принцип, как можно прокинуть периферию микроконтроллера (UART, I2C, CAN bus etc) в обычную ПК программу, так как если бы она входила в состав нашего компьютера и висела на обшей шине с памятью. В той публикации рассматривается теория и инст...
Как работает дедупликация данных в потоке Kafka-to-Kafka? Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей части «Как исп...
Представлен универсальный процессор X-Silicon CPU/GPU, ядро которого может выполнять любые задачи Компания X-Silicon представила открытую архитектуру C-GPU, которая сочетает процессорное ядро RISC-V с векторными возможностями и ускорения GPU в одном чипе. создано DALL-E Платформа C-GPU X-Silicon нацелена на такие сегменты, как автомобильный рынок и рынок встр...
Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...
Made at Intel Всем привет. Спешу сообщить, что книжка Made at Intel увидела свет. Она по большей части состоит из обработки одноименного цикла статей на Хабре. Но, также, включает некоторое количество Bonus Tracks.
Михаил Полуэктов: Как мозг использует сны для обработки психотравмирующих событий Сомнолог Михаил Полуэктов объяснил, как мозг использует кошмарные сновидения для обработки и уменьшения болезненности психотравмирующих событий, особенно у детей.
Обеспечение бесперебойной работы ЦОДов. Опыт МКБ Центры обработки данных (ЦОДы) играют ключевую роль в банковской индустрии — они контролируют проведение всех операций, хранят и обрабатывают огромный объем информации: данные клиентов, отчеты и финансовые документы. В 2022 году ...
Получение мостов tor из GMail с помощью Python В предыдущей статье была рассмотрена установка и настройка tor в ОС Linux Mint 21.3, а также были рассмотрены несколько способов получения мостов obfs4 с помощью сайта и телеграмм бота. В комментариях был задан вопрос по пово...
Интероперабельность с нативным кодом через платформу .NET Привет, Хабр!Часто некоторые проекты требуют от нас все более новых подходов к решению задач. Одна из таких задач - эффективное взаимодействие управляемого кода .NET с нативным кодом, которое позволяет по максимуму использовать ресурсы ОС и другого ПО, написанного не на .NET...
F-35, F-22 или NGAD - анализ будущего американской авиации и глобальной стратегии В новой эпохе военной авиации, США сталкиваются с дилеммой: продолжать вкладывать в спорные F-35 и F-22 или же переключиться на обещающий NGAD. В статье рассматривается будущее американских истребителей и возможное влияние на глобальную военную стратегию.
Google разработала новый специализированный процессор Axion на архитектуре Arm Первый ARM-чип от Google для центров обработки данных обещает прирост производительности на 30% по сравнению с ARM-чипами от Amazon и Microsoft.
Он вам не дикарь: найдена сложная обработка дерева ранним 300000-летним человеком Археологические находки из Шёнингенских копий в Германии продолжают переписывать наши представления об изобретательности ранних людей. В месте, известном тем, что там найдено древнейшее из известных сохранившихся охотничьих орудий, обнаружены новые свидетельства сложной техн...
The Times: Великобритания ищет способ обеспечить Киев все необходимым без помощи США Такой вариант рассматривается в случае победы Дональда Трампа на президентских выборах.
Краткий обзор TinyML TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к инт...
[Перевод] Что такое API-шлюзы и Gateway API и почему за ними будущее нативных облачных приложений В этой статье мы рассмотрим, почему API-шлюзы стали ключевым элементом экосистемы современных облачных вычислений и как появление Kubernetes API Gateway упростило и стандартизировало работу с ними. Статья составлена на основе сразу двух англоязычных материалов. В первом...
Как уменьшить вес продуктовой анимации в 400 раз (без AI) Все любят красивую и качественную графику, но обычно такая графика весит много и влечёт проблемы с её добавлением в дистрибутив проекта. А, возможно, и доработки по внешней загрузке или самое частое — сжатие с потерей качества. Каждый дизайнер хоть раз, да говорил «Вот бы мо...
Трансляция графических HANA Calculation View в SQL, или как переехать так, чтобы ничего не поменялось Повинуясь всеобщей тенденции и следуя духу времени, мы в Норникеле переводим расчёты нашего хранилища на уровень БД. Так мы ускоряем обработку данных и формирование отчётности, да и система работает стабильнее. Но пока мы оптимизируем и переносим "классический" код в базу, з...
МЭА ожидает увеличения спроса на электроэнергию в два раза на фоне развития ИИ-технологий По данным Международного энергетического агентства (МЭА), стремительное развитие центров обработки данных для функционирования искусственного интеллекта (ИИ) и криптовалют, увеличит вдвое спрос на электроэнергию для них с 2024 по 2026 год
Велосипедим связанный список на Wolfram Возможно 11 подписчиков моего блога обратили внимание на тот факт, что все мои статьи касаются языка Wolfram, а несколько последних статей вышли довольно громоздкими. Одна из последних статей была помечена Хабром как требующая в среднем 32 минуты на прочтение. Я посчитал, чт...
Где взять коммерческий опыт для первой работы? В мире существует огромное количество онлайн-школ, которые предлагают освоить новую профессию и «войти в IT». Многие ребята, кто стремится изменить жизнь, заканчивают такие школы в надежде быстро устроиться на работу. Но как показывает практика, почти все выпускники сталкива...
HyperLogLog в PostgreSQL HyperLogLog принадлежит к категории вероятностных структур данных, которые позволяют аппроксимировать количество уникальных элементов в больших наборах данных с удивительно низким потреблением памяти. HLL использует логарифмическую память.В PostgreSQL HyperLogLog предоставля...
Детектируем горизонтальное перемещение с WMIExec Привет, Хабр!Ранее мы рассказывали о возможных способах выявления горизонтального перемещения (Lateral Movement) с помощью таких инструментов, как PsExec, SMBExec и AtExec. Сегодня мы продолжим "работать" с данной техникой и рассмотрим еще один инструмент - WMIExec. В статье...
В поисках аномалии: одноклассовая классификация текстов с помощью расхождения Кульбака—Лейблера Привет, Хабр! На связи участница профессионального сообщества NTA Корсакова Елена.Поиск аномалий в корпусе текстов является нетривиальной задачей, особенно если размечен набор данных только с аномальными текстами. При этом различия могут не бросаются в г...
Google представила новую открытую языковую модель искусственного интеллекта под названием Gemma Данная модель будет специализироваться только на обработке текста
Американская компания инвестирует 390 млн долларов в центры обработки данных в Африке Как сообщается, в ближайшие пять лет Equinix Inc. уже построит все необходимые объекты
Центр обработки данных Amazon будет питаться от ядерного реактора напрямую Компания Amazon будет питать свой центр обработки данных энергией, получаемой не из сети, а непосредственно от атомной электростанции.
Assembler для Windows в Visual Studio В этой статье я покажу как написать приложение для windows на ассемблере. В качестве IDE будет привычная многим Visual Studio 2019 со своими привычными плюшками - подсветка кода, отладка и привычный просмотр локальных переменных и регистров. Собирать приложение будет MASM, а...
Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...
«Машинное чтение» цифровых и не только индикаторов без ИИ и нейронок на Python В этой статье рассмотрим простой алгоритм обработки и распознавания значений из массива фотографий с показаниями цифровых индикаторов. Не будет машинного обучения, нейросетей, только стандартные библиотеки Python для работы с изображениями. Чита...
An incursion under C#. Протаскиваем F# в Godot Godot — игровой движок, который имеет нативную поддержку dotnet. К сожалению, эта поддержка до такой степени заточена под C#, что F# она выходит боком. Почти все проблемы разрешимы, но при недостатке опыта они скатываются в большой пластилиново-волосатый валик у самого входа...
Microk8s, еще один легковесный K8s В современном мире разработки и развертывания приложений, контейнеризация стала ключевым элементом для обеспечения масштабируемости, гибкости и надежности. В этом контексте технология Kubernetes, как ведущая платформа оркестрации контейнеров, становится неотъемлемым инструме...
О проблемах с двигателем у «Абрамс» стало слишком много обсуждений в СМИ В статье рассматривается проблема с фильтрами на американском танке M1 Abrams, которая возникла в прошлых конфликтах в пустынных районах, и объясняется почему в настоящем конфликте ситуация с фильтрами не так актуальна.
SETI@Home, или Как миллионы людей искали следы внеземного разума SETI@Home — краудсорсинг-проект для обработки данных радиотелескопов, запущенный в 1999 году, и первый масштабный проект в сфере распределенных вычислений в принципе. В этом посте мы подробней расскажем предысторию проекта, в котором на протяжении более 20 лет в разное время...
Эффективное обновление состояний в БД из сервисов потоковой обработки событий Как хранить сложные сущности в БД? Что нужно сделать, чтобы не перезаписывать весь рекламный баннер для обновления одного лишь заголовка? Рассмотрим как минимум 5 независимых и взаимно совместимых идей для многократного снижения нагрузки на чтение и запись подобных объектов....
Как настроить ETL с json’ами в Apache NiFi Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.Что делает наша команд...
Microsoft и OpenAI потратят 100 миллиардов долларов, чтобы избавиться от зависимости GPU Nvidia Компании работают над новым центром обработки данных для искусственного интеллекта, который, как ожидается, будет введен в эксплуатацию в 2028 году.
Российские компании переведут на коммерческие ЦОД Минцифры обяжет российские госкомпании начать использовать отечественные облачные сервисы и центры обработки данных
Китай опустил под воду первые центры обработки данных Hainan Общей площадь всех подобных платформ будет составлять примерно в 68 000 квадратных метров
IonQ открыла первый в США завод по производству квантовых компьютеров Компания IonQ, лидер в области квантовых вычислений, открыла в Сиэтле первый в США завод по производству квантовых компьютеров, которые можно развертывать в центрах обработки данных клиентов.
История визуального редактирования: как Photoshop изменил восприятие изображений Сегодня, 19 февраля, не просто ещё один день — это день рождения Photoshop, который стал незаменимым инструментом как для решения повседневных задач редактирования фото, типа «убрать себе пару килограммов» так и для реализации сложных художественных проектов, которые иной ра...
[recovery mode] Тинькофф дает противоречащие ответы Роскомнадзору и ЦБ РФ в части дачи клиентом согласия на обработку его биометрии В ответ на статьи «Тинькофф-банк» собирает согласие на обработку биометрии клиентов при вводе пин-кода в новом приложении или банкомате и Сделаем для вас биометрию. Отказаться не получится хотел бы добавить интересные новости о том, как «Тинькофф» дает противоречащие ответы ...
[Перевод] Азы больших языковых моделей и трансформеров: декодер В этом материале мы поговорим об устройстве компонента‑декодера в системах машинного обучения, построенных по архитектуре «трансформер», уделив особое внимание отличию декодера от энкодера. Уникальной особенностью декодеров является то, что они ...
Tesla решила проблемы обработки нержавеющей стали для Cybertruck с помощью уникальных технологий Вице-президент Tesla по разработке транспортных средств, Ларс Морави, в видео подробно объясняет каждый этап производства, начиная от рулонов нержавеющей стали и заканчивая формированием дверных панелей.
Дообучение saiga2_7b_lora Дообучение 7-миллиардной модели Saiga2 под свои задачи, используя сгенерированный датасет с помощью GPT. В данной статье есть все необходимые ссылки и код для предобработки и запуска обучения модели, а также квантования модели. Читать далее
Визуализация общественного транспорта TL;DRЯ написал тул для генерации постеров с маршрутами общественного транспорта, разные цвета для разных видов транспорта, толщина и прозрачность линий соответствуют количество поездок на сегменте маршрута. Репозитарий тут: https://github.com/dragoon/citylinerОколо 10 лет на...
Обзор релиза Apache Ignite 2.16.0 Apache Ignite — это высокопроизводительная распределенная база данных с открытым исходным кодом, предназначенная для хранения и распределенной обработки больших объемов данных в кластере узлов. В СберТехе есть команда, которая занимается ее развитием...
Как программируются кассовые аппараты? Привет, Хабр! А вы когда-нибудь задумывались, каким образом ваша покупка на угловой заправке или в супермаркете превращается в акт, сохраняющийся в электронной памяти кассового аппарата? Эти устройства - настоящие живые свидетели каждой транзакции, но как они работают внутри...
Партнер Google запустил первую в своем роде геотермальную электростанцию Электростанция, разработанная и управляемая компанией Fervo, обеспечивает безуглеродной энергией центры обработки данных Google в Неваде.
Китайцы перепаковывают серверные процессоры Intel Xeon и продает их под своей торговой маркой Китайский чипмейкер Montage Technology представил новые процессоры для центров обработки данных под брендом Jintide
Электричество поможет сельскому хозяйству Широкое использование химикатов в сельском хозяйстве давно внушает тревогу обывателям. Даже современные методы очистки сырья от химикатов не внушают нам абсолютного доверия: вдруг какие-то химикаты всё равно остались, а значит пестициды и прочая гадость вполне способны нав...
Пользователи жалуются на потерю данных в Google Drive Пользователи жалуются на потерю данных в Google Drive, где некоторые файлы и папки были случайно перемещены несколько месяцев назад, приводя к потере информации. Google работает над решением проблемы
Как мы увеличили скорость обработки сервисных сообщений в 10 раз и еще 3 кейса про масштабирование проектов Сформировать 400 000 документов за рабочий день, одновременно загрузить информацию о тысячах доменов, в 10 раз увеличить скорость обработки данных сайта, обеспечить стабильность интернет-магазина при росте посещаемости — решать такие задачи помогает гориз...
Как принимать платежи в Telegram | Оплата без всяких токенов и асинхронная обработка платежа Как принимать платежи на своем сайте или в telegram используя библиотеку yoomoney-api. Читать далее
SK hynix анонсирует SSD на 300 Тбайт SK hynix анонсировала SSD емкостью 300 Тбайт для центров обработки данных и систем искусственного интеллекта.
Как создавать аттестованные системы — на примере инфраструктуры Selectel Ежегодно российские компании создают десятки тысяч информационных систем на базе инфраструктуры провайдеров. Облачные технологии активно развиваются в разных отраслях. В том числе, их используют для обработки персональных данных и других задач, подпадающих под требования ФС...
LSTM и GRU Рекуррентные нейронные сети уникальны тем, что способны обрабатывать последовательности данных, будь то тексты, временные ряды или даже музыка. В отличие от их бро — сверточных нейронных сетей, которые идеально подходят для обработки изображений, RNN обладают способностью ...
Еще один год из жизни ReactOS Здравствуйте, дорогие друзья!Вот и заканчивается 2023 год. В этой статье я хочу продолжить начатую в 2021 году традицию вспоминания наиболее важных событий из жизни ReactOS за год. То что статьи не появляются на Хабре, не значит что система мертва. Медленно, но верно, в Reac...
NVIDIA заявила о возможном дефиците GeForce RTX 5090 Графические процессоры для центров обработки данных являются популярным товаром, спрос на который растет впечатляющими темпами вслед за золотой лихорадкой искусственного интеллекта.
Spark не для чайников: где? Apache Spark уже давно перестал быть просто технологией и превратился в своего рода стандарт для обработки больших данных. Этот фреймворк, сочетающий в себе скорость, надежность и масштабируемость, вышел далеко за пределы простого инструмента, превратившись в надежного партн...
Что можно и что нельзя делать с Async/Await Синтаксис async/await, введенный в Swift 5.5, значительно упростил асинхронное программирование, сделав его более доступным и интуитивно понятным. Однако, как и любой мощный инструмент, он может быть использован неправильно. Здесь я хочу рассмотреть пять распространенных оши...
О внутрикластерной маршрутизации через Istio Привет, Хабр! Я Степан, DevOps‑инженер, занимаюсь созданием CI/CD процессов с учётом проверки кода на безопасность, поддержкой и разверткой новых кластеров Kubernetes, соблюдением требований безопасности и созданием системы мониторинга и логирования — все это ...
Соцсеть Илона Маска и проверки ЕС: почему у миллиардера столько проблем Европейский союз начал официальное расследование в отношении X (бывший Twitter), которой теперь руководит Илон Маск, в связи с опасениями по поводу работы платформы и обработки графического контента, связанного с конфликтами на Ближнем востоке.
Google обеспечивает центры обработки данных геотермальной энергией Геотермальный проект уже сегодня снабжает центры обработки данных Google экологически чистой энергией
В Windows 11 добавлена поддержка процессоров Intel, но новых от AMD нет Intel и AMD говорили о добавлении обработки искусственного интеллекта в процессоры , при этом Intel на данный момент лидирует.
Препарируем Wazuh. Часть 1: Базовая установка Тема SIEM решений с открытым исходным кодом постоянно проявляется на просторах сети. Одних интересуют SIEM системы как таковые, и хочется разобраться в решениях данного класса, но при этом не хочется связываться с тяжелыми и запредельно дорогими коммерческими SIEM. Другие не...
Не все логи одинаковы полезны: 3 истории из жизни Прочитав статью "Утечки памяти, которые не утечки", я решил поделиться своим опытом поиска проблем, связанных с нагрузкой систем под управлением Windows. 2 проблемы были связаны с возросшей нагрузкой на ЦПУ и одна проблема связанна с утечкой памяти.В своей статье я расскажу,...
Электронные замки для гостиниц. История создания Гостиничный бизнес всегда был на переднем крае секьюритизации. Во-первых, потому, что индустрия развлечений всегда была магнитом для преступности. А во-вторых, обеспечение безопасности гостей является базовой ценностью которую постояльцы ждут от отеля.И один из способов эту ...
Компания NVIDIA сталкивается с обвинениями в картельном сговоре Компанию NVIDIA обвинили в картельном сговоре с GPU и контроле поставок на рынке центров обработки данных
Китай начинает строительство подводного дата-центра с производительностью, равной 6 млн. ПК Центры обработки данных находят убежище на дне океана.
Госдума одобрила законопроект о повышении штрафов за незаконную обработку персональных данных Штраф может доходить до 1,5 млн рублей
Правительственные учреждения Швеции стали жертвами масштабной кибер-атаки на центр обработки данных По заявлениям министерства гражданской обороны, на восстановление может уйти несколько недель
AMD представила свои финансовые результаты за четвертый квартал 2023 года и весь 2023 год Сегмент центров обработки данных (ЦОД) показал рост выручки на 38% в годовом исчислении и на 43% в 4 квартале, благодаря высокому спросу на продукты AMD Instinct и AMD EPYC
Microsoft планирует использовать термоядерные реакторы для питания своих центров обработки данных Компания просто не хочет полагаться на близлежащие энергосети для обеспечения работы своих облачных сервисов.
«Пора ли гнать на мороз Computer Vision — scientist'ов ?» (Fondation Models и вокруг) Прошлый год в Computer Vision запомнился тем, что появилось множество больших претрейненных сетей (Fondation Models). Самая известная - GPT4v (ChatGPT с обработкой изображений).В статье я попробую простым языком объяснить что это такое (для тех кто пропустил), как меняет инд...
О методах позиционного кодирования в Transformer Обзор методов кодирования позиций токенов в нейросетевых моделях Transformer с упором на обработку длинных текстов. Для тех, кто учит и использует LLM, и для всех интересующихся. Читать далее
Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...
Создание карты подключений Elasticsearch + Fluent Bit + Nginx Ingress Controller Данная статья представляет подход к решению задачи сбора и агрегации метрик от Ingress Nginx Controller для извлечения геоданных с помощью GeoIP2 и их визуализации в Elasticsearch. Читать далее
Событийное логирование для аналитики и мониторинга работы телеграм-бота Привет, Хабр! Меня зовут Артем.По мере роста различной работы с телеграм ботом нашего корпоративного телеграм-бота, оптимизация и поддержание его стало более сложной задачей. В какой-то момент я осознал, что нужен надежный способ отслеживания происходящих событий в приложени...
Multilabel-классификация знаний школьников Привет, Хабр! Меня зовут Егор, сейчас я учусь на четвёртом курсе кафедры математических методов прогнозирования (ММП) ВМК МГУ и изучаю машинное обучение, в том числе, обработку естественных языков (Natural Language Processing). Этим летом я стажировался в Лаборатории искус...
Как необычные решения приводят к критическим уязвимостям. Или история одного бага, найденного в CloudTips Привет, Хабр! В данной статье хотел бы поделиться историей, как был найден достаточно простой в исполнении баг, но приводящий к опасной уязвимости веб приложения. Данный баг был найден в сервисе CloudTips от Тинькофф и CloudPayments на BugBounty площадке app.bugbounty.bi.zon...
10% энергии в мире вырабатывается атомными электростанциями В среднесрочной перспективе атомные электростанции рассматриваются многими экспертами как наиболее эффективное переходное решение для достижения глобальных климатических целей.
Развитие баз данных В 60-х годах прошлого века возникла потребность в надежной модели хранения и обработки данных, особенно важной для банков и финансовых организаций. В то время отсутствовали единые стандарты работы с данными и моделями, и вся работа сводилась к ручной упорядоченной организаци...
Бизнес-правила в действии: семь лет развития и усовершенствования Business Rules Engine Привет! Меня зовут Владислав Кучинский. Я начинал свой карьерный путь в IT с разработки на С++ и Java, а сейчас являюсь руководителем группы Platform Event Management в компании Bercut. Сегодня я расскажу историю создания платформы Business Rules Engine (BRE) Bercut – систем...
[Перевод] Разделение задач резервного копирования и удаления устаревших копий в PostgreSQL при помощи pgBackRest Управление резервными копиями является одним из ключевых моментов в любой стратегии администрирования баз данных. Это гарантирует, что в случае сбоя или потери данных вы можете быстро восстановить всю информацию. pgBackRest — популярное решение для резервного копирования и в...
Токены. От появления до продвижения в Active Directory О токенах, используемых в операционных системах семейства Windows слышали многие, ведь они являются важным звеном, участвующим в контексте безопасности всей операционной системы. Данная статья является результатом моих наработок о токенах. В ходе написания данного материала ...
Pixel 8 Pro с треском проиграл iPhone 15 Pro Max в сравнении скорости работы, не удержав в памяти пару приложений Авторы канала PhoneBuff провели сравнение быстродействия iPhone 15 Pro Max и Pixel 8 Pro. Как всегда, с применением роботизированного манипулятора. Различные бенчмарки показывают, что SoC Tensor G3 в новом флагмане Google далека по производительности от флагманск...
Как обнаружить хакера на этапе дампа учетных данных в Windows? Одна из самых часто используемых техник при атаках — получение учетных данных из операционной системы. В этом можно убедиться, читая аналитические отчеты различных компаний: техника T1003 OS Credential Dumping в подавляющем большинстве случаев входит в ТОП-5. После прон...
Самый простой и подробный гайд по конкурентным коллекциям в C# Когда несколько потоков обращаются к общим ресурсам, должна быть обеспечена потокобезопасность, чтобы избежать повреждения данных и неожиданного поведения. Конкурентные коллекции в C# предлагают встроенные механизмы для обработки конкурентного доступа, что делает их мощны...
Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...
LLMClone: как клонировать себя в Telegram У меня, как и у многих, довольно много чатов в телеграмме. Иногда просто нет времени (а иногда и не хочется) отвечать на некоторые сообщения. Именно так возникла идея создания виртуального клона. В статье рассматривается простая идея, состоящая в том, чтобы зафайнтюнить язык...
TSMC демонстрирует рост выручки в январе 22,4% по сравнению с предыдущим месяцем Выручка TSMC растет благодаря спросу на чипы для смартфонов, автомобильной промышленности и центров обработки данных
Яндекс Реклама продемонстрировала работу своих нейросетей в анимационном видео В нем показан процесс создания рекламного баннера баннера – от обработки облака данных до подбора индивидуального дизайна
SHMT удваивает скорость обработки данных и вдвое снижает энергопотребление компьютеров Команда исследователей из Калифорнийского университета разработала метод, позволяющий удвоить скорость вычислений, сократить энергопотребление и эксплуатационные расходы компьютерных систем.
Seagate и Sony будут сотрудничать для наращивания производства накопителей больших объемов Развитие технологий искусственного интеллекта вынуждает центры обработки данных обновлять своё оборудование всё быстрее
Microsoft построит атомные реакторы для питания своих серверов Разработка инфраструктуры центров обработки данных (ЦОД) является сложной задачей. Она требует укрытия, охлаждения и специализированных генераторов, которые обеспечивают непрерывную работу серверов.
Tesla строит в Техасе "бункерный" центр обработки данных для суперкомпьютера Dojo Этот шаг подчеркивает амбиции компании в области технологических инноваций и автономного вождения, а также ее готовность инвестировать ресурсы в достижение целей
Оборудование «Росэлектроники» обеспечит электроснабжение крупнейшего в России центра обработки данных Холдинг «Росэлектроника» Госкорпорации Ростех поставил электротехническое оборудование для оснащения крупнейшего в России регионального центра обработки данных, строящегося в городе Балаково Саратовской области.
Google открыла всем пользователям доступ к обработке фотографий с помощью ИИ Даже подписка для этого больше не нужна.
Supermicro расширила портфель продуктов для ИИ с системами и стойками с NVIDIA Blackwell Supermicro, Inc., поставщик комплексных ИТ-решений для ИИ, облачных вычислений, хранения данных и 5G/Edge, анонсировала новые системы ИИ для крупномасштабного генеративного ИИ с продуктами NVIDIA для центров обработки данных следующего поколения, включая новейший суперчип NV...
Препарируем Wazuh. Часть 3: источники не из коробки В предыдущей статье мы говорили о том, как можно подключить к Wazuh стандартные источники, идущие, что называется, «из коробки». С ними все относительно просто: выполняем действия, представленные в инструкции по подключению Wazuh на источнике, выполняем необходимые правки на...
В Новосибирске создадут комплекс для обработки генетических данных В пресс-службе Института цитологии и генетики (ИЦиГ) СО РАН сообщили, что ИЦиГ совместно с Институтом вычислительной математики и математической геофизики (ИВМиМГ) СО РАН объединяют усилия для разработки информационно-программного комплекса, который обработает большие генети...
Запишись на бета-тест Battle Crush на PC и Android Разработчики Battle Crush из NCSOFT собирают заявку на второй бета-тест глобальной версии. Заполнить анкету можно через официальный сайт; нужно согласиться с обработкой данных и указать свою электронную почту. После этого осталось ждать — тестовые сервера откроют 21 марта, а...
Хорошие практики нагрузочного тестирования: гайд для тех, кто успел до «пожара» В каждом проекте рано или поздно наступает момент, когда нужно провести нагрузочное тестирование. Чаще всего это происходит поздно: сайт уже крашится под наплывом пользователей, стартовая страница не загружается, а обработка запросов в базе данных длится больше минуты. В так...
Получаем спутниковые координаты GPS/ГЛОНАСС с помощью модуля SIM868 на Repka Pi Сегодня уже трудно найти человека, который не знает, что такое навигатор и GPS-координаты. В этой статье мы расскажем о том, как встроить функции навигатора в устройство, собранное на базе микрокомпьютера Repka Pi. Для получения координат мы будем использовать модуль GSM/GPR...
Дешёвый аккумулятор iPhone 15 будет «умирать» так же быстро, как и АКБ iPhone 14. Он рассчитан всего на 600 циклов зарядки, о чем сообщил проверенный инсайдер Многие пользователи жаловались, что смартфоны iPhone 14 резко потеряли остаточную ёмкость аккумулятора после нескольких месяцев использования. По новым данным, у iPhone 15 может быть такая же проблема. В серии iPhone 15 используются более дешевые аккумуляторы, выдержива...
Eviden построит центр для первого экзафлопсного суперкомпьютера в Европе Eviden, компания, принадлежащая Atos, подписала контракт на создание модульного центра обработки данных в Германии для размещения первого экзафлопсного суперкомпьютера в Европе, Jupiter.
НТВ переселяется и преобразует бывшие студии в центры данных Телеканал НТВ планирует переезд в новый телецентр к 2024 году и создание коммерческих центров обработки данных на его территории
Google построит третий центр обработки данных в Гронингене Объявляя о строительстве нового центра обработки данных, Google отмечает переход голландских организаций и правительства на облачные технологии.
Raytheon и AMD обещают революцию в военных технологиях благодаря новому проекту Raytheon в сотрудничестве с AMD запускает проект по разработке мульти-чипового пакета для улучшения обработки данных в военных датчиках.
«Трудности перевода»: как ChatGPT справился с задачей адаптации сложных текстов Привет, Хабр! Меня зовут Сергей Кулабухов, я занимаюсь внедрением ИИ в бизнес-процессы компании Fix Price. С появлением моделей обработки естественного языка (natural language processing) изменился и подход к реализации подобных задач. Теперь мы не программируем и не обучаем...
Huawei делает ставку на инфраструктуру центров обработки данных в 2024 году Председатель совета директоров Huawei Ху Хоукун подготовил китайского технологического гиганта к 2024 году, заявив, что его предложения в области центров обработки данных являются ключом к успеху в новом году.
Microsoft сообщила о дефиците облачных вычислений для развёртывания ИИ Компания Microsoft в отчёте за III квартал 2024 финансового года рассказала о растущем дефиците вычислительных мощностей, из-за чего не хватает возможностей для развёртывания инфраструктуры дата-центров для обработки данных ИИ-технологий.
Hadoop в Облаке: история миграции сотен петабайт Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами ...
Экспорт статьи из LibreOffice Writer в Habr Flavored Markdown или HTML Резюме. В статье дается ссылка на файл в формате ODT (основной формат файлов, используемый в текстовом редакторе LibreOffice Writer), содержащий макросы на «родном» для LibreOffice языке программирования макросов BASIC, которые осуществляют экспорт текста из LibreOffice Writ...
Архитектурный паттерн для обработки больших данных: Lambda Привет, Хабр! Мы сталкиваемся с огромными объемами информации, высокой нагрузкой, и постоянно меняющимися требованиями. Все это требует от нас не только навыков программирования, но и грамотного проектирования архитектуры, которая способна справиться с этими вызовами.Именно ...
Библиотека Granite от elementary OS На данный момент существует множество различных операционных систем на базе ядра Linux. Буквально на любой вкус. Некоторые операционные системы пользуются уже готовыми графическими оболочками, а другие создают свои. В дистрибутиве elementary OS применяется свое окружени...
Проект Google по производству геотермального электричества начал подачу электроэнергии к ЦОД Передовой геотермальный проект начал подачу электроэнергии, не содержащей углерода, в энергосистему Невады для питания центров обработки данных компании Google.
Спрос на электроэнергию для дата-центров в ближайшее десятилетие может вырасти в несколько раз Всему виной стремительное развитие искусственного интеллекта, центров обработки данных и майнинга криптовалют
На российский аналог МКС отправят суперкомпьютер для обработки данных со спутников Россия готовится к запуску своей орбитальной станции, которая станет аналогом Международной космической станции (МКС).
Обработка анимации после бюджетного мокапа для UE4 Мы небольшая студия энтузиастов, основная наша деятельность это создание проектов для местного музея под гарнитуры VR (Oculus Quest 2). В каждый наш новый проект мы стараемся добавлять какую-нибудь фишку. В этом проекте принято было отказаться от Mixamo и создать свой компле...
США могут вывести свой военный контингент из Сирии По информации источника, такой вариант развития событий уже рассматривается
Центры обработки данных нуждаются в водяном охлаждении Можно смело заявить, что видеокарты поколения Blackwell от NVIDIA продемонстрируют значительное повышение производительности в центрах обработки данных, но стоит понимать, что эти графические ускорители также потребляют большое количество энергии — вплоть до 1200 Вт на одну ...
Один компонент, 20+ фич, A/B-тесты: Поможет ли машина состояний? Сталкивались ли вы с проблемой возникновения багов из-за пересечения включенных фичей в приложении? Или, возможно, была необходимость одновременно проводить большое число A/B-экспериментов в одном компоненте? Некоторое время назад команда Почты Mail.ru решала задачу упр...
Футбольный клуб решил искать новых игроков с помощью ИИ IBM и футбольный клуб «Севилья» представили Scout Advisor, инструмент искусственного интеллекта, призванный усовершенствовать скаутинг и подбор игроков для футбольного клуба. Построенный на платформе IBM watsonx, Scout Advisor использует обработку естественного языка и базов...
Проблемы согласованности данных в микросервисах и их решение Привет, Хабр!Микросервисы стали выбором многих благодаря их гибкости, масштабируемости и способности поддерживать сложные приложения в динамично меняющемся мире.Но не всё так просто. Одной из ключевых проблем, с которыми сталкиваются при переходе от монолитных архитектур к м...
Безотказные очереди в RabbitMQ: Гарантированная доставка сообщений RabbitMQ - это открытая реализация протокола AMQP (Advanced Message Queuing Protocol), является мощным и гибким брокером сообщений. Он обеспечивает надежное и эффективное взаимодействие между компонентами системы, предоставляя разработчикам инструменты для создания гибких и ...
Анализ текстовых данных с помощью NLTK и Python Привет, Хабр!NLTK предлагает удобные инструменты для множества задач NLP: токенизация, стемминг, лемматизация, морфологический и синтаксический анализ, а также анализ настроений. Библиотека идеально подходит как для начинающих, так и для опытных разработчиков, предоставляя и...
Корутины C++ для чайников: пишем асинхронный веб-клиент Написать этот материал меня побудило... отсутствие хороших статей по корутинам в C++ в русскоязычном интернете, как бы странно это не звучало. Ну серьезно, C++20 существует уже несколько лет как, но до сих пор почти все статьи про корутины, что встречаются в рунете, относятс...
После обновления смартфоны Xiaomi, Poco и Redmi отправляются в вечную перезагрузку Пользователи смартфонов Xiaomi, Poco и Redmi, столкнулись цикличной перезагрузкой операционной системы, известной как Bootloop. Вместо нормальной загрузки ОС, устройства попадают в режим восстановления (Recovery), предназначенный для устранения проблем с системой. Попыт...
Китайская видеокарта Moore Threads MTT S4000 - 48 ГБ GDDR6, производительность близка к RTX 4070 Этот ускоритель не просто видеокарта для обычных пользователей, а мощное устройство, призванное для Центров Обработки Данных и искусственного интеллекта. Он базируется на мощном GPU с архитектурой третьего поколения MUSA.
Китайская видеокарта Moore Threads MTT S4000 - 48 ГБ GDDR6, производительность близка к RTX 4070 Этот ускоритель не просто видеокарта для обычных пользователей, а мощное устройство, призванное для Центров Обработки Данных и искусственного интеллекта. Он базируется на мощном GPU с архитектурой третьего поколения MUSA.
Сбор данных мониторинга из Frontend JS приложений используя Grafana Faro Здравствуйте. В данной статье будет выполнено рассмотрение и установка инструмента Grafana Faro для осуществления сбора данных мониторинга из Frontend приложений написанных на JavaScript. Также, перед непосредственным использованием Grafana Faro, выполним установку в кластер...
Названы характеристики камеры самого быстрого в мире Android-cмартфона Основная камера нового флагманского смартфона Vivo X100 Pro оснащена 1-дюймовым датчиком изображения Sony IMX989 разрешением 50 Мп, а также объективом с диафрагмой F/1,75. Есть поддержка оптической стабилизации изображения OIS. Кроме того, vivo X100 Pro оснащен перископ...
Геометрия и навигация В этой статье будут рассмотрены некоторые проблемы и размышления, связанные с довольно интересной задачей коррекции/восстановления автомобильного трека на основе данных, полученных от MEMS датчика и навигационного приемника. Эта задача содержит много различных а...
MLOps-инструменты, обзоры рынка и тренды потоковой обработки данных Привет, Хабр! В сегодняшнем дайджесте продолжаю делиться материалами, которые помогут вам лучше разобраться в темах ML, искусственного интеллекта и дата-аналитики. Какие перспективы у LLM и BI? Куда Amazon и Google инвестировали более $4 млрд? Как организовать работу аналит...
«Ревизорро» в IT: тестируем суммаризацию текста в GigaChat и YandexGPT После появления на рынке API для беседы с ChatGPT 3.5 каждый второй заказчик решения на основе машинного обучения (ML) хочет внедрить у себя ИИ, который может красиво и содержательно общаться на русском языке.Меня зовут Екатерина, я IT-архитектор команды SimbirSoft, специали...
Максимизируем продуктивность: Создание ИИ-секретаря с Whisper и ChatGPT Приветствую! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee. В современном мире искусственный интеллект стал незаменимым помощником в различных сферах нашей жизни. Однако, я верю, что всегда нужно стремиться к большему, автома...
Закон парадокса в логике и математике В результате поиска в Интернете выяснилось, что термин «закон парадокса» в научной литературе практически не встречается. Исключением в настоящее время является статья по литературоведению, моя статья в Хабре и статья, которая в данный момент находится в стадии рецензирован...
iPhone 15 Pro Max смог обойти Samsung Galaxy S23 Ultra, но незначительно. Смартфоны сравнили по скорости работы Авторы канала PhoneBuff сравнили iPhone 15 Pro Max и Galaxy S23 Ultra по скорости работы. Как всегда, использовался роботизированный манипулятор, который избавляет такие тесты от человеческого фактора. Как можно видеть, почти весь первый круг смартфоны шли максим...
Микрофронтенд с использованием Module Federation. Соединяем компоненты между системами на разных фреймворках Всем привет! Мы — Иван и Даниил, ведущие разработчики компании ITFB Group. У компании два собственных продукта — ЕСМ/CSP/BPM-платформа СИМФОНИЯ (документооборот, хранение контента, архив, портал) и система распознавания/обработки документов ITFB EasyDoc. Пару ...
DevOps as a Service. Часть 4. Решаем проблемы развития сотрудников подразделения и управления инициативами Всем доброе утро! С Вами Крылов Александр, и мы продолжаем серию статей про DevOps as a Service, и как с помощью данного подхода возможно решить ряд распространённых проблем. В прошлых статьях мы описали сам подход, показали пути решения различных проблем. Со статьями можно ...
Смогут ли вычислительные системы хранения удовлетворить потребности в обработке данных? Вычислительные системы хранения данных (computational storage) обещают обеспечить высокую производительность рабочих нагрузок, которые могут выиграть от выделенной мощности, но это не панацея. Это может обойтись недешево и привести к усложнению ...
Amazon покупает дата-центр при АЭС за $650 млн — энергия нужна для вычислений и ИИ Гигант электронной коммерции Amazon приобрел атомный центр обработки данных Cumulus Data. Компании нужна «недорогая энергия для высокопроизводительных вычислений или искусственного интеллекта».
Китай решил погрузить под воду колоссальные центры обработки данных Планируя развернуть 100 подводных центров обработки данных к 2025 году, Китай намерен освободить огромные участки суши, эквивалентные 13 футбольным полям, оптимизировав при этом пространство и эффективность.
Ортокрыльчатый анемометр Автор: Николай Ситнов В статье рассматривается предлагаемая автором конструкция анемометра, анализируются ее преимущества и недостатки. Описывается авторский вариант технической реализации прибора, а также программное обеспечение, необходимое для его работы. Значительное ...
Airflow в Kubernetes. Часть 1 Приветствую!На пути инженера данных часто встречаются задачи связанные с DevOps. Одна из таких - развернуть Airflow в Kubernetes кластере. Если до этого похожего опыта работы не было, то эта задача может показаться нетривиальной. Конечно, можно выполнить несколько команд из ...
Домашняя стеклодувная мастерская. Первые инструменты, приёмы работы с ними Стеклодувное дело — тонкое и изящное ремесло, будящее в душе множество сильных, хотя и противоречивых чувств, так как большая часть работы происходит буквально по локоть в пламени. Здесь речь идёт о горячей обработке стекла, разогретого на горелке. Обычно это приборострое...
УАЗ улучшит качество внедорожников УАЗа «Патриот». Что изменится? Как сообщает Quto.ru, УАЗ модернизировал производство деталей подвески: завод закупил новые токарные станки с ЧПУ (СрВ1656Р, самарского производства), и их применение положительно скажется на качестве автомобилей, сходящих с конвейера. Фото: УАЗ Первый станок предназна...
Как мы удвоили разрешение фотографий с помощью камеры Flutter на iOS Привет, меня зовут Сергей, и я мобильный разработчик в компании Brickit. Некоторое время назад мы наконец мигрировали приложения для iOS и Android на общий код на Flutter. Мы были в восторге от результата, но сам переход был далеко не гладким. Одной из важных частей этой ава...
Передача контекста и знаний в IT команде Всем привет и добро пожаловать! Данная статья не является научной и не относится к разряду технических, она больше про коммуникации и командные процессы в IT. Это попытка систематизировать реальные практики по передаче контекста и знаний в ...
[Перевод] Почему на других планетах так сложно бурить Люди уже тысячелетиями копают под землёй — по всей Земле. Именно там мы добываем некоторые из наших самых ценных ресурсов, которые двигают общество вперёд. Например, не было бы бронзового века без олова и меди, которые в основном находятся под землёй. Но раскопки под поверхн...
Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных Привет, Хабр! Меня зовут Владислав Абрамов, я аналитик в команде разработки компании Easy Commerce. Перед нами стояла задача создать алгоритм, который определяет влияние характеристик карточки товара на поисковую позицию в крупнейших российских маркетплейсах. Большинство из ...
Ryzen 7 8840U без труда кладёт на лопатки Core Ultra 7 155H, и речь не о CPU или GPU. AMD поделилась тестами блоков NPU Компания AMD снова хвастается производительностью блока NPU в своих мобильных процессорах Ryzen 8000, сравнивая их с новейшими Core Ultra. AMD сравнила Ryzen 7 8840U с Core Ultra 7 155H в тестах, связанных с большими языковыми моделями. В чате Llama v2 APU Ryzen ...
Аэропорт Пулково и «Рексофт» внедряют комплексное решение для обработки багажа из реестра российского ПО Проект реализовывается совместно с многопрофильной технологической группой «Рексофт».
Hitachi Vantara запускает унифицированную вычислительную платформу для управления гибридным облаком Решение предназначено для развертывания и управления рабочими нагрузками в локальных центрах обработки данных.
Micron разрабатывает 128 ГБ модули RDIMM на основе монолитных чипов DRAM объёмом 32 Гб Компания Micron объявила о разработке модулей DDR5 RDIMM объёмом 128 ГБ. Эти модули создаются на основе монолитных 32 Гб ядер DRAM и предназначены для растущих потребностей центров обработки данных, включая искусственный интеллект и базы данных в памяти.
TSMC представила 1,6 нм техпроцесс Тайваньская компания TSMC объявила о своих планах к 2026 году запустить производство 1,6-нм чипов. Новый техпроцесс получил название A16. Он существенно повышает плотность логики микросхем, также увеличивает производительность и скорость обработки данных.Читать дальше... Pr...
[Перевод] Конкурентный отказ Любая задача может быть завершена несколькими способами: 1. Нормальное завершение, после которого мы получаем результат (например, Ничего/Единица). 2. Сообщение об ошибке. 3. Принудительное завершение, после которого программа может остаться в неопределённом состоянии. В к...
Статический анализ структуры базы данных (часть 2) Продолжим разбор проверок структуры базы данных, на примере PostgeSQL. Данная статья будет посвящена проверкам связанным с ограниением FOREIGN KEY (FK). Часть проверок целесообразно выполнять на регулярной основе, а некоторые позволяют лучше понять структуру проекта при перв...
Пароли в открытом доступе: ищем с помощью машинного обучения Я больше 10 лет работаю в IT и знаю, что сложнее всего предотвратить риски, связанные с человеческим фактором. Мы разрабатываем самые надежные способы защиты. Но всего один оставленный в открытом доступе пароль сведет все усилия к нулю. А чего только не отыщешь в тикета...
Архитектурные нюансы OpenStack. Базы данных как сервис, реализация Trove Привет, Хабр. Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платфо...
Препарируем Wazuh. Часть 2: Подключаем источники В первой статье мы начали рассмотрение решения с открытым кодом Wazuh. Мы развернули систему в конфигурации All In One, то есть все компоненты находятся на одном узле. В этой статье мы продолжим настройку нашего SIEM. Конечно, после установки он уже не совсем бесполезен, так...
Google теперь питает свой дата-центр геотермальной энергией Поисковый гигант совместно со стартапом Fervo отчитался об успешном вводе в эксплуатацию первой геотермальной электростанции в центре обработки данных Google в Неваде
Простыми словами про обработку текстовых запросов пользователя в Телеграмм ботах на java Тем, кто так или иначе уже сталкивался с разработкой Telegram-ботов на java, известно, что бот должен уметь отправлять запросы Telegram-серверу и получать от него обновления (updates). В настоящее время существует два способа получения обновлений:- использование LongPolling ...
В Минздраве рассказали о роли искусственного интеллекта в лечении Медицина все сильнее опирается на искусственный интеллект (ИИ) для обработки данных и постановки диагнозов, но решения о лечении должны оставаться за врачами. Мария Воронцова, ведущий научный сотрудник НМИЦ Эндокринологии Минздрава России, утверждает, что хотя технологии иск...
Асинхронная работа с файловой системой в Vert.x Vert.x – это экосистема для создания реактивных приложений на JVM, которые могут масштабироваться и обрабатывать огромные объемы данных в реальном времени. Это полиглоттная платформа, поддерживающая не только Java, но и Kotlin, Groovy, Scala, и еще js. В контексте статьи раб...
[recovery mode] Как мы делаем веб-сервис для автоматизации рабочих задач на базе агентов LLM Друзья, всем привет! Сегодня хотим рассказать про то, как мы — Виталий, Даниил, Роберт и Никита — при поддержке AI Talent Hub, совместной магистратуры Napoleon IT и ИТМО, создаем Цифработа — сервис цифровых работников, который помогает оптимизировать временные затраты у сотр...
Работаем с HTTP API: разбор частых проблем и методы их решения Время идёт, технологии развиваются, а проблемы, связанные с использованием API, вызывают у многих разработчиков всё те же сложности, что и десятки лет назад. Между тем, рост числа сервисов, которые взаимодействуют друг с другом с помощью данного способа, день ото дня только ...
DevOps as a Service. Часть 5. Работа с бэклогом и сквозной приоритизацией команды Всем доброе утро! С Вами Крылов Александр, и мы продолжаем серию статей про DevOps as a Service, и как с помощью данного подхода возможно решить ряд распространённых проблем в организации работы подразделения. В прошлых статьях мы описали подход и показали пути решения часто...
Представлен Leitz Phone 3 – премиум-камерафон с 1" сенсором и без OIS Leica анонсировала свой третий смартфон – модель Leitz Phone 3. Главной особенностью новинки является возможности обработки изображений и режимы камеры Leica. ОсобенностиLeitz Phone 3 оснащён 6,6-дюймовым дисплеем Pro IGZO OLED с разрешением 2730×1260 пикселей…
Без Wi-Fi и Bluetooth: носимое устройство сбора и передачи биосигналов на большое расстояние Современный мир тяжело представить без носимых устройств. Мобильность, компактность и производительность этих устройств являются важными характеристиками, над улучшением которых непрерывно работают инженеры и ученые со всего мира. Носимые устройства, целью которых является...
Linux From Scratch на Zynq UltraScale+ MPSoC В данной статье я постараюсь описать процесс создания кастомного образа Linux на Zynq UltraScale+ MPSoCс. Каждый необходимый компонент будет собран отдельно с использованием соответствующих утилит. Статья разбита на разделы, которые шаг за шагом знакомят вас с процессом сбор...
Гиганта центров обработки данных Equinix обвинили в мошенничестве Equinix, ведущий инвестиционный траст недвижимости (REIT), специализирующийся на центрах обработки данных, столкнулась с серьезными обвинениями в манипулировании бухгалтерским учетом со стороны продавца коротких позиций Hindenburg Research.
Ускорители искусственного интеллекта Intel Gaudi 3 придут на смену в центры обработки данных На мероприятии Intel Vision 2024 компания была в значительной степени сосредоточена на искусственном интеллекте, а также на аппаратных платформах следующего поколения и программных решениях, которые она предложит для его запуска.
Китайские майнинг-фермы привлекли внимание национальной безопасности США Китайские фермы по добыче биткоинов в США вызывают опасения в плане безопасности, поскольку они работают вблизи таких важных объектов, как центр обработки данных Microsoft и ракетно-ядерная база ВВС США.
AMD представила облачного провайдера на базе Instinct MI300X Сегодня компания AMD официально сообщила о запуске Nscale — первого в мире облачного провайдера, полностью построенного на технологиях AMD и оснащённого мощным искусственным интеллектом на базе графического ускорителя Instinct MI300X. «Nscale — это вертикально интегрированно...
Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжиро...
Выявление закладных устройств с помощью радиомониторинга В рамках данной статьи обратим внимание на проблему внедрения закладных устройств для несанкционированного доступа к информации. Целью данного данной статьи ставится «Изучение радиомониторинга для выявления закладных устройств». Для достижения поставленной цели необходимо ре...
Ил-76 доставит в Арктику передвижной дата-центр для научных целей В рамках научной экспедиции компания RUVDS собирается развернуть передвижной центр обработки данных в арктическом лагере «Барнео».
С каждой новой фоткой в Facebook* в домах Дании становится в прямом смысле теплее Оказывается, Meta*, гигант социальных сетей, ранее известный как Facebook*, еще и обогревает дома. Массивный центр обработки данных Meta* в Оденсе, Дания, с 2020 года незаметно направляет избыточное тепло, вырабатываемое его серверами, в городскую сеть централизованного тепл...
Microsoft проверила эффективность водородного топлива для питания серверов В рамках сотрудничества компании Caterpillar Inc., Microsoft и Ballard Power Systems успешно продемонстрировали потенциал технологии водородных топливных элементов для обеспечения надежного и устойчивого резервного питания центров обработки данных.
Чип Apple A18 Pro будет оптимизирован для обработки ИИ В сентябре компания Apple должна представить iPhone 16, iPhone 16 Plus, iPhone 16 Pro и iPhone 16 Pro Max. При этом новинки могут получить не только экраны с большими диагоналями и более продвинутые камеры. По словам известного аналитика, Джеффа Пу, купертиновцы планируют вн...
Если удастся кристаллизовать стекло, то получится это Несмотря на весьма специфические свойства, которые невольно ассоциируются с оконным стеклом, можно так модифицировать этот материал, что его "мама родная не узнает". После обработки он вполне подойдёт для изготовления сопел реактивных двигателей, подшипников, термостойких ло...
Как выбрать GPU для машинного обучения Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты...
Классификация экзопланет (часть I обработка данных) В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее ...
End-of-Life: как понять, пора ли закрывать продукт, основываясь на данных Привет! Меня зовут Ульяна Баисламова. Я старший продуктовый аналитик в команде B2b и оффлайн-опыта в СберМаркете.Закрытие продукта (End-Of-Life, EoL) — естественная часть жизненного цикла сервиса или проекта, которая не обязательно связана с его несостоятельностью. В предыду...
Xiaomi добавит функции камеры Xiaomi 14 Ultra в Xiaomi 14/14 Pro и 13 Ultra с помощью нового ПО Xiaomi подтвердила, что ее программное обеспечение для камеры с расширенной обработкой изображений (AISP) будет доступно на большем количестве флагманских смартфонов.
Инструкция по переезду и миграции данных с Google Firebase на Self-hosted Supabase Всем доброго дня! Комментарии к моей предыдущей статье о том, как я развиваю свой pet-проект, а также различные законы, подразумевающие локализацию персональных данных на серверах, размещенных на территории РФ (в частности Федеральный закон от 21.07.2014 № 242-ФЗ «О внесении...
Типичные задачи аналитика. Часть 2. А есть ли тренд? В первой части статьи на Habr мы рассмотрели классические подходы к оценке изменений метрики при условии ее стационарности. В этом контексте статистические критерии, применяемые в A/B тестировании, оказались весьма эффективными.Однако, если существует стабильный тренд, напри...
Huawei выпустила процессор Kirin 9006C для ноутбуков Сегодня появилась информация от надёжных источников о том, что компания Huawei в ближайшее время планирует стать ещё одним игроком на рынке ARM-процессоров на уровне с Apple, который будет выпускать производительные решения топового уровня. Всё дело в слухах о том, что компа...
Сайга-Мистраль — третья русская нейросеть после YaGPT и GigaChat, публично доступная по API Я уже недавно писал на Хабре, что понемногу пилю свой сервис VseGPT с доступом по OpenAI API и чатом к различным нейросетям - ChatGPT, Claude, LLama и пр. (Коротко: потому что вендорлок - зло, разнообразие и опенсорс - добро)Большая часть работы - это, конечно, роутинг запро...
Amazon превращается в лидера индустрии робототехники: число роботов увеличилось более чем вдвое за три года Компания Amazon значительно увеличила количество роботов, которые работают в центрах по обработке заказов, и теперь претендует на звание крупнейшего производителя промышленных роботов в мире. Согласно отчету Business Insider, количество роботов выросло с 350 000 в 2021 ...
Sennheiser представила профессиональные наушники для звукозаписи Sennheiser представила свою новую модель профессиональных наушников HD 490 PRO, предназначенных специально для мониторинга, обработки звука и создания музыки. Цена данной модели на зарубежных рынках составляет 399 долларов США.
Проект «Селенит». Часть 5: Контроллер, встроенное ПО и квадратурный модулятор Аппаратура SDR (Software-defined Radio), как и следует из названия, представляет собой программно-аппаратный комплекс. В предыдущих частях цикла были рассмотрены преимущественно аппаратные решения радиотракта трансивера Selenite Lite. В большей части данной публикации будет...
[Перевод] Вопросы по DevOps. Часть 1 Hello world! В первой части шпаргалки (вопросника, если угодно) на высоком уровне рассматриваются такие вещи, как сеть, HTTP, операционная система, виртуализация, хранилище etc., а также несколько технологий, используемых в сфере DevOps, таких как Prometheus, OpenStack, Pu...
Выручка центров обработки данных Nvidia выросла на 409% Акции Nvidia вчера подскочили более чем на 10% после закрытия торгов благодаря отчету о прибыли за четвертый квартал, который превзошел ожидания Уолл-стрит. Выручка компании выросла на 265% по сравнению с предыдущим годом, чему способствовал бурный спрос на ИИ-ускорители, ис...
Как извлекать пользу из данных: подборка материалов Анализ данных — один из ключевых драйверов роста для бизнеса. Аналитика позволяет выявить скрытые закономерности и тренды, прогнозировать будущие события и принимать обоснованные решения на основе фактов. Бизнес, основанный на данных, не просто реагирует на переменчивость, н...
Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.В этой статье будет вс...
В России создали лазерный станок для обработки деталей газотурбинных двигателей По сообщению руководителя Департамента инвестиционной и промышленной политики Москвы Владислава Овчинского, столичный разработчик лазерных систем и оборудования — компания «Лассард» — по индивидуальному заказу Объединённой двигателестроительной к...
Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в так называемые кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию. Из-за частичного сходства в постановке задач с кла...
Новые горизонты производства электроники и солнечных батарей: оптимизация мультикристаллических материалов с помощью ML упность и различные преимущества мультикристаллических материалов сделали их широко распространенным сырьем для различных применений в сфере солнечной энергетики и, в целом, полупроводни.ковой индустрии, электроники и медицины, однако работа с ними сопровождается серьезными ...
Стартовый комплекс для многоразовой ракеты «Амур-СПГ» будут строить по принципу плавучего космодрома — единой конструкцией Генеральный директор Центра эксплуатации объектов наземной космической инфраструктуры (ЦЭНКИ) Николай Нестечук рассказал о том, как ведутся работы по строительству стартового комплекса для перспективной российской ракеты на метане «Амур-СПГ». Новая ракета бу...
Из пушек по воробьям. Генерация и решение лабиринта не самым обычным способом На уходящей неделе мне попалась симпатичная, хоть и не новая мини‑серия статей на Дзен‑канале @zdgzdgzdg про процедурную генерацию лабиринта методом «коллапса волновой функции». Пока я читал эти статьи и знакомился с кодом, меня осенило: ведь это&nbs...
Педаль В статье рассматриваются перспективы массового вымирания и делается очевидный вывод.
Как мы оцифровали футбольные матчи с помощью CV Привет! Меня зовут Сергей Бархударьян, я директор по развитию спортивного направления в Яндекс Плюсе. Мы занимаемся съёмкой, обработкой и стримингом спортивных событий. В этом посте я расскажу о работе с технической съёмкой и анализом футбольных матчей. Под катом — о том, ка...
Книга «SQL. Pocket guide, 4-е изд.» Привет, Хаброжители! Если вы аналитик или инженер по обработке данных и используете SQL, популярный карманный справочник станет для вас идеальным помощником. Найдите множество примеров, раскрывающих все сложности языка, а также ключевые аспекты SQL при его использовании в ...
Microsoft обвинила китайских «государственных» хакеров во взломе Atlassian Microsoft обнаружила, что китайская хакерская группа под ником Storm-0062 использует уязвимость нулевого дня в центре обработки данных и сервере Confluence компании Atlassian. При этом некоторые эксперты связывают действия группы с правительством страны.
Как управлять финансами, чтобы выйти на раннюю пенсию, а не в окно Сегодня поговорим о банальных вещах: надо мыть руки перед едой, регулярно делать зарядку и получать доходы от инвестирования. Кто выполняет все три условия, может дальше не читать, с остальными будем обсуждать жидкое мыло с кремом и примеры “инвестирования” в 2023 г. На...
Краткая история подогрева дорог. Часть первая Оценить грандиозность инженерной задачи подогреть (и/или охладить) дорожное полотно автомобильных трасс и городских улиц можно только в сравнении. По разным данным в мире от 64 млн до 21 млн км автодорог и городских улиц. Большее доверие внушает вторая, меньшая цифра. Эти да...
Оптимизируем параметры запуска приложения Spark. Часть первая Привет! Меня зовут Андрей Чучалов, я работаю в билайне, и в этом посте я расскажу про оптимизацию параметров запуска приложений в Spark, поиск проблем и повышение производительности. Разберем запуск приложений Spark в базовой и расширенной версиях, покажу методы расчёта осно...
Кот в мешке: мастерство обработки ошибок внешних ключей SQLite Сталкивались с загадочными ошибками Foreign Key в SQLite для Android?Сегодня мы поможем разгадать эти загадочные ситуации и извлекать подробную и человеко-читаемую информацию об ошибках этого типа. Читать далее
Математические принципы Парето нашли применение в детской игре Mario Kart 8 Антуан Майеровиц, специалист по обработке данных, применил концепцию фронта Парето (разработанную экономистом XIX века Вильфредо Парето) в Mario Kart 8. Фронт Парето определяет оптимальные решения при решении нескольких задач — идеальный вариант для выбора лучшего комбо, в к...
Apple столкнулась с ответной реакцией Spotify из-за глобальных изменений в App Store Apple столкнулась с критикой со стороны Spotify в связи с предложенными изменениями в порядке распространения приложений для iOS и обработки платежей в Евросоюзе. Генеральный директор Spotify Дэниел Эк назвал планы Apple «вымогательством, простым и понятным» и заявил, что он...
Открыта регистрация на пресс-конференцию Ассоциации, которая будет помогать российским компаниям в вопросах защиты, обработки и безопасного хранения персональных данных клиентов 25 апреля состоится пресс-конференция Ассоциации в онлайн-формате
ArticleGPT: пишите статьи с помощью искусственного интеллекта легко и без искажений Всякий раз, когда вы слышите термин «искажение» в контексте ИИ, это значит, что инструменты написания ИИ генерируют неправильный контент, но представляют его так, как будто информация в статье является фактической. Часто это может нанести ущерб вашей репутации, но, к счастью...
ASIC и FPGA: сорок лет эволюции Внутри каждого современного телефона несколько микросхем ASIC. Ими наполнены автомобили, стойки в центрах обработки данных, датчики «умного дома», и вообще все электронные устройства. Без чипов ASIC был бы невозможен быстрый интернет, трехмерные игры и ускорители машинного о...
На пути к полной жизни: Онлайн-синтез речи для людей с неврологическими нарушениями Многие люди теряют возможность поддерживать собственную независимость, вести активную социальную жизнь и просто взаимодействовать с окружающей средой, в связи с серьезными неврологическими заболеваниями.Болезни и состояния, такие как БАС, инсульт, церебральный паралич, множе...
Истории из жизни вредоносов: прячемся в автозагрузку ОС Windows Основной задачей, которую необходимо решить вредоносному файлу сразу после запуска является закрепление в системе, то есть обеспечение возможно постоянной работы данного процесса в системе. То есть, злоумышленнику необходимо, чтобы процесс, с помощью которого он может получи...
Перфокарты против перфокарт: война систем до появления iOS и Android Первая система для обработки больших объемов данных появилась в конце 19 века. Американский инженер Герман Холлерит создал ее для того, чтобы обрабатывать результаты переписи населения США. Компания Холлерита — первый ИТ-стартап — нашла частных инвесторов и государственные з...
Основные функции Apache Tomcat Привет, дорогие читатели! Apache Tomcat — это открытое программное обеспечение, реализующее спецификации Java Servlet, JSP и Java WebSocket, предоставляя таким образом платформу для запуска веб-приложений, написанных на языке Java. Разработанный и поддерживаемый Apache Softw...
Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми при...
А где же звук, или почему дистрибутив Ubuntu может не звучать «из коробки» Данная статья написана в помощь пользователям Ubuntu (Lu.., Xu.., Ku.. и прочих derivatives) которые столкнулись с отсутствием звука или проблемами с другим оборудованием на достаточно свежем «железе». Это статья не перевод, а попытка обобщить и показать путь. Если оборудова...
Tesla начала строить «бункерный» ЦОД для суперкомпьютера Dojo По имеющимся данным, компания Tesla работает над созданием нового центра обработки данных в Остине (штат Техас), который будет иметь «бункерный» характер. Этот шаг согласуется с существующими инициативами Tesla в области технологической инфраструктуры, которые включают в себ...
Cобытия жизненного цикла компонента Друзья, привет!Практическое понимание событий жизненного цикла компонентов даёт возможность быстро анализировать и разрабатывать бизнес-задачи. Мы разберём 7 событий жизненного цикла компонентов на примере Composition API в Vue3 фреймворке. Читать далее
НТВ монетизирует собственные центры обработки данных Российский телеканал НТВ планирует завершить переезд в новый телецентр на Новомосковской улице к лету 2024 года, пишет РБК. Здесь же будут располагаться коммерческие центры обработки данных, часть серверных комнат которых будет предназначена для облачных сервисов.
ИТ-система обработки данных для поиска пришельцев получила модернизацию Институт SETI при поддержке проекта российского предпринимателя Юрия Мильнера Breakthrough Listen и Национальной радиоастрономической обсерватории США сообщил о начале реализации самого масштабного в истории эксперимента по поиску внеземных цивилизаций.
Технологии интеграции ИТ систем Одной из основных задач для Enterprise архитекторов является проектирование и проведение работ по интеграции различных ИТ систем. Так типичной историей является наличие у заказчика каких-то решений, либо не взаимосвязанных, либо частично связанных между собой и архитектору н...
МТС RED представила новую платформу управления безопасной разработкой МТС RED ASOC Решение централизованно управляет встроенными и сторонними инструментами анализа защищенности ПО, обеспечивая мультивендорность, сопоставляет полученные из них данные, повышая эффективность обработки уязвимостей.
Система аутентификации: сделай сам vs возьми готовое Разработка системы аутентификации может показаться начинающему разработчику простой задачей. Пользователь создает учетную запись, данные сохраняются, и в дальнейшем по логину-паролю происходит вход. Но когда начинаешь копать глубже, система аутентификации, точно луковица, от...
Как работает Kubernetes пока ты спишь Эта статья - базовое описание того, из каких компонентов состоит Kubernetes, как он работает «под капотом». Это важно так как платформа сложная и: • понимание ее работы влияет на факторы разработки; • становится понятно, что можно и чего нельзя; • &n...
Мечтают ли компьютеры строить дома? или Как заставить нейросети определять ремонт в квартирах и улучшать объявления Как для большинства выглядит процесс постройки дома? Котлован, песок, цемент, какие-то блоки, снующие люди и техника, шум, пыль на пару лет и вот, дом готов. На самом деле всё давно не так. Точнее, так, но это, как говорится, frontend. Но строительство уже давно процесс не ф...
[Перевод] Управление памятью в Linux Управление памятью (memory management) является важной подсистемой операционной системы Linux, которая обеспечивает эффективное использование ресурсов физической и виртуальной памяти. В Linux управление памятью в основном подразумевает обработку запросов к памяти от про...
Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...
В России создали способ продлить срок службы деталей машин В пресс-службе Новосибирского государственного технического университета (НГТУ) сообщили, что ученые вуза разработали технологию ультразвуковой обработки поверхностей, которая позволит увеличить срок службы деталей машин в 1,5−2 раза.
Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации В предыдущих статьях статья 1, статья 2, статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов я...
О хранении изображений в памяти с выравниванием В разговорах с коллегами, а также по отдельным постам на форумах я заметил, что даже относительно опытные разработчики порой не достаточно глубоко понимают особенности хранения изображений в памяти. Если вы знаете, что такое выравнивание на границу 64-x байт, а также термины...
[Перевод] Hono vs. H3 vs. HatTip vs. Elysia — современные замены Express для сервера (или без сервера) H3 отмечает, что Express.js - старый и малоразвивающийся фреймворк, являющийся не оптимальным выбором для новых проектов из-за потенциальных проблем безопасности и утечек памяти, что, к слову, касается и Koa.В нашей статье мы сделаем акцент на фреймворках, поддерживающих зап...
Создание 3D модели из фотографий и обработка сканированной сетки Создание 3D модели из фотографий и обработка сканированной сеткиПредставляю вашему вниманию небольшой обзор процесса создания 3D модели из серии фотографий с помощью программ:3DF Zephyr, ZBrush, Substance Painter.
[Перевод] Игровые паттерны программирования: Game Loop Это перевод одной из глав книги Game programming patterns Роберта Найстрома. Так как книга по сути состоит из подробного описания шаблонов проектирования, каждая глава может рассматриваться как самостоятельная статья, чем я и воспользовался и перевел, как мне кажется, статью...
Дата-центр в Гейдельберге — построено «самое большое печатное здание в Европе» В Гейдельберге построено Wavehouse, самое большое 3D-печатное здание в Европе! Здание считается первым в своем роде в промышленном секторе и секторе центров обработки данных в мире.
Разбираемся с стейблкойном на TON или как ваши средства могут заблокировать 19 апреля на конференции Token2049 после выступления Павла Дурова было объявлено о появлении стейблкойна от Tether в сети TON - USDt. Так как это централизованный стейблкойн эмитент подобного токена должен иметь контроль над средствами пользователей для соответствия требован...
Digital Realty: Центры обработки данных могут питаться от ядерных реакторов Компания Digital Realty считает атомную энергетику альтернативным источником энергии для питания центров обработки данных искусственного интеллекта. Похожая технология — с применением малых модульных реакторов — используется на атомных подводных лодках.
Алгоритмы вокруг нас Привет, друзья! Меня зовут Алмаз. Я специалист по НСИ (нормативно-справочной информации) в компании Bimeister. Маленький дисклеймер. Данная статья – материал для размышления. В особенности для людей, которые разрабатывают новые алгоритмы и реализуют их. Читать далее
Как автоматизировать проверки данных в Airflow с Great Expectations Привет, меня зовут Дима Курганский, и я - MLOps инженер в команде машинного обучения в Банки.ру. Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations и его составляющие компоненты и хочет вывести его на прод с использованием Apache Airflow. Читат...
Автоматизация рутинной деятельности с помощью Security Vision SOAR: практика Андрей Амирах, руководитель отдела технического пресейла Security VisionТимур Галиулин, менеджер по развитию продуктов Infowatch В этой статье мы расскажем о процессе автоматизации рутинной деятельности в одном из подразделений ИБ крупной компании. Исходные данные: подр...
Яндекс запустил ИИ-поисковик «Нейро» на базе YandexGPT 3 Яндекс представил "Нейро" - передовой сервис, сочетающий поиск информации и обработку ее с помощью больших языковых моделей для получения развернутых ответов на любые вопросы
Cubefabs: альтернатива традиционным мегафабриками и решение проблемы дефицита микросхем Из-за глобального дефицита микросхем существуют риски централизованного производства полупроводников. Сейчас предприятия находятся в основном на острове Тайвань и за счет этого компания Taiwan Semiconductor Manufacturing Company может существенно влиять на мировые цепочки по...
Это реально? Что должен уметь джуниор системный аналитик по профессиональному стандарту Минтруда России Нам оставили немало комментариев к статьям по подготовке к собеседованию системного аналитика (СА) о том, что примеры со сложными вопросами по SQL, REST и диаграммам — избыточны. И что СА не обязан знать, как написать код обработки запроса на Python, И даже СУБД — тоже не сф...
Слово Божие — функциональное программирование как основа Вселенной В одном из своих предыдущих постов под названием "Эйлер, Чёрч и Мандельброт — этюд о красоте и математике" я немного затронул тему рассмотрения функционального программирования в качестве основы реальности. Под тем постом было оставлено множество интересных комментариев, оди...
Как оптимизировать код на С для x86-процессоров: подсистема кэша и памяти, инструкции AVX-512 Меня зовут Андрей Бакшаев, я ведущий инженер-программист в YADRO. Моя команда занимается разработкой и оптимизацией математических библиотек под архитектуру x86. До этого я 15 лет работал в Intel. Значительная часть моих задач заключалась в том, чтобы реализовывать некоторые...
Дуров: тысячи пользователей Telegram, призывавших к терактам, были заблокированы Мессенджер внедряет решение для более эффективной обработки жалоб, а пользователям из РФ, РБ и Украины разрешат ограничивать круг тех, кто могут присылать личные сообщения.
Обзор NativePHP. Инструмент для создания собственных нативных desktop приложений на Laravel Привет, коллеги! В этой статье я сделаю небольшой обзор NativePHP, который появился на последнем Laracon. Что из себя представляет NativePHP? Перед нами фреймворк, который позволяет нам писать нативные десктоп приложения, используя PHP. Приложения кроссплатформенные - можно ...
Дизайн уровней в The Last Guardian: пример геймплейного повествования The Last Guardian поражает своим уникальным подходом как в плане геймплея, так и сюжета, обеспечивая игроку захватывающий опыт и не оставляя равнодушным к второстепенному, но не менее важному, неиграбельному персонажу. Увлекательная реализация искусственного интеллекта живот...
Валидация входных данных в фильтрах Minimal API .NET, просто и без затей В последние год-два снова набирает силу тенденция обращать самое пристальное внимание на производительность разрабатываемых приложений. Тема на самом деле непростая, поскольку производительность не на пустом месте появляется и требует значительных временных ресурсов и квали...
Лунная экономика: что это такое и как её намерены развивать Так называют концепцию развития экономической деятельности на Луне, тут всё просто. В её рамках рассматривается возможность использования ресурсов Луны для различных целей, таких как добыча полезных ископаемых, научные исследования, туризм, производство и т. д.В связи с...
CH32V003 первый проект. Мигаем OLED дисплеем и делаем измеритель концентрации CO2 В последнее время разработчики электроники испытывают трудности с поставками электронных компонентов. Одним из решений данной проблемы является переход на "исконно китайскую" элементную базу. Это решение подкупает ценой и доступностью, но пугает плохой документацией и неболь...
Книжный сканер ScanBook Home A3 для получения цифровых копий документов, съемки видеороликов и проведения презентаций Это компактное устройство будет полезно не только для обработки документов с форматом до А3. Его можно использовать во время семинаров, уроков и презентаций, включая выездные мероприятия, а умеренная цена делает данную модель интересной широкому кругу пользователей, включая ...
— Пакет брать будете? — Нет, я со скриптом. Сравнение софта на скриптах и готовых пакетных решений для сбора данных Продукты для сбора и инвентаризации данных делятся на два типа: софт, который собирает данные с помощью скриптов, и пакетные решения, которые собирают данные готовым программным кодом. В статье разбираем плюсы и минусы каждого варианта, а также окунаемся в краткую истор...
Паттерн Aggregate Outside Руслан Гнатовский aka @Number55 в свой статье Когда ни туда, ни сюда, или в поисках оптимальной границы Domain слоя описал известную проблему протекания бизнес-логики из агрегата, в случае если эта логика зависит от данных которые находятся вне агрегата, и предложил нескольк...
Здоровая конкуренция в GO. Главное не перехитрить самого себя Несколько лет назад я прочитал статью о параллелизации в GO и ничего не понял – я тогда только начинал программировать на этом языке. Но размышления автора мне очень понравились – они подкреплялись бэнчмарками, что было довольно убедительно. Автор игрался c параметром GOMAXP...
События в .NET: стандартная реализация, альтернативы, и причем тут сахар События – это объекты, которые получают уведомления о некотором действии в разрабатываемом ПО и могут запускать реакции на это действие. Разработчик может определить эти действия, добавив к событию обработчик. Разберем в этом материале само понятие событий в .NET и разные сп...
Что нужно знать о предстоящем выпуске iOS 17.1.2 iOS 17.1.2 - это очередное обновление операционной системы от Apple, которое обещает улучшения в производительности, исправление ошибок и улучшенную работу с приложениями. В статье рассматриваются основные изменения и нововведения в новой версии iOS, а также дается информаци...
Amazon вложит $150 млрд в центры обработки данных Amazon планирует потратить около $150 миллиардов на строительство и обслуживание центров обработки данных в течение ближайших 15 лет. Это направление инвестиций призвано обеспечить компанию необходимыми ресурсами для роста спроса на приложения искусственного интеллекта и дру...
Где мне это пригодится в жизни или применение Nothing в Kotlin на примере В данной статье я хочу показать, почему развитая система типов в языке программирования это здорово. Я попробую провести небольшой ликбез о таких на первый взгляд сложных вещах, как sealed-иерархии, ковариантность и тип Nothing на понятном практическом примере создания своей...
Поговорим об оптимизирующих компиляторах. Сказ восьмой: размотка циклов Есть оптимизации, польза от которых очевидна всегда или почти всегда. Например, не делать лишнюю проверку лучше, чем делать. Не считать два раза одно и то же обычно лучше, чем считать (если только мы не упёрлись в нехватку регистров или имеем другие подобные проблемы на нижн...
Плэнер — язык логического программирования для ИИ: что из него получилось Боты под управлением системы GOAP (Goal Oriented Action Planning), источник Плэнер (Planner) — функционально-логический язык программирования, схожий по своему синтаксису с Лиспом. Функциональная часть языка содержит фактически целиком Лисп в качестве подмножества. При этом...
Самый маленький Docker образ Rust приложения Привет %username%, эта статья про то, как поместить Rust приложение в Docker и получить образ размером с бинарный файл (6 Мб). А также про причины, которые привели к переходу с NodeJS на Rust. Отдельная пара слов о проблемах вначале, переходе на Go, и том, как команда Rust у...
Проектирование БД рекомендательной системы по подходу DB-first В данной статье мы рассмотрим проектирование системы по подходу DB-first и то, какие проблемы он помогает не просто решить, а устранить как явление. Читать далее
После сгоревшего склада Wildberries решила заняться их возведением для других Wildberries планирует строить логистические парки для других компаний, сообщают «Ведомости». Этот шаг рассматривается как способ снизить собственные расходы на логистику.
ООП в F# Привет, Хабр!Объектно-ориентированное программирование представляет собой подход к разработке, где основой являются объекты — экземпляры классов, объединяющие в себе и данные, и поведение. В F#, который вырос на функциональных концепциях, ООП представлен как дополнение к уже...
Как ZKP и ZK-Rollups помогают в решении проблемы масштабирования: обзор блокчейна zkSync Привет, Хабр! Меня зовут Рома и я Solidity-разработчик. Вместе с коллегами мы создаем базу знаний по тематике блокчейна и web3-разработке. Меня заинтересовал блокчейн zkSync, т.к. он выделяется среди других Layer 2 решений, но сначала хочу немного рассказать, в чем суть проб...
[Перевод] Проблема объёма логов Когда на нашей рабочей системе происходит какая-либо ошибка, нам хочется, чтобы логи содержали всю необходимую информацию о том, из-за чего она произошла. На достаточно сложных системах это приводит к сбору большого количества данных: какие этапы обработки были выполнены, с ...
Вакуумные струйные насосы: устройства простые на вид, но таинственные по физике работы Струйные насосы-эжекторы В статье про тепловые узлы домов уже рассматривался элеваторный узел как вариант использования водоструйного насоса с приводом от напора тепловых сетей.Элеватор вовсе не уникальное устройство, а лишь одна из версий применения ...
GigaAM: класс открытых моделей для обработки звучащей речи Салют, Хабр! Ранее мы в SberDevices анонсировали предобученную на русском языке модель GigaAM (Giga Acoustic Model) и её дообученные состояния под распознавание речи (GigaAM-CTC) и определение эмоций (GigaAM-Emo). Сегодня же делимся с сообществом весами моделей и примерами и...
Настройка двухфакторной аутентификации по VPN. Континент 4 — MultiFactor Возможности злоумышленников растут и украсть пароль не предоставляет сложности. Одним из вариантов решения проблемы безопасности паролей может служить система многофакторной аутентификации. В этой статье мы покажем, как организовать двухфакторную аутентификацию при организа...
А в чем проблема работать с файлами? Данные - это важный компонент системы. Приложение может хранить их где угодно, но в результате все сводится к файлам. Файлы - это хорошая абстракция, но она протекает: если не знать того, как работают ОС или гарантии файловой системы, то легко выстрелить себе в ногу.Меня увл...
Кабель из комплекта iPhone 15 Pro проигрывает дешевым решениям с Amazon Одной из особенностей новых iPhone 15 Pro и 15 Pro Max стал порт USB-C с поддержкой стандарта USB 3.0. При этом в комплекте с новинками идет кабель, который не способен обеспечить быструю скорость передачи данных. На данный момент в ассортименте Apple есть только один «быстр...
Робот с российским паспортом: решение контакт-центра «Ростелекома» вошло в реестр отечественного ПО «Ростелеком Контакт-центр» зарегистрировал в реестре отечественного программного обеспечения Минцифры России собственную разработку — интеллектуального цифрового помощника DO Digital Assistant RoBot (DO RoBot) для обработки обращений.
Microsoft хочет использовать искусственный интеллект на собственных ядерных реакторах Microsoft планирует использовать собственные малые модульные реакторы (SMR) и микрореакторы для питания своих облачных систем Azure и центров обработки данных искусственного интеллекта. Это могло бы сделать компанию энергетически независимой.
Южнокорейская Sapeon представила превосходящую всех конкурентов ИИ-микросхему Компания Sapeon, поддерживаемая южнокорейской SK Group, вышла на арену ИИ-микросхем, представив свое последнее творение - Sapeon X330. Утверждая, что этот чип, превосходящий конкурентов по вычислительной производительности примерно в два раза и по энергоэффективности в 1,3 р...
В России разработали способ моментальной расшифровки съемок из космоса На казанском предприятии холдинга «Швабе», который входит в Госкорпорацию Ростех создан способ быстрой обработки изображений, сделанных из космоса. Эта технология позволит оперативно получать информацию о различных происшествиях и проводить мониторинг окружающей среды.
Восстановление доступа к аккаунтам Mail.ru теперь возможно за несколько минут Компания VK (бывшая Mail.ru Group) объявила о запуске полезного обновления для своих фирменных сервисов. Новая система ускорит восстановление учетных записей пользователей «Почты» и «Облака Mail.ru». Иллюстрация: Mail.ru Как рассказали в ...
Мапы в Go: уровень Pro Подробный туториал по процессам записи и чтения данных в мапах Go. Объясняем проблемы переполнения, эвакуации элементов; важность передачи количества элементов при создании мапы. Рассказываем, почему в Go нельзя обращаться к ключу или значению по адресу. Читать далее
МИД РФ пригрозил Токио серьезными последствиями, если японские ЗРК Patriot попадут на Украину МИД России: «хотели бы предупредить, что в случае попадания японских ракет в руки ВСУ такие действия будут рассматриваться как однозначно враждебные в отношении России и повлекут самые серьезные последствия для Японии в контексте двусторонних связей»
Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python Привет Хабр! В мире современных вычислений и информационных технологий, алгоритмы играют решающую роль. Они служат фундаментальным инструментом для решения разнообразных задач, начиная от оптимизации бизнес-процессов до анализа сложных структур данных. В контексте графовой т...
Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных Я работаю в компании STM Labs, где мы строим большие высоконагруженные системы класса Big Data. Эта статья написана по мотивам моего выступления на конференции Saint Highload 2023. Хочу рассказать вам увлекательную историю про то, как мы искали лучшее решение по синхронизаци...
Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...
Простейший пример kafka + golang В данной статье представлен простой способ реализации микросервисной архитектуры с использованием Kafka, Golang и Docker. Читать далее
Как наложить музыку на фото: приложения для качественной обработки в 2024 году Крутые посты в соцсетях — визитная карточка вашего профиля. Простые картинки без звука не вызовут таких эмоций, как видео со слайд-шоу качественных снимков под красивую музыку. В этой статье мы расскажем вам, как наложить музыку на фото на андроиде, айфоне и с компьютера.
Кеширование next.js. Дар или проклятие В 13 версии команда next.js представила новый подход к проектированию приложения - так называемый App Router. В 14 версии его сделали стабильным и основным для новых приложений.App Router значительно расширяет функционал next.js - частичный пререндеринг, шаблоны, параллельны...
[Перевод] Обзор статьи «StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени» StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавл...
Геймдев на Lisp. Часть 1: ECS и металингвистическая абстракция В данной серии практических руководств мы подробно рассмотрим создание несложных 2D-игр на Common Lisp. Результатом первой части станет настроенная среда разработки и простая симуляция, отображающая двумерную сцену с большим количеством физических объектов. Предполагается, ч...
Рост и развитие в сфере ИТ: ключи к успешной карьере Вопросы карьерного роста и профессионального развития всегда актуальны, особенно в ИТ. HR-специалисты часто сталкиваются с выбором кандидатов на руководящие позиции в IT и всё чаще задают вопросы, связанные со способами развития сотрудников. И это хорошо.В этой статье я не с...
Монады как строительные блоки функционального Java Монада – это структура, которая описывает способы композиции абстракций. Можно представить монаду как контейнер, который может хранить в себе другие значения или операции. В этой статье мы рассмотрим то, как реализуются монады в Java. Читать далее
WaveSync: Новый путь к нелинейному анализу эмбеддингов WaveSync — новый алгоритм для детального, нелинейного и быстрого анализа сходства эмбеддингов и векторов. Алгоритм является в большинстве задач заменой линейному косиносному сходству. Он позволяет улучшить точность обработки языка и открывает новые перспективы для разработчи...
Профессиональный Входящий Телемаркетинг для Вашего Бизнеса Входящий телемаркетинг - это вид маркетинга, при котором компания осуществляет прием входящих звонков от потенциальных или существующих клиентов. Основной целью входящего телемаркетинга является обеспечение высококачественного обслуживания клиентов, ответы на их вопросы, реш...
ЕС хочет запретить своим странам использование российского аналога SWIFT. Подробности о 14-м пакете санкций Евросоюз ведет активную подготовку к введению очередного, 14-го по счету пакета санкций против России. Как сообщило агентство Bloomberg со ссылкой на осведомленные источники, ограничительные меры будут охватывать несколько основных направлений. Одной из ключевых мер мож...
Амбициозный план: Google решила создать «карту вашей жизни» с помощью ИИ Проект Google «Ellmann» - это новая разработка компании, цель которого - использовать передовой искусственный интеллект Gemini для создания всеобъемлющей картины жизни пользователей путем обработки различных данных, включая изображения, видео и аудио.
Как подключиться к Flutter приложению в режиме нативного debug на ОС Аврора Привет, Хабр! Меня зовут Юрий Петров, я Flutter Team Lead в Friflex и автор ютуб-канала «Юрий Петров | Всё об IT». Мы разрабатываем мобильные приложения для бизнеса и специализируемся на Flutter. А также мы делаем свой вклад в развитие экосистемы Аврора + Flutter. В эт...
Что даёт регистрация онлайн кассы в ИФНС ИФНС РФ — это налоговая служба Российской Федерации, которая занимается сбором налогов и других обязательных платежей с юридических и физических лиц. Регистрация онлайн касс является одним из основных направлений деятельности ИФНС РФ. Онлайн касса — это специальное оборудов...
Названа еще одна причина пить только кипяченую воду Термическая обработка воды позволяет очистить ее от микропластика Благодаря термической обработке, вода очищается от бактерий, тяжелых металлов и всевозможных химических элементов, которые способны сильно навредить здоровью. Недавнее исследование показало, что в результате к...
Зачем НАСА запустит сразу 3 ракеты во время затмения Ракеты-зонды НАСА, которые будут запущены к ионосфере во время солнечного затмения. Источник фото: science.nasa.gov В понедельник 8 апреля из некоторых частей США, Канады и Мексики можно будет наблюдать полное затмение. Это событие ожидают не только миллионы зрителей, но и у...
Выжимаем из Random Forest максимум: увеличиваем полноту при 100% точности Была классическая задача: по табличным данным предсказать некое событие — случится или нет. И как бы я к этим данным ни подбирался, с какого ракурса ни смотрел, результат, увы, не впечатлял. Данных было мало, а то, что было, обладало слабой предсказательной силой. Хотя казал...
Мониторинг Celery Существует популярный подход к покрытию метриками Celery: он заключается в запуске некоторого процесса, который слушает события из специальной очереди, на основе этих событий обновляются объекты метрик, а фоновый поток сервера отдаёт собранные метрики скраперу. В этой статье...
Регулярные выражения в реальных задачах Привет, Хабр! Меня зовут Татьяна, я разработчик в Росбанке, и в этом посте я расскажу про регулярные выражения. По своему опыту могу сказать, что регулярки — это очень полезный инструмент. Я часто пользуюсь ими, решая задачи по обработке текста в базах данных. Вначале я оста...
Директор директив. Расширяем функционал angular-компонентов красиво. Директива-контекст Игнорируете кастомные директивы в Angular? Зря-зря, многое упускаете.Позвольте мне показать в нескольких статьях, как с помощью директив можно расширить функционал ваших компонентов, да так, что никакой DX не пострадает (а только улучшится) (по моему мнению).Представляю вам ...