Построение OLAP-запросов с использованием аналитических функций

Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов Привет, Хабр!Многомерный анализ данных позволяет нам оперировать множеством измерений и атрибутов, создавая более глубокое понимание данных. Это важно для принятия обоснованных бизнес-решений, улучшения производительности и оптимизации процессов.Работая с данными, мы сталкив...

Из пет-проекта в самостоятельную компанию: Алексей Миловидов о разработке ClickHouse и премии Highload++ Алексей Миловидов — разработчик и создатель технологии ClickHouse. Проект получил больше $2 млрд инвестиций. Эта распределенная аналитическая система управления базами данных с открытым исходным кодом используется компаниями со всего мира. Она столбцовая и позволяет онлайн о...

Как я проходила стажировку в отделе аналитических решений почти без опыта работы с данными Привет, меня зовут Луиза, я инженер данных в ЮMoney — работаю здесь уже год. Мы собираем данные, структурируем их, храним и создаём аналитические решения, например OLAP-кубы и дашборды. Департамент разделён на несколько команд, у каждой своя предметная область. За год я прев...

Сравнительный анализ методов аппроксимации на основе SQL-запросов При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), г...

LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql) Привет, Хабр! На связи участница профессионального сообщества NTA Марина Коробова.Данные занимают центральное место в информационном обществе. Именно информация является основой для принятия решений, развития бизнеса и научных исследований. Многие организации инвестируют огр...

Индексирование полнотекстовых данных в PostgreSQL с использованием модуля pg_trgm Привет, Хабр!PostgreSQL, одна из самых мощных и гибких реляционных СУБД, предлагает нам свой модуль pg_trgm, чтобы решить сложную задачу полнотекстового поиска.Когда речь идет о поиске, просто LIKE запросы больше не всегда могут удовлетворить технические требования. Полнотек...

Бесплатные курсы для изучения SQL в 2024 году Изучение SQL в 2024 году остается важным для по нескольким причинам:1. Широкое применение: SQL является стандартным языком для работы с реляционными базами данных, которые широко используются в различных отраслях. Большинство предприятий и организаций все еще хранят свои дан...

Сравнение алгоритмов балансировки нагрузки: Round Robin vs. Least Connections vs. IP Hash Привет, уважаемые читатели Хабра!Сегодня сетевые приложения чрезмерно сложны. В такой среде балансировка нагрузки становится неотъемлемой частью инфраструктуры, позволяя равномерно распределять запросы между серверами и обеспечивать отказоустойчивость. Без балансировки нагру...

Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий Привет, Хабр! Миграция баз данных из одной СУБД в другую представляет собой особо сложную задачу, требующую тщательного планирования, подготовки и исполнения. В 2023 году в Сбербанке завершился масштабный проект по миграции крупного аналитического хранилища данных с платформ...

CatBoost Добрый день, уважаемые читатели Хабра! CatBoost – алгоритм, разработанный специалистами из Yandex, представляет собой нечто большее, чем просто ещё один инструмент в арсенале данных науки. CatBoost – это гармоничное сочетание инноваций и эффективности, особенно когда дело до...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Инженер на минималках: установка и настройка ClickHouse Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить Cli...

Интернет опрос Интернет-опросы предоставляют уникальную возможность для сбора больших объемов данных за короткий промежуток времени, позволяя принимать обоснованные решения, улучшать продукты и услуги, исследовать общественное мнение и многое другое.В этом контексте Тестограф выступает как...

NumPy для самых маленьких Математика везде в нашей жизни, но в программировании, а особенно ML ее два раза больше. Обычно Питон берут в пример самого "научного" языка программирования из-за математических фреймворков. Как не Питон может помочь оперировать математическими абстракциями, некоторые из сф...

Big Data в облаке: строим доступное хранилище За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны ...

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных Я работаю в компании STM Labs, где мы строим большие высоконагруженные системы класса Big Data. Эта статья написана по мотивам моего выступления на конференции Saint Highload 2023. Хочу рассказать вам увлекательную историю про то, как мы искали лучшее решение по синхронизаци...

Продюсеры и консьюмеры с Apache Kafka в Python Салют, Хабр!Apache Kafka - это распределенная платформа потоковой обработки, предназначенная для построения систем обработки данных. Kafka позволяет публиковать, подписываться, хранить и обрабатывать потоки данных в реальном времени. Все это дает нам очень высокую пропускную...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

[Перевод] Гексагональная архитектура со Spring Boot Гексагональная архитектура стала популярным архитектурным паттерном, помогающим отделить бизнес-логику от инфраструктуры. Такое разделение позволяет откладывать принятие решений о технологиях или легко заменять их. Кроме того, это позволяет тестировать бизнес-логику в изоляц...

Python в Excel, базы данных без SQL и трудности в аналитике Привет, Хабр! Сегодня — международный день доступа к информации, поэтому делюсь с вами интересными материалами по ML, AI и дата-аналитике. В новом выпуске вас ждут новинки от Nvidia для LLM, три пути развития аналитического стека, инструменты для анализа данных и другое. Ещ...

Beeline cloud представил новый продукт Cloud ADB Российский поставщик ИТ-услуг и облачных сервисов Beeline cloud представил услугу облачной аналитической СУБД Cloud Arenadata DB на базе Greenplum для построения аналитического и корпоративного хранилища данных.

SPARK для «малышей» Примеры кода на Python для работы с Apache Spark для «самых маленьких» (и немного «картинок»).Данная статья представляет собой обзор основных функций Apache Spark и рассматривает способы их применения в реальных задачах обработки данных. Apache Spark — это мощная и гибкая си...

Go 1.21: пакет slices В версии Go 1.21, был добавлен новый пакет под названием slices. Этот пакет представляет собой набор функций, которые облегчают выполнение наиболее распространенных операций со слайсами. Пакет появился благодаря добавлению дженериков ранне в 1.18. Все функции функции являютс...

Фильтры Ansible: превращаем сложное в простое Используя Ansible в качестве инструмента автоматизации, часть приходится сталкиваться с задачей обработки и фильтрации структурированных данных. Как правило, это набор фактов, полученных с управляемых серверов, или ответ на запрос к внешним API, которые возвращают данные в в...

MERGE и её улучшение производительности с помощью work_mem С выходом PostgreSQL 15 мы застали появление долгожданной команды MERGE, которая позволяет реализовывать эффективные способы синхронизации обновлений.Суть MERGE заключается в ее универсальности: она позволяет объединить операции INSERT, UPDATE и DELETE в одном запросе, автом...

Линейный дискриминантный анализ (LDA). Принцип работы и реализация с нуля на Python Линейный дискриминантный анализ (Linear Discriminant Analysis или LDA) — алгоритм классификации и понижения размерности, позволяющий производить разделение классов наилучшим образом. Основная идея LDA заключается в предположении о многомерном нормальном распределении признак...

Анализ текстовых данных с помощью NLTK и Python Привет, Хабр!NLTK предлагает удобные инструменты для множества задач NLP: токенизация, стемминг, лемматизация, морфологический и синтаксический анализ, а также анализ настроений. Библиотека идеально подходит как для начинающих, так и для опытных разработчиков, предоставляя и...

Отрицание, торг и принятие работы над проектом без документации Приветствую, уважаемые читатели Хабра!

Новый сервис аналитики предлагает данные за 1000 дней в Twitter Запущен новый сервис Reseach.ly, позволяющий увидеть историю Twitter сообщений за последние 1 000 дней. Так же новая платформа оснащена мощным аналитическим модулем, используя который, пользователи могут получить данные на основе ключевых слов, демографии твиттерян, географ...

Visiology 3.6 дает пользователям новый уровень гибкости в работе с данными В новой версии аналитической платформы добавлены дополнительные возможности фильтрации на уровне виджетов, улучшены механизмы безопасности и интеграции.

«Строка бога»/идеальный промт, часть 2, продолжение истории Здравствуйте, уважаемые читатели!В этой статье я хотел бы продолжить тему появления субъязыка текстовых запросов к нейросетям (которая может быть полезна не только для инженеров, но и всех энтузиастов, которые, как, к примеру, и я проводят значительное время за работой с ИИ-...

Пакетная обработка файлов в nanoCAD Для работы с проблемными файлами создано множество инструментов, позволяющих устранять те или иные проблемы. Но что делать в случае, когда файлов, подлежащих очистке или восстановлению – огромное количество? Неужели каждый из них придется открывать вручную и обрабатывать отд...

CPM vs. BI:  о чем не расскажут продавцы Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.Написать данную статью мен...

Неструктурированные данные: что это, в чем их опасность и как защититься? Объемы, разнообразие, а главное, ценность информации продолжают расти. Особенно выделяются неструктурированные данные, которые не имеют четкой организации, структуры или формата. Этим они отличаются от структурированных данных, которые обычно хранятся в базах данных и подчин...

Большая иерархия в SQL запросе + PostgreSQL Сначала запрос адаптирован для работы в PostgreSQL 15.6.Затем работа запроса проверена на достаточно объемной иерархии - в качестве источника данных использована структура архива jdk-master.zip из OpenJDK 22 Читать далее

Инструменты продуктового аналитика VK, или Как мы работаем с большими данными Принятие решений на основе данных является неотъемлемой частью работы аналитика. Данные помогают сделать это быстро. Но что если объём данных достигает десятков петабайт? Подобная задача становится не такой тривиальной, как может показаться на первый взгляд. Как масштабирова...

Управление цветами в Seaborn: как эффективно визуализировать данные Привет, Хабр. В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.Я покажу не только картинки было-стало, но и приведу примеры кода, а также объясню логику принятия решений: как исп...

Как управлять трафиком с помощью BGP и OSPF Привет, Хабр! BGP и OSPF — это протоколы, которые позволяют нам строить и поддерживать сети, способные справляться с огромным объемом данных и обеспечивать высокую доступность. BGP чаще всего используется для маршрутизации трафика между разными автономными системами (AS), в ...

Пет-проект: путь от «простого получения опыта» до «продукта, способного приносить пользу IT сообществу» В мире современных технологий и инноваций роль аналитика становится все более важной и востребованной. Однако, каким образом можно развивать свои аналитические навыки и экспертизу, чтобы выделиться среди конкурентов и создать что-то уникальное? Один из способов – ведение пет...

Использование Istio для управления трафиком и мониторинга в микросервисах Привет, уважаемые читатели Хабра! Когда у нас есть десятки, сотни или даже тысячи микросервисов, становится важным уметь управлять трафиком между ними. Это может включать в себя маршрутизацию запросов, балансировку нагрузки, версионирование сервисов и даже внедрение A/B-тест...

Он улетел и не вернётся: что случилось с «Вояджер-1» и что будет дальше За последние полвека учёные получили огромный объём информации о Вселенной, включая как данные о Солнечной системе и её объектах, так и о дальнем космосе. Большую работу проделали космические аппараты, без них астрономы до сих пор гадали бы, например, что из себя представляе...

Дообучение ruGPT-3.5 13B с LoRA Добрый день, уважаемые читатели и авторы Хабра!Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ре...

11 лучших программ для нейросетей Для работы в области науки о данных, особенно при прогнозировании сложных закономерностей или погружении в проекты компьютерного зрения, часто требуются мощные инструменты, как, например, Neural Designer. При использовании потенциала сверто...

Клеточная архитектура Клеточная архитектура — это подход к проектированию систем, основанный на принципе изоляции и независимости компонентов. Такая модель позволяет разделить большие и сложные системы на меньшие, самостоятельно функционирующие модули или клетки. Каждая клетка представляет собой ...

Что такое бизнес-чат-боты и зачем они компаниям Бизнес-чат-боты – это программы, которые помогают компаниям общаться со своими клиентами 24/7 через мессенджеры, такие как WhatsApp, Facebook Messenger и другие. Они позволяют автоматизировать процесс общения с клиентами, сокращая время ответа на запросы и повышая качество о...

[Перевод] Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, п...

Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Что такое СУБД Greenplum? Зачем она нужна в больших проектах DWH? Чем отличается от ClickHouse? Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД. Порядок хранения данных выбирается в соответст...

Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...

NAS и SAN: основные характеристики, принцип работы и применение решений Сетевое хранилище (NAS) и сети хранения данных (SAN) — это два ключевых подхода к организации хранилища в сети, которые позволяют пользователям обмениваться данными независимо от их местоположения, что особенно актуально для работы геораспределенных команд.Несмотря на то, чт...

Unpacking аналитиков: виды, особенности и отличия Приветствую всех читателей Хабра!Меня зовут Белоусова Александра, я развиваю направление по обучению и стажировкам аналитиков в «Автомакон». У меня довольно разнообразный профессиональный опыт: была и бизнес-аналитиком, и системным, и аналитиком данных, руководила проектами ...

Оптимизация работы с Camunda на основе External task Привет! Меня зовут Андрей, я - ведущий разработчик в "РТК ИТ". В этой статье речь пойдет об опыте перехода на паттерн external task в одной из наших систем.Camunda — это BPM-движок для автоматизации бизнес-процессов. Она представляет собой набор библиотек, которые и позволяю...

Исследование звука: удаление шумов Обработка звука - это процесс исследования динамической/статической звуковой дорожки при помощи применения определенного набора линейных и нелинейных алгоритмов с целью получения необходимой информации. Алгоритмы динамической обработки звука работают с потоковым аудио, ...

Z-test Привет, Хабр!Z-тест, известный также как z-критерий Фишера, представляет собой набор статистических методов для проверки гипотез, которые базируются на предположении о нормальном распределении данных. Эти методы используются для анализа, являются ли средние значения двух наб...

Зеттелькастен рисование на бесконечном канвасе или как помнить всё на свете Каждый автор, обдумывая статью, сталкивается с проблемой. С одной стороны хочется передать читателю крутую идею и тем самым принести большую пользу, а с другой страшно давать что-то “тяжелое”, потому что тема может оказаться неподъемной и следовательно бесполезной.В первых м...

WebSocket в Go и причем тут горилла Привет, Хабр!WebSocket позволяет открыть интерактивный коммуникационный сеанс между пользовательским браузером и сервером. Здесь большое отличие от традиционного HTTP, который ограничен моделью запрос-ответ и не подходит для сценариев, требующих постоянного обмена даннымиGo ...

Системы автоматизации, SGRC Современная кибербезопасность включает в себя множество различных аспектов, объектов и субъектов защиты: информационные активы компании (ИТ-системы, бизнес-приложения, серверы, рабочие станции, сетевое оборудование), файлы и данные в самых разных форматах (от структурированн...

Проект «Селенит». Часть 5: Контроллер, встроенное ПО и квадратурный модулятор Аппаратура SDR (Software-defined Radio), как и следует из названия, представляет собой программно-аппаратный комплекс. В предыдущих частях цикла были рассмотрены преимущественно аппаратные решения радиотракта трансивера Selenite Lite. В большей части данной публикации будет...

Украинские аналитики из Frontelligence Insight оценили стратегию Украины на 2024 год Аналитическая группа Frontelligence Insight проанализировала вопросы обороны ВСУ, мобилизации и взаимоотношений на уровнях власти. Данный анализ получил название «На грани: изучение нехватки боеприпасов и общей ситуации». Основные моменты анализа в этой статье.

iFellow выпускает аналитический продукт для управления качеством проектов Использование продукта снизит нагрузку на внутреннюю команду компаний-заказчиков, переведёт приёмку результатов на аналитический подход, а подрядчикам даст возможность стандартизировать договорённости для обеих сторон проекта.

В кабинете продавца на Яндекс Маркете появился новый отчет «Аналитика продаж» В кабинете продавца на Яндекс Маркете появился новый аналитический инструмент «Аналитика продаж». Он поможет продавцам быстро производить анализ основных метрик, сравнивать полученные данные и находить точки роста для бизнеса. С помощью нового отчета можно: Проанализ...

[Перевод] Существует ли частотная область в реальности? Частотная область — волшебное математическое пространство, которое трансформирует комплексные сигналы в амплитуды и фазы синусоид. Она открывает нам возможность применять разнообразные методы обработки сигналов, казавшиеся почти недостижимыми при их анализе в наиболее очевид...

[Перевод] Передавать пустые срезы между Rust и C/C++ на удивление сложно Моя основная работа связана с браузерами и криптографией, а не компиляторами. Но я нередко сталкиваюсь с ситуацией, когда мне приходится проводить больше рабочего времени за изучением семантики языков программирования, чем за фактическим их использованием. Так что эта стать...

Продавцы на Яндекс Маркете получили бесплатный доступ к статистике поисковых запросов покупателей Яндекс Маркет открыл продавцам бесплатный доступ к аналитическому отчёту со статистикой поисковых запросов покупателей. Он устроен как Вордстат — инструмент, показывающий статистику запросов в поиске Яндекса.  Отчёт Маркета позволя...

Зачем Программисту Микроконтроллеров Численные Методы? В программировании микроконтроллеров иногда прямо в коде приходится решать уравнения. Порой решение не получается выразить аналитически. В математике бывают такие случаи, когда есть функция, которая просто выражается элементарными функциями. А вот обратную функцию выразить...

В общих чертах про функциональное программирование в Rust Привет, Хабр!Функциональное программирование предлагает такие концепции, как иммутабельность данных, чистые функции (т.е, результат работы которых зависит только от входных данных и не производят побочных эффектов), а также функции высшего порядка, которые позволяют работать...

Одномерный лес и все прочее Объяснение «на пальцах» и реализация решающего дерева, случайного леса и бустинга.Дерево принятия решений (также называют деревом классификации или регрессионным деревом) — средство поддержки принятия решений, использующееся в машинном обучении, анализе данных...

Twitter улучшил свой поисковый движок В своем официальном блоге Twitter объявил об улучшении своего поискового механизма. Поиск обзавелся автодополнением запроса и вкладкой «People you follow» («Люди, за которыми вы следите») в результатах поиска twitter.com. Автодополнение запроса показывает наиболее вероятны...

Российские ученые создали цифровую модель оборудования для прокатки стали Ученые из Южно-Уральского государственного университета (ЮУрГУ, Челябинск) разработали аналитическую цифровую модель для комплекса оборудования, используемого в непрерывной прокатке стали. Она позволяет предсказать параметры продукции еще до запуска прокатного стана. Впервые...

[Перевод] Элегантный стек данных для встроенной аналитики Контекст По работе мне доводилось иметь дело с аналитическими стеками любых конфигураций и размеров. Мы на собственном опыте изучили, что цена стека для встроенной аналитики данных, расположенного за фронтендом, может моментально вырасти настолько, что об окупаемости инвест...

Kerberos простыми словами Несмотря на то, что уже существует множество различных статей про Kerberos, я всё‑таки решил написать ещё одну. Прежде всего эта статья написана для меня лично: я захотел обобщить знания, полученные в ходе изучения других статей, документации, а...

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

ПСБ: хранилище данных как дополнительный фактор развития бизнеса Екатерина Варламова, директор департамента управления данными ПСБ, – о создании универсальной платформы для построения аналитических хранилищ данных – ЕХД ПСБ, ее роли в развитии банка и достигнутых результатах.

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Tcpdump на разных уровнях Утилита Tcpdump знакома любому сетевому администратору, с ее помощью мы собираем трафик для последующего анализа. Типичная история – собираем траффик, приходящий на нужный интерфейс и затем уже анализируем его Wireshark. Подход практичный, ведь Wireshark Действительно очень ...

Open Source спутниковая интерферометрия PyGMTSAR (Python InSAR) С тех пор, как я рассказывал на хабре про мой открытый проект спутниковой интерферометрии PyGMTSAR (Python InSAR библиотека) для обработки и анализа радарных данных спутников Sentinel-1, прошло много времени и сегодня PyGMTSAR представляет собой наиболее мощный инструмент ср...

В России разработали систему для анализа качества воды с помощью смартфона На IV Всероссийской конференции по аналитической спектроскопии были представлены результаты работы ученых из Саратовского государственного университета (СГУ), которые разработали тест-систему, которая позволяет быстро и экономично обнаруживать фенолы в воде. Для этой процеду...

Взгляд в хранилище данных. Анализ диска с помощью Kali Linux В данной статье мы рассмотрим основные инструменты и методы, предоставляемые Kali Linux, для анализа содержимого дисков, включая методы извлечения данных, анализ файловой системы, поиск удаленных следов и многое другое. Погрузимся в мир цифровой форензики и обнаружения инфор...

Годовой дайджест по аналитике и ML за 2023 Привет, Хабр! Я Стас, занимаюсь развитием аналитических и ML-продуктов в Selectel. В новом мега-дайджесте мы с командой собрали для вас свои лучшие материалы по итогам 2023 года. Читайте и сохраняйте в закладки: пригодится всем, кто хочет быть в курсе новостей и актуальных ...

Построение сложных логических элементов на резисторно-транзисторной логике В своей прошлой статье я концептуально показал как устроены основные логические элементы РТЛ. Сегодня на их базе рассмотрим более сложные элементы. Читать далее

Внутри микроконтроллера Рассмотрим новинку отечественных ученых - ультранизкопотребляющий 32-разрядный микроконтроллер. Отличительными особенностями этой разработки является сочетание производительности, функциональности и потребляемой мощности.Микросхема К1921ВГ015 представляет собой СБИС 32-разря...

[Перевод] Прекратите клепать базы данных В жизни каждого инженера-фронтендера наступает момент, когда осознаёшь: далее не обойтись без кэширования данных из API. Всё может начаться с самых невинных вещей: сохраняем предыдущую страницу с данными, чтобы кнопка «Назад» срабатывала мгновенно; реализуем простенькую логи...

Разметка трёхмерных моделей миокарда Здравствуйте, мы студенческая команда APIzza. Мы хотим поделиться с вами нашим опытом по разметке трёхмерных моделей из набора данных MedShapeNet, который был опубликован в 2023 году.Так как набор данных включает в себя огромное количество трёхмерных моделей внутренних орган...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

Samsung вернула себе звание крупнейшего производителя смартфонов Samsung снова поднялась по лестнице мирового рынка смартфонов и сумела превзойти Apple по общему объёму продаж в феврале 2024 года. Большую роль на рыночные показатели компании оказал успешный запуск серии Galaxy S24. По данным аналитической компании Counterpoint Research…

Новая техника скрытого извлечения данных из реестра: анализ и рекомендации по защите Недавно в сети появился инструмент, который позволяет получить учетные данные из реестра Windows без взаимодействия с файловой системой — непосредственно из памяти. Детектировать такие атаки средствами штатного аудита очень непросто. В статье сравниваем механизм работы новой...

Использование LLM в автоматизации рутинных задач Всем привет!На связи Георгий Бредис, Deep Learning Engineer из команды Intelligent Document Processing в SberDevices. Наша команда занимается задачами автоматизации бизнес-процессов путем извлечения информации из неструктурированного контента и созданием сервисом суммаризаци...

Архитектурный паттерн для обработки больших данных: Lambda Привет, Хабр! Мы сталкиваемся с огромными объемами информации, высокой нагрузкой, и постоянно меняющимися требованиями. Все это требует от нас не только навыков программирования, но и грамотного проектирования архитектуры, которая способна справиться с этими вызовами.Именно ...

Как в C# быстро извлечь подстроку Извлечение подстроки. Казалось бы, что тут может быть сложного? В любом современном языке программирования это можно сделать через функцию substring или через slicing. За время работы C# разработчиком я повидал разный код, в том числе разные способы извлечения подстроки. В э...

NDP: Запад ослабляет поддержку Украины Аналитическая статья польского издания NDP рассматривает сложное положение Украины в конфликте с Россией и указывает на ослабление поддержки со стороны Запада из-за внутренних проблем Киева, в частности, из-за нерешенной проблемы коррупции

Простой ORM для sqlite3 ORM, или объектно-реляционное отображение — это программная технология, которая позволяет взаимодействовать с базами данных с использованием объектно-ориентированной парадигмы. Вместо того чтобы писать SQL-запросы напрямую для работы с данными в базе данных, можно использов...

Как работать со словарями данных и оптимизировать запросы в ClickHouse Приветствуем! На связи вновь Глеб Кононенко и Алексей Диков — разработчики из Лиги Цифровой Экономики. Ранее мы уже немного рассказывали про наш опыт работы с распределенными таблицами в ClickHouse в этой статье.Сегодня хотим поделиться опытом оптимизации запросов и работы с...

ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта Привет, дорогие читатели Хабра!Сегодня я хочу поделиться с вами своими знаниями и опытом в области анализа данных и машинного обучения, освещая увлекательную и актуальную тему – анализ отзывов на приложения с использованием модели ChatGPT. Этот подход открывает новые горизон...

Начинаем работать с цифровыми картами (ГИС) Обзорная статья, которая поможет разобраться с базовыми понятиями, познакомит с основами, даст общее представление о принципах работы цифровых карт и геоинформационных систем (ГИС). Будет полезно тем, кто только начинает работать с картами и хочет начать в этом разбираться....

MLOps-инструменты, обзоры рынка и тренды потоковой обработки данных Привет, Хабр! В сегодняшнем дайджесте продолжаю делиться материалами, которые помогут вам лучше разобраться в темах ML, искусственного интеллекта и дата-аналитики. Какие перспективы у LLM и BI? Куда Amazon и Google инвестировали более $4 млрд? Как организовать работу аналит...

Apple хочет наделить каждый iPhone собственной большой языковой моделью. Компания работает над оптимизации таких систем Компания Apple не спешит присоединяться в общей гонке чат-ботов и искусственного интеллекта нового поколения, но работает в этом направлении. В частности, Apple исследует возможности размещения больших языковых моделей непосредственно на мобильных устройствах пользовате...

Asterisk + UniMRCP + VoiceNavigator. Синтез и распознавание речи в Asterisk. Часть 4 Часть 1 Часть 2 Часть 3 В четвертой части, как и было обещано, рассмотрим ограничения и недостатки Asterisk как голосовой платформы и особенности его взаимодействия с VoiceNavigator. Голосовая платформа – это программно-аппаратный комплекс с функциями синтеза и распоз...

Построение AppSec в огромном Enterprise и опыт его применения в бирюзовой компании Речь пойдёт о трудностях работы инженеров по безопасности в крупной компании – как команда выстроила AppSec и как выбранный подход помог сделать безопаснее “бирюзовую” команду и огромный Enterprise в целом. Это история о самоорганизации, зрелости и уменьшении количества...

Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще Привет Хабр! В этой статье мы рассмотрим некоторые полезные библиотеки Python для задач обработки данных, с которыми, возможно, вы еще не знакомы. Хотя для задач машинного обучения на ум приходят такие библиотеки, как pandas, numpy, scikit-learn, keras, tensorflow, matplotli...

В России выросли продажи роботов-собак на 55% в 2023 году По данным аналитической платформы «Платформа ОФД», в 2023 году спрос на покупку в России роботов-собак на 55% и роботов-помощников на 41%. Это касается недорогих устройств в ценовом диапазоне 2−5 тыс. рублей, представляющих собой игрушечных питомцев или колесных роботов с ми...

Сложность алгоритмов. Разбор Big O Сложность алгоритмов - это ключевой аспект при проектировании и создании веб-приложений, особенно при работе с большим объемом данных или выполнении вычислительно сложных операций. Понимание, как оценивать сложность алгоритмов, помогает принимать обоснованные решения в выбор...

«Звук»: из песни слов не выкинешь, но проанализировать – можно Дмитрий Берестнев, Chief Data Scientist HiFi-стриминга «Звук», – о реализации проекта по автоматическому извлечению и анализу текстов песен, что позволило решить задачи фильтрации контента и оптимизировать выдачи рекомендаций пользователям.

[Перевод] Вам не нужен для этого JavaScript Прошу вас не возмущаться названием статьи. Я не ненавижу JavaScript, я люблю его. Ежедневно я пишу на нём кучу кода. Но ещё я люблю CSS и даже люблю JSX HTML. Я люблю все эти три технологии по причине, которая называется… ▍ Правило наименьших полномочий Это один из базовых...

Где открыть магазин? Путешествие в геопространственный анализ и обратно В статье расскажу поподробнее про оценку локаций для бизнеса.Проблема классическая: ищем место для открытия нового магазина/ресторана/пиццерии.Сразу скажу, что при помощи гео я решал очень узкий набор задач:• Оценить существующие локации с т.з. плотности населения, конкуре...

Как мы упростили работу с данными с помощью пайплайна: пошаговый план Привет, меня зовут Руслан Шкарин. Я Senior Software Engineer и это моя первая статья в DIY-медиа вАЙТИ от beeline cloud. Расскажу, как занимался построением пайплайна для сбора и анализа логов системы в реальном времени для сервиса, который обходил сотни ...

Шпаргалки для сервера CS:GO Приветствую читателей данной статьи. Сразу хочу отметить, что статья не несет никакой профессиональной информации, но нацелена на аудиторию, которая имеет представление о том, что такое терминал и хостинг, и с чем это едят. Автор лишь делится своим опытом и оставляет это зде...

Restricted IO в Haskell В статье описывается механизм создания собственного модифицированного варианта монады IO в Haskell, с ограничениями операций ввода-вывода.Хорошим тоном организации структуры любой программы на Haskell считается разделение кода на блоки, выполняющие IO операции ввода-вывода и...

Построение планов параллельного выполнения программ для процессоров со сверхдлинным машинным словом (проект) Процессоры архитектуры  сверхдлинного машинного слова (VLIW - Very Long Instruction Word) относятся к специфическим классам архитектур, прямо нацеленным на использование внутреннего параллелизма в алгоритмах (программах), причём параллелизм этот анализируется и планируе...

Где искать работу Дата Саентисту в 2024 году В настоящее время профессия дата-саентиста является одной из самых востребованных и перспективных. С развитием технологий и увеличением объема данных, специалисты в области анализа данных становятся незаменимыми для компаний всех отраслей. Однако, в 2024 году сфера науки о д...

Можно ли использовать DMA вместо memcpy в Linux В интернете можно найти описание проблем, связанных с использованием DMA для стандартной функции копирования данных из памяти в память:Linux – DMA memcpy operation in LinuxДавайте попробуем разобраться, как можно использовать интерфейс к DMA для реализации стандартной операц...

SK Hynix заняла 35% рынка DRAM Согласно информации аналитического агентства Business Korea, доля компании SK Hynix на рынке памяти DRAM достигла 35% в третьем квартале текущего года. Графические процессоры для центров обработки данных, которые компании используют для обучения моделей искусственного интелл...

Как прошло обновление курса «Python-разработчик»: новые сюжеты, Pytest и переработка алгоритмов Привет! Это команда курса «Python-разработчик». Недавно мы провели рефакторинг — большое обновление программы. Для этого мы изучили фидбек студентов, выявили точки роста и актуализировали набор технологий исходя из запросов рынка.В этом материале мы расскажем, какие изменени...

Microsoft рассказала о новых функциях Copilot для Microsoft 365 Компания Microsoft поделилась информацией о новых функциях и улучшениях в Copilot для Microsoft 365, которые призваны сделать вашу работу в приложениях более продуктивной и эффективной. В частности, добавлена поддержка дополнительных языков, внедрены функции для оптимизации...

Ученые нашли простой способ извлечения лития из старых аккумуляторов Исследователи из Университета науки и технологии Huazhong опубликовали результаты своих исследований в журнале Science Bulletin. Их работа представляет собой простую, эффективную и низкоэнергетичную стратегию химического выщелачивания, использующую раствор для извлечения лит...

После RSS В свободное время я занимаюсь разработкой сервиса "Awakari", идея которого - фильтрация интересных событий из неограниченного числа различных источников. В этой статье я расскажу о способах извлечения публично доступной информации в интернете за пределами RSS-лент и телеграм...

Приглашаем на Ozon Tech Community BI Meetup Всем привет!Меня зовут Дмитрий, я руководитель группы разработки инструментов BI. Стоит ли говорить, что данные вокруг нас и, если мы не умеем с ними работать, то мы не можем функционировать как бизнес вообще? Наша команда платформы данных старается обуздать десятки пет...

Оптимизация Скорости и Доступности с помощью Сети Доставки Контента (CDN) в Microsoft Azure Привет Хабр!В мире быстро развивающихся технологий быстродействие и доступность играют ключевую роль в обеспечении удовлетворения потребностей пользователей. В этой эпохе, где каждая миллисекунда имеет значение, использование современных инструментов для оптимизации скорости...

Apple интегрирует ИИ в iPhone 16 Большие языковые модели для работы искусственного интеллекта обычно требуют исключительно больших ресурсов в области оперативной памяти, но инсайдеры сообщают, что компания Apple активно экспериментирует с размещением баз данных на флэш-накопителях, вероятно, чтобы сделать т...

[recovery mode] Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование Проведение анализа дефектов, обнаруженных на продакшене, кажется сложной и трудоемкой задачей. Однако в команде Polymatica мы успешно интегрировали этот процесс в цикл тестирования, сделав его неотъемлемой частью обеспечения качества ПО. Локализация дефектов с...

Поставки планшетов в РФ заметно сократились Издание «Ведомости» со ссылкой на данные аналитического центра GS Group сообщило о заметном сокращении объёма поставок планшетов на российский рынок в 2023 году

Компания Bybit запустила новую функцию для опционов Bybit, третья по объемам криптобиржа в мире, объявила о запуске Easy Options — нового инструмента, предназначенного для упрощения торговли опционами. Easy Options — это инструмент начального уровня, который устраняет сложный процесс фильтрации многочисленных сроков и цен. Де...

LIME и SHAP Модели МО часто сравнивают с "черными ящиками" из-за их неспособности ясно объяснить свои решения. Проблема "черного ящика" возникает, когда внутренняя работа модели настолько сложна или неясна, что даже ее создатели не могут точно понять, как был получен тот или иной резуль...

Сбер открыл доступ к самой мощной своей нейросети – GigaChat Pro Команда Сбербанка открыла компаниям и разработчикам GigaChat API для доступа к двум моделям фирменной генеративной нейросети — GigaChat Lite и GigaChat Pro. Как отмечают в пресс-службе, GigaChat Lite подойдёт для решения более тривиальных задач, требующих при это...

Более 500 брендов смартфонов исчезли с рынка Аналитическая компания Counterpoint Research провела анализ рынка смартфонов и установила, что с него исчезли более 500 брендов.

[Перевод] Я счастлив, что больше не веб-разработчик Я написал своё первое одностраничное веб-приложение на Javascript в 2005 году, сразу после того, как узнал о XMLHttpRequest и до появления серьёзных фреймворков. Я оставил профессиональную веб-разработку примерно в 2009 году (а начал её в 1997 году с WebObjects), а последний...

Создание карты подключений Elasticsearch + Fluent Bit + Nginx Ingress Controller Данная статья представляет подход к решению задачи сбора и агрегации метрик от Ingress Nginx Controller для извлечения геоданных с помощью GeoIP2 и их визуализации в Elasticsearch. Читать далее

[Перевод] Фильтр Блума У каждого разработчика есть набор инструментов для решения различных задач. Однако со временем возникает необходимость расширять этот набор, чтобы эффективно справляться с более сложными задачами. В этой статье я хочу познакомить вас с инструментом, которым вы, скорее все...

Большие данные МегаФона помогут открыть новые направления туризма в Приморье Аналитические сведения, собранные платформой «Цифровой туризм» переданы Туристско-информационному центру Приморья и Агентству по туризму Приморского края для дальнейшего использования в проектах.

[Перевод] Используем Hugging Face для обучения GPT-2 генерации музыки Hugging Face имеет полнофункциональный набор инструментов, от функций создания датасетов до развёртывания демо моделей. В этом туториале мы воспользуемся такими инструментами, поэтому полезно будет знать экосистему Hugging Face. К концу туториала вы сможете обучить моде...

VK Cloud в Казахстане расширила возможности аналитических инструментов платформы Использование Arenadata DB ускоряет аналитику по продажам, планирование закупок, сбор данных для обучения ML-моделей и решения других бизнес-задач.

Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в так называемые кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию. Из-за частичного сходства в постановке задач с кла...

Как Data Science помогает разрабатывать лекарства На протяжении более чем десяти лет я профессионально занимаюсь анализом медицинских данных и участвую в разработке инновационных препаратов. Не скрою, меня приятно удивляет, что в данный момент наука о данных (Data Science) привлекает все больше внимания и захватывает умы ма...

Путь от монолита к разделению Compute и Storage: пример поиска «хранилища мечты» для большой аналитической платформы Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктур...

[Перевод] Продвинутые техники извлечения данных для достижения максимальной производительности Cегодня мы поговорим на тему оптимизации производительности для масштабируемых систем.В современной постоянно развивающейся цифровой среде необходимо держать фокус внимания не только на функциональности программных систем — нужно создавать системы, способные беспроблемно и э...

Li-ion аккумуляторы. Когда ученые изобретут батарейку с большой дальностью хода Здравствуйте, уважаемые читатели Хабра. Написать данную статью меня побудило то, что в силу профессиональной специфики разработчика электротранспорта мне часто приходится сталкиваться с вышеуказанным вопросом.Действительно, многим интересно из практических соображений, когда...

Imo запустило новую функцию Light Популярное приложение для обмена мгновенными сообщениями, imo, запустило новую функцию Light. Это инновационное дополнение значительно повышает удобство работы пользователей во время видеозвонков, особенно при низком освещении. Функция Light соответствует стремлению imo к ло...

Лучшие бесплатные ресурсы для изучения этичного хакинга и кибербезопасности Информационная безопасность (ИБ) или кибербезопасность – это одна из самых важных и актуальныхобластей современной науки и технологий. В условиях постоянного развития интернета, киберпреступности и глобальной информатизации, специалисты по инфор...

«Работа.ру»: автоматизация подготовки коммерческих предложений Елена Артемьева, директор по аналитике, Data Science и исследованиям сервиса «Работа.ру», – об использовании аналитических данных для подготовки коммерческих предложений для клиентов, что позволило ускорить процесс и увеличить выручку компании.

“Строка бога”/идеальный промт, часть 3, продолжение про ИИ-генераторы музыки “Человек создан для счастья, как птица для полета” В. Г. Короленко из его рассказа “Парадокс”Здравствуйте, уважаемые читатели!В этой статье я хотел бы продолжить тему появления субъязыка текстовых запросов к нейросетям, однако в этот раз речь пойдет об использовании ИИ в цел...

Плагин для анализа планов PostgreSQL в VS Code, и его разработка Анализ планов и форматирование запросов PostgreSQL удобно выполнять в VS Code, используя explain.tensor.ru и плагин, о котором пойдет речь ниже. Читать далее

На пути к четкой архитектуре: проблема избыточной функциональности Привет, Хабр!Несколько лет назад, будучи еще новичком, я столкнулся с задачей, которая казалась на первый взгляд простой, но оказалась настоящим ужасом. Мое слепое стремление добавить как можно больше функций привело к тому, что интерфейс стал чрезмерно перегруженным и сложн...

Европейское космическое агентство разработает ИИ для для работы с данными Европейское космическое агентство (ESA) в сотрудничестве с технологическими партнерами работает над созданием искусственного интеллекта (ИИ), которые модернизирует извлечение информации из данных наблюдения Земли и ответит на запросы пользователей.

Пользователи iPhone в опасности: на iOS появился троян GoldPickaxe, который крадет биометрические данные лиц Group-IB обнаружила новой троян для iOS, предназначенный для кражи биомтерических данных лиц, документов, удостоверяющих личность пользователей, а также перехвата SMS. Троян, который был назван GoldPickaxe.iOS подразделением Threat Intelligence компании Group-IB, был пр...

Почему FilamentPHP — это хорошее решение для создания CMS Привет, Хабр! Меня зовут Егор Черненок, я работаю PHP-разработчиком в AGIMA. В этой статье расскажу вам о FilamentPHP. В документации говорится, что это набор красивых Fullstack-компонентов для Laravel. От себя добавлю, что он отлично подходит для построения CMS. А теперь по...

Spring Security 6. Авторизация и аутентификация на основе Базы данных Привет. Меня зовут Кирилл, я Java-разработчик. Несмотря на то, что уже год я работаю в компании, по прежнему стараюсь находить время для собственных проектов, с помощью которых осваиваю интересующие меня технологии и подходы. Именно на таком проекте я решил разобраться, как ...

Готовьтесь к более умным компьютерам: ПК с ИИ займут 40% поставок к 2025 году По данным Canalys, аналитической компании, ПК с поддержкой искусственного интеллекта готовы захватить рынок. Согласно их последнему прогнозу, к 2025 году на долю таких устройств придется 40% всех поставок ПК.

В России создают первую базу научных публикаций по искусственному интеллекту Силами компаний — участников Альянса в сфере искусственного интеллекта, в который входит Сбер, в России создаётся первая база научных публикаций по AI. Об этом в кулуарах форума «Открытые инновации» рассказал первый заместитель председателя правления С...

Взгляд изнутри. Информационные системы российских компаний глазами пентестера: аналитический обзор итогов 2023 года — У нас дыра в безопасности. — Слава богу, хоть что‑то у нас в безопасности...Информационные технологии развиваются семимильными шагами, но одно остается стабильным – наличие «дыр в безопасности». Мы проанализировали результаты более 100 прошлогодних пр...

Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...

Векторные базы данных — набирающий устойчивость тренд в разработке систем ИИ или мимолетное увлечение? В блоге beeline cloud на хабре и в нашем технологическом медиа мы разбираем ключевые технологии и принципы работы отрасли. На этот раз мы решили затронуть стремительно растущий рынок машинного обучения, который «тянет» за собой сегмент векторных БД.С одной стороны, технологи...

Моделирование нелинейных функций и ограничений в задачах линейного программирования Линейное программирование покрывает достаточно узкий класс задач, но механизмы решения таких задач представляют собой мощный инструмент для его применения в промышленных целях. Некоторые ухищрения моделирования позволяют расширить набор решаемых задач методами линейного прог...

Lexus и Toyota признали самым надёжными машинами. Опубликованы результаты нового исследования J.D. Power Аналитическое агентство J.D. Power опубликовало результаты исследования надежности автомобилей на американском рынке, где лидерами стали компании Lexus и Toyota. Эксперты отмечают, что общее качество автомобилей снижается, особенно из-за сложных мультимедийных систем и ...

Security Week 2412: атака на ChatGPT по сторонним каналам Исследователи из Университета имени Бен-Гуриона опубликовали работу, в которой показали новый метод атаки, приводящий к частичному раскрытию обмена данными между пользователем и ИИ-чатботом. Анализ зашифрованного трафика от сервисов ChatGPT-4 и Microsoft Copilot в некоторых ...

Кроссдоменная координация. Как двигать огромные IT-проекты в огромной компании Все знают, что в условиях большой компании очень сложно двигать крупные проекты к успеху. В таком проекте участвует много команд, каждая со своими интересами, приоритетами и особенностями, а общий объём работы — огромный. Если вам интересно довольно простое решение этой...

[Перевод] Добавление собственных данных в LLM с помощью RAG Этот материал посвящён тому, как добавлять собственные данные в предварительно обученные LLM (Large Language Model, большая языковая модель) с применением подхода, основанного на промптах, который называется RAG (Retrieval‑Augmented Generation, генерация ...

Работа с временными рядами в Python. Часть 1 Аналитика данных стала неотъемлемой частью современного бизнеса и научных исследований. И одним из ключевых аспектов анализа данных являются временные ряды. Эффективная работа с временными рядами играет критическую роль в прогнозировании, стратегическом планировании и прин...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Универсальные факты: конструктор извлечения для аналитика Привет, мы команда LegalDocs Управления «Проектный офис» в Правовом департаменте. У Сбербанка огромное количество клиентов, от обычных людей до больших корпораций. Все вместе они предоставляют множество видов документов, из которых нам нужно быстро извлекать юридически значи...

Kubernetes 1.29: бэкенд на nftables, изменение атрибутов тома и другие фичи Сегодня ожидается выход очередной версии Kubernetes — 1.29. Среди главных изменений — бэкенд на основе nftables для kube-proxy, множественные CIDR для сервисов и функция QueueingHint, которая помогает решить, как повторно ставить поды в очередь. TaintManager стал отдельным к...

[Перевод] SQLx: raw SQL в Rust Когда речь заходит об использовании SQL, экосистеме Rust есть что нам предложить: к счастью, нам доступны несколько отличных готовых к использованию решений. SQLx — это чисто асинхронный, независящий от рантайма SQL-крейт, позволяющий использовать проверяемые во время компил...

Мониторинг и трассировка в Go: от Prometheus до Jaeger Привет, Хабр!Когда приложения становятся все более сложными и распределенными, и эффективное управление ими требует глубокого понимания происходящего внутри. Мониторинг позволяет нам наблюдать за состоянием приложения, собирать ценные метрики о его работе и предоставлять нам...

В Windows 11 по умолчанию для всех будет включено шифрование данных BitLocker, которое снижает производительность SSD. Новшество придёт с обновлением 24H2 Обновление Windows 24H2, кроме прочего, принесёт одно весьма важное и спорное изменение в работу системы. После обновления у всех пользователей, даже у владельцев Windows 11 Home, автоматически будет активирована функция BitLocker.  BitLocker представляет собой фу...

Тестируем отечественную систему виртуализации: VMmanager Привет, Хабр!В первой статье моего цикла я предложил читателям выбрать системы виртуализации, которые должны стать «подопытными кроликами» в моем исследовании. Одним из лидеров народного голосования стала российская платформа VMmanager. Пришло время посмотреть, что из себя п...

Моя большая практическая шпаргалка SQL (SQLite) с готовыми запросами Привет, Хабр)Публикую шпаргалку по SQL, которая долгое время помогала мне, да и сейчас я периодически в неё заглядываю.Все примеры изначально писались для СУБД SQLite, но почти всё из этого применимо также и к другим СУБД.Здесь есть и примеры довольно сложных запросов с агре...

Security Week 2404: подглядывание через датчик освещенности Научные исследования в сфере безопасности довольно регулярно посвящены угрозам совершенно теоретического плана. В публикации попадают потенциальные уязвимости, которые никто прямо сейчас эксплуатировать не будет. Задача таких работ — усилить безопасность в перспективе. Если ...

Разработка высокопроизводительного кеш-слоя на основе Redis в телеграм-боте Мгновенность процессов стала золотым стандартом. Пользователи требуют мгновенных результатов, и телеграм-боты не являются исключением. Без кеширования данных, боты могут столкнуться с серьезными задержками при обработке запросов. Кеш-слои в теботах - это ключевой инструмент,...

Владелец крупнейшего парка спутников ДЗЗ PlanetScope объединился с Google Cloud Marketplace Компания Planet Labs PBC, поставщик данных наблюдений о Земле, заявила о доступности своих спутниковых данных PlanetScope на платформе Google Cloud Marketplace. Таким образом, пользователи получают новую возможность анализировать, обрабатывать и получать информацию из о...

Merlion Framework или как упростить работу с временными рядами Единственная причина для существования времени — чтобы все не  случилось одновременно.Альберт ЭйнштейнПривет! Меня зовут Дмитрий, я дата-инженер в SM Lab, и в этом посте хочу рассказать вам о Merlion Framework. В посте мы рассмотрим его архитектуру, полезные функции и о...

className убивает ваш UI kit UI kit играет важную роль в разработке веб-интерфейсов. Он представляет собой набор компонентов и стилей. Основная ценность его использования - это экономия времени. Вместо того, чтобы создавать каждый элемент с нуля, разработчики могут использовать уже готовые элементы, что...

Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое? Данных становится все больше. Важно уметь эффективно хранить и обрабатывать их для решения сложных бизнес-задач. Одним из первых шагов на пути к успешной стратегии является выбор технологии хранения, поиска, анализа и отчетности по данным. Как выбрать между базой данных, Dat...

Как я заглянул внутрь фильтров «БАРЬЕР Компакт ОСМО 100 М» и выяснил, что делает воду чистой и вкусной Здравствуйте, уважаемые читатели Хабра. Меня зовут Олег (@Interfer), я проджект в крупной российской ИТ-компании. А еще я муж и отец замечательной девочки, которой недавно исполнилось пять лет. Уже много лет моя семья для питья использует только бутилированную воду, а д...

Операция «K». Ищем баги в коде IntelliJ IDEA В этой статье мы проверим проект IntelliJ IDEA Community Edition на наличие ошибок и отправим наши правки разработчикам. Крупный проект, Open Source база и использование статического анализатора при разработке. Сложная задача для PVS-Studio. Читать далее

Курс «PostgreSQL для начинающих»: #2 — Простые SELECT Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".Сегодня поговорим о самых простых, но важных, возможностях команды SELECT, наиболее часто используемо...

Google представила Gemini — «убийцу» ChatGPT Компания Google официально объявила о запуске собственной системы искусственного интеллекта Gemini. По заявлению генерального директора Google Сундара Пичаи (Sundar Pichai), который провёл презентацию новейшей разработки, Gemini 1.0 на данный момент является самой мощно...

Как обнаружить хакера на этапе дампа учетных данных в Windows? Одна из самых часто используемых техник при атаках — получение учетных данных из операционной системы. В этом можно убедиться, читая аналитические отчеты различных компаний: техника T1003 OS Credential Dumping в подавляющем большинстве случаев входит в ТОП-5. После прон...

Imo запустило новую функцию Light Популярное приложение для обмена мгновенными сообщениями, imo, запустило новую функцию Light. Это инновационное дополнение значительно повышает удобство работы пользователей во время видеозвонков, особенно при низком освещении. Функция Light соответствует стремлению imo к ло...

Как мы создавали self-service функционал проверки качества данных для ML-моделей Привет! Продолжу рассказ о том, как мы превращаем банк в "биг дата" - организацию. Очевидно, что чем больше данных использует компания, тем больше зависит от их качества. Но, зачастую, вопросам качества данных при разработке витрин уделяется недостаточно внимания. Это связ...

Распознавание лиц на микрокомпьютерах В последние годы появляется всё больше технологий с использованием Computer Vision: это и беспилотные автомобили, и Face ID в телефоне, и умные камеры, способные фиксировать утечку теплоизоляции крыши. Кто-то прогресс приветствует, кто-то нет, но неизменно одно – процесс это...

В Сбере представили GigaAM – семейство моделей машинного обучения для распознавания речи и эмоций Команды разработки сервисов GigaChat и SaluteSpeech в SberDevices представили GigaAM (Giga Acoustic Model) — семейство акустических моделей для русского языка, которые позволяют корректно распознавать речь и эмоции. Сгенерировано нейросетью Dall-E GigaAM — ...

Мечтают ли компьютеры строить дома? или Как заставить нейросети определять ремонт в квартирах и улучшать объявления Как для большинства выглядит процесс постройки дома? Котлован, песок, цемент, какие-то блоки, снующие люди и техника, шум, пыль на пару лет и вот, дом готов. На самом деле всё давно не так. Точнее, так, но это, как говорится, frontend. Но строительство уже давно процесс не ф...

[Перевод] Как создать приложение для чата в реальном времени с помощью React, Node, Socket.io и HarperDB Статья посвящена созданию приложения для чата в реальном времени с чат-комнатами, с использованием Socket.io и HarperDB. Научимся на практике создавать полнофункциональные приложения, в которых бэкэнд может взаимодействовать с фронтендом в реальном времени. Руководство будет...

Истории из жизни вредоносов: знакомимся с Remnux Представим следующую ситуацию, у нас имеется файл, который скорее всего содержит вредоносный код. Варианты с отправкой этого файла сазу на virustotal.com мы пока рассматривать не будем, так как это слишком просто не спортивно.Можно конечно, поднять виртуалку/контейнер с Wind...

Аналитика на лету Рассказываем историю о том, как калькулятор скидок в составе кассового ПО стал CDP-платформой с аналитическим модулем, управляемым с минимальным участием разработчиков. Читать далее

[Перевод] Как проводят оценку качества данных в Airbnb Сегодня, когда объем собираемых компаниями данных растет в геометрической прогрессии, мы понимаем, что больше данных — не всегда лучше. На самом деле слишком большой объем информации, особенно если вы не можете гарантировать ее качество, может помешать компании и замедлить...

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

Cortex-M0+ под ногами или бесплатная «девборда» Доброго времени, уважаемые читатели! Одним прекрасным днем по пути на работу краем глаза обнаружил в пустом стаканчике рядом с кофейней хайп-вейп девайс. Да не простой, а с экранчиком. Вашему вниманию предлагается заметка в стиле "шаг-за-шагом" по использованию уже использов...

AMD выпускает самый большой и сложный в мире GPU со 192 ГБ памяти и гигантский APU со 128 ГБ. На рынок выходят чипы Instinct MI300A и Instinct MI300X Монструозные специализированные чипы Instinct MI300A и Instinct MI300X компания AMD представила ещё в июне, но лишь сейчас она объявила о доступности этих продуктов, а заодно раскрыла больше деталей.  Напомним, Instinct MI300X представляет собой ускоритель на осно...

[recovery mode] Kubeshark — мониторинг и анализ Kuberneres Wireshark - это хорошо известный инструмент для захвата пакетов, анализа и устранения неполадок. Он может перехватывать текущий сетевой трафик и анализировать его в режиме реального времени на микроскопическом уровне, а также считывать и обрабатывать сохраненные файлы захват...

Применение архитектурных шаблонов в машинном обучении: разбор Gradient Boosting Привет, Хабр! Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптир...

Ландшафт угроз информационной безопасности последних лет. Часть 1 Начнем с определения угроз. Кому-то из круга читателей это будет излишним, но пусть здесь полежит – вдруг пригодится. Итак, угроза – это всевозможные действия или события, которые могут вести к нарушениям информационной безопасности, что может привести к нанесению ущерба или...

Методы расшифровки трафика Добрый день, дорогие читатели Хабра!Мы команда специалистов из компании ПМ. Довольно часто к нам приходят заказы на анализ защищенности или тестирование на проникновение веб-ресурсов. Первоначальным этапом при проведении работ является разведка, которая включает в себя анали...

[Перевод] Common Table Expressions Common Table Expressions (CTE) или обобщенное табличное выражение, впервые появилось в версии SQL Server 2005, и это простой способ разбить сложный запрос T-SQL на несколько запросов, что придаёт больше гибкости и управляемости. CTE во многом очень похожи на представлен...

[Перевод] Что есть истина в последней инстанции или какие добавки действительно работают? Здравствуйте, уважаемые читатели!Сегодня я хотел бы поговорить о том, какие пищевые добавки, а если говорить точнее, эргогенные средства, действительно работают и дают результат, даже учитывая факт того, что, по сути, между эргогенными средствами и пищевыми добавками нельзя ...

[Перевод] Vivaldi вгрызается в яблоко: Представляем Vivaldi для iOS Дождались! Вышел Vivaldi для iOS.Мы в Vivaldi считаем, что браузер должен подстраиваться под вас, а не наоборот. Теперь мы переносим эту философию на ваш iPhone и iPad.Являетесь вы обычным или опытным пользователем, вы получаете гибкость и универсальность просмотра веб-стран...

Профессия «компьютер» Сложно представить, что 70–150 лет назад приходилось прокладывать маршруты, вести бухгалтерию, производить сложные вычисления (а каких-то 60 лет назад уже и запускать в космос людей), без использования компьютеров. Так как же решались задачи, выполнение которых сегодня невоз...

[recovery mode] Как в Node.js контролировать потребление памяти при обработке сетевых запросов Всем привет! Я Виктор Кугай, руководитель команды разработки спецпроектов в Тинькофф. Мы создаем геймификационные проекты, основанные на данных, чтобы познакомить пользователей с экосистемой компании и повысить узнаваемость бренда.Расскажу, как с помощью Node.js Streams и ме...

Как провести исследование рынка и продукта с помощью ChatGPT в 2024 году? Список ключевых промтов для продакт-менеджеров 2023 год стал годом взрыва искусственного интеллекта. Я спрашиваю почти каждого менеджера по работе, с которым встречаюсь, используют ли они ChatGPT в своей повседневной работе: половина отвечает, что да. Однако для многих до сих пор ChatGPT является темным лесом, хотя иссл...

Новый Exeed VX в России первым получил поддержку технологии Internet of vehicles: что она включает Новый Exeed VX, представленный на российском рынке в рамках международного форума в автосалоне Москвы, после обновления получил поддержку технологии Internet of vehicles. По сути, концепция Internet of vehicles (IoV) включает в себя использование в автомобиле сетевых те...

Спутники будущего: автономность ИИ и облачная система станут реальностью Главный исследователь в исследовательском центре SmartSat Cooperative Research Centre (CRC) утверждает, что будущие спутники будут иметь возможность принимать самостоятельные решения, будут оснащены искусственным интеллектом и смогут работать в собственной «облачн...

Опросы с использованием метода Дельфи Метод Дельфи, представляет собой уникальный подход к систематическому и структурированному сбору мнений экспертов для прогнозирования или решения сложных проблем. Цель статьи — не только описать метод Дельфи, его основные этапы и применение, но и показать, как его преимущест...

Технология OCR и ее преимущества для бизнеса OCR (Optical Character Recognition) - это технология, которая позволяет компьютерам распознавать текст, написанный от руки или напечатанный на бумаге, и преобразовывать его в электронный формат. С помощью OCR возможно автоматическое сканирование и распознавание текста с доку...

Повторяем Bad aplle на языке Python ASCII-графикой Повторяем Bad Apple в Python ASCII-графикойДоброго времени суток, уважаемые читатели хабра, в этой статье я расскажу Вам о том, как я повторил клип Bad Apple ASCII-графикой Читать далее

Реверсинг с помощью Remnux: переборщики Некоторое время назад я написал статью, посвященную использованию дистрибутива Remnux для задач реверс инжиниринга. В этой статье мы посмотрим еще несколько инструментов, которые входят в состав данного дистрибутива.Для того, чтобы затруднить анализ вредоносных файлов злоумы...

Apple тратит «огромное количество времени и усилий» на искусственный интеллект: пользователи увидят результаты уже в этом году Во ходе публикации отчета за первый квартал 2024 финансового года генеральный директор Apple Тим Кук прокомментировал работу компании над искусственным интеллектом. Он сказал, что Apple вкладывает «огромное» количество времени и усилий в искусственный интелл...

Как бы я взломал Рунет? В сегодняшней статье мы поделимся результатами более чем годового проекта СайберОК, посвященного анализу защищенности периметра Рунета.Исследование содержит в себе подробную статистику по некоторым кейсам, аналитические выводы, а также крупные инциденты и опасные уязвимости,...

Продавцы Яндекс Маркета получили доступ к статистике поисковых запросов покупателей Яндекс Маркет открыл продавцам бесплатный доступ к аналитическому отчету со статистикой поисковых запросов покупателей. Он устроен как Вордстат - инструмент, показывающий статистику запросов в поиске Яндекса. Отчет Маркета позволяет узнать предпочтения покупателей на сервис...

CV Tools — система зрения для конечных пользователей Задача создания классификатора изображений на основе пользовательского набора данных является частой задачей для AI программиста, однако автоматический инструмент, решающий задачу без участия программиста мне на глаза не попадался. CV tools — с...

crm для фитнес клуба crm для фитнес клуба— это программа, которая помогает управлять отношениями с клиентами. Она собирает данные о посетителях, ведет запись на занятия, контролирует оплату абонементов и многое другое. CRM для фитнес-клуба должна обладать следующими функциями: 1. Ведение клие...

New York Times: американский стартап Profluent использует ИИ для создания «редакторов генов» Profluent разрабатывает с помощью ИИ технологию Crispr для анализа огромных объемов биологических данных.

Автоматизированная торговля акциями с использованием глубокого обучения с подкреплением В этой статье мы начинаем рассматривать практическое применение библиотеки FinRL для построения торгового агента. В предыдущей статье мы вкратце рассмотрели библиотеку FinRL, предоставляемые ей возможности моделирования рынка и обучения торговых агентов на основании алгоритм...

Концепция имплицитов в Scala Концепция implicit в Scala представляет собой одну из наиболее уникальных и мощных особенностей этого языка программирования. Этот ключевой механизм позволяет разработчикам создавать более гибкий и чистый код, улучшая читаемость и расширяемость программ.В этой статье мы погр...

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

Новый тип нейронной сети приходит на помощь большой физике Инструмент машинного обучения помогает физикам решать сложную задачу анализа больших, но почти пустых наборов данных, например, от детекторов нейтрино или коллайдеров частиц. Читать далее

ИИ под запретом. Gentoo вводит ограничения на использование искусственного интеллекта Gentoo, один из самых популярных дистрибутивов Linux, ввёл запрет на принятие изменений, созданных при помощи инструментов генеративного искусственного интеллекта (ГИИ). Этот запрет охватывает различные аспекты работы над дистрибутивом. Так, разработчики больше не могут испо...

Gemini AI теперь доступен в Google Chrome для создания эффективного контента Google Chrome получил новую функцию  — генератор письма с искусственным интеллектом. По своей сути этот инструмент на базе Gemini, он представляет собой функцию «Помоги мне написать», встроенную в Gmail, но расширенную на всю сеть и основанную на ...

МШЭ МГУ переводит обучение аналитиков на Visiology Ведущая российская аналитическая платформа позволит обучать студентов согласно лучшим практикам и удовлетворить запросы российского рынка труда.

Книга: «Podman в действии» Привет, Хаброжители! Пришло время обновить свой контейнерный движок! Менеджер контейнеров Podman обеспечивает гибкое управление слоями образов и полную совместимость с Kubernetes, а также дает возможность пользователям без прав администратора создавать, запускать непривиле...

VK даст малому и среднему бизнесу простой доступ к инструментам анализа больших данных Сервис позволяет сократить до 60% стоимости вычислительных ресурсов при работе с большими данными за счет автоматического масштабирования Kubernetes в зависимости от текущей нагрузки.

Анализ новостей с помощью сегментации и кластеризации временных рядов В Отусе я прошла курс ML Advanced и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и со...

SQL и python для анализа цен на новостройки в СПб или ценнейший навык для маркетолога в 2024 «Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблица...

Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц Есть два подхода к работе с машинным обучением (Machine Learning, ML): быть человеком-оркестром и задействовать «зоопарк технологий» для каждого этапа, или работать с готовым набором инфраструктурных решений, который позволяет выстроить MLOps-конвейер в рамках одной платфо...

CSI — индекс удовлетворённости клиентов. Где провести и как рассчитать? Эта статья предназначена для предпринимателей, маркетологов, специалистов по клиентскому опыту, которые стремятся глубже понять своих клиентов и улучшить качество своих услуг и продуктов.Что делает эту статью особенно ценной и интересной? Здесь мы представляем не только осно...

[Перевод] Если вы собираетесь сидеть и ничего не делать, то хотя бы делайте это правильно Иногда бывает нужно, чтобы API не делал ничего. При этом важно, чтобы он не делал ничего правильным образом.Например, у Windows есть сложная инфраструктура печати, но этой инфраструктуры нет у Xbox. Что должно произойти, если приложение попытается выполнить печать на Xbox?Не...

Майнинг бизнес-процессов и визуализация данных с помощью Neo4j, Plotly и GPT Этот материал может быть полезен для COO, бизнес-аналитиков и топ-менеджеров компаний. Хотя в тексте присутствуют некоторые технические детали, надеюсь, они не будут слишком сложными. Цель материала: показать общую логику, которую мы использовали для извлечения и анализа дан...

Стоимость биткоина обрушилась ниже уровня поддержки из-за оттока спекулянтов По данным информационно-аналитической платформы CoinMarketCap, в понедельник, 18 декабря, торговля первой по капитализации криптовалютой проходит на уровне нижней границы поддержки биткоина в $41 000

Асинхронная работа с файловой системой в Vert.x Vert.x – это экосистема для создания реактивных приложений на JVM, которые могут масштабироваться и обрабатывать огромные объемы данных в реальном времени. Это полиглоттная платформа, поддерживающая не только Java, но и Kotlin, Groovy, Scala, и еще js. В контексте статьи раб...

Вы сами сможете указать, сколько ОЗУ может потреблять браузер. Microsoft тестирует новую функцию для Edge Современные браузеры потребляют всё больше и больше оперативной памяти, а разработчики всеми силами пытаются ограничивать их аппетиты. Microsoft сообщила, что в её браузере Edge вскоре появится возможность вручную ограничивать объём ОЗУ, который сможет потреблять ПО.&nb...

Люди матрицы Все конечно же смотрели фильм ‘Матрица’. И, конечно же, уверены, что это художественный вымысел, и мы не живем в матрице. Но вы ошибаетесь. Реальная матрица выглядит не так фантастически, как в фильме, но она существует. У вас прихватило сердце, и вы обратились к врачу....

Правда о железнодорожных тормозах: часть 6 — приборы торможения грузового типа Продолжая излагать, в популярной форме, нюансы устройства железнодорожного тормоза, я, на протяжении пяти статей старательно увиливал от, с моей точки зрения, наиболее сложной и интересной темы - устройства грузовых приборов торможения. В силу специфики грузового движения, у...

В Москве протестировали первую отечественную нейросеть для анализа научных публикаций Научные сотрудники Центра диагностики и телемедицины Депздрава Москвы протестировали первую отечественную нейросеть «Sechenov DataMed.AI» для анализа научных публикаций. Кроме поиска и фильтрации работ, просмотра ключевых слов отечественная нейросеть позволяет подсветить в т...

Анализ отличий в работе системного и бизнес-аналитика через призму процессного подхода Всем привет!Меня зовут Станислав, сейчас я работаю старшим системным аналитиком в отделе развития голосового антифрода.Сейчас в мои задачи входит анализ и управление требованиями к веб-приложению для настройки проверок параметров вызовов. Помимо описания взаимодействия между...

Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...

Яндекс представил новое поколение нейросетей YandexGPT Команда Яндекса анонсировал линейку нейросетей YandexGPT 3. Первая языковая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Она лучше работает со сложными запросами и точнее следует заданному формату ответов, благодаря чему будет особе...

Вызов пользовательских функций в API Gigachat Недавно в документации к API GigaChat появился раздел, посвящённый работе с функциями, аналогично тому, как это реализовано в ChatGPT. Идея заключается в том, что модели передаётся информация о доступных ей функциях, и в зависимости от запроса пользователя модель может ...

Государство и агротех: регуляция сельхозинноваций на национальном уровне разных стран мира Заметно, что в последние годы во всем мире уделяется все больше внимания регулированию и государственной поддержке сельхозинноваций. Недаром один из трендов агротехнологического развития до 2030 года — это рост роли государства в деле актив...

Автоматизация скачивания документов из контрактов с площадки ЕИС при помощи Python В настоящее время информация о государственных контрактах является важным ресурсом для многих исследований и аналитических работ. Однако сбор этой информации может быть трудоемким процессом, особенно когда речь идет о большом количестве контрактов. В этой статье мы рассмотри...

ChatGPT теперь озвучивает свои ответы на 37 языках OpenAI представила новую функцию для ChatGPT, которая позволяет зачитывать ответы бота вслух. Озвучка доступна как в веб-версии ChatGPT, так и в приложениях для iOS и Android. Это может быть особенно полезно для пользователей, которые находятся в пути и предпочитают слушать…

[Перевод] Краткий обзор техник векторизации в NLP Как переводчик-редактор, я интересуюсь темой NLP и автоматизации рутины бюро переводов. Изучая вопрос того, как смысл слов превращается в векторы, наткнулся на эту обзорную статью. Статья мне показалась изложенной доступно, поэтому я перевел ее для удобства других коллег. Ра...

[Перевод] Корутины для Go Эта заметка о том, зачем нам нужен пакет coroutine для Go и как он будет выглядеть. Но прежде всего, что такое корутины?Сегодня каждый программист знаком с вызовами функций (подпрограмм): F вызывает G, которая останавливает F и запускает G. G выполняет свою работу, потенциал...

Использование теории игр для повышения прозрачности моделей машинного обучения Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильност...

Интеграция SonarQube в Kubernetes В современном мире разработка программного обеспечения стала неотъемлемой частью бизнес-процессов, требующей не только высокой производительности, но и надежной защиты от угроз безопасности. В этом контексте DevSecOps выступает как ключевая парадигма, интегрируя принципы без...

Моделирование курса валют методом Монте-Карло Метод Монте-Карло — это мощный инструмент стохастического моделирования, который используется в самых разнообразных областях науки и инженерии. В финансах, этот метод часто применяется для анализа и прогнозирования временных рядов, таких как курс валют или акций. Использован...

Магия сервисного подхода в DevOps as a Service. Двигаем культуру коммуникации в компании Всем доброе утро! С Вами Крылов Александр, и сегодня я расскажу Вам про занимательную магию сервисного подхода DevOps, или как можно двигать культуру коммуникации в компании.Вопросы и аудиторияПрежде чем начинать рассказ, следует ответить на вопрос, чем внедрение “DevOps as ...

Сборник советов, как упростить работу с YAML-файлами YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использ...

Наивный байесовский классификатор. Основная идея, модификации и реализация с нуля на Python Наивный байесовский классификатор (Naive Bayes classifier) — вероятностный классификатор на основе формулы Байеса со строгим (наивным) предположением о независимости признаков между собой при заданном классе, что сильно упрощает задачу классификации из-за оценки одномерных в...

Анализ и оценка перспективы использования LSMW для автоматизации подготовки тестовых данных в SAP Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования решений на платформе SAP в компании РСХБ-Интех. В прошлый раз я делился опытом тестирования бизнес процессов, внедряемых модулей SAP, в банке. Сегодня расскажу вам про LSMW, и как данный инструмент ...

Аналитики опубликовали статистику продажи компьютеров Mac в 2023 году Аналитическая компания CIRP поделилась отчетом о использовании компьютеров Mac в 2023 году в США.

ИИ против всех: когда и почему мы стали бояться алгоритмов (и что с этим делать) О том, что бездушные алгоритмы рано или поздно лишат работы всех (или почти всех) написано немало статей — от новостей с громкими заголовками до аналитических отчетов. Разбираемся, так ли правы эти неутешительные прогнозы — и попробуем проследить, откуда в нас страх перед ИИ...

Применение анонимных прокси в области SEO Применение анонимных прокси в области SEO – это эффективная и важная стратегия, которая позволяет веб-мастерам и маркетологам повышать видимость своих сайтов в поисковых системах. Анонимные прокси-серверы предоставляют доступ к интернету с измененным IP-адресом, что помогает...

Современное Торговое Оборудование: Оптимизация Процессов с Aisino A90 и Aisino A99 В современном бизнесе эффективное торговое оборудование играет ключевую роль в обеспечении гладкой и удобной работы предприятий. Среди инновационных решений, выделяются смарт-терминал Aisino A90 и Android POS Aisino A99, представляющие собой передовые технологии в области об...

PLC Allen Bradley подключение с помощью Python Привет, уважаемый читатель!Хочу немного поведать тебе как через Python в локальной сети можно подключиться к PLC от Allen Bradley.В свое время перепробовал кучу разных библиотек, но в один прекрасный день нашлась та самая "pycomm3". Читать далее

[Перевод] Встречаем Angular 17 В прошлом месяце исполнилось 13 лет с момента появления "красного щита" Angular. AngularJS стал отправной точкой для новой волны JavaScript-фреймворков, появившихся для поддержки растущей потребности в богатом веб-опыте. Сегодня с новым внешним видом и набором перспективных ...

Kustomize в Kubernetes Привет, Хабр!

NVIDIA представила видеокарту RTX 2000 Ada NVIDIA представила свою совершенно новую профессиональную видеокарту поколения Ada для профессионалов — новинка, как и сообщали инсайдеры несколько дней назад, получила название RTX 2000 Ada, и она ориентирована на сегмент доступных решений. Видеокарта NVIDIA RTX 2000 Ada ос...

Обновлённая Яндекс Погода для бизнеса составит прогноз для погодозависимых отраслей Нейросети в новой версии Яндекс Погоды для бизнеса предскажут динамику погодных показателей. По мнению разработчиков, это поможет компаниям, чей бизнес зависит от погоды, эффективнее планировать свою деятельность. Информация доступна предприятиям в личном кабинете в вид...

Установка и настройка Hysteria В этом году я, как и многие посетители Хабра, с огромным интересом читал статьи уважаемого MiraclePtr, учился применять озвученные им идеи и рекомендации, на практике знакомясь с протоколами, клиентами и графическими панелями. Для многих протоколов существуют подробные инстр...

[Перевод] Что нового в Chrome 117? Что ожидается в статье:Три новые функции CSS позволяют легко добавлять плавные анимации появления и исчезновения.Вычисление наборов данных более высокого порядка с помощью группировки массивов.DevTools упрощает процесс локальных переопределений.И многое другое. Читать далее

Бесплатные курсы для изучения C++ в 2024 году В 2024 году в сети доступно множество бесплатных ресурсов для изучения C++, которые предлагают высокое качество обучения. Поэтому нет необходимости платить за курсы, если вы можете получить все необходимые знания бесплатно.Учить C++ в 2024 году по бесплатным курсам имее...

Сбор обратной связи от клиентов Сбор и анализ обратной связи позволяют предприятиям не только улучшать свои продукты и услуги, но и адаптироваться к меняющимся потребностям и предпочтениям своих клиентов, опережая конкурентов и повышая лояльность своей аудитории.Целевая аудитория этой статьи - руководители...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1 Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения...

Геоаналитика Билайна используется при разработке мастер-плана Чебоксарской агломерации ДОМ.РФ и проектно-аналитический центр «Урбан Про» при разработке стратегии пространственного развития территории (мастер-план) Чебоксарской агломерации используют большие данные мобильных операторов, в числе которых билайн.

Космическая сокровищница всё ещё заперта: команда OSIRIS-REx столкнулась с трудностями при открытии контейнера с образцами астероида Во многих отношениях миссия NASA по сбору образцов астероида OSIRIS-REx уже является огромным успехом. На основе предварительного анализа образцов, собранных за пределами основного контейнера, космическое агентство объявило, что материал астероида богат как водой, так и...

[Перевод] Рекурсивные CTE Одним из наиболее важных применений CTE являются рекурсивные запросы, для которых CTE является фактически единственным средством реализации. Как отмечалось в предыдущей статье, в Books Online есть несколько примеров использования CTE, включая и рекурсивный CTE...

[Перевод] Повышение эффективности SQL-запросов: советы и рекомендации В статье представлен ряд советов и методов, которые помогут читателям оценить производительность своих SQL-запросов и улучшить ее при необходимости. Здесь будут рассмотрены некоторые ключевые аспекты оптимизации запросов для SQL Server, чтобы помочь пользователям сделать их ...

Исследование рыночной корзины на основе данных розничной торговли в Стамбуле Всем привет! Вот и я добралась до Хабра :).Хочу поделиться своей проектной работой, которую написала в рамках курса OTUS "Machine Learning.Basic". Итак, нас ждет путешествие в увлекательный мир шопинга в Стамбуле! Целью работы было получить представление о тенденциях и модел...

Предсказательное моделирование (Predictive Modeling) Привет, Хабр!Что такое предсказательное моделирование? Проще говоря, это искусство и наука прогнозирования будущего, основанная на изучении и анализе прошлых и настоящих данных. Это не просто гадание на кофейной гуще или предсказания астролога; это строгий научный процесс, в...

Xiaomi показала огромный холодильник на 616 литров за $340 Помимо внушительного объёма и двухдверной конструкции, новинка обзавелась набором полезных технологий для сохранения свежести продуктов

Синхронизация операций в .NET на примерах Всем привет. Сегодня я расскажу об инструментах, которые существуют в .NET для параллельной работы с какими-то внешними ресурсами и приведу примеры, где и как их можно применить.При параллельной работе с каким-то ресурсом, нам нужно синхронизировать доступ к нему, чтобы не п...

[recovery mode] Дроби в ранних цивилизациях В обширном математическом пространстве дроби занимают особое положение. По своей сути они представляют собой одновременно и числа, и способ выражения частей целого, служащий опорным блоком как в базовой арифметике, так и в сложной математической теории. Несмотря на их повсем...

Лучшие игровые движки 2024 для 2D разработки Defold - это бесплатный движок для создания 2D игр и других интерактивных приложений. Он разработан компанией King (известной по игре Candy Crush) и предлагает простой и эффективный способ создания кроссплатформенных проектов. 1. Язык программирования: Defold использует язык...

FineBI под микроскопом: Обзор новых функций и улучшений в Q1 2024 Хабр, привет! Меня зовут Александр Ларин, я являюсь руководителем центра технической поддержки и обучения в GlowByte, а также лидером самого большого в России сообщества FineBI.Сегодня в нашем фокусе – обновления, которые не оставят равнодушными ни одного бизнес-аналити...

Стартер-пак успешного стартапа: как запустить в России IT-продукт мечты Со стартапами на международном рынке всё плохо. В первом квартале этого года общий объем финансирования стартапов сократился на 53% и составил всего $76 млрд. А в России наоборот — в связи с уходом западных партнёров и массовым импортозамещением у нас повысился спрос на стар...

Человек против ИИ в играх: история противостояния Такие игры, как шашки, шахматы, го, представляют собой сложные задачи, требующие высокого интеллектуального уровня. Разработка ИИ, способного с ними справиться, помогает исследователям понять принципы принятия решений, поиска оптимальных стратегий. Они могут обучать на играх...

Бороздим облака будущего: впечатления айтишника о конференции GoCloud Добрый день, уважаемые подписчики Хабр. На связи Владимир Миронов (@VladimirMironovML). 21 марта состоялась масштабная IT-конференция GoCloud «Облачные грани будущего». Мероприятие было приурочено к 5-тилетию работы команды Cloud.ru на российском рынке облачных IT-услуг и но...

Canalys рейтинг: в мире стали чаще покупать премиум-смартфоны Аналитическое агентство Canalys опубликовало рейтинг смартфонов по объёму их поставок на рынок в 2023 году

Оцениваем RAG-пайплайны RAG (Retrieval Augmented Generation) - это популярный подход, объединяющий извлечение данных из баз и генерацию текста, позволяя моделям AI давать ответы на вопросы, основанные на информации, которую они не видели в процессе обучения. Важным этапом в развитии RAG является ег...

Cognizant применит генеративный ИИ NVIDIA BioNeMo для поиска лекарств фармкомпаниями Cognizant развивает применение технологии генеративного ИИ, используя платформу NVIDIA BioNeMo для решения сложных задач открытия лекарств в медико-биологической отрасли, и тем самым повышает эффективность процесса разработки и ускоряет вывод новых спасающих жизни методов ле...

Названы самые популярные китайские автомобили с пробегом в России В ноябре 2023 года в России было реализовано 13 685 подержанных автомобилей китайского производства, как отмечает аналитическое агентство «Автостат-Инфо». Это число представляет собой всего лишь 2,5% от общего объема вторичного рынка автомобилей, который сос...

Настройка CI/CD для самых маленьких разработчиков Считается, что построение CI/CD - задача для DevOps. Глобально это действительно так, особенно если речь идет о первоначальной настройке. Но часто с докручиванием отдельных этапов процесса сталкиваются и разработчики. Умение поправить что-то незначительное своими силами позв...

Разработка и интерпретация иерархической кластеризации Привет Хабр!Иерархическая кластеризация является мощным методом анализа данных, позволяющим группировать схожие объекты в кластеры. В этой статье мы рассмотрим процесс разработки и интерпретации иерархической кластеризации, погружаясь в методы создания кластеров и анализа ре...

Наконец-то беспроводные наушники будут поддерживать Lossless. Представлены SoC Qualcomm S7 и S7 Pro Gen 1 с поддержкой Micro-power Wi-Fi Компания Qualcomm представила однокристальные системы Qualcomm S7 и S7 Pro Gen 1, которые должны существенно изменить рынок беспроводных наушников.  Новинки представляют собой звуковые платформы, главной особенностью которых является поддержка технологии, которую ...

[Перевод] Фильтр Блума – вероятностная структура данных для проверки принадлежности элемента множеству Структуры данных такие как HashSet могут использоваться для небольшого набора данных, позволяя проверять принадлежность элемента множеству. При этом использование проверки принадлежности элемента на большом наборе данных может быть затратным. Временная и пространственная сло...

[Перевод] Как работает async/await в Swift Функция async/await в Swift появилась в iOS 15, и я полагаю, что на данный момент вы уже знаете, как ее использовать. Но задумывались ли вы когда-нибудь о том, как работает async/await изнутри? Или, может быть, почему выглядит и ведет себя именно так? Или даже почему вообще ...

Как перезапускать PySpark-приложение и зачем это может понадобиться Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позв...

Детекция дефектов дорожного покрытия без размеченных данных: Хакатон, LiDAR, RANSAC, ICP и 44 бесcонных часов Здравствуйте, читатели Хабра! Решил активнее вкатываться в DS (хотя уже больше года в "теме" и даже нет ни одной публикации, ужас) и написать первую статью на Хабре.В данной публикации я расскажу о проекте для детекции дефектов дорожного покрытия с использованием лидара, про...

Digiconomist: Биткоин ежегодно вызывает в два раза больше выбросов CO2, чем Швейцария Новый анализ Digiconomist показывает, что майнинг биткоина производит огромное количество выбросов парниковых газов.

Операция Lahat: новая группа Hellhounds атакует российские организации через системы на базе Linux В октябре 2023 года команда Positive Technologies по расследованию инцидентов PT CSIRT обнаружила компрометацию одной энергетической компании с использованием трояна Decoy Dog. Этот вредонос активно используется в атаках на российские компании и правительственные организации...

Сложные клиенты в ИТ: через тернии к профиту Сложные заказчики и клиенты — это всегда “геморрой”, много нервов и проблем на всех стадиях проекта. Коммуникационный аспект в нашей работе всегда занимает существенное место. Отчасти, это из-за специфики, мы чаще создаем приложения для спорта и нередко сталкиваемся с непрос...

В России разработали новые стандарты для использования ИИ в медицине Мэр Москвы Сергей Собянин в своем Telegram - канале сообщил, что московские специалисты разработали 3 новые предстандартам для использования ИИ в медицине. Эти документы будут ориентированы на повышение надёжности систем поддержки принятия врачебных решений, образовательных ...

Языковой процессор LPU, GenAI в FinOps и инструменты для анализа данных Привет, Хабр! Возвращаюсь с новым выпуском полезных материалов, который поможет разобраться в ML, AI и дата-аналитике. Сегодня в программе — состояние MLOps в 2024 году, возможности дата-контрактов, оценка качества данных DQ Score и Python-библиотека для работы с SQL. Подро...

Всё что вы хотели знать про ACL в Active Directory В данной статье я постарался максимально полно и глубоко рассказать про построение и внутреннее использование ACL (Access Control List) внутри Active Directory. В этой статье нет рассказов про "null DACL" и "empty DACL" и тому подобного. Если читатель хочет изучить все более...

Алгоритм для аппроксимации плоскости Полезный алгоритм построения плоскости по облаку точек МНК. Я проверял этот алгоритм на устойчивость к самым разным наборам входных данных. Читать далее

Цифровой мониторинг объектов строительства в Платформе nanoCAD и ReClouds. Опыт института «Сибгипробум» Одним из эффективных способов осуществления строительного надзора является использование результатов лазерного сканирования с построением 3D-моделей, что дает наиболее полную информацию о строительных объектах с привязкой к пространственным, инфраструктурным и центральным ин...

Microsoft представляет функцию Generative Erase для Windows 10 и 11 Эта функция станет доступной в приложении "Фотографии" и представляет собой аналог технологии Magic Eraser на смартфонах Pixel от Google.

Необычный RxJS Всем привет! А вы знали, что RxJS содержит в себе более 100 операторов? Но если ваш проект использует эту библиотеку - скорее всего вы с трудом насчитаете у себя больше пары десятков. Интересная ситуация, да? Не знаю почему так получается, но сегодня я хочу поделиться реальн...

Развивай свои навыки SQL: Представляем SQLTest.online на Overclockers.ru Привет, уважаемые участники Overclockers.ru! Сегодня у нас отличные новости для всех, кто увлечен миром баз данных и SQL. Позвольте представить вам новый проект - SQLTest.online, созданный с любовью к кодированию и жаждой постоянного развития навыков.

«Это не рядовая уязвимость», — россияне рассказали о возможности полного взлома iPhone Эксперты Глобального центра исследований и анализа угроз «Лаборатории Касперского» обнаружили в смартфонах Apple уязвимость, которая, как утверждают специалисты, позволяет злоумышленникам обходить аппаратную защиту памяти. Данная уязвимость использовалась зл...

Автоматизация выявления вредоноса в реестре Windows В работе с компьютерными инцидентами, специалисты по информационной безопасности часто сталкиваются с необходимостью глубокого и быстрого анализа операционной системы, для выявления мест закрепления вируса. Обычно они обращаются к журналам событий, однако при недостатке инфо...

Моделирование размещения хабов в pyomo Транспортные, телекоммуникационные и компьютерные сети часто используют Hub-and-Spoke архитектуру для эффективной маршрутизации потоков между множеством отправителей и получателей. Особенность такой топологии заключается в использовании специального объекта сети - хаба. Хабо...

Астрономы исследовали старейшее рассеянное скопление Млечного Пути Используя данные космического аппарата Gaia Европейского космического агентства (ESA), группа астрономов из Турции и Индии исследовала NGC 188 — старое рассеянное звёздное скопление в нашей галактике. Результаты исследования дают важную информацию о пара...

Математика для взрослых. Дорожная карта от выпускника Хармфульского клуба математики Математика для взрослых. Дорожная карта от выпускника Хармфульского клуба математики.(1) Школа. (2) Матанализ. (3) Аналитическая геометрия. (4) Линейная алгебра.Все плейлисты, материалы, курсы в открытом доступе и бесплатны. Читать далее

[Перевод] «Это длилось годами». Внутри производственного бардака Boeing Ещё задолго до пугающего инцидента с Alaska Airlines 5 января этого года внутри компании Boeing существовали опасения относительно процессов производства самолётов этим аэрокосмическим гигантом. Boeing, как и многие американские производители, отдавал на аутсорс всё больше ...

Делаем 10-и минутную задачу за 2 часа с помощью ChatGPT Все мы видели много статей, где с помощью AI-инструментов за минуты выполняется работа, на которую раньше мог легко уйти день. Особенно впечатляют примеры, где работа (успешно) идет вне зоны компетенции человека (т.е. когда AI позволяет делать то, что человек в принципе один...

Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми при...

[Перевод] О Prepare statements, серверном кэше скомпилированных запросов или как эффективно кэшировать запросы в YDB Существуют различные способы снижения стоимости выполнения SQL-запросов в современных СУБД. Наиболее распространенными подходами являются использование подготовленных запросы и кэширование. Оба метода доступны в YDB.Кэширование запросов позволяет ско...

Nvidia не против заполучить третьего партнёра для производства своих GPU, и это намёк на Intel Компания Nvidia снова заговорила о возможности производить свои GPU на мощностях Intel. Точнее, напрямую об Intel сейчас никто не заявлял, но подразумевается именно эта компании. Сейчас современные графические процессоры компании производит только TSMC, хотя ранее этим...

Intel Gaudi 2 обошла по производительности NVIDIA H100 в работе с ИИ Специалисты утверждают, что ускорители искусственного интеллекта Intel Gaudi 2 являются наиболее жизнеспособной альтернативой чипам NVIDIA, особенно в области генерации текста с использованием Llama 2. Например, в демонстрации, которую провели специалисты компании Hugging Fa...

Обучающие игры для разработчиков: кодим, играя В мире есть много способов превратить процесс изучения программирования в увлекательное занятие. Один из них — игры. Мы отобрали несколько лучших вариантов, которые позволят не только развлечься, но и приобрести ценные навыки, такие как логическое и аналитическое мышление, р...

Обзор параллельных режимов работы хэш-функций С каждым днем, по мере роста объема обрабатываемых данных, становится все более важным использование эффективных методов обработки. Особенно значимым является внедрение параллельных вычислительных архитектур для достижения высокой производительности. Однако многие стандартны...

Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python Привет Хабр! В мире современных вычислений и информационных технологий, алгоритмы играют решающую роль. Они служат фундаментальным инструментом для решения разнообразных задач, начиная от оптимизации бизнес-процессов до анализа сложных структур данных. В контексте графовой т...

Acer Aspire + AMD A6 = быстро! Рынок компьютерных устройств всё еще переживает рост, перемены и эволюционирует. Мобильные телефоны (они же смартфоны) способны выходить в интернет, воспроизводить HD-контент. Планшеты плотно заняли свою нишу и позволяют проводить досуг более целостно и удобно: почитать книг...

Люди начали переходить обратно c Windows 11 на Windows 10 Так показывают данные аналитического агентства Statcounter.

[Перевод] Баг памяти Windows, которому не менее восьми лет Память — достаточно дефицитный ресурс для многих компьютеров потребительского уровня, поэтому логично создать функцию, ограничивающую объём используемой процессом памяти; и Microsoft действительно реализовала такую функцию. Однако:Компания её не задокументировала (!)Её реали...

Ученые создали программу для анализа функции сердца с помощью ИИ Ученые из Колумбийского инженерного центра представили новый инструмент, который значительно упрощает и ускоряет анализ функции сердца. BeatProfiler — это программа, использующая искусственный интеллект и машинное обучение для автоматического анализа данных видео о работе се...

Всё важное на виду: Яндекс добавил в «Почту» нейросети YandexGPT Команда Яндекса объявила о расширении функциональности универсального набора сервисов «Яндекс 360» для работы. В фирменной «Почте» стал доступен умная функция «Нейрофильтр» на основе нейросети YandexGPT, что позволяет создавать дайдже...

«Тулбокс для начинающих»: бесплатные материалы об облачных технологиях — ИТ-архитектура, миграция и вот это всё Несмотря на то, что значительную часть процесса миграции в облако берет на себя провайдер, ИТ-специалистам компании-заказчика все же необходимо понимать специфику этих работ. Имея четкое представление о работе облаков, можно верно задавать вектор движения в компании, вы...

[Перевод] Извлечение текста из файлов PDF при помощи Python ▍ Введение В эпоху больших языковых моделей (Large Language Model, LLM) и постоянно расширяющейся сферы их применений непрерывно растёт и важность текстовых данных. Существует множество типов документов, содержащих подобные виды неструктурированной информации, от веб-стате...

Обзор NativePHP. Инструмент для создания собственных нативных desktop приложений на Laravel Привет, коллеги! В этой статье я сделаю небольшой обзор NativePHP, который появился на последнем Laracon. Что из себя представляет NativePHP? Перед нами фреймворк, который позволяет нам писать нативные десктоп приложения, используя PHP. Приложения кроссплатформенные - можно ...

[Перевод] Проведение Triforce встреч для определения критериев приемки Критерии приемки являются основой для определения «что» для любого бизнес-запроса. По сути они представляют собой серию функциональных условий, транслирующих, какое поведение мы хотим получить от фичи, а также связывают бизнес-запрос с разработкой. Тестировщикам они помогают...

False или не false? При расследовании инцидентов есть несколько ключевых моментов этого процесса для аналитиков, на которые в данной статье мы обратим внимание – это корректность самого расследования, верная категоризация произошедшего, а также приоритет. Грамотно расставленные приоритеты, а им...

Go: передача значений VS передача указателей Go - один из немногих языков, в которых структуры можно передавать параметрами и возвращать из функций как по значению, так и по указателю. Это приводит к большей выразительности языка, но также разделяет общество разработчиков Go на два лагеря: сторонников указателей и стор...

Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт. При эксп...

Qucs-S: руководство по видам моделирования, часть 1 Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан на С++ с использованием набора библиотек Qt. О данной программе рассказывают мои предыдущие статьи. Для работы Qucs-S...

[sobjectizer] Релиз версии 5.8.1: реализация пожеланий пользователей и исправление недочетов Пару дней назад мы зафиксировали версию 5.8.1 открытого проекта SObjectizer. В данной статье поговорим о новых возможностях, которые появились в SObjectizer благодаря пожеланиям пользователей, и упомянем исправление не выявленного ранее недочета. Кому интересно, милости прош...

[Перевод] Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей о...

Отображение иерархии в SQL запросе В процессе тестирования одного курса по SQL на stepik.org встретилась задача, из которой сочинилась другая, более интересная: Необходимо с помощью одного SQL запроса с использованием обобщенных табличных выражений отобразить иерархию, в соответствии с иллюстрацией выше Читат...

От локального хаоса к отраслевой оптимизации: как построить функцию аналитики с нуля Для разработки дорожной карты внедрения аналитических инструментов в организации можно применять шкалу уровней зрелости аналитики. Опытом использования такой шкалы в крупном банке делится Тимур Семёнов — эксперт с многолетней практикой в финансовых корпорациях и финте...

FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...

Kandinsky 3.1 — новая быстрая модель генерации изображений по тексту 2023 год можно смело называть годом бурного развития генеративного искусственного интеллекта. Это касается не только привычной нам модальности изображений (Kandinsky 2.1, 2.2, 3.0, Stable Diffusion XL, IF, Шедеврум и др.), но и текстовой (ChatGPT, GPT-4, LLaMA, Falcon, GigaC...

Борьба с несбалансированными данными Привет,Хабр! Почему несбалансированные данные - это такая большая проблема? Все начинается с того, что в реальном мире классы могут быть не равномерно представлены в наших данных. Например, в задаче обнаружения мошенничества с кредитными картами, обычные транзакции будут сос...

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

Медленное выполнение команды TRUNCATE: анализ проблемы блокировок спинлока в SQL Server Приветствую всех читателей Хабра! Меня зовут Михаил, я администратор DBA в компании «Автомакон». На данный момент работаю на проекте для «ВкусВилл».Решил затронуть одну из насущных проблем, связанную с работой SQL Server, а именно со спинлоками в нем. Да, даже такой зрелый и...

Это фиаско, Microsoft: пользователи уходят с Windows 11 на Windows 10 По последним данным аналитической компании Statcounter, доля рынка Windows 11 продолжает уменьшаться.

До 14,8 ГБ/с и до 4,5 млн IOPS. Китайская компания Maxio представила собственные контроллеры PCIe 5.0 для SSD Китайская компания Maxio Technology представила целую линейку контроллеров PCIe 5.0 для SSD. Контроллеры нацелены на разные сегменты, начиная от клиентского и заканчивая корпоративным.  Семейство состоит из трёх контроллеров: MAP1803 для корпоративного уровня с по...

Samsung хочет возглавить рынок объемом 100 млрд долларов. Чипы 3D DRAM могут иметь ёмкость до 100 ГБ Компания Samsung Electronics нацелилась на то, чтобы стать лидером на рынке памяти 3D DRAM. Это объявление было сделано на конференции Memcon 2024, где компания представила ряд новинок. Поскольку ожидается, что во второй половине этого производство DRAM будет вестись по...

BMW представляет новейшие автомобильные технологии: искусственный интеллект, поддержка геймпадов Xbox и PlayStation, автопарковщик следующего поколения Компания BMW во время выставки CES покажет последние достижения компании в области умных кабин, умного вождения и других областях. Согласно официальному сообщению, BMW создает новое поколение персонального помощника, которое будет умнее предыдущего. Оно основано на техн...

Раскрывая потенциал GenICam и Harvester в системах компьютерного зрения Опыт работы с крупнейшими производственными площадками позволяет сказать, что на сегодняшний день целый ряд производств считает современные цифровые технологии и, в частности технологии искусственного интеллекта, неотъемлемой частью производства. В ряде компаний создана экос...

В историческом соглашении «Большая семёрка» договорилась о поэтапном полном отказе от угля в первой половине 2030-х годов Страны «Большой семёрки» — Канада, Франция, Германия, Италия, Япония, Великобритания, США, а также Евросоюз — достигли исторического соглашения о полном отказе от использования угля для выработки электроэнергии в первой половине 2030-х годов. Это...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 2 Привет, Хабр! Это снова мы — Павел Конотопов и Михаил Жилин, сотрудники компании Postgres Professional. Напомню, что Павел занимается архитектурой построения отказоустойчивых кластеров, а я анализом производительности СУБД. У каждого из нас за плечами более десяти лет опыта ...

Active Directory: raz0rblack by THM writeup Приветствую, вас, уважаемые кулхацкеры. Данный райт будет посвящен прохождению машины raz0rblack на TryHackMe. Читать далее

Candy Crush Solitaire это карточный Пасьянс «Косынка» с пробным запуском на iOS и Android Издатель King проводит пробный запуск мобильной игры Candy Crush Solitaire в Канаде. Скачать её можно через App Store и Google Play. В отличие от предыдущих проектов во вселенной Candy Crush, в Solitaire геймплей построен на формуле «Пасьянс "Косынка"». Это весёлая и сложная...

Разработка трёхмассовой тепловой модели асинхронного тягового двигателя Разработка и постройка технологически сложных деталей огромных промышленных тяговых электродвигателей будет очень затратными и нерациональными мероприятием, если отсутствует необходимая базовая расчетная модель. В данной статье продемонстрирована разработка трёхмассовой тепл...

Не UI единым: как провести UX-ревью сложного IT-продукта и не утонуть в данных? Гайд от практика Привет! Это Даша, проектировщик из Selectel. Сегодня хочу поделиться своим опытом проведения UX-аудита — неоднократно я приходила в новый продукт и передо мной вставала такая задача. Я успела набить шишек, перерыть половину рунета и в итоге на практике получить ценный опыт...

Построение высокопродуктивной команды: опыт СберМаркета Привет, меня зовут Борис Вольфсон, и я отвечаю за продукт и данные в СберМаркете. Сегодня я расскажу про наш подход к формированию и развитию команд, способных демонстрировать выдающуюся продуктивность. Подробно остановлюсь на традиционных методах и нестандартных инструмента...

5 стадий принятия необходимости изучения «плана запроса» или почему может долго выполняться запрос Всем привет! Меня зовут Виктор, я работаю в Компании БФТ-Холдинг руководителем группы разработки. В этой статье разберем подходы и рекомендации по выявлению и устранению проблем с производительностью в системе базы данных Greenplum. Материал будет особенно полезен начинающим...

HyperLogLog в PostgreSQL HyperLogLog принадлежит к категории вероятностных структур данных, которые позволяют аппроксимировать количество уникальных элементов в больших наборах данных с удивительно низким потреблением памяти. HLL использует логарифмическую память.В PostgreSQL HyperLogLog предоставля...

Discord представляет функцию Quests, позволяющую геймерам получать уникальные вознаграждения Новая функция Discord – Quests – призвана изменить игровые взаимодействия, предлагая уникальные вознаграждения, что знаменует собой стратегический шаг к прибыльности.

На базе системы единой аутентификации Avanpost FAM разработан новый продукт Avanpost MFA+ Новый продукт Avanpost MFA+ разработан на базе системы единой аутентификации сотрудников Avanpost FAM, но включает в себя облегченный набор функций и не требует сложного проектного внедрения. Avanpost MFA+ унаследовала опции безопасности системы Avanpost FAM. Как и FAM, сист...

[Перевод] 13 инструментов для тестирования методом «чёрного ящика» Инструменты для тестирования методом «чёрного ящика» сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное...

Это как будто бы Nvidia, AMD и Intel объединили DLSS, FSR и XeSS. Microsoft рассказала, что такое DirectSR, который будет интегрирован в Windows 11 Компания Microsoft рассказала, что такое DirectSR, о котором мы узнали буквально на днях.   Оказалось, что это не какая-то новая технология апскейла от самой Microsoft, а нечто даже более интересное.   Microsoft DirectSR представляет собой API, который позвол...

Huawei вновь покоряет рынок Китая Сразу несколько крупных аналитических компаний сообщили, что рынок смартфонов Китая вырос на 6,5% в первом квартале 2024 года благодаря сильному спросу на устройства компаний Huawei и Honor. По данным IDC, которая отслеживает продажи по всему миру от квартала к кварталу, в п...

Как извлекать пользу из данных: подборка материалов Анализ данных — один из ключевых драйверов роста для бизнеса. Аналитика позволяет выявить скрытые закономерности и тренды, прогнозировать будущие события и принимать обоснованные решения на основе фактов. Бизнес, основанный на данных, не просто реагирует на переменчивость, н...

Обозреваем и практикуем популярные OSINT инструменты ВведениеРад вновь приветствовать читателей в своей любимой рубрике "ШХ" что является сокращением от "Шерлок Холмс" и разумеется серия таких статей напрямую относится к OSINT. Сегодня на практике попробуем некоторые инструменты и попробуем узнать больше о человеке исходя из е...

Основные типы распределений вероятностей в примерах Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необ...

Сбер открыл доступ к API чат-бота GigaChat для создания некоммерческих проектов без дополнительной оплаты Команда СберБанка открыла доступ к API фирменной генеративной нейросети GigaChat. Как отмечает пресс-служба, компании, предприниматели и разработчики теперь могут воспользоваться открытым доступом к программному интерфейсу GigaChat для некоммерческих задач, связанных с ...

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя реш...

[Перевод] Улучшаем модель RandomForestClassifier Статья взята из источника Daily Dose of Data Science.Оговорюсь сразу: Я новичок в Data Scince и в оформлении статей. Пишу лишь сюда для своих заметок ну и может быть будет кому-то полезно. Прошу сильно не судить!)Случайный лес - это довольно мощная и надежная модель, предста...

[Перевод] VES — микросервис Cosmos для кодирования видео на Netflix Cosmos представляет собой новейшее поколение медиа-обработчика на Netflix, интегрирующее архитектуру на основе микросервисов, асинхронные рабочие процессы и функционал без привязки к серверам. Эта платформа нацелена на оптимизацию медиа-процессов внутри Netflix, повышая их г...

Потребитель VS поставщик информации: принципы построения интеграционного взаимодействия Всем привет!Сегодня я расскажу про роли поставщика и потребителя в контексте информационных систем. Под поставщиками я подразумеваю информационные системы, которые передают информацию, а под потребителями – которые ее получают. Также расскажу об основных правилах игры, котор...

Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...

Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...

Глаза боятся, а ИИ делает: как эмоции помогают ИИ лучше управлять автомобилем Современный ИИ достиг впечатляющего прогресса, стимулируя сферу автономного транспорта. Особенно перспективно выглядит обучение с подкреплением (RL), показавшее успехи в сложных задачах принятия решений вроде игры в Го или управления беспилотными автомобилями. Но существующи...

CADLib API: От API к прямой работе с базой данных модели через SQL-запросы Рассмотрим вариант расширения стандартного CADLib API в части выборки объектов с некоторыми параметрами из базы при помощи SQL-запросов на примере получения всех файлов публикации, в которых встречаются объекты коллизий. Подобную задачу мы решим сперва вручную при помощи тол...

Продавцы на Яндекс Маркете получили бесплатный доступ к статистике поисковых запросов покупателей Яндекс Маркет открыл продавцам бесплатный доступ к аналитическому отчёту со статистикой поисковых запросов покупателей. Он устроен как Вордстат — инструмент, показывающий статистику запросов в поиске Яндекса.

Доступный роутер с Wi-Fi 6 и EASY MESH. Обзор netis NX10 Wi-Fi 6 все чаще стал встречаться не только в дорогих носимых устройствах, но и в смартфонах и планшетах, которые ориентированы на массовый сегмент, это же касается ноутбуков и настольных ПК. Изучаемый сегодня netis NX10 поддерживает этот стандарт поддерживая беспроводную пе...

[Перевод] Vivaldi 6.4 для iOS — Опытная унификация Ранее, в сентябре этого года, мы представили наш браузер для iOS и были завалены положительными отзывами об уникальных функциях Vivaldi на вашем iPhone и iPad.Vivaldi выделяется мощным набором функций и полезными встроенными инструментами, которые делают вашу работу в сети б...

Геймдев на Lisp. Часть 1: ECS и металингвистическая абстракция В данной серии практических руководств мы подробно рассмотрим создание несложных 2D-игр на Common Lisp. Результатом первой части станет настроенная среда разработки и простая симуляция, отображающая двумерную сцену с большим количеством физических объектов. Предполагается, ч...

Honor Magic5 Pro – лучший смартфон в своей ценовой категории по итогам большого тестирования China Telecom China Telecom опубликовал «Аналитический отчет по пользовательским устройствам за ноябрь 2023 года». Данные большого исследования, проведенного оператором, говорят о том, что лучшим смартфоном в своей ценовой категории (стоимостью более 5000 юаней &ndas...

Как рендерить R Markdown в PDF на кириллице Так получилось, что за всё время, что я использую в работе R, мне не доводилось рендерить markdown-файлы в формат PDF. Иногда я хранил наработки просто в фалах .R, а исследования оформлял в Google Docs, накидывая туда скринов из viewer-а. Иногда это был рендер в .html, с инт...

Как мы прогнозируем объемы грузоперевозок на основе машинного обучения, используя MLflow Привет, коллеги! Меня зовут Александр Кузьмичев, и я ведущий специалист по анализу данных в Первой грузовой компании. Мы с коллегами разработали «Прогнозатор» — инструмент для оценки объемов грузоперевозок между ж/д станциями. В основе лежит открытая платформа MLflow, и сего...

«Давно пора убрать дроны, производимые коммунистическим Китаем, из Америки». В США предложили запретить дроны DJI После принятия решения о запрете TikTok в США федеральное правительство может нацелиться на китайскую компанию DJI. В сообщении The New York Times описывается законопроект, который может запретить использование дронов DJI по всей стране. В случае принятия Закона о проти...

Проектирование эффективной системы кэширования для высоконагруженной системы Способность обрабатывать большой объем запросов и данных в реальном времени является ключевым аспектом надежности и производительности современных информационных систем. Одним из способов повышения надежности, снижения нагрузки и, как следствие, расходов на сервера, является...

MenuetOS, которая умещается на дискете, снова обновилась: что «выросло» в новой версии Некоторые читатели Хабра, вероятно, дискет и в руках не держали, поскольку те вышли из обращения много лет назад. Но ряд современных программ и «железа» всё ещё с ними связан. Например, проект MenuetOS представляет собой операционную систему, которая умещается как раз на дис...

[Перевод] Интеграция нативных SDK во Flutter-приложение Мир мобильной разработки постоянно меняется. В поиске эффективных решений разработчики пошли по пути новых технологий и интеграций. Одним из самых ярких маяков на этом пути стал Flutter — набор инструментов пользовательского интерфейса от Google, который позволяет пользовате...

ТОП-5 сериалов о киберспорте В ЛАНИТ вот уже три года существует процветает киберспортивное комьюнити. Сложно представить что-то настолько плотно окутанное стереотипами, чем образ геймера. Многие работодатели относятся с пренебрежением к активно играющим соискателям, считая их лентяями и сомневаясь в их...

Проблема непонимания существующего кода, или Как руководству делать не надо Бывает так, что в продуктовой IT-компании выстраивается иерархия, в которой верхние уровни работников компании совершенно не понимают как производится продукт, который компания производит и продаёт. По сути руководители знают как продать, но не знают как произвести. Для прои...

Это процессоры AMD продают только в Китае, но стоит ли расстраиваться из-за этого? Опубликованы первые тесты Ryzen 7 8700F и Ryzen 5 8400F Компания AMD недавно без лишнего шума выпустила процессоры Ryzen 7 8700F и Ryzen 5 8400F. Они вышли пока только для Китая. В Сети уже есть первые обзоры, поэтому мы теперь можем ознакомиться с ними.  Напомним, Ryzen 7 8700F и Ryzen 5 8400F представляют собой перев...

[Перевод] Проблема объёма логов Когда на нашей рабочей системе происходит какая-либо ошибка, нам хочется, чтобы логи содержали всю необходимую информацию о том, из-за чего она произошла. На достаточно сложных системах это приводит к сбору большого количества данных: какие этапы обработки были выполнены, с ...

Смогут ли разработчики конкурировать с нейросетями: оцениваем возможности AI и человека Привет, Хабр! Меня зовут Александр Демидов, я директор по разработке департамента управления технологиями МТС. Сегодня поговорим про использование в программировании нейросетей, включая ChatGPT и конкуренцию нейросетей и программистов.Всё чаще слышны разговоры, что вот-вот к...

Основы работы с хранилищами в Kubernetes Привет, Хабр! В Kubernetes принято разделение хранилищ на два основных типа: постоянные и временные. Постоянные хранилища (PV) представляют собой сегменты дискового пространства, которые могут быть подключены к подам и сохранять данные даже после перезапуска или удаления кон...

Пишем GPT4 ботов на coze.com Нет времени объяснять! Bytedance тестирует платформу создания АИ ботов, coze.com, в том числе на базе gpt-4/gpt-3.5/Dalle-3 с возможностью интеграции в телеграм/дискорд. На данный момент ограничений практически нет, бесплатный доступ к огромному количеству сервисов, включая...

Создание рекомендательных систем с использованием библиотеки Surprise Рекомендательные не только помогают нам экономить время, предоставляя персонализированные рекомендации, но и оказывают влияние на наш выбор и потребительское поведение. Подобные системы нашли применение в различных областях, включая электронную коммерцию, социальные сети, ме...

битрикс24 продажи и внедрение Битрикс- это платформа для управления бизнесом, которая предлагает широкий спектр инструментов и функций для продаж и внедрения. Она помогает организациям эффективно управлять процессами продаж, взаимодействовать с клиентами и автоматизировать бизнес-процессы. Вот некоторые...

Как мы переводили проект на CMake В статье мы расскажем о том, как переводили проект с рекурсивной сборочной подсистемы ЗОСРВ "Нейтрино", представляющей собой набор расширений инструмента GNU Make на сборочную систему CMake: с какими нюансами нам пришлось столкнуться, какие преимущества мы получили...

Замыкания и декораторы в Python: часть 2 — декораторы Уважаемые читатели, рад вас приветствовать в новой статье. Этот материал является продолжением предыдущей публикации, посвященной замыканиям. В данной части обзора мы углубимся в тему декораторов.Эта статья написана в первую очередь для тех, кто только начинает свой путь в п...

Framework изменила коннекторы для ноутбука 16 Framework Laptop 16 представляет собой модульный ноутбук, и для его работы были разработаны два сложных разъема.

Windows 11 становится всё более популярной Аналитическая компания Statcounter обновила данные о распространённости различных версий операционных систем Microsoft

TVL в сети Tron выросла на 20% за месяц Согласно данным аналитического сервиса DefiLlama, стоимость заблокированных средств (TVL) в протоколах сети Tron выросла на 19,65% за последние 30 суток

Книга «Terraform: инфраструктура на уровне кода. 3-е межд. изд.» Привет, Хаброжители! Terraform — настоящая звезда в мире DevOps. Эта технология позволяет управлять облачной инфраструктурой как кодом (IaC) на облачных платформах и платформах виртуализации, включая AWS, Google Cloud, Azure и др. Третье издание было полностью переработано...

Кратко про Nameko Python Привет, Хабр!Nameko, как фреймворк для Python, предлагает удобные абстракции и инструменты для создания микросервисов, ориентированных на сообщения и события.С Nameko можно получить не только инструмент для создания микросервисов, но и платформу для реализации распределенных...

10 смарт-часов с хорошей батареей, которые очень долго держат заряд Автономность смарт-часов — предмет постоянных споров среди любителей носимой электроники. Владельцы Apple Watch уверены, что 18 часов работы — это норм, в то время как поклонники техники других брендов не готовы размениваться на величины менее 7 дней. В любом случае автоном...

Цифровая гемба отделения, аномалии и Visual Mining В офисах банка есть «Кракен» — стандартное место для обслуживания клиентов, большой угловой стол, который занимает много места. Оказалось, что он используется гораздо реже стандартных маленьких столиков, за которыми клиенты обслуживаются чаще. Это неожиданное открытие п...

Планируем путешествие — задача коммивояжера (TSP) для построения оптимального маршрута С вами Алексей Ложкинс, эксперт по анализу данных и машинному обучению в ПГК Диджитал. Мы разрабатываем цифровые продукты для логистической отрасли, в первую очередь, для ж/д перевозок.В кулуарах московского офиса ПГК мы обсуждаем и нерабочие темы. Топовую строчку в темах не...

На радость владельцам процессоров Intel. Функция APO, повышающая производительность в играх, теперь поддерживает 12 новых игр Компания Intel расширила поддержку своей функции Application Optimization (APO), добавив в неё несколько новых игр.  создано DALL-E Функция, напомним, появилась ещё осенью, но всё это время поддерживала лишь две игры: Metro Exodus и Rainbow 6 Siege. Теперь же к сп...

Протокол защищенного обмена для индустриальных систем CRISP: поддержка в устройствах Рутокен Приветствую уважаемую публику Хабра от лица условно анонимного представителя компании «Актив», занимающейся производством небезызвестных средств аутентификации и электронной подписи. В этой статье хотелось бы рассказать об одном из менее известных направлений деятельности по...

Отчет BlackBerry по глобальным угрозам показывает 70 % рост числа атак вредоносным ПО BlackBerry Limited опубликовала свой последний Ежеквартальный аналитический отчет по глобальным угрозам, который показывает 70-процентный рост числа атак новым вредоносным ПО, который обнаружили системы кибербезопасности BlackBerry на базе ИИ. При 26 кибератаках в минуту это...

Анализ пулл-реквестов через веб-приложение для улучшения код ревью Год назад в нашей команде решили внедрить средства анализа пулл-реквестов, т.к. некоторые разработчики уделяли мало времени код ревью, в итоге фичи долго не могли оказаться на проде. Выбрали решение на основе Github Action, начали собирать статистику, улучшать процессы, но и...

LPDDR6 уже в этом году как минимум в виде стандарта. JEDEC завершит разработку стандарта памяти LPDDR6 уже к третьему кварталу Память DDR5 до сих пор окончательно не вытеснила DDR4, но уже в этом году как минимум на бумаге первая перестанет быть самой современной. Как сообщается, организация JEDEC завершит разработку стандарта памяти LPDDR6 уже в этом году.  Закончить работу собираются к ...

Критик криптовалют призвал не покупать активы держателей ETF, а биткоин напрямую Некогда ярый критик криптовалют и особенно BTC, ведущий программы «Безумные деньги» на канале CNBC Джим Крамер заявил, что нельзя полагаться на новомодных и «раскрученных» держателей криптовалют вроде аналитической компании MicroStrategy, приобретшей значительное количество ...

Это может спасти сотни тысяч жизней: стетоскоп с искусственным интеллектом ставит точный диагноз за 15 секунд Британские медики в настоящее время тестируют новейший стетоскоп, который использует передовую технологию искусственного интеллекта для моментальной постановки диагноза. Портативное устройство, созданное американской компанией Eko Health, представляет собой инновационны...

К вопросу об точности Но есть нюанс ... Поскольку мои уважаемые читатели подавляющим большинством изъявили желание прочитать о точности резистивных схем, у меня не остается выбора и я приступаю к изложению. Следует заметить, что вопросы точности исторически разрабатывались в контексте измерений,...

Цена успешного эксперимента или как ML модели помогают добывающим компаниям: вчера vs сегодня «Все имеет свою цену!» внушали нам с детства, на что пытливые умы отвечали вопросами «Что есть цена?», «Как ей управлять?», «Можно ли ее предсказать?». Кого-то эти вопросы увлекают настолько, что они решают связать с ценами всю свою жизнь и становятся кассиром в Пятерочке, к...

Курс «PostgreSQL для начинающих»: #3 — Сложные SELECT Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".В этой лекции углубимся в расширенные возможности команды SELECT : как можно "сложить" и "вычесть" вы...

MERA — инструктивный бенчмарк для оценки фундаментальных моделей Оценка ИИ — комплексная, сложная, но невероятно важная задача. Для тестирования моделей обычно используют бенчмарки — набор сложных заданий, решив которые, можно оценить способности языковых моделей. Благодаря бенчмаркам пользователи могут получить метрики по разным задачам ...

Docker — не то, чем кажется Привет, Хабр! Меня зовут Матвей Мочалов, я — компьютерный инженер и один из авторов корпоративного блога cdnnow! Мы с вами познакомились в этом посте про историю DRM для видеоконтента. Сегодня я хочу поговорить с вами про Docker, а точнее про то, о чём многие забывают: разли...

Разборка MacBook Air M3 показала, что Apple решила самую большую проблему модели M2 Это решение представляет собой возврат к использованию двух микросхем флэш-памяти NAND для хранения данных в конфигурации начального уровня, как в M1 MacBook Air.

Первые тесты AMD FSR 3 в игре Forspoken появились в сети Сегодня выпустили свежий обновлённый патч для игры Forspoken. Этот патч внедряет поддержку AMD FSR 3 - последней версии технологии масштабирования от AMD, которая также позволяет воспользоваться функцией Frame Generation на всех графических процессорах.

Это как если бы Core i9-14900K потреблял 4 Вт. Представлена архитектура Efficient Computer Fabrik, позволяющая создавать в 100 раз более энергоэффективные процессоры Стартап Efficient Computer представил процессор Monza, который, как утверждает сама компания, почти в 100 раз более энергоэффективен, чем процессоры общего назначения, представленные сегодня на рынке.  создано DALL-E Секрет такого потенциально революционного дости...

[Перевод] Minetester: полностью открытое окружение для обучения с подкреплением, построенное на основе Minetest В последние несколько месяцев наблюдаются значительные успехи в разработке языковых моделей, особенно — в сфере частного бизнеса. В прошлом году вышло несколько подобных проектов, основанных на Minecraft. В частности — речь идёт о ...

Компоненты среды рабочего стола | Linux Всех приветствую, читатели Хабра! Решил попробовать себя в роли знатока-писателя и освятить для вас такую тему, как “Компоненты среды рабочего стола”, чтобы больше людей, хотя-бы в основе, понимали, что там происходит в системе такого, благодаря чему мы можем, не тыкаясь в к...

Сбер выпустил приложение SaluteSpeech App для Windows и macOS – лёгкая озвучка текста и распознавание речи Команда Сбербанка сообщила о выпуске отдельного приложения для работы с речевыми технологиями — SaluteSpeech App. Как отмечает пресс-служба, это новый удобный инструмент для распознавания аудио и озвучивания текста.  Иллюстрация: СберБанк Приложение доступно...

За Nvidia пристально следят, а будут ли за Intel? Компания тоже создала специальные ускорители для ИИ, ориентированные на китайский рынок Компания Intel на днях представила свои ускорители для ИИ линейки Gaudi 3. Оказалось, что там есть две модели для китайского рынка.  Версии Gaudi 3 HL-328 и HL-388 разработаны специально для китайского рынка. Точнее, сконфигурированы в соответствии с санкциями. Не...

Лучшие криптовалюты за 31 октября 2023 года Согласно данным аналитических сервисов, некоторые альткоины принесли своим держателям существенную доходность на короткой дистанции

AliExpress шокировал покупателей неожиданным нововведением, и это не курс доллара Торговая площадка AliExpress представляет из себя один из наиболее крупных, известных и распространенных онлайн-магазинов, позволяющих покупать огромное множество различных товаров. Сервис активно развивался на российской территории, но в марте 2022 года все резко изменилос...

Записки оптимизатора 1С (Часть 5). Ускорение запросов с RLS в 1С системах Замахнемся сегодня на RLS.Обсуждать будем проблемы по нашему профилю, связанные с производительностью 1С:Предприятие. Но, в целом, этот материал может быть полезен и не только 1С-никам.Почему запросы с RLS очень часто такие долгие?Какие есть варианты их ускорить? Читать дале...

Российские учёные улучшили фильтрацию добываемой нефти Учёные из Саратова разработали улучшенную технологию фильтрации нефти во время её добычи

Обзор инструмента DefectDojo: почему его выбирают? Практика ASOC (Application Security Orchestration and Correlation, оркестрация и корреляция безопасности приложений), интегрирующая инструменты анализа защищенности со стеком разработки ПО, сегодня широко известна в сфере безопасной разработки. О ней много писали мы и другие...

Прогнозы на теннис сегодня от профессионалов Прогнозы на теннис сегодня от профессионалов - это анализ и предсказание результатов теннисных матчей, основанное на опыте и экспертизе профессиональных теннисистов и тренеров. Они используют различные факторы, такие как текущая форма игроков, статистика их предыдущих матчей...

[Перевод] Тестирование баз данных Тестирование баз данных включает в себя тестирование методом «чёрного ящика», «белого ящика» и набор требований ACID — атомарность, согласованность, изоляция и устойчивость. В этом руководстве я объясню все необходимые определения, расскажу, как оно проводится, и приведу при...

Равновесное ранжирование со смещением к целевой метрике Постановка задачи: Имеется дискретное множество объектов или элементов. А также набор признаков для них, предполагаем, что признаки числовые. Необходимо найти наилучший объект или группу объектов только на основе имеющихся признаков.Сделаем небольшое отступление. Многие у...

Объявлена программа конференции «Код ИБ ИТОГИ 2023» 7 декабря 2023 года в Москве, при поддержке Минцифры РФ, пройдет аналитическая конференция «Код ИБ ИТОГИ». В числе спикеров: ИБ-руководители «Вконтакте», «Яндекс», «Тинькофф» и еще 30 экспертов в области кибербезопасности.

Стала известна себестоимость Apple Vision Pro Аналитическая компания Omdia провела подсчеты и назвала примерную стоимость компонентов, которые нужны для сборки одного Apple Vision Pro. По словам экспертов, яблочная гарнитура стоит Apple 1542 доллара без учета затрат на упаковку, сборку, логистику, поддержку и маркетинг....

Путеводитель по DDoS: основные виды и методы борьбы Всем привет! На связи Николай Едомский, руководитель группы сетевых инженеров в ЕДИНОМ ЦУПИС.В этой статье я простыми словами расскажу о том, что из себя представляет DDoS, о самых распространенных видах DDoS и методах борьбы с ними. Основная цель материала – на простых прим...

Steam получил важный апдейт с семейным доступом Семейное совместное использование библиотеки игр в Steam появилось уже очень давно — пользователи могли делиться контентом, но при этом сервис был существенно ограничен в плане функций, что нравилось далеко не всем. Например, данная функция позволяет вам делиться своей библи...

Сравнение продажи консолей PlayStation 5 и Xbox Series по состоянию на 30 октября 2023 года В первых числах ноября 2023 года вышли финансовые отчеты за 1 квартал 2024 года от Sony и Microsoft. Одновременно с этим вышли выкладки и прогнозы от аналитических компаний. Много цифр и сравнений. Сегодня хочется рассмотреть некоторые из них

Рынок BI (business intelligence) в России Давайте попробуем начать разбирать тему рынка Аналитических платформ в России. Есть ли он, насколько сильно отстает от топ 3 из Гартнера, и когда наступит светлое будущее BI для пользователя. В этом коротком посте напишу тезисно, то, что я наблюдаю сейчас и какие проблемы ви...

ЦЕРН увеличил объем своего хранилища до первого в истории эксабайта. Как хранятся данные Большого адронного коллайдера Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения м...

[Перевод] Две мощных возможности Python, упрощающие код и улучшающие его читабельность Улучшите качество кода, украсив его оператором match и срезами объектов.Python не случайно стал невероятно популярным в современной технической среде. Он, если сравнивать его с другими языками программирования, возможно, является самым удобным и доступным для новичков. И, вм...

Новые чипы от Microsoft, Git для аналитиков и эволюция Data Platform Привет, Хабр! С прошлого дайджеста произошло много событий в мире MLOps и дата-аналитики. Например, Microsoft анонсировал свой AI-чип, Databricks стал скупать «игроков поменьше», а рынку аналитических решений прогнозируют рост на 40% каждый год. Подробнее об этом рассказыва...

[Перевод] Управляемое данными тестирование с использованием Cucumber Тестирование на основе данных позволяет сократить объем ручных действий, необходимых для проведения тестирования, а также упростить управление и сопровождение тест-кейсов. В целом использование тестирования на основе данных позволяет повысить качество программного обеспечени...

API от А до Я (теория и практика) Я работаю с совершенно разными проектами и встречаюсь с разными технологиями: графы, пространственные данные, риалтайм обработка, ML и NER сервисы и т.п., но есть классические основы, которые должен знать каждый в ИТ от аналитиков до руководителей, так называемый фундамент б...

Сравнение и отличия версий Bluetooth 5.0, 5.1, 5.2, 5.3 и 5.4 Технология Bluetooth непрерывно развивается: каждые несколько лет появляются новые стандарты с улучшенными характеристиками. Расскажем об особенностях и отличиях версий Bluetooth 5.0, 5.1, 5.2, 5.3 и 5.4. Bluetooth 5.0 Первая версия Bluetooth 5-го поколения, выпущенная в 201...

Инсайдеры Windows получили очередное обновление для приложения Paint Сегодня Microsoft начинает развертывать обновление приложения Paint для инсайдеров Windows в каналах Canary и Dev (версия 11.2309.20.0 или выше). В этом обновлении Microsoft рада представить Paint Cocreator, новый опыт на базе искусственного интеллекта на базе DALL-E, которы...

Qucs-S: руководство по использованию SPICE-моделей и созданию библиотек Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан с использованием набора библиотек Qt. О принципах работы с Qucs-S рассказывают мои предыдущие статьи. Далее будет рас...

Создать опрос Эффективные опросы – это не просто инструмент сбора мнений или предпочтений; это мощный механизм аналитики, позволяющий глубже понять потребности аудитории, предугадать тренды и оптимизировать продукты и услуги для удовлетворения запросов рынка. От HR-отделов, которым необхо...

Применение алгебраических типов данных для моделирования ошибок и сообщений в журнале В функциональном программировании широко используются так называемые алгебраические типы данных. Такие данные формируются из более простых типов с использованием всего двух операций — "суммы" и "произведения". Использование таких математических операций о...

Ozon представил сервис аналитики продаж для внешнего рынка Пользователи смогут получить данные напрямую, минуя сторонние аналитические сервисы, говорят в компании.

4 криптовалюты подорожали на 30% и более за сутки Согласно данным аналитических сервисов, сразу 4 криптотокена смогли взлететь в цене более чем на 30% на дистанции в последний день

«Большие вызовы» в «Сириусе», или как мы обычно проводим лето Привет, Хабр! Третий год подряд летом мы в ВТБ снаряжаем команду IT-специалистов менторить школьников, которые пробуют себя в роли разработчиков на конкурсе «Большие вызовы» в образовательном центре «Сириус». В этом году на «Больших вызовах» побывали наши дата-сайентисты — о...

В России впервые провели операцию с использованием дополненной реальности Российские медики впервые использовали технологии дополненной реальности для проведения операции

Вышел Firebird 5.0 11 января 2024 года, выпущен Firebird 5.0 — восьмой основной выпуск СУБД Firebird, разработка которого началась в мае 2021 года. В Firebird 5.0 команда разработчиков сосредоточила свои усилия на повышении производительности СУБД: параллельное выполнение backup, restore, swee...

Электромобиль Атом получил собственное ПО для дисплея дополненной реальности Разработчики электромобиля «Атом» выпустили альфа-версию программного обеспечения Builder, который представляет собой конструктор для создания приложений на дисплее дополненной реальности (AR HUD). Этот конструктор обладает набором инструментов для разработки приложений и по...

Переменные окружения для начинающих разработчиков или использование .env файла в разработке программного обеспечения Безопасное управление конфиденциальными данными и настройками приложений может показаться сложной задачей для начинающих разработчиков. В этой статье мы разберем важные аспекты работы с переменными окружения, которые сделают вашу разработку более безопасной и эффективной. Чи...

Новый планшет OnePlus Pad Go предлагает меньшую производительность и большее время работы Дисплей OnePlus Pad Go оснащен функцией защиты глаз, такой как технология Low Blue Light, позволяющей снизить нагрузку на глаза

Фильтры фанкойла Фильтры фанкойла - это компоненты системы кондиционирования воздуха, которые используются для фильтрации воздуха и удаления загрязнений, таких как пыль, грязь, микроорганизмы и другие частицы. Они играют важную роль в поддержании качества воздуха в помещении. Вот некоторые ...

Hippotable — анализ данных прямо в браузере Сегодня я расскажу про hippotable — удобный инструмент для анализа данных. Мне часто нужно поковыряться в датасете среднего размера (1–100 Мб), чтобы ответить на довольно простые вопросы. Ни один из существующих инструментов (bash, google sheets, jupyter + pandas) не показал...

Как перестать работать в выходные и наконец-то научиться делегировать: опыт одного тимлида Всем привет, меня зовут Иван Михеев, я Chief Technology Officer маркетплейса авторских туров YouTravel.me, где руковожу разработкой, поддержкой и всем, что связано с технической частью бизнеса. Сегодня я хочу вам рассказать о том как делегирование влияет на эффективность ком...

О функциональном программировании на примере решения судоку Цель данной статьи - познакомить читателя с основными идеями функционального программирования на примере программы для решения судоку. Статья рассчитана на тех, кто не знаком с функциональным программированием, но хотел бы узнать, на что это похоже. Впрочем, опытные программ...

Apple приостанавливает работу функции iMessage в Beeper Mini для Android Ранее сегодня Beeper Mini прекратил работу, пользователи получали сообщения об ошибках "не удалось выполнить поиск на сервере: время ожидания запроса на поиск истекло".

The Hive. Разбор open source решения В свете быстрого развития информационных систем и увеличения угроз кибербезопасности поиск надежных решений, позволяющих минимизировать вред от нарушения информационной безопасности (ИБ), становится важной задачей для различных организаций. Когда инфрастр...

Ключевые тенденции рынка DLP – курс в облака и экосистемность Несмотря на санкции, российский рынок информационной безопасности остается открытым и ориентированным не только на национальные стратегии, но и на общемировые тренды. Анализ конкурентов и трендов за пределами России показывает, что использование облачных технологий — общее н...

Офицер ВСУ рассказал про FPV-дроны с ИИ Офицер ВСУ, командир подразделения Terra 3-й отдельной штурмовой укрбригады, поделился информацией о работе дронов с искусственным интеллектом во время телемарафона. Он отметил, что такие дроны способны самостоятельно находить цели даже при потере радиосвязи, что особенно по...

Valve наконец-то представила поддержку контроллеров Sony в Steam Одной из новых функций является возможность фильтрации игр

Путь к совершенному ПО: Искусственный интеллект в автоматической формальной верификации При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать оди...

Получение и визуализация данных из Битрикс24 без навыков программирования Год назад у Битрикс24 появилась нативная интеграция с BI-сервисом DataLens: теперь пользователи CRM могут строить дашборд с бизнес-аналитикой за несколько кликов. Для создания таких аналитических отчётов бизнес обычно объединяет все данные в единую базу. При таком подходе мо...

Scram для создания аппаратуры. Проект по созданию системы тестирования ADAS или краткая история 8 месяцев нашей жизни Добрый день, уважаемые коллеги и друзья! Уже больше года я работаю в Армении в компании, которая занимается созданием под ключ сложных, комплексных систем. Взяли меня на роль руководителя проектов, чем собственно я и занимаюсь последние 5 с лишним лет. В данной статье я хоте...

Parameter-Efficient Fine-Tuning (PEFT): методы LoRA, Prefix tuning, Prompt tuning и Adapters На сегодняшний день созданы разные большие языковые модели (LLM), которые показывают превосходные результаты, но для раскрытия их полного потенциала необходимо дообучение для точного решения конкретных задач. Традиционный метод файнтюнинга, при котором настраиваются все пара...

ООП в Mathematica В комментариях к мой статье пользователь @Refridgeratorв ответ на мой вопрос написал, что в Wolfram Language (WL) не хватает следующего: "ООП, перегрузки операторов, строгой типизации, событийно-ориентированного программирования, дата-ориентированного программирования, парал...

В России создали новый подход к построению ветровых карт Ученые Южно-Уральского государственного университета разработали новый подход к построению ветровых карт для планирования микрорайонов. Профессор Валентин Оленьков отметил, что новая методика, основанная на численном моделировании, позволяет получать результаты в 10−50 раз б...

Профессия «белый хакер»: как превратить хобби в работу На связи Positive Education, и мы продолжаем цикл публикаций о профессиях в сфере кибербезопасности. Потребность в таких экспертах растет с головокружительной скоростью, и сейчас это уже не одна профессия «специалист по информационной безопасности». Внутри отрасли сформирова...

ESA разрабатывает цифрового помощника по наблюдению Земли, основанного на глубоком обучении Спутники ежедневно производят огромное количество ценных данных, но их использование может быть сложным и не всегда приносит максимальную пользу пользователям. Поэтому Европейское Космическое Агентство (ESA) совместно с технологическими партнёрами разрабатывает приложен...

Топ Необходимых Bash-Команд для Разработчика [Шпаргалка] Bash - самый распространенный командный интерпретатор в UNIX-подобных системах, предоставляет возможность выполнения практически любого действия через терминал. Не все операции можно выполнить через графический интерфейс, в то время как Bash дает возможность полного контроля...

Появляется все больше новостей о неудачах Sony PlayStation 5 Недавно опубликовали финансовые отчеты Sony за третий квартал и аналитические агентства затрубили о скорой кончине игрового гиганта...

Data-рынок: как российские ЦОДы справляются с нарастающим спросом Традиционно рынок серверов, систем хранения данных и сетевого оборудования в России был представлен зарубежными компаниями — Dell, HP, Cisco и другими. В 2022-2023 гг data-центры взяли активный курс на импортозамещение при поддержке государства и отечественных поставщиков, п...

Дифференциальная приватность в машинном обучение Привет!Концепция дифференциальной приватности впервые появилась в начале 2000-х. Она позволяет проводить анализ данных, сохраняя информацию о личности индивидов неприкосновенной. В машинном обучение это означает возможность обучать модели, делающие общие выводы, не раскрывая...

Многокритериальная оптимизация для ранжирования и отбора торговых систем Отбор торговых систем: как выбрать лучшие из произвольного количества имеющихсяВ статье пойдёт речь о механизме отбора или расчёте коэффициента для ранжирования пула торговых систем. Мы рассмотрим один из способов, используя который можно определить лучшие варианты.Важно пон...

Palantir Technologies получила контракт на разработку новой разведывательной системы для армии США Компания Palantir Technologies, специализирующаяся на анализе больших данных, была выбрана армией США для разработки узла доступа к тактической разведывательной системе наведения (TITAN) — наземной системы следующего поколения, ориентированной на программное обеспечение. Сис...

Прогноз: количество пользователей 6G достигнет 290 млн к 2030 году Аналитическая компания Juniper Research опубликовала материал, согласно которому, всего через год после запуска стандарт связи 6G станет настолько популярным, что пользоваться технологией будут сотни миллионов пользователей.

Как в IT и бизнесе применяют теорию игр Одна из главных сложностей в IT и бизнесе — принятие взвешенных и, главное, правильных решений. Действия конкурентов, сложные технические процессы, риски и прочие переменные мешают увидеть общую картину и понять, какие шаги нужно делать дальше.Теория игр позволяет посмотреть...

Потерянный контакт с агрессией, гештальт и IT-шники Меня зовут Антон. Я гештальт-терапевт и руководитель отдела тестирования. В основе моей терапевтической практики лежит работа с IT-специалистами. В данной статье я постараюсь ёмко описать свой опыт работы с клиентами, которые потеряли контакт со своими активными, агрессивным...

Повседневная работа пока не для ИИ Согласно исследованию аналитического центра Альфа-Страхования, меньше трети респондентов (19%) используют искусственный интеллект в повседневной работе.

110-килограмовый «Медоед», или как устроен полуфиналист «Битвы роботов»? «Медоед» — это робот, один из полуфиналистов инженерного соревнования «Битва роботов», который появился на свет благодаря команде талантливейших студентов СПбПУ "Всеядные" и "Ростелекому". И сегодня мы познакомим вас с этим стальным зверем и его создателями! Читать далее

Honor повторяет успех Huawei. Компания возглавила рынок смартфонов Китая Компания Honor выбралась на первое место по продажам смартфонов в Китае в третьем квартале текущего года.  Фото: Honor Ресурс Gizchina приводит данные сразу трёх аналитических агентств: Counterpoint, Canalys и IDC. Они отличаются между собой, но везде лидером явля...

[Перевод] Почему B-деревья быстрые? B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, ...

И снова про SIEM Решение класса SIEM уже давно стали неотъемлемой частью любой серьезной системы информационной безопасности. В этой статье мы поговорим о том, что такое SIEM, для чего они предназначены и как можно использовать решения с открытым исходным кодом.Итак, SIEM (Security informati...

7 инструментов на основе ИИ для синтеза речи в 2023 году Развитие технологий искусственного интеллекта привело к появлению широкого спектра инструментов генерации речи. Text to speech, или TTS, — замечательная технология, которая обрабатывает текст и воспроизводит его вслух так, как будто бы его произносит человек. Ну и конечно, б...

Скачать фильмы за креды без СМС и регистрации: история одного supply chain под Linux В ходе расследования одного инцидента был обнаружен целый кластер вредоносной активности, нацеленный на операционную систему Linux, который оставался незамеченным как минимум с 2020 года. Дальнейший анализ показал, что вредоносное программное обеспечение выдавало себя за оче...

Представлен жёсткий диск Seagate Exos емкостью 30 ТБ с технологией Mozaic 3+. На подходе модели 50 ТБ+ Seagate представители новый жесткий диск Exos емкостью 30 ТБ, использующий собственную технологию Mozaic 3+. Exos 30 TB — это устройство корпоративного уровня, Ключ к такой высокой плотности лежит в нескольких технологических достижениях. Mozaic 3+ заменяет традиц...

[Перевод] Небольшой туториал по полигруппам в Zbrush Полигруппы (Polygroups) в Zbrush представляют из себя способ разделения уже существующей 3D-модели на группы полигонов с целью выполнения над ними различных видов работ. При создании каждой из этих групп полигонов ей назначается свой уникальный цвет, что помогает нам визуаль...

Что нам стоит технологии для российского бизнеса построить: топ-5 отечественных разработок для промышленного сектора Технологическая отрасль в РФ не стоит на месте, многие направления продолжают развиваться. Особенно это актуально для промышленности. Сегодня предлагаю обсудить пять новых отечественных разработок - от автоматизации документооборота до прототипирования. Если интересно - поех...

Дополнительная обвязка K8s и самописные компоненты в Kubernetes: для чего и кому нужны Познакомим вас с надстройками Kubernetes в платформе dBrain, большая часть которых - наши собственные разработки для отслеживания пограничных состояний кластеров K8s. Читать далее

Почтовый сервер с нуля. Часть первая Очень часто на этапе стажировки новых сотрудников мы в нашей компании сталкиваемся с типичными простыми ошибками, непониманием работы DNS и почты. При этом обучение новых сотрудников по этой теме — достаточно длительный и сложный процесс, так как сами вопросы требуют построе...

Еще один практический пример использования ИИ: скучные открытые публичные встречи в краткое саммари На работе последнее время участились случаи супер-пупер-важных голосовых созвонов из-за которых ну просто невозможно сосредоточиться на сложной интеллектуальной работе. Слушаешь час разговора, из которых 5 минут эффективные, а остальное – тоже важная, конечно же, модераторск...

Тюнинг Wireshark Анализатор пакетов Wireshark является мощным инструментом как для сбора, так и для анализа трафика. Ранее мы уже рассматривали использование Wireshark для работы с пакетами DNS. В этой статье мы рассмотрим различные приемы гибкой настройки данного инструмента для того, чтобы...

[Перевод] Принципы работы интегрированных сред разработки Вот некоторые принципы работы IDE (интегрированных сред разработки), которые, на мой взгляд, нужно зафиксировать: Принцип минимальной навигации Навигация в IDE раздражает. В тексте, конечно, можно выучить все причудливые навигационные сокращения типа C-a M-< M-f и так дал...

Apple представила новую языковую модель MM1 — это не просто обновление существующих систем, а новая архитектура, способная анализировать и интерпретировать данные на беспрецедентном уровне. С использованием разнообразных обучающих данных и сложных моделей, MM1 может понимать запросы пользователей, опираясь на соче...

Китайские хакеры развернули глобальную кампанию по взлому роутеров Совместное предупреждение американских и японских организаций выявило деятельность китайской хакерской группы, нацеленной на маршрутизаторы по всему миру, особенно те, что производит компания Cisco

Аннотации и рефлексия в Java Привет, уважаемые читатели Хабра! Аннотации и рефлексия являются ключевыми концепциями в Java, предоставляя разработчикам мощные инструменты для создания более гибких, адаптивных и понятных приложений. Аннотации предоставляют способ добавить метаданные к классам, методам ...

Таких монструозных моноблоков не предлагала даже Apple. Alafia Aivas SuperWorkstation оснащён 128-ядерным CPU и двумя Nvidia RTX Очень производительных моноблочных ПК на рынке довольно мало, особенно после того, как Apple перестала выпускать iMac Pro. Но вот устройство стартапа Alafia AI выделяется на фоне любого другого ПК такого форм-фактора.  Необычность рабочей станции Alafia Aivas Supe...

Nubia Z60 Ultra получит огромный кремний-углеродный аккумулятор Смартфон Nubia Z60 Ultra сможет похвастаться не только необычным дизайном, хорошим набором камер, экраном без вырезов и огромным аккумулятором. Компания сообщила, что этот самый аккумулятор будет иметь кремний-углеродный анод.  Такое решение позволяет ощутимо повы...

Построение графа покрытия UI-тестами бизнес-логики на основе VisualFSM В мобильных приложениях всё больше локальной логики, всё меньше приложений выполняют функцию тонкого клиента для простого отображения данных с сервера. Описание этой бизнес-логики в виде конечных автоматов позволяет сделать код более надёжным и читабельным, а визуализация гр...

Бесплатный сыр в мышеловке, или сказка о потерянном времени Как я выбирал SGRC систему сегмента МСП.Автор: Даниил Камбулов, директор по развитию Smart-TradeНачиная с 2022 года государственный и коммерческий сектора нашей страны находятся под шквалом кибератак. Защита критических айти-процессов превратилась из вчерашней роскоши в сего...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

[Перевод] Охота на недостающий тип данных Направленный граф — это набор узлов, связанных стрелками (рёбрами). Как узлы, так и рёбра могут содержать данные. Вот несколько примеров: Все графы созданы с помощью graphviz (источник) В сфере разработки ПО графы используются повсеместно: Зависимости пакетов, как и импо...

Как выбрать и внедрить  OCR-систему для распознавания и сверки документов Приветствую, друзья! Меня зовут Александр Вихарев, и я работаю системным аналитиком в проектах для Fix Price. Одной из самых сложных задач при работе с документацией является сверка документов. Причем сверка трудна и с точки зрения программной реализации, если заниматьс...

ATP и CRV — лучшие криптовалюты к 25 сентября Согласно данным аналитических ресурсов, по состоянию на утро 25 сентября 2023 года, криптовалюты Aptos (APT) и Curve DAO Token (CRV) стали лучшими за день

Астрофизики представили новую модель инфляции Вселенной, которая вдохновлена голосом Чубакки и может изменить представление о зарождении Вселенной Космическое микроволновое фоновое излучение (CMB) – картина Вселенной, которую можно использовать для исследования динамики и эволюции ранних моментов её существования. В рамках нового исследования, учёные применили сходство CMB со звуками Чубакки из вселенной &la...

SpaceX успешно запустила инновационный спутник MthanSat для борьбы с выбросами метана. Интерактивные данные обеспечит платформа Google Earth Engine 4 марта на борту ракеты Falcon9 компании SpaceX был успешно запущен инновационный спутник MthanSat. Этот спутник, поддерживаемый Alphabet Inc, владельцем Google, и Фондом защиты окружающей среды (EDF), имеет важную миссию по отслеживанию выбросов метана в нефтегазовой о...

Построение пайплайна обработки данных в реальном времени с использованием Python Привет, Хабр!Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и б...