[Перевод] Какую архитектуру конвейера данных следует использовать? Здесь представлен обзор архитектур конвейеров данных, которые вы можете использовать сегодня. Данные важны для любого приложения и нужны для разработки эффективных конвейеров для доставки и управления информацией. Как правило, конвейер данных создаётся, когда вам необходимо ...
Data Science и машинное обучение: примеры использования в реальных проектах Искусственный интеллект (AI) и машинное обучение (ML) уже давно вышли за рамки экспериментальных разработок и стали частью реальных проектов в бизнесе и промышленности. Их применение открывает новые горизонты для анализа данных, автоматизации задач и повышения эффективности ...
Обеспечение безопасности при разработке ПО — проблемы конвейеров CI/CD и способы предотвращения угроз Безопасность — критический аспект в разработке программного обеспечения, сам факт внедрения которого устраняет проектировочные ошибки, снижает затраты и сосредотачивает команду на использовании надежных методологий. Поделюсь нашим опытом интеграции его инструментов в создани...
Из опыта обучения взрослых людей Приветствую! Захотелось что-то поделиться своим преподавательским опытом по обучению взрослых.Хочу предупредить сразу: статья графоманская, не научная, содержит сугубо личное мнение.Надеюсь, что вас это отпугнёт от дальнейшего чтения. Читать далее
Как подружить Gorm и PostGIS, решение промышленного уровня GORM Фантастическая ORM для Golang.PostGIS расширяет возможности реляционной базы данных PostgreSQL , добавляя поддержку хранения, индексирования и запросов геопространственных данных.В этой статье поделимся своим опытом интеграции GORM и PostGIS, сложностями при п...
Создаём свой реестр данных на основе ФГИС «Аршин». Часть 1 — добавляем данные в PostgreSQL и сокращаем размер БД Всем привет, этот практический цикл статей рассчитан на начинающих. Я решил поделиться своим опытом создания реестра данных на основе государственного. В этой статье займемся загрузкой и обработкой данных о результатах поверки средств измерений. Читать далее
Как мы интегрировали BILLmanager с amoCRM и построили конвейер данных для отдела продаж В нашем BILLmanager есть встроенные возможности CRM-системы. С его помощью можно вести базу клиентов, отслеживать историю покупок, закреплять за клиентами менеджеров. Но основной сценарий использования платформы — автоматизация продаж услуг и всего, что с этим связано, а для...
Блочное программирование для детей: среды, языки и уроки В этом материалы мы разберем примеры самых популярных сред визуального программирования для детей, поделимся их плюсами и расскажем, в каком возрасте стоит начинать обучение.Визуально-блочные среды программирования – отличные инструменты для погружения детей в основы и базов...
Гайд по трекингу экспериментов в ML Многие привыкли, что в качестве результата эксперимента достаточно метрик и просто сохранения обученной модели, однако в современном мире машинного обучения трекинг экспериментов имеет ключевое значение для обеспечения воспроизводимости, надежности и эффективности. Давайте р...
Опыт быстрого старта MIS в банке Привет! Я – Мария, руководитель производственного центра в компании “ПрограмБанк”. Наше направление – внедрение типовых и заказных решений по сбору данных и расчету финансовой, управленческой, регуляторной отчетности.Продолжаю серию статей с примерами использования no-code и...
Machine Learning: Медицинский дайджест за период 07.10 — 13.10 2024 г ▶️ Модели машинного обучения и бенчмарки
Автоэнкодеры простыми словами Автоэнкодеры являются базовой техникой машинного обучения и искусственного интеллекта, на основе которой строятся более сложные модели, например, в диффузионных моделях, таких как Stable Diffusion. Что же такое автоэнкодер? Читать далее
Ddos-атака c Kali Linux — простейший пример В данной статье я поделюсь опытом ddos атаки уязвимой машины metasploitable.Как ее устанавливать в виртуалбокс и настраивать я писал в этой статье:https://habr.com/ru/articles/850188/Еще раз напоминаю правовую информацию:Данная статья создана исключительно в ознакомительных/...
Ускорение работы тeстов методом правильной настройки Testcontainers В современных разработках ускорение тестирования является критически важной задачей, особенно в условиях интенсивной работы с CI/CD. В этой статье мы рассмотрим, как оптимизировать процесс тестирования с использованием Testcontainers и Spring, чтобы минимизировать время иниц...
[Перевод] От RPA к ИИ-агентам: новая эра автоматизации бизнес-процессов Привет, на связи Шерпа Роботикс. Сегодня мы перевели для вас статью, тема которой напрямую касается нашей деятельности, как вендора платформ для умной роботизации бизнес-процессов. В этой статье вы узнаете о процессе эволюции роботизации, а также рекомендации, в каких случая...
Как я занял первое место в AI Journey Contest 2023 (трек Personal AI) Несколько дней назад завершился AI Journey Contest – ежегодное соревнование по машинному обучению от Сбера. В этой статье я расскажу о своем опыте участия в этом соревновании в прошлом году, его особенностях, а также подробно разберу решение, которое привело меня к победе. Ч...
Causal Inference: прозрение и практика. Лекция 1. Основные понятия Causal Inference В нашем веке центральное место в анализе и использовании данных занимает Data Science. Однако часто данное понятие сводят к одним лишь алгоритмам машинного обучения или даже искусственному интеллекту, преуменьшая другие важные аспекты этой области зн...
Как написать D-Bus сервис, работающий на системной шине, на Rust Привет, Хабр! На связи Федотов Максим, ведущий разработчик в "Открытой Мобильной Платформе". В этой статье я хочу поделится нашим опытом создания D-Bus-сервиса на Rust, который работает на системной шине.Если Вы только недавно начали изучать темы ОС GNU/Linux, Rust и D-Bus, ...
CI/CD для начинающих: деплой React-приложения без боли Следующий шаг после разработки веб-приложения — размещение его на сервере. Независимо от сложности проекта или используемой инфраструктуры, общий процесс остается одинаковым: нужно «упаковать» код в CI/CD-конвейер и отправить на сервер. В тексте рассмотрим, как это происход...
Обучение модели как ребёнка Привет, я токсичный программист в области машинного обучения (МЛ), и у меня есть идея создать проект, посвящённый разработке сильного искусственного интеллекта (далее — СИИ (или же AGI)). В небольшом блоге я буду делиться с вами своим опытом в создании чат-бота, который буде...
Взлом паролей методом брутфорса, уязвимой машины в Kali GNU/Linux с hydra, medusa, ncrack — просто Всех приветствую читатели Хабра!Сегодня я поведую о том как установить, настроить, и эксплуатировать уязвимости заранее уязвимой машины Metasploitable2-Linux. В данной статье я скорее даже поделюсь своим опытом взлома уязвимого хоста в виртуальной машине.Но для начали правов...
Адаптация платы Colorlight 5A-75B для примеров «Школы синтеза цифровых схем» Привет!Начался новый поток «Школы синтеза цифровых схем» и я хотел бы поделиться своим опытом по адаптации бюджетной платы с ПЛИС для запуска на ней лабораторных работ Школы. Отдельным преимуществом такого решения является возможность использования Open Source маршрута для с...
[Перевод] Туториал по Spring Data Envers для начинающих Команда Spring АйО перевела статью, которая отлично подойдёт тем, кто ещё не знаком со Spring Data Envers. В статье на простых примерах объясняется, как отслеживать изменения данных в приложении, используя этот инструмент. Читать далее
Tribuo и регрессия: как строить предсказательные модели на Java Привет, Хабр!В этой статье наш взор упадет на на Tribuo — библиотеку машинного обучения на Java от Oracle.Tribuo поддерживает различные алгоритмы для классификации, регрессии, кластеризации и многого другого. Но сегодня мы сосредоточимся на регрессии — фундаментальной задаче...
АвтоВАЗ выпустил 5-миллионный 16-клапанный мотор С автоматической линии «Краузе» АвтоВАЗа сошёл 5-миллионный 16-клапанный мотор. На данный момент с конвейера сходит 1,6-литровый мотор мощностью 106 л.с., устанавливаемый на Lada Granta, Lada Vesta и Lada Largus, но ранее выпускали также 1,4-литровый 16-клап...
Асинхронный SQLAlchemy 2: пошаговый гайд по управлению сессиями, добавлению и извлечению данных с Pydantic Продолжаем цикл статей по асинхронной SQLAlchemy в стиле ORM!Если вы ещё не успели ознакомиться с первой частью, настоятельно рекомендую сделать это, так как сегодняшний материал будет опираться на уже освоенные знания.Что нас ждёт сегодня?- Сессии и фабрики сессий: Узнаем, ...
Учимся на чужих ошибках: как прокачать SIEM с помощью machine learning Привет, Хабр! В этой статье мы хотим поговорить о применении технологий машинного обучения (machine learning, ML) в SIEM-системах. Разберемся, с какими проблемами и ограничениями сталкиваются операторы, расскажем о нашем модуле BAD и о том, как реализованные в нем модели ML ...
[Перевод] Операции машинного обучения (MLOps) для начинающих: полное внедрение проекта Разработка, развёртывание и поддержка моделей машинного обучения в продакшене может быть сложной и трудоёмкой задачей. Здесь на помощь приходит Machine Learning Operations (MLOps) — набор практик, который автоматизирует управление ML-процессами и упрощает развёртывание модел...
Продуктовый матчинг на маркетплейсе: что происходит под капотом сравнения товаров Привет, Хабр! На связи команда продуктового матчинга ecom.tech. Сегодня расскажем вам про машинное обучение под капотом сопоставления товаров на Мегамаркете. В этом эпизоде объясним, как матчер Мегамаркета сравнивает ключевые сущности товаров и почему именно так.Н...
Куда утекает производительность? Ищем ответ в логах Greenplum Привет, Хабр!Greenplum — это база данных, созданная специально для больших данных и аналитики. Ее основное преимущество — это архитектура массово параллельной обработки, сокращенно – MPP, которая позволяет масштабироваться до огромных объемов данных, не теряя производительно...
Мощь CSS-масок Декабрь 2023 года стал значимой датой в истории развития CSS-свойства mask: все современные браузеры в своих последних версиях обеспечили его полную поддержку, теперь без использования своих вендорных префиксов. А это означает, что данное свойство прочно и надолго вошло...
Государственные перевороты: бармалеи выпрыгивают как черти из табакерки. Не хотите, дети, в Африку сыграть? На исторических данных за 1991-2019 год покажем, как можно "увидеть" и "выцепить" признаки переворота. С помощью машинного обучения и ансамблевых модели. Ансамбли (конечно, не музыкальные), как показывает практика, – более эффективны в таких делах, и самое главное - &n...
Расшифровка черного ящика, или технический аудит базы данных перед сменой ERP-системы при полном отсутствии документации Реальный кейс анализа и технического описания базы данных клиента для осуществления корректной миграции на отечественное ERP-решение. Важным аспектом проекта было сохранение работоспособности всех систем, зависящих от исходной ERP-системы. В статье — опыт аудита OLAP-системы...
Количественные исследования: погрешность выборки и сколько ответов нужно собрать Количественные опросы нужны, чтобы принимать обоснованные решения, будь то запуск нового продукта или оценка удовлетворённости клиентов. Они позволяют измерить мнение большой или малой аудитории, но важно понимать, сколько людей нужно опросить, чтобы результаты были точными ...
[Перевод] Планируем потоки как Томас Джефферсон Эта статья посвящена тому, как распределять задачи между конвейерами очередей, чтобы минимизировать общее время обработки, а также неожиданной связи между этим методом планирования и методом Томаса Джефферсона. Читать далее
Поиск «токсичных» SQL-запросов Мы, студенты из МИФИ, Даниил и Александр, пришли на стажировку в Сбербанк в департамент SberData, который занимается развитием внутренней корпоративной аналитической платформы (КАП).Это современная платформа с удобными инструментами созданная для&nbs...
Деревья выражений на практике: динамическая фильтрация в C# с использованием Asp.NET Core В нашем предыдущем уроке мы обсудили ключевые моменты деревьев выражений, их примеры использования и ограничения. Любая тема без практического примера, особенно если она связана с программированием, не имеет большого смысла. В этой статье мы рассмотрим вторую часть деревьев ...
Как мы в клиринге переходили от REST к Kafka Всем привет! Меня зовут Владислав, я занимаюсь разработкой клиринговой системы в Мир Plat.Form.Сегодня я хотел бы поделиться нашим опытом перехода от взаимодействия через REST к использованию Kafka между системой Фронт-Офиса, в которой хранятся данные об авторизованных тран...
Как запрашивать и принимать обратную связь от клиентов с помощью SMS API Сегодня мы опишем создание простого сервиса для отправки SMS с вопросами через веб-интерфейс своим клиентам и просмотра всех полученных ответов. На базе этого решения можно построить систему автоматической обработки обратной связи, поэтому вашему маркетологу должно это понра...
Фитнес-данные не пропадут зря: ChatGPT на страже твоего здоровья Я активно пользуюсь умными браслетами и весами, и однажды задумался: а что если обработать накопленные данные через ChatGPT для анализа здоровья? Оказалось, что это довольно просто, и с этим справится практически любой.Всё, что нужно — это данные из Google Fit и доступ к Cha...
[Перевод] Автоматическая система Netflix для восстановления заданий после сбоев, основанная на машинном обучении Это — первый материал из серии статей, посвящённой использованию анализа данных и машинного обучения (Machine Learning, ML) в Netflix. Мы применяем то, о чём собираемся рассказать, совершенствуя автоматизацию оперативной деятельности. Делается это ради по...
Node.js-бот для Телеграм: CRUD-L через аргументы команд Я продолжаю описывать собственное погружение в мир телеграм-ботов, начатое в предыдущей публикации. Тогда я создал простого бота на Node.js с тремя стандартными командами (/start, /help, /settings) с использованием библиотеки grammY, который мог работать в режимах long polli...
Как сделать движущийся фон в Scratch Сегодня предлагаем разобраться, что и как нужно делать в Скретче, чтобы создать движущийся фон. Подготовили подробную инструкцию со скриншотами, а еще опубликовали видеоурок. Если тема интересна, выбирайте удобный способ и приступайте прямо сейчас.Скретч – идеальный инструме...
Опыт реализации нейросетевого модуля российской DCAP-системы Привет, меня зовут Михаил, я старший специалист по машинному обучению в компании Makves (входит в группу компаний «Гарда»). Я предпочитаю называть себя deep learning engineer, так как большую часть моего рабочего времени занимает обучение и вывод в прод именно нейросетевых м...
PostgreSQL Antipatterns: «вращаем» JSON Принимать сложные параметры запроса в виде JSON - полезно, хранить его в базе - удобно, но работа с ним в рамках SQL-запроса зачастую вызывает затруднения.Сегодня столкнулся с очередным нетипичным вариантом использования - "перекладыванием" значений из JSON-строк в столбцы.Д...
Оконные функции простым языком — Фреймы Привет всем!Это вторая часть к продолжению статьи "Оконные функции простым языком с примерами". Рекомендую ознакомиться сначала с ней, а потом вернуться к прочтению данной статьи, чтобы полностью понимать синтаксис и применение оконных функций. В этой статье будет разобрано ...
Валидация модели данных в ASP.NET Core 8.0 на основе HTMX Валидация данных на стороне сервера с HTMX 2.0. Разбираемся с валидацией модели данных на основе платформы ASP.NET Core.В статье мы освоим базовую реализацию валидации данных на стороне сервера. На стороне сервера мы используем самый простой способ коммуникации - HTTP.Знаком...
far2l в Ubuntu 24.04 LTS готов для повседневного использования Несколько дней назад вышло обновление, устраняющее последние шероховатости UX, и мы рады представить вам долгожданный полноценно работающий Far Manager в составе LTS-версии Ubuntu 24.04! В этой статье я расскажу, как получить максимум удовольствия от его использования, а так...
Как мы обучаем коллег исследованиям: подход ecom.tech Привет! Меня зовут Костя Коваленко, я руководитель отдела продуктовых исследований в ecom.tech. Мы разрабатываем ИТ для ритейла реального времени, на наших технологиях работают Самокат и Мегамаркет. Последние 2,5 года я развиваю практику и отдел исследований в компании. ...
[Перевод] Почему важно оптимизировать формат данных Если вам нужно повысить скорость вашей программы, то первым делом логично будет вспомнить курс по структурам данных и оптимизировать алгоритмическую сложность. Алгоритмы — важнейшая часть программы: замена «горячего» алгоритма O(n) менее сложным, например, O(log n), обеспе...
Кто и как управляет разработкой ML-моделей + опыт ПГК Привет, Хабр! Меня зовут Павел Куницын, и я главный специалист по анализу данных и МО в ПГК Диджитал. Согласно различным исследованиям, от 46 до 90% моделей машинного обучения не выходит в прод. Всему виной отсутствие должного контроля за их созданием, а также проблемы менед...
Автогенерация функций выборки данных и всей сопутствующей типизации с помощью Orval Требования к быстрому и качественному созданию интерфейсов растут с каждым днем. Поэтому разработчики плавно отходят от написания вручную кода, который может быть сгенерирован автоматически. Мы перешли к автоматизации с таким инструментом, как Orval. Расскажем, как это было,...
Как написать SEO-лонгрид с использованием ChatGPT-4: с изображениями и примерами Все знают, что ChatGPT неплохо справляется с генерацией коротких текстов, офферов, постов для социальных сетей. Сложности возникают, когда мы хотим написать длинный SEO-текст для блога или услуги на нашем сайте. В этой статье мы расскажем о том, как написать лонгрид с помощь...
[Перевод] Путь к мастерству: Как стать успешным разработчиком
DLP от базовых настроек до продвинутой аналитики Привет, я Артемий, архитектор систем информационной безопасности группы компаний «Гарда». В этой статье будем искать ответы на следующие вопросы: · что такое DLP и как работает DLP-система;· что делать с...
Сплит-клавиатура Sofle v2 с точки зрения менеджера по продажам Всем привет! Меня зовут Алексей, я работаю менеджером оптовых продаж в самом простом «опенспейс» офисе. Совсем недавно я стал обладателем сплит-клавиатуры Sofle v2 и расскажу о своём опыте знакомства с данным девайсом, его покупке, сборке и настройке, впечатлениям от использ...
Интернет по электропроводке: мой опыт ремонта Powerline-адаптера и прокладки сети Всем привет! Это Антон Комаров, автор команды спецпроектов МТС Диджитал. Сегодня расскажу о своем опыте развертывания сети в доме, где живу сейчас. Технология передачи данных через электропроводку (Powerline Communication, PLC) — не самый стандартный способ организации домаш...
Как сделать простые метрики для оценки полосы пропускания сети? Если вам важна высокая стабильность и скорость сети на ваших серверах, тогда вам надо отвественнее подойти к выбору провайдера. В данной статье я показываю, как добавить метрики и дешборды в Grafana для оценки скорости сети с помощью speedtest-exporter. Читать далее
EnJoyTheVR: доступная виртуальная реальность на базе смартфонов Всем привет! Меня зовут Евгений, я разработчик приложения EnJoyTheVR – приложения, которое позволяет погружаться в виртуальную реальность с 6DOF отслеживанием движений головы и рук прямо через ваш смартфон. В этой статье хотел бы рассказать о проекте, его задумке, этапах раз...
Синхронизация учетных записей 1С при помощи OpenIDM В данной статье мы настроим синхронизацию учетных записей 1С и OpenIDM. Рассмотрим случай, когда учетные записи создаются и меняются на стороне OpenIDM, скажем службой HR. Изменения учетных записей из OpenIDM будут синхроризироваться с 1С. В качестве первичного источника дан...
Предварительная обработка данных в машинном обучении: инструкция, инструменты, полезные ресурсы Data Scientist рассказывает, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать. Читать далее
Интеграция SwiftUI и Realm в React Native на новой архитектуре В данной статье мы разберём процесс создания React Native приложения для iOS с использованием SwiftUI и Realm на основе новой архитектуры. Особое внимание уделим основным шагам интеграции Turbo Modules и Fabric, а также тому, как эти инструменты повышают производительность и...
Компьютерное зрение на C++: пишем приложение для поиска объектов под Android Привет, Хабр! Меня зовут Кирилл Колодяжный, я пишу код на С++ для систем хранения данных в YADRO. Помимо основной работы, интересуюсь машинным обучением и его возможностями, в том числе на «плюсах». Недавно мне стало интересно разобраться, как развернуть модель компьютерного...
Асинхронный SQLAlchemy 2: простой пошаговый гайд по настройке, моделям, связям и миграциям с использованием Alembic Наконец-то пришло время взяться за то, что я давно планировал — подробный гайд по асинхронной версии SQLAlchemy 2.0 в стиле ORM. В этой серии статей я подробно расскажу обо всех аспектах: от создания моделей и установления связей между ними до миграций с Alembic и взаимодейс...
linkedSignal: управлять связанным состоянием теперь ещё проще Бу! Испугался? Не бойся. Angular 19 уже не за горами и представляет новый мощный примитив, называемый linkedSignal, который поможет вам управлять сложным состоянием в ваших приложениях. Это альтернатива использованию effect для простого обновления сигнала на основе изме...
Как я нашел первую работу в IT? Глупый и голодный Я разработчик и тимлид. В IT уже 13 лет. Нашел свою первую работу будучи студентом 4-го курса мехмата и обивая пороги компаний лично. В этой статье я поделюсь своим опытом поиска первой работы в IT. Думаю, этот опыт будет особенно полезен людям, которые не считают себя готов...
В МТУСИ предложили метод машинного обучения для обнаружение фишингового сайта Информационная безопасность веб-приложений является одним из наиболее актуальных вопросов современного мира, а фишинг – серьезная угроза для миллионов пользователей интернет-ресурсов.Фишинговые сайты создаются таким образом, чтобы максимально быть похожими на легитимные ресу...
Впервые в России: Яндекс на практике применил федеративное машинное обучение Компания Яндекс заявила, что она вместе с Институтом системного программирования имени В. П. Иванникова РАН и Сеченовским Университетом впервые в России на практике применила федеративное машинное обучение. Его также называют совместным: оно предназначено для проектов, ...
Разработка бота для Telegram на платформе .NET ВведениеTelegram — один из самых популярных мессенджеров в мире, предлагающий такие функции, как групповые чаты, каналы, голосовые и видеозвонки, а также возможность создания ботов. В данной статье мы не будем ставить цель показать, как создать с нуля приложение a-la "Hello,...
Как написать свой небольшой парсер на Python? Всем привет. Я думаю, что некоторые задавались вопросом о том, как написать свой небольшой парсер на Python. В данной статье я хочу рассмотреть достаточно простой случай - это парсинг данных уже с готового датасета stackexchange.com. В дальнейшем уже можно будет работать с ...
Spring Patterns. Часть 2. Spring + ThreadLocal. AOP. Transaction cache Всем привет. Я разрабатываю приложения с использованием Java, Spring Boot, Hibernate. В прошлой статье я показал реализацию паттерна Spring Fluent Interface. При помощи которого можно инкапсулировать похожие действия внутри приложения в модуль, предоставлять клиентском...
Сборка Python проекта с uv и Docker Привет, Хабр! Меня зовут Денис Савран. Я старший разработчик направления серверной разработки на интерпретируемых языках и работаю в компании «Криптонит». В этой статье я хочу поделиться опытом сборки проектов на Python с использованием самых современных инструментов. Читать...
[Перевод] Базовые действия по реагированию на инциденты кибербезопасности в Linux Данная публикация - перевод статьи - Linux Incident Response от Jeenali Kothari. Статья о том, какие действия может выполнить сотрудник кибербезопасности при подозрении на компрометации системы на базе Linux. Читать далее
Мой опыт использования Plumber: UI-инструмент для тестирования Kafka Привет, Хабр! Меня зовут Марина, я QA-инженер в Купере. Как специалисту по тестированию, мне часто приходится сталкиваться с задачами, связанными с тестированием микросервисов, использующих асинхронное общение через Apache Kafka. Уверена, многие QA-инженеры, да и разработчик...
Немного про UEFI и GRUB В данной статье пойдёт речь об особенностях UEFI на примере переноса Debian Stretch с MBR на UEFI. Опишу так же разницу между MBR и UEFI, так как я её воспринимаю.Кроме общей части, ключевая часть статьи про формирование GRUB EFI файла grubx64.efi во время grub-install и про...
Как мы научились эффективно управлять ростом данных с переходом на BW/4HANA Всем привет! Меня зовут Сергей Вяльцев. Я архитектор команды «Финансы» в «Ленте», домен «Данные и Аналитика». Хочу поделиться тем, как благодаря миграции на BW/4HANA нам удалось разгрузить сервер базы данных хранилища SAP BW, не прибегая к покупке дорогостоящего оборудования...
RxJS Interop в Angular 18: основные изменения и преимущества ✏️
Увеличиваем выручку с помощью математики: как учитывать бизнес-контекст в оптимизационных задачах Привет! Я Эдуард, в ecom.tech руковожу группой прогноза спроса для Мегамаркета. В этой статье хочу рассказать, что меняется в работе с алгоритмами машинного обучения, когда начинаешь учитывать ограничения и нюансы бизнес-задачи. Расскажу на примере одного исследования – как ...
Как Яндекс помогает астрофизикам изучать вспышки на красных карликах Красные карлики — наиболее распространённый тип звёзд в нашей Галактике. Это не самые яркие объекты: они меньше нашего Солнца и светят слабее. Однако большинство планетных систем обнаружено именно вокруг звёзд этого класса. Благодаря многолетним исследованиям ...
Графы, растры и море: как школьники создают будущее геоаналитики Привет, Хабр! Меня зовут Алексей Пустынников, я руководитель команды геоаналитики в банке ВТБ. Сегодня я хочу рассказать вам об интересном проекте, в котором участники конкурса «Большие Вызовы» решали сложные задачи в сфере геоаналитики и машинного обучения.Представьте: лето...
[Перевод] Почему мои ZFS-диски так шумят? У Джонни Кэша есть песня «One piece at a time» 1976 года. В ней рассказывается история об автомеханике, собирающем собственный Cadillac из деталей, которые он в течение 25 лет по одной тырил с производственного конвейера General Motors. Некоторое время назад пользователь Pr...
Оптимизация хранимых процедур на PostgreSQL, мигрированных с MsSQL. Подходы к реализации, личный опыт Привет всем!Я — Ипатов Александр, backend-разработчик в ГК Юзтех. Сегодня хочу поделиться своим опытом в интересном проекте, связанном с миграцией БД MsSQL на PostgreSQL в разрезе оптимизации хранимых процедур и функций (далее — хранимых процедур, так как процесс оптимизации...
Изменение модели данных CoreData для iOs приложения с iCloud синхронизацией Казалось бы простая задача добавления атрибута(ов) в модель данных CoreData может обернуться проблемами если в приложении используется синхронизация между устройствами через iCloud. В этом случае необходимо провести так называемую lightweight миграцию прежней базы данных в б...
Формирование задач для выбора информационной системы из стратегических целей проектной организации Настоящая статья является развитием статьи “Организация процесса выбора среды общих данных для проектов объектов капитального строительства”. Ее публиковал ранее тут. В ней мы говорили о важном шаге при выборе будущей информационной системы - описании задач, для которых прио...
WorkStarter: утилита для автоматизации запуска программ при старте Windows Привет, Хабр!
Количественные исследования аудитории: погрешность выборки и сколько ответов нужно собрать Количественные исследования нужны, чтобы принимать Data-driven решения!Они помогают проверить гипотезы и предсказать, что может произойти в будущем. Если компания думает, что улучшение какой-то функции продукта сделает его популярнее или прибыльнее, то количественное исследо...
Как развернуть Supabase в облаке Timeweb Cloud Пакет Supabase — это бесплатный аналог облачных сервисов Google Firebase (БД, аутентификация, хранение файлов, realtime обмен данными, framework для популярных языков). Перечисленные инструменты позволяют разработчикам быстро создавать как простые мобильные приложения и сайт...
Может ли простейшая нейросеть найти математическую закономерность в данных? В этой небольшой статье мы научим нейросеть решать задачу умножения перестановок длины 5 (группа ) и визуализируем результаты обучения с помощью методов проекции t-SNE (с понижением размерности PCA) и алгоритма UMAP. Мы убедимся в том, что даже элементарная модель может "нео...
Как предложить клиенту наиболее релевантные продукты на основе top-n соседей: кейс ВТБ Как с помощью метода поиска соседей улучшить конверсию кредитных продуктов и чем будет полезен опыт онлайн-кинотеатров и маркетплейсов при решении данной задачи, рассказывает Дмитрий Тимохин, Senior Data Scientist, департамент анализа данных и моделирования, управление моде...
Получение, обработка, анализ и визуализация спутниковых снимков с помощью библиотек: GDAL, numpy и matplotlib Эта статья является продолжением цикла статей посвященных развитию стартапа "Arrow". Ребята из моей команды тоже не отстают и те, кого больше интересует бизнес-сторона вопроса можете почитать "Старт проекта и гибкость как залог успеха: путь команды ARROW", а те кто больше по...
MLOps со всех сторон: что расскажут на конференции I'ML 2024 Обсуждения машинного обучения бывают очень разными. Есть просто шумиха, громкие слова и спекуляции. Заменят ли нас всех завтра машинами? Мы движемся к прорыву или катастрофе?Когда разговор подходит ближе к технологиям и тематике Хабра, в первую очередь думают про непосредств...
Как ускорить запуск iOS-приложения в 2 раза с помощью Network Instrument Приложение соединяет данные из сети с интерфейсом. Про UI сказано и написано немало, а вот сеть говорят меньше всего, хотя именно она влияет на время ожидания ответа пользователем. При этом со стороны разработчика это часто выглядит так: «ну я создал сессию, дёрнул запрос, о...
Технология NTB: опыт применения и ее виртуализация QEMU В статье мы расскажем о системах хранения данных (СХД), в частности о применении технологии NTB поверх шины PCIe. Наша команда столкнулась с задачей виртуализации технологии NTB в QEMU, решение которой было сведено к созданию частичной виртуализации IDT 89HPES24NT6AG2 ...
Transact SQL для анализа данных Язык Transact SQL является процедурным расширением языка SQL и используется в СУБД Microsoft SQL Server. В этой статье мы рассмотрим использование некоторых элементов T-SQL для анализа данных. Сначала мы рассмотрим оконные функции, а затем поговорим о методах сводки (pivotin...
Прозрачное туннелирование трафика с маршрутизацией на основе геолокации IP-адресов В этой статье попробую рассказать как в домашней сети создать еще один шлюз по умолчанию и настроить на нем на выборочную маршрутизацию на основе списка подсетей. Используя в качестве такого списка базу данных геолокации IP-адресов, можно перенаправлять трафик в зависимости ...
Использование ChatGPT для автоматизации генерации кода в JS-проекте В своих предыдущих статьях о разработке телеграм-ботов я делился опытом создания базового функционала и работы с командами через аргументы (раз, два). На этапе подготовки третьей статьи передо мной встал вопрос генерации однотипного кода для новых команд, что превратилось в ...
Машинное обучение без кодинга для фронтенд-задач. Разбираем работу фреймворка MediaPipe Меня зовут Ярослав Французяк. Я фронтенд-разработчик в GARPIX. В этой статье расскажу о таком инструменте, как фреймворк MediaPipe от Google. На основе готовых моделей он позволяет разработчикам внедрять сложные функции компьютерного зрения и обработки мультимедиа в веб-прил...
Машинное обучение: Медицинский дайджест за 14 — 20 октября 2024 г Большой медицинский дайджест самых интересных моделей машинного обучения за неделю.Модели машинного обучения и бенчмарки.
ETL-проект для начинающих Data Engineers: От почтового сервера до Greenplum Привет, Хабр! Меня зовут Дмитрий, я инженер данных, и это моя первая статья. В ней я хочу поделиться своим пет-проектом, который посвящен созданию ETL-процесса — важного элемента в работе любого Data Engineer. Мой проект направлен на извлечение данных из электронной почты и ...
OpenCV: компьютерное зрение на Python Компьютерное зрение — это перспективное направление развития технологий, позволяющее обучить компьютер навыкам распознавания изображений и видео. С помощью компьютерного зрения компьютеры могут не только анализировать и понимать визуальную информацию, такую ка...
Как упорядочить данные в базе сайта, у которого пять личных кабинетов Привет, Хабр! Меня зовут Миша Шлыков, я менеджер проектов в диджитал-продакшене Далее . Уже два года мы вместе с «Национальными приоритетами» развиваем сайт наука.рф. За это время 30 миллионов человек поучаствовали в проектах Десятилетия науки, а делают его простые люди со в...
[Перевод] Two-Tier Data Model архитектура: концепт и мысли Краткая цель статьи — сделать потоки данных проще, более тестируемыми и управляемыми с DTO и Runtime Model структурой.Эта статья — набор мыслей и экспрессии опыта моего текущего видения этой проблемы, как комбинации опыта от работы над проектами и мо...
Полный разбор Polymarket: от интерфейса до смарт-контрактов Написал для вас подробный технический разбор Polymarket — децентрализованного рынка предсказаний на блокчейне. В статье мы рассмотрим ключевые компоненты протокола: интерфейс, смарт-контракты, оракул, токенизация исходов и механизмы управления ордерами. Материал поможет глуб...
Эксперты объяснили необходимость перехода к цифровой трансформации государства и экономике данных В МТУСИ объяснили необходимость перехода к цифровой трансформации государства и экономике данныхСегодня наблюдается постоянный рост объема информации и повышение требований к скорости ее передачи и разработки. Динамизм процессов цифровизации всех видов деятельности и использ...
Программирование для подростков: выбор направления и советы преподавателей Подростковый возраст – идеальное время для обучения детей чему-то новому. Кодинг не стоит считать исключением. Есть несколько подходящих и относительно простых языков и вспомогательных сред: Скретч и Роблокс, Python, в том числе в связке с Minecraft, C# и JavaScript. Разбира...
Что такое DWH? DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов Короче, это место, где все нужные данные из разных мес...
[Перевод] Полнотекстовый поиск vs. Векторный поиск Полнотекстовый поиск vs. Векторный поиск: в чём разница и когда их использовать? Технологии поиска информации сильно продвинулись вперёд. Раньше был доступен только поиск по ключевым словам, но теперь, благодаря машинному обучению, появился векторный поиск, который помогает ...
Гибкая фильтрация EFCore с помощью Expression Фильтрация данных в EntityFramework — это довольно простая задача, которую можно легко решить с помощью метода Where() в LINQ. Однако если поля для фильтрации как и значения приходят к нам динамически, и тем более если фильтровать приходится по вычисляемым в рантайме зна...
Чтение на выходные: «Спроси разработчика. Как стать лидером рынка с помощью создания собственного ПО» Джеффа Лоусона Джефф Лоусон — серийный предприниматель, программист, основатель и генеральный директор IT-компании Twilio. На примере своего опыта он рассказывает об управлении бизнес-процессами и командами разработчиков. Читать далее
DuckDB: сказ о том, как утёнок приютился в Persistent Volume Привет, дорогой друг. Меня зовут Максим и я data-инженер в одной из прекрасных команд AI area компании Домклик. Правильно перевозить байтики с места на место нам помогает огромный зоопарк инструментов. И, кажется, мы приручили ещё одного питомца.В эт...
Ядерные погремушки в каждой избушке. Технологии атомной индустирии в автоматизации бытового теплоснабжения Привет всем маленьким любителям больших технических систем! В данной статье расскажем, как технологии создания систем управления ядерным реактором могут применяться в быту. Рассмотрим пример практического применения модельно-ориентированного подхода и структурного моделирова...
Собираем видение продукта: от проблемы конкретной персоны до решения Когда строишь бизнес на новом рынке, один из ключевых вызовов - создать видение своего продукта, который найдет свой PMF (Product-Market Fit).На своем опыте рассказываю о том, как определить проблему и создать для нее решение, которое действительно будет решать проблему поль...
Погружение в мир Python: Решение проблем с библиотекой ConfigParser Здравствуйте! В этой статье я хочу поделиться своим опытом работы с библиотекой ConfigParser в Python, особенно в контексте устаревших операционных систем, таких как Windows XP и Windows 7. Несмотря на то что я не являюсь профессиональным программистом, моё хобби и стремлени...
Декодирование BPSK Модуляции из Звука В этом тексте я реализовал возможность передачи бинарных данных звуком через BPSK модуляцию. Написал инструкцию как это можно делать.Вся обработка происходит в post processing режиме на PC над записанным wav файлом.Изучение ЦОС на примере работы со звуком - это доступная ка...
Линейный и бинарный поиск в Clojure Привет, Хабр! Cегодня я расскажу вам о том, как реализуются линейный и бинарный поиски в Clojure. Clojure одновременно прост и сложен. В нём есть идеи функциональности, а также чистые данные, которые могут работать как часы, если к ним применить правильные алгоритмы. В этой ...
Python для детей: особенности обучения, видеоуроки, книги и другие ресурсы Когда и как начинать учить детей программированию? Стоит ли вообще это делать? Если да, то какие языки подойдут? Давайте искать ответы на примере Python: рассмотрим его особенности и потенциал, определимся с оптимальным возрастом для начала, разберемся в перспективах направл...
Интеграция TFLite во Flutter: внедряем модели машинного обучения в мобильное приложение Привет! Меня зовут Никита Грибков, я Flutter-разработчик в AGIMA. В этой статье расскажу про фреймворк TensorFlow Lite, который позволяет интегрировать в мобильное приложение модели машинного обучения. Это полезная штука, если нужно реализовать фичи, связанные с распознавани...
Как (и зачем) мы разворачивали ActiveMQ Artemis в облаке Привет, Хабр! Меня зовут Артем Безруков, я DevOps‑инженер в команде интеграционных сервисов Platform V Synapse в СберТехе. Наша команда работает над продуктом из линейки Platform V Synapse — Platform V Synapse Messaging. Это брокер сообщений, в основ...
Китайские учёные задействовали Raspberry Pi для повышения безопасности туннельных конструкций Китайские учёные разработали систему обнаружения пустот в облицовке железнодорожных туннелей, используя популярный мини-компьютер Raspberry Pi. Эта новая технология, описанная в статье журнала Buildings, может значительно повысить безопасность и надёжность туннельных ко...
Алгоритм Прима В данной статье я бы хотел объяснить работу алгоритма Прима. Алгоритм используется для нахождения минимального остовного дерева. Сам алгоритм очень прост, в статье хотел бы поделиться своей реализации на языке Go. Читать далее
Испанский без иллюзий: мой опыт изучения языка. Часть 1 Hola, Хабр! Это Женя Сильянова из МТС Диджитал. В свое время я девять лет жила в Испании, сегодня хочу поделиться своим опытом изучения иностранного с нуля. Сейчас мой уровень — С1, как-то я даже написала на испанском дипломную работу и получила диплом за подписью самого кор...
Автоматизация и оптимизация сигнальных процессов сервис-провайдера с помощью API шлюза В этой статье я делюсь гибким архитектурным подходом к автоматизации сетей уровня сервис-провайдера и своим личным опытом отладки сигнального обмена. Статья рассчитана не на новичков, а скорее тех, кто знаком с основными архитектурами и технологиями, используемыми в сетях ур...
Проблема преобразований муниципалитетов для аналитиков: как мы упорядочили хаос Анализ данных на уровне муниципалитетов осложняется преобразованиями структуры территориальных единиц: меняются не только границы, но и типы муниципалитетов, названия, код ОКТМО. Это нужно учитывать в ходе исследований и при использовании информации, например, при работе с Б...
Swift TaskGroup на примерах В данной части из серии swift concurrency мы продолжим исследовать structured concurrency. В этот раз остановимся на сущности под названием TaskGroup. Узнаем как с ней работать и чем она отличается от Task и async let. На примере сравним аналогичные реали...
Дорожная карта теории вероятностей для собеседований, ШАД и олимпиад Теорию вероятностей спрашивают и на собеседованиях, и на экзаменах, также она является фундаментом для многих методов машинного обучения. По моим наблюдениям студентам явно не хватает того курса теор вера, который есть в ВУЗах, чтобы научиться решать основные задачи — необх...
35 образовательных игр и приложений по программированию для детей Современные дети могут начать изучать программирование даже в дошкольные и школьные годы. Конкретный возраст не играет роли: есть множество простых языков, вспомогательных сред и даже обучающих и развивающих игр и приложений. С их помощью любой ребенок сможет понять основы н...
Как грузить данные во ViewModel? Привет, Хабр! Эта статья будет полезна для мобильных разработчиков, потому что в ней обсуждаются различные подходы к первоначальной загрузке данных во вьюмодели (Jetpack ViewModel) при ее использовании в проектах на Jetpack Compose (либо Compose Multiplatform). Тема эта наст...
Новый метод машинного обучения улучшил качество МРТ Ученые Технического университета Граца разработали метод, который позволяет получать точные изображения сердцебиения в реальном времени с помощью ограниченного объема данных МРТ. Эта работа, опубликованная в журнале Magnetic Resonance in Medicine, обещает...
Мультимодальные приложения на Llama 3.2 и Llama Stack Недавний релиз Llama 3.2 с мультимодальными версиями 11B и 90B открывает возможности для создания AI приложений, анализирующих визуальный ввод.Мультимодальные модели были и раньше, но это первая официальная версия Llama с такими функциями. Модель может быть использована для ...
Li Auto выпустила 1 млн машин: на это ушло 58 месяцев Li Auto объявила, что спустя 58 месяцев миллионный Li Auto официально сошел с производственной линии на базе в Чанчжоу. Производитель также напоминал основные этапа развития компании: 20 ноября 2019 г.: с конвейера сошел первый автомобиль; 28 октября 2021 г.: с конвейе...
Как найти общий язык с любым заказчиком: 6 наблюдений из личного опыта Привет! Меня зовут Аня, я аналитик в Naumen Erudite. За четыре года в компании у меня было несколько проектов внедрения с крупными заказчиками. Не всегда работать на таких проектах легко — нужно уметь находить правильный подход к&...
Изменения и как их преподнести команде Приветствую вас, дорогие читатели. Тружусь в IT сфере с 2016 года. Так вышло, что свое ремесло я нашел не сразу и пробовал себя в программировании, аналитике и теперь занимаю должность руководителя проекта. Простыми словами управляю командой в Ростелеком Информационные техно...
Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы: опыт Mindbox Привет, Хабр!Меня зовут Тимур Маннапов, и я самый обычный senior-разработчик в Mindbox.На примере нашего продукта я расскажу, почему при загрузке CPU наполовину или меньше скорость параллельных вставок на SQL-сервере упирается в «невидимый» предел, а потом и вовсе замедляетс...
MSSQL natively compiled: когда они тормозят В базах данных нет серебряной пули, универсального рецепта. Мне захотелось проверить экспериментально один граничный случай использования in memory tables и natively compiled - когда в тесте все было хорошо, а на реальных данных начались тормоза. Читать далее
SysMocap — очень простой захват движений в 3D с помощью вебкамеры. Как сделать из себя втубера? Большое слово — Mocap Большинство знает о mocap (захвате движений) из киноиндустрии: чёрный костюм с множеством точек на теле. Однако технологии не стоят на месте, и уже сейчас в домашних условиях для создания развлекательного контента достаточно одной веб-камеры, чтобы пол...
Рецензия на книгу “Основы проектирования баз данных (Database Design Solutions, 2nd Edition)” Сегодня мы расскажем о новой переводной книге по проектированию баз данных от автора Рода Стивенса «Основы проектирования баз данных. — 2-е изд» (Database Design Solutions, Second Edition). Это практическое руководство почти на 800 страниц по проектированию реляционных ...
Nvidia представила новые плагины Unreal Engine 5 для создания персонажей с искусственным интеллектом Nvidia представила новeшую технологию для создания персонажей с искусственным интеллектом, которые выглядят и ведут себя как настоящие люди. Эта технология, Nvidia Ace, представляет собой набор цифровых технологий, которые обеспечивают речь, интеллект и анимацию на осно...
Матстат в одной схеме Данная статья посвящена описанию базы математической статистики.Описывается суть матстатистики от постановки задачи до рассмотрения инструментов её решения. Читать далее
История моего увлечения астрономией Листая страницы Хабра, я периодически натыкаюсь на статьи по теме астрономии. Никогда не думал, что эта тема будет на Хабре так популярна и широко распространена. Любители астрономии и астрономических наблюдений – самый малочисленный круг людей из всех, с которыми я когда-ли...
Учимся делать игры без pygame: Создание графического интерфейса на Python Привет, Хабр! Сегодня мы научимся делать графический интерфейс на python, используя Tkinter. Эта статья очень короткая, так как мы только начинаем.Tkinter — это стандартная библиотека для создания графических интерфейсов в Python. Она предоставляет простой и удобный способ с...
Как ИИ поможет создавать учебные курсы Привет, Хабр! Меня зовут Полина Шнайдер, я ML-инженер в лаборатории LISA в ИТМО. Сейчас я разрабатываю систему, которая помогает нашим преподавателям создавать программы учебных курсов. Разработка учебной программы ― творческая работа, во многом завязанная на опыт преподават...
Собираем сетевое хранилище (NAS) XPenology Привет! С вами снова Александр, DevOps из Банки.ру. Прошлая статья «Домашний сервер на базе Proxmox» вызвала интерес сообщества и бурное обсуждение в комментариях. Сегодня продолжу тему и расскажу о сборке NAS (Network Attached Storage) своими руками из доступного сейча...
[Перевод] Использование Rust в серверах, написанных на других языках, для повышения производительности В этой статье мы рассмотрим несколько стратегий по постепенному добавлению Rust в сервер, написанный на другом языке, например JavaScript, Python, Java, Go, PHP, Ruby и т. д. Один из возможных кейсов для подобного добавления — вы ...
Опубликовано видео с тестированием первой сошедшей с конвейера GeForce RTX 5090 Вендором выступила компания Zotac
Настройка хранения электронных писем в Carbonio Одним из самых простых и эффективных способов оптимизировать размер почтовых ящиков на сервере является настройка времени хранения писем. Автоматическое удаление писем по истечении настроенного срока их хранения позволяет пользователям не превышать выделенную им квоту без до...
Как Лента формирует эффективный ассортимент на основе данных Привет, Habr! Меня зовут Катя, я продакт-менеджер BigData в группе компаний «Лента», отвечаю за развитие цифровых продуктов блоков «Ассортимент» и «Ценообразование». В этой статье расскажу про путь к управлению ассортиментом на основе данных и наш флагман – приложение Deli –...
[Перевод] Анализ и моделирование футбольных результатов английской Премьер-лиги с использованием методов машинного обучения Рассмотрим статью 2018 года наших индийских коллег Rahul Baboota и Harleen Kaur «Predictive analysis and modelling football results using machine learning approach for English Premier League». Особое внимание советую уделить отбору признаков (feature engineering) — возможно,...
Инфраструктура для Data-Engineer DBT dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python.При помощи dbt можно создавать разные "слои" данных или выделить dbt только под один слой, к примеру dm.При помощи понятного и всем известного SQL интерфейса можно создавать разные мо...
Технология и методология работы с 3D-моделями в среде общих данных строительного проекта Информационная модель объекта строительства может быть представлена в виде 3D-модели.Существует два принципиально разных способа формирования 3D-модели в среде общих данных.Первый способ предполагает передачу в СОД уже собранной сводной 3D-модели, для последующей работы (рас...
Технологию AMD FSR на базе машинного обучения интегрируют в Call of Duty: Black Ops 6 AMD и Activision усердно работают над этим.
Технология проектирования хранилищ данных Data Vault 2.0 Data Vault 2.0 остаётся одним из самых популярных методов моделирования данных. Его выбирают за гибкость, масштабируемость и устойчивость к изменениям. Этот разработанный Дэном Линстедом подход помогает организациям быстро адаптироваться к новым бизнес-требованиям, легко инт...
ИИ улучшил МРТ для диагностики заболеваний мозга На стыке искусственного интеллекта (ИИ) и медицины растет интерес к использованию машинного обучения для улучшения изображений, получаемых с помощью магнитно-резонансной томографии (МРТ).
Пишем свой Http Kafka Sink Connector В данной статье приведу реализацию своего kafka http sink connector. Он не претендует на универсальность, но возможно поможет разобраться как разработать свой connector. Читать далее
Профилирование: сравниваем инструменты pt-pmp и perf на реальных примерах Привет, Хабр! В предыдущей статье был разобран первичный анализ работы приложения, какие инструменты стоит использовать для сбора информации и как с этими инструментами работать. Напомню, что речь шла о двух утилитах: poor man's profile (pt‑pmp), которая ...
Рынок Wi-Fi сегодня. Из чего выбирать и как снизить риски? Привет, Хабр! На связи Виктор Беляев, эксперт по беспроводным технологиям ИТ-компании К2Тех. Мы с коллегами проектируем и строим сети Wi-Fi на разных вендорах, следим за новинками и тестируем их оборудование. Сейчас этот рынок очень активен, постоянно появляются новые Wi-Fi ...
Всё о цифровых методах восстановлении аудио у себя дома. От ручных методов до ИИ Цифровая реставрация аудио Этот процесс может быть как нетривиальным, так и крайне сложным. Но за последний десяток лет цифровые методы значительно шагнули вперёд, заменив кропотливую работу с узкопрофильными алгоритмами на нажатие двух кнопок для получения желаемого резуль...
Создано приложение для захвата движений всего тела с помощью смартфона Инженеры Северо-Западного университета разработали систему захвата движений всего тела, которая не требует специализированного оборудования. Новый инструмент под названием MobilePoser использует датчики, встроенные в смартфоны, умные часы и беспроводные наушни...
Что такое covariant в Dart Ключевое слово covariant было внедрено в Dart для борьбы с важной проблемой переопределения методов. В статье содержатся разбор проблемы, описание работы covariant и пример его использования для решения проблемы. Читать далее
Строим обучение так, чтобы дойти до конца: научный подход Привет! Меня зовут Мария Ковалева, я руковожу Лабораторией образовательных технологий в Яндекс Практикуме. Мы исследуем учебный опыт студентов, чтобы выяснить, насколько успешно они осваивают новые навыки и как им в этом помогают те или иные образовательные практики.Один из ...
Как я заставил суровых мужиков носить юбки и теперь продаю без маркетплейсов на 24 млн в год По образованию я программист. Если быть точным – оператор ЭВМ. До 2007 года я работал в техподдержке, был сисадмином, внедрял базы данных в арбитражных судах.Уже тогда мне хотелось работать над продуктом, который существует в реальности, до которого можно дотянуться и пощупа...
Как ускорить компонентную frontend-разработку с помощью продуктового подхода: опыт Рунити Привет, Хабр! Меня зовут Дмитрий Виноградов, я руковожу направлением продуктовой разработки в Рунити, а если проще — то разработкой сайтов и витрин компании. Я и моя команда находимся в постоянном поиске удобных подходов к разработке технических решений. В этой статье ...
Компания Media Control представила ИИ для прогнозирования продаж книг Имея базу данных, содержащую более 16 миллионов книг и около пяти миллиардов данных о продажах, ИИ должен обеспечивать чрезвычайно точные прогнозы продаж, даже для новых изданий.
GIMP Script-Fu Первый Дан. Шаг первый Здравствуй Читатель! Если ты хочешь научиться программировать расширения для GIMP с помощью Script-fu тебе сюда. Я планирую опубликовать серию статей по данной теме. И эта статья только первый шаг в увлекательный мир лайф-кодинга. Что это значит? Расширение GIMP Script-fu пр...
Обучение ИИ-моделей на облачных серверах: совместный проект РБК и Рег.ру Привет, Хабр! С вами Сергей Рыжков, руководитель департамента хостинга и профессиональных сервисов Рег.ру, и Александр Михеев, ML-engineer РБК. В этой статье расскажем, как мы автоматизировали процесс тегирования редакционных материалов РБК с помощью нейросети в облаке Рег.р...
Кратко про библиотеку mlfinlab: инструмент для финансового ML Привет, Хабр!Сегодня мы рассмотрим такую замечательную библиотеку как mlfinlab.Если вы пытались применить методы машинного обучения к финансовым данным, то наверняка сталкивались с массой подводных камней: от шумных данных до проблем с автокорреляцие...
Рейтинг инструментов BPMN Не так давно проводила на работе практический интенсив по нотации BPMN, и сегодня хочу поделиться своим личным рейтингом инструментов, которые я использую для создания бизнес-процессов в этой нотации.В этом рейтинге мы рассмотрим 5 самых популярных инструментов, сравнив их п...
ИИ-система по извлечению информации со сканов счетов: от разметки до реализации Для автоматизации бизнес-процессов часто требуется обработка бумажных документов со сложной структурой — например, счетов, накладных и так далее. Частый сценарий: есть почтовый ящик, на который поступают сканы оплаченных счетов. Этот почтовый ящик разбирается, и информация о...
AILink для Wolfram и плагины для ChatGPT Я сделал небольшой клиент для Wolfram Language, который умеет вызывать OpenAI API и другие API, которые на него похожи. Сам активно пользуюсь им и хочу рассказать о том, как легко создать ассистента на основе OpenAI API и добавить в него свои собственные плагины. Зачем я это...
Стеганография в линукс — просто (Часть 2) В этой статье я поделюсь своим опытом и еще некоторыми утилитамиВообще меня побудило написать эту статью прохождение курса Базовый курс по CTF на онлайн платформе Stepik, он бесплатный и по окончании выдается сертификат (это не реклама, а совет). Перейдем непосредственно к у...
Функция скользящего среднего для регенерации на графике Функция скользящего среднего для регенерации на графике является самым обыденным механизмом, чтобы сделать график более читаемым с одной стороны, и, одним из вариантов нормализации данных на основании которых можно строить отчеты, с другой.Типичными данными, которые нужно но...
Шины данных для очень больших инсталляций, или Почему большим компаниям сложно с опенсорсом Как технический менеджер в Яндексе я отвечаю за эксплуатацию больших кластеров, через которые мы передаём данные, — для этого мы используем YDB Topics, собственный аналог Apache Kafka, о котором я уже рассказывал. Но если посмотреть не ...
Техники работы с User stories. Example Mapping и Scenario Mapping Привет Хабр! Меня зовут Татьяна Ошуркова, я разработчик и аналитик. Использование пользовательских историй или user stories является распространенным подходом в работе с требованиями.В этой статье я подробно разберу две техники работы с пользовательскими историями: Example M...
Автоматизация тестирования с использованием SoapUI — Практическое руководство Привет! Меня зовут Александр Крылов, я разработчик Siebel CRM в Московском кредитном банке. После разработки очередной задачи, которая полностью основана на интеграциях, перед нами встал вопрос о функциональном тестировании, перед передачей на полноценное тестирование. ...
Postgres, как настроить запросы между разными БД Всем привет. На днях пришлось вспомнить магию Postgres, задача была решена, по результатам написал инструкцию в корпоративную базу знаний, что бы в следующий раз не тратить время на "воспоминания". Решил поделиться.Ниже речь будет идти о чтении данных одной БД из другой БД. ...
Машинное обучение и криптография: знакомимся с CipherGAN Машинное обучение в большей или меньшей степени сейчас используется в различных отраслях. Не стало исключением и направление криптографического анализа. В этой статье мы рассмотрим генеративно‑состязательную сеть CipherGAN, используемую для опре...
Шаблоны проектирования для баз данных Существуют различные шаблоны проектирования облачных сервисов. Про тот же Sidecar или Ambassador, я думаю, слышали многие. Шаблоны предназначены для решения определенных задач и те два шаблона, о которых речь пойдет в сегодняшней статье, тоже ну...
Интернет-архив восстановил работу после кибератаки Интернет-архив восстановил свою работу в режиме «только для чтения» после кибератаки, которая вывела сайт и сервис Wayback Machine из строя 9 октября. Атака включала в себя утечку данных и DDoS-атаку, в результате которой были похищены данн...
Сыр-бор вокруг Linux и мини-обзор альтернатив На днях по чатам, каналам и форумам пронёсся шум "из Linux удалили русских мэйнтейнеров" - с последующими вопросами "останемся ли мы без Linux" и "умрет ли OpenSource". Эта маленькая статья для кто "слабо в теме" - мы вкратце проясним что там случилось, сильно ли это кого-то...
Безопасность в машинном обучении: от проектирования до внедрения Полина Сокол, старший аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар», подготовила материал о методах работы с данными и ML-моделями. Это направление исследований позволяет на выходе обеспечить требования к прозрачности, ответственности и р...
HMAC-SHA256 и Telegram Mini App Хеш-функции это по-настоящему есть широта возможностей и в этой статье мы прикоснемся к одной из, а именно - аутентификация сообщения или, проще говоря, определение подлинности тех или иных присланных нам данных.Мы с вами начнем с теории и проникая в глубь мы закончим пример...
[Перевод] Перехват учетных данных SQL Server с помощью заданий агента для повышения привилегий в домене В этой статье я расскажу об объектах учетных данных SQL Server и о том, как их могут использовать злоумышленники для выполнения кода от имени учетной записи SQL Server, локального пользователя Windows или доменного пользователя. Также я объясню, как включить ведение журнала,...
Новый ИИ-тренажер в Новосибирске повысит продажи кол-центров Новосибирского государственного университета разработали инновационную программу-тренажер для подготовки сотрудников кол-центров с использованием искусственного интеллекта. По данным пресс-службы вуза, тестирование показало, что после обучения с помощью этой системы про...
Образование в ИБ. Ожидание vs Реальность ВведениеИнформационная безопасность является одной из ключевых областей в современном мире, где каждый день появляются новые угрозы и вызовы. Студенты, обучающиеся в вузах, получают ценные знания и навыки в области информационной безопасности, однако часто остаются неподгото...
Образование в ИБ. Ожидание vs Реальность ВведениеИнформационная безопасность является одной из ключевых областей в современном мире, где каждый день появляются новые угрозы и вызовы. Студенты, обучающиеся в вузах, получают ценные знания и навыки в области информационной безопасности, однако часто остаются неподгото...
Как я делал систему сбора данных на провинциальном заводе и что из этого вышло Привет, Хабр! Меня зовут Валерий, и я проработал инженером на заводе шесть лет. Звучит как начало занятий по групповой психотерапии для выгоревших сотрудников, но о моём выгорании и причинах этого я расскажу как-нибудь в другой раз. В данной статье хочу поделиться историей...
Маск нашёл лазейку для законного обучения своего ИИ на постах пользователей Социальная сеть Х обновила свои условия предоставления услуг и политику конфиденциальности, упростив получение пользовательских данных третьими лицами. Под данными понимаются сообщения пользователей, а третьи лица — разработчики, которые намерены обучать на этом контенте сво...
Создание пользовательского интерфейса для модуля Webhook с использованием Angular Cоздание таблички отображающей данные и формы для ее заполнения, интерфейсы строятся на компонентах от https://ng.ant.design, формы создаются и управляются с помощью https://formly.dev, для стилей используется https://tailwindcss.com, стейт машины нет. Читать далее
Почему СУБД такие медленные Недавно на Хабре публиковался перевод статьи «Просто выберите Postgres» (оригинал, англ. яз) с аргументами, что Postgres — оптимальная БД для десктопных и мобильных приложений. Аналогичное мнение высказывают в других популярных статьях вроде «До свидания MongoDB, здравств...
Муравьиный алгоритм. Решение задачи коммивояжера В данной статье я бы хотел объяснить работу алгоритма муравьиного алгоритма и решить с его помощью задачу коммивояжера. Решение задачи сводиться к выходу из какой-либо вершины графа, прохождению по всем вершинам по одному разу самым коротким путем и возврату к начальной точк...
Эксперимент: даём ChatGPT полный доступ к компьютеру Это статья написана от души и для души. Она не является: инструкцией, примером для подражания, призывом к действию или чем-то подобным.Я абсолютный новичок в программировании, поэтому могу ошибаться в некоторых (или даже во многих) вещах. Я бы, наверное, даже не писал эту ст...
Распознавание ж/д пикетных столбиков по фотографиям с беспилотника на основе PyTorch и YOLOv5 Тенденция применения беспилотных летательных аппаратов (БПЛА) продолжает развиваться и процветать. Оснащение беспилотников камерами и навигационным оборудованием геодезического класса точности позволяет получать ортофотопланы с сантиметровой точностью. Расширить возможности ...
Решение по автоматизированной проверке движений документа в Vanessa Automation В этой статье хочу поделиться своим решением по проверке движений документов. Думаю, что не нужно подробно описывать зачем они нужны. Если уж заинтересуетесь, то можно найти много подробной информации в интернете. Поэтому совсем немного, напомню, что движения - это определен...
Запускаем Yolo на пятирублёвой монете или Luckfox Pico Mini В данной статье речь пойдет про использование очень маленькой Luckfox Pico Mini. Я расскажу про особенности платы, её настройку, а также о том как запускать на ней нейронные сети для детекции объектов с камеры. Мне удалось добиться скорости детекции в 15 FPS, результат, кото...
Как зеленый Леруа Мерлен стал желтым Лемана ПРО В последнее время ну очень популярна стала такая вещь, как ребрендинг. Одни меняют лого и название. Другие, вдобавок к этому, еще и кардинально меняют цвета. Популярность эта, однако, не сопровождается должным количеством технических статей, которые мне, как разработчику, на...
Вход в заднюю дверь или пентест сетевых принтеров и МФУ В данной статье мы с вами затронем анализ сетевых принтеров/МФУ в компании. Каждый из Вас наверное замечал, что данные устройства стоят почти в каждом кабинете и этаже (последнее более опасно, так как доступ к данным устройствам может получить любой человек: сотрудник компан...
Суперсингулярные изогении в криптографии В своей профессиональной деятельности как DevOps-инженер я часто сталкиваюсь с необходимостью обеспечивать безопасность и устойчивость инфраструктуры в условиях быстро развивающихся технологий. Одним из ключевых аспектов, на которые я обращаю внимание, особенно в свете появл...
Как в Купере масштабировали машинное обучение и что из этого получилось Не секрет, что ML‑модели требуют огромного количества данных. Информации не просто много, она организовывается в многообразные структуры, версионируется, употребляется разными моделями. Скорость обращения данных тоже критична, особенно для систем, взаимодействующих с пользо...
[Перевод] Неформатированный текст не так уж прост Когда мы взаимодействуем с текстовым файлом при помощи редактора, то, что мы видим, не всегда отражает содержимое файла. Да, содержимое файла с неформатированным текстом — это байтовые коды, закодированные в таких форматах, как ASCII, UTF8 и UTF16, и в этих байтовых кодах на...
Как мы отбираем и обучаем специалистов: от первых шагов до реальных проектов В чем секрет качественных данных и точной разметки? Мы в Data Light знаем: за каждым успешным проектом стоят не только технологии, но и люди — специалисты, отобранные после нескольких этапов тестирований и обученные на настоящих проектах.Мы знаем: чем лучше подготовлен испол...
[Перевод] Создание визуальных новелл в Unity: Naninovel 1.20 Naninovel – теперь уже полноценный движок для создание визуальных новелл в Unity. За своё недолгое (относительно других похожих движков) существование, он успел обзавестись большой фанатской базой и пройти не малый путь разработки. Каждая последующая версия движка - большая ...
Спасибо, Chevrolet. Завод UzAuto в выпустил почти треть миллиона таких машин за девять месяцев 2024 Национальный автопроизводитель Узбекистана компания UzAuto за первые девять месяцев 2024 года увеличила выпуск автомобилей на 3,9%. По официальным данным Агентства статистики Узбекистана, с конвейера сошло 278,1 тысячи транспортных средств. Лидером производства стал Che...
ParallelBeautifulSoup (BF4-hack) Предлагаю протестировать скрипт написанный с помощью cloude 3.5 Sonnet с использованием специального промта. Сейчас и сам пробую, не знаю что из этого получится. Во всяком случае будет шаблон для реализации собственных идей. Scrapy конечно хорошая библиотека, но у него много...
Создание GitHub бота для сообщества В мире разработки ПО своевременное получение информации о событиях в репозиториях важно для активного сообщества. Мы решили автоматизировать этот процесс, создав чат-бота для нашего комьюнити в Telegram.Мы сделали упор на то, чтобы бот был простым в использовании, помогал ос...
Как построить башню в Minecraft на Python – туториал для детей Построить здание в Майнкрафте – это просто с помощью языка «Питон». Считать его сложным не стоит: с первыми шагами справится даже начинающий ребенок. А мы предлагаем бесплатный урок строительства посредством кода: он поможет нам создать полноценную башню и разместить ее в ви...
[Перевод] Как Vercel микрофронтенды внедрила Узнайте, как Vercel сократил время сборки и повысил скорость разработки, сохранив при этом удобство работы с микрофронтендами.Основной веб-сайт Vercel, некогда являвшийся единым крупным сайтом Next.js приложение, обслуживающее как посетителей нашего веб-сайта, так и панель у...
Мои заметки про процессоры для cовсем маленьких Центральный процессор (CPU, Central Processing Unit) — это основной компонент устройств, который выполняет все вычисления и логические операции, необходимые для работы программ.Здесь я постараюсь рассказать про строение и работу процессора на примере x86–64 архитектуры.Ко...
Outcome-driven innovation (ODI) — фреймворк для стратегии, основанный на CX Фреймворки встречаются нам часто, например, их достаточно много в программировании (Swift UI, если мы говорим про IOS-разработку), в маркетинге (SWOT-анализ), в продакт-менеджменте (RICE для приоритезации). Любой фреймворк, который мы применяем в той или иной деятельности, д...
Как сделать Game Pass в Roblox Studio (геймпасс в Роблокс) – урок для детей Как создать геймпасс в Роблокс Студио? Предлагаем пошаговую инструкцию со скриншотами: она поможет разобраться. Предстоит выполнить несколько несложных действий: они приведут к результату в виде готового gamepass. Урок предназначен для детей и подростков.Мы используем инстру...
[Перевод] Разница между очисткой, сбросом и восстановлением моков В данной статье мы подробно рассмотрим различия между операциями очистки (clearing), сброса (resetting) и восстановления (restoring) моков в процессе тестирования программного обеспечения. Вы узнаете, когда и в каких ситуациях применяется каждая из этих стратегий, а также ка...
Как системный анализ помогает экономить ресурсы: кейс из реальной разработки Уже два года я работаю системным аналитиком в крупной телеком-компании, которая развивает IT-направление. В этой статье на примере двух кейсов покажу, как системный анализ помогает оптимизировать разработку и сэкономить ресурсы компании. А ещё поделюсь тем, как у нас ус...
ASN.1 Разбираемся с пакетами ASN.1 (Abstract Syntax Notation One) представляет из себя язык для описания структур данных. По сути — это набор правил, для преобразования значений определённого типа в поток байтов для их последующей отправки по каналу связи. По мере развития языка, улучшались методы коди...
CI/CD Kubernetes платформа Gitorion. Реплицируемый NAS для Highly Available кластера Kubernetes Привет всем! В предыдущей статье в рамках построения Highly Available варианта CI/CD Kubernetes платформы Gitorion мы рассмотрели реализацию Highly Available плоскости управления Kubernetes, разнесенную в два дата центра и способную пережить падение любого из них. Инстансы G...
Кластеры и мир: хроника высокодоступного Pub/Sub в Redis В статье рассматриваются основные принципы и особенности использования Redis в режиме Pub/Sub для масштабируемых и высоконагруженных приложений. Описаны два подхода к обеспечению высокой доступности — Redis Sentinel и Redis Cluster, их преимущества, ограничения и примеры нас...
Искусство аугментации: как улучшить модели компьютерного зрения без сбора новых данных Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдете делать 10000 ф...
Почему оценить стоимость датасета не так просто, как кажется на первый взгляд Представьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок из сета, проводите тесты и получаете примерную стоимость 1 изображения. В итоге вы оцениваете проект, основываясь на количестве изображений, и устанавливаете цену за каждое. О...
Создан ИИ для прогнозирования распространения пандемий через авиаперелеты Команда ученых из Университета Хьюстона представила исследование, опубликованное в журнале Scientific Reports, о влиянии международных авиаперелетов на распространение COVID-19. С помощью нового инструмента на базе искусственного интеллекта (ИИ)...
МКПП живёт и здравствует: 83% покупателей Subaru WRX в США предпочитают «механику» Сбрасывать со счетов механическую коробку переключения передач пока рано, поскольку продажи автомобилей с МКПП не только не падают, но и растут. Согласно данным motor1, 1,7% проданных в прошлом году автомобилей были с механической коробкой передач — по сравнению с...
Ошибки новичков — Часть 1 Для более быстрого старта обучения дизайнера уровней, разобрал частые ошибки новичков, с примерами и решениями. Читать далее
Я сдал пилотный экзамен Yandex Cloud Security Speciality, чтобы вам не пришлось Привет! На связи Влад Павловский, DevSecOps инженер компании Swordfish Security. В данной заметке хотел бы поделиться с вами опытом прохождения сертификации Yandex Cloud Security Speciality, который был запущен в октябре и так получилось, что у меня получилось пройти пилотны...
5 лучших инструментов для разметки данных в 2024 году Разметка данных играет ключевую роль в развитии совершенно разных технологий: от автопилотов и голосовых помощников до агро- и тяжелой промышленности. Но сам процесс разметки может быть трудоёмким и занимать много времени.Чтобы упростить эту задачу, важно выбрать инструменты...
Управление инцидентами: 9 ключевых факторов успеха Современные практики devops и sre не обходятся без грамотного управления событиями, алертами, графиками дежурств, и т.д. Имея за плечами более 15 лет поддержки сложных систем и сервисов, решили поделиться прописными истинами в форме данной статьи. Весь этот процесс теперь мо...
Nvidia тюнингует LLaMA, нобелевские лауреаты ликуют, исследователи Apple ищут логику: главные события октября в сфере ИИ Делимся подборкой важных и интересных событий из мира AI и машинного обучения за последний месяц. Сегодня в программе: Нобелевские премии за прорывы в ИИ, новые модели от tech-гигантов, 70 000 новых вирусов и затерянные в пустыне города, а также обзор свежих инструментов для...
[Перевод] Как ИИ помог спрогнозировать ураган Милтон и другие штормы “Милтон” стал пятым ураганом в 2024 году, обрушившимся на материковую часть США. Поскольку такие циклоны стали происходить всё чаще и разрушительная их сила только растёт, метеорологи нередко стали прибегать к помощи искусственного интеллекта, дабы попытаться отследить шторм...
Нейронная сеть учится понимать сигналы светофора Сегодня нейронные сети всё чаще используются для решения различных задач – от распознавания лиц до управления беспилотными автомобилями. Однако для тех, кто только начинает знакомиться с этой технологией, может показаться, что процесс обучения нейросети — это что-то сложное ...
Виды и обзор движков машинного перевода: Яндекс переводчик, Google Translate и DeepL Многие компании или их сотрудники хоть раз использовали для своих задач онлайн-переводчики. Это быстро, удобно, но результат не всегда точный. Однако такой перевод иногда имеет неприятные последствия: его могут неправильно понять клиенты или бизнес-партнеры, что может испорт...
[Перевод] Интеграция библиотек C/C++ в .NET приложения с использованием P/Invoke В своей практике я несколько раз сталкивался с задачей интеграции и взаимодействия с низкоуровневыми языками программирования (C/C++) и низкоуровневыми API, такими как Windows API.Этот туториал упрощает мой опыт использования низкоуровневых языков и API, а также демонстрируе...
Детекторный приёмник. Немного практики Несмотря на то, что при Союзе огромное количество детей собирало детекторные приёмники в школе или радиокружках, моё пост советское детство такая забава не затронула. Я с самых ранних лет хотел попробовать, но всё вечно упиралось в отсутствие компонентов, а когда они появили...
Пробуем Flutter в Telegram Mini Apps: Насколько хорошее решение для разработки? Привет, Хабр!Меня зовут Богдан, и я Flutter-разработчик, работающий в аутсорсе. В этой статье на моем примере я расскажу о создании веб-приложения на Flutter для Telegram Mini Apps. Хотите узнать, насколько применим Flutter в вебе, как разработать и запустить свое приложение...
Краткий обзор дистрибутива линукс Solus Всех приветствую читатели хабра! Сегодня я хотел бы поделиться опытом установки и частичной настройки малоизвестного дистрибутива линукс Solus. Собственно говоря я пишу данную статью используя данный дистрибутив. Как сообщает википедия дистрибутив Solus не зависит от других ...
Перезагрузка бизнеса с ИИ: как AI Product Hack 2024 открывает новые горизонты Завершился масштабный хакатон AI Product Hack 2024, организованный магистратурой AI Talent Hub университета ИТМО и Napoleon IT. Мероприятие стало ключевой площадкой для демонстрации решений на основе искусственного интеллекта (ИИ) и сотрудничества между молодыми разработчика...
Восстановление данных с зашифрованного Linux тома с помощью cryptsetup В этой статье мы разберем восстановление данных с зашифрованного с помощью LUKS тома NAS.Внимание: в самом худшем случае для восстановления данных этим способом потребуется свободное место равное двум объемам зашифрованного раздела. Например, если у вас есть зашифрованный ра...
Навыки IT Архитектора Но если речь зайдёт о soft skills — тут, как правило, ответы будут более размытыми и будут выглядеть как коммуникабельность, грамотная речь, умение находить общий язык и так далее.В качестве руководителя подразделения мне приходилось подавать заявки на подбор персо...
Как я получил оффер в Microsoft на позицию Senior Product Manager Когда-то очень давно я думал, что оффер в Microsoft — это что-то из разряда фантастики. С тех пор я уже поработал в IBM, и нескольких других крупных компаниях. В других просто получал офферы, но отказывался по разным причинам.На момент начала прохождения собеседований в...
Как мы создаём Visionatrix: упрощая ComfyUI Добрый день всем.В этой статье мы расскажем о нашем опыте работы с ComfyUI и разработке Visionatrix — надстройки, которая упрощает генерацию медиа. Мы обсудим ключевые проблемы, с которыми сталкиваются пользователи, наш подход к их решению, а также вкратце поделимся тем, как...
Мой опыт создания сервиса для изучения жестовых языков Я 9 лет изучала лингвистику, разочаровалась в ней, но полюбила жестовые языки.В этой статье расскажу, как без опыта в программировании я создаю платформу для изучения жестовых языков во Франции. Читать далее
[Перевод] Атаки на понижение версии SMTP и MTA-STS Когда был создан SMTP, он работал, передавая данный в открытом виде, поскольку тогда мы ещё не разработали решение для безопасной передачи данных, то, что мы называем сейчас «безопасность транспортного уровня» (transport layer security, TLS). Когда TLS наконец-то был готов, ...
Postgresso 9 (70) PostgreSQL: PostgreSQL 17 Released!Новшества давно известны (в том числе из обзоров Павла Лузанова PostgreSQL 17: Часть 5, 4, 3, 2, 1), но интересно, что выбрали в сообществе как самое-самое важное. Выбрали вот что:Производительность:переработан...
Как настроить ежедневную сводку о работе Яндекс.Директа в Телеграм? Эта статья для маркетологов и владельцев бизнеса, которые хотят оперативно получать данные о результатах своих рекламных кампаний без необходимости заходить в рекламные кабинеты. Разберем, как автоматизировать сбор статистики и отправлять ежедневные отчеты в Telegram с помощ...
Зачем я использую контейнеры как виртуалки: опыт python-разработчика Привет, я Денис, python-разработчик в Cloud.ru. Последние три года я работаю с продуктами на базе компонентов OpenStack — для этого нужны разнообразные навыки и знания способов администрирования и разработки в среде Linux. За это время я убедился — мне не хватает уже существ...
Микросервисная архитектура vs монолит (на простом примере) Микросервисная архитектура — это концепция, которая существует уже довольно давно, но до сих пор многие не до конца понимают, в чем ее суть, какие плюсы и минусы она имеет по сравнению с монолитной архитектурой. На мой взгляд это нужно понимать, даже нетехническим специалист...
[Перевод] Улучшенная глобальная настройка в Playwright с использованием авторизации и проектными зависимостями Многие команды используют глобальную настройку для входа в приложение и последующего использования этой настройки для тестов, которые должны выполняться в авторизованном состоянии. Однако у такого подхода есть несколько важных ограничений. Например, при использовании глобаль...
5 результатов обучения в IT и не только Статью адресую всем, у кого есть дети и кто обучает детей/подростков. Тема статьи стала ключевым фактором в моём опыте успешного обучения программированию детей. Это то, что даёт действительно уверенные результаты и помогает формировать личность, сильно выходя за рамки изуча...
ADR: Как сохранить архитектурные решения и избежать повторения ошибок Вы когда-нибудь чувствовали себя потерянным в лабиринте чужого кода, задаваясь вопросами: «Почему здесь используется именно эта технология?» или «Зачем был выбран такой подход к архитектуре?»В этой статье я рассказываю о том, как Architectural Decision Records (ADR) помогают...
Мобильная версия сайта: статистика, важность и чек-лист для гуманитариев Мобильная версия сайта приобретает всё большее значение, так как по последним данным 47% россиян заходят в интернет с помощью смартфонов.В этой небольшой статье мы рассмотрим ключевые моменты разработки удобного мобильного интерфейса и предложим чек-лист для оценки его ...
Pragmatic Semiconductor представила первый в своем роде 32-разрядный гибкий микропроцессор Flex-RX Это достижение, описанное в научной статье в журнале Nature, открывает новые горизонты для развития электроники. Процессор, созданный на основе архитектуры RISC-V, не только сохраняет полную функциональность при сгибании, но и обладает встроенными возможностями машинного обу...
DIY на заводе или как сделать измерительный комплекс для оценки износа опорных роликов Привет, Хабр! В предыдущей статье я уже описывал свой опыт реализации программного (и немного аппаратного) комплекса «Системы сбора технологических данных» в рамках промышленного предприятия. А в этой статье я хочу поделиться опытом реализации DIY-проекта для нужд завода, ...
Опыт внедрения практик AppSec/DevSecOps Процессы разработки должны быть построены так, чтобы гарантировать предсказуемый уровень безопасности продукта на выходе. Именно с такой идеей мы приступали к модернизации наших внутренних процессов в «ЛАНИТ ― Би Пи Эм».Мы провели исследование мировых практик обеспечения без...
[Перевод] К чистому коду через рефакторинг Чистые функции — это такие методы, при выполнении которых не возникает побочных эффектов. В функциональном программировании чистые функции — скорее правило, чем исключение. Но в большинстве объектно-ориентированных языков с ними приходится сталкиваться нечасто, или, как мини...
Отладка и мониторинг в MobX: trace, introspection и spy Привет, меня зовут Дмитрий, я Middle-React-разработчик с замашками сеньора, поднимающийся с самых низов без мам, пап и ипотек. В последнее время я частенько вижу ситуацию: при использовании MobX в больших проектах у людей появляются сложности с количеством перерисовок или на...
Технологии VK помогут в благоустройстве Московской области Аналитические сервисы на базе машинного обучения VK Predict помогут Министерству благоустройства Московской области повышать качество жизни в регионе.
Кто твоя целевая аудитория? Подробный алгоритм работы с ЦА для маркетолога Это статья про работу с целевой аудиторией для маркетологов. Полезна для решения узких профессиональных вопросов. Будет глубокое погружение, поэтому много текста, примеров и иллюстраций. Но при этом, всё простым языком без мудрёных терминов, чтобы информация л...
[Перевод] AI-ассистент со Spring AI (Часть I) В новом переводе от команды Spring АйО показан процесс интеграции AI в немалоизвестное приложение Spring Petclinic. В статье автор пошагово делится своим опытом внедрения Spring AI, чтобы сделать приложение более интерактивным. Читать далее
Понимание прогноза глюкозы в AndroidAPS часть 2 Попробуем развить мысль на счет прогноза глюкозы в AndroidAPS. Ранее в статье я описывал какие прогнозы существуют и в общих чертах описал как принимаются решения. Сейчас уточним и улучшим понимание прогноза глюкозы. Ведь финально нас интересует не прогноз сам по себе, а ск...
Физика + нейросети: суть алгоритма, который принёс Хинтону и Хопфилду Нобелевскую премию Нобелевский комитет наградил премией по физике учёных, которые использовали фундаментальные физические принципы для развития машинного обучения. Благодаря этому алгоритму AI сможет обучаться и совершенствоваться самостоятельно — без помощи человека. Рассказываем, насколько с...
Kotlin для Самых маленьких В этой статье я научу вас основам Kotlin. Начиная с самого начала мы дойдем до уверернного уровня использования Kotlin. Чтоб когда у вас спросили "Как сделать лямбду функцию" вы на лбу спросившего написали: Читать далее
PHP: путешествие от «Hello World» до фреймворков Эта обзорная статья, которая появилась благодаря собственному опыту изучения PHP. В ней я расскажу о шагах, которые провели меня от самого начала к использованию фреймворков. Это, скорее, небольшое погружение в свою личную историю, но, я думаю, что многие прошли через подобн...
Головоломка, кофе и охапка книг, или как я искал истоки термина «Deep Learning» Привет! Некоторое время назад я взялся написать обзорную статью о том, что такое Deep Learning. Задача не казалась сложной до тех пор, пока… я не добрался до определения. Вот вы можете в двух словах объяснить этот термин, ничего не упустив? Вот то-то и оно. Пока копался в р...
Использование telegram в обучении В далёком 2021 годя я написал статью «Использование Slack в обучении» (https://habr.com/ru/articles/536598/). С тех пор утекло много воды и поменялся мой набор утилит для взаимодействия со студентами - я перешёл на telegram.Знаю, что есть более подходящие утилиты, но я...
Автоматизировать аналитику, визуализировать данные и не только — примеры российских BI-решений Большинство российских BI-решений к 2024 году уже достигли необходимого уровня развития, чтобы заменить зарубежные продукты. Но требования клиентов к BI-системам сильно отличаются. Кому-то необходимы простые и понятные дашборды, другим — возможность настройки по специфически...
На пути к миллиарду: строим настоящую IT-компанию вокруг подвижных детских игр “Пол – это лава” и “Море волнуется” Меня зовут Анатолий и я простой инженер из Смоленска. Наш бизнес родился на VC полтора года назад. Я тогда даже и не думал, как далеко это зайдёт и, тем более, что это может стать IT-компанией! Где оффлайн квест, а где IT-компания? Сегодня хочу простым языком и со схемками (...
[Перевод] Визуальные трансформеры (ViT) С момента своего появления в 2017 году в публикации Attention is All You Need трансформеры стали доминирующим подходом в обработке естественного языка. В 2021 году в статье An Image is Worth 16x16 Words трансформеры были успешно адаптированы для задач компьютерного зрения. С...
[Перевод] Крадем учетные данные Windows В этой статье мы разберем различные сценарии получения паролей в системе Windows.MetasploitMetasploit поставляется со встроенным модулем, который помогает нам провести атаку на получение учетных данных пользователя в открытом виде. Поскольку это модуль после эксплуатации, ег...
Основы интеграции информационных систем. Часть 2. GraphQL, gRPC, WebSocket, webhook, брокеры сообщений Эта статья ー вторая часть большого материала об основах интеграции информационных систем (ИС) и самых распространённых паттернах и технологиях интеграции. Читать далее
T2 и Совкомбанк договорились о партнерстве для повышения безопасности клиентских операций T2 и Совкомбанк объявили о подписании стратегического соглашения о сотрудничестве в области использования больших данных, технологий машинного обучения (ML) и скоринговых решений.
Использование корреляционного анализа для определения корневой причины деградации СУБД Пример использования статистического анализа для определения причин деградации производительности СУБД. Читать далее
Необычный случай с ремонтом китайского декодера аудио 5.1 Год назад я приобрёл на Авито по символической цене в 300 р. неисправный китайский девайс под названием «ЦАП 5.1 Bluetooth декодер» модели HD920Pro. Это универсальная приставка аудио, выполняющая роль mp3-плеера с USB флешки, плеера через Bluetooth (Bluetooth ресивер), звуко...
ORCA Computing анонсировала PT-2: квантовую систему для гибридов квантовых и классических нейронных сетей Компания ORCA Computing анонсировала запуск PT-2, фотонной квантовой системы, которая расширяет возможности серии PT. Эта разработка основана на успешном опыте PT-1, уже развёрнутой в семи локальных системах. PT-2 призван стать коммерчески жизнеспособным решением, интег...
Как проверить свои модели ONNX на Python: кратко Привет, Хабр! В этой статье разберем, что такое ONNX, как экспортировать модели в этот универсальный формат и, что самое главное, как протестировать их с помощью Python. Читать далее
Просто о сложном: используем концепцию каталога услуг для интеграции с сложными веб-сервисами и не только В этой статье, мы поговорим о весьма специфичном архитектурном паттерне, который используется в узких кругах. На его основе моделируется такая замечательная штука как «каталог услуг». Мы посмотрим на примеры высокоуровневых объектов и как они «декомпозируются» на простые сер...
Как ИИ меняет программирование и обучение: основные выводы из беседы в Стэнфорде От автора Telegram-канала «Аналитика и Growth mind-set».Stanford (один из лучших университетов в мире) опубликовал беседу с Эндрю Нг и Мехрамом Сахами про то, как ИИ меняет программирование и обучение.Эта беседа, на мой взгляд, дает ответы на многие возникающие сейчас вопрос...
Объём 32 ТБ, но скорость всего 257 МБ/с. Western Digital представила жёсткий диск Ultrastar DC HC690 Компания Western Digital представила жёсткий диск Ultrastar DC HC690 объёмом 32 ТБ — самый объёмный HDD с черепичной магнитной записью UltraSMR. фото: Western Digital Добиться такого объёма удалось в том числе простым увеличением числа пластин. Тут их ...
Нобелевская премия по физике присуждена первопроходцам искусственного интеллекта Премия «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».
Парсинг котировок ценных бумаг в Microsoft Excel и Google Таблицы с любого сайта Хотя возможность автоматического получения котировок в «Эксель» или «Гугл Таблицы» упрощает ведение портфелей, существует несколько технических препятствий, с которыми можно столкнуться при парсинге или скрапинге (в общем виде это автоматический сбор данных из интернета, в т...
Резервное копирование системы виртуализации Basis.DynamiX с помощью RuBackup Привет всем, кто заботится о данных и не собирается их терять. Сегодня мы рассмотрим тему бэкапа виртуальных машин (ВМ) на платформе виртуализации Basis.DynamiX (далее — DynamiX). Для этого будем использовать систему резервного копирования (СРК) RuBackup.В ста...
Программирование для детей 7–8-х классов: веб-разработка, моделирование, создание игр и другое Учащиеся 7–8-х классов общеобразовательных школ уже знакомы с информатикой, владеют основами компьютерной грамотности и даже понимают алгоритмы. Данные факты можно считать аргументами в пользу того, чтоб начинать обучение программированию. Но только при условии, что подросто...
Прибор для регистрации медленных изменений напряжения в сети В статье предлагается конструкция прибора способного вести длительную регистрацию медленных изменений действующего напряжения в бытовой электросети. Прибор выполнен на основе аппаратной платформы Arduino, собранные данные сохраняются на MicroSD карту.ВНИМАНИЕ! В приборе прис...
AMD представила видеокарту Radeon PRO V710 с улучшенной памятью и архитектурой RDNA 3 V710 оптимизирована для обработки рабочих нагрузок машинного обучения малого и среднего размера, а также поддерживает обучение небольших моделей.
Импортозамещение Data Quality стека в нефтегазохимии: опыт СИБУРа В СИБУРе много данных, которые текут в режиме реального времени с многочисленных датчиков на разных производствах, эти данные нужно собирать, хранить, обрабатывать и анализировать, чтобы компания могла принимать правильные бизнес-решения. И от качества инфраструктуры для раб...
Ручное восстановление БД PostgreSQL после аппаратного сбоя В очередной рабочий день поступила задача обновить Gitlab. Задача в общем-то не сложная, ни смотря на то, что там он установлен в докере из многим знакомого образа от sameersbn, что впоследствии было переделано на omnibus (что бы это не значило), т.к. по моему опыту omnibus ...
BI для оценки полезности BI: огранка логов в АЛРОСА Наверняка, вы тоже задавались вопросом: «Обязательно ли сапожник должен быть без сапог?». В нашей команде КХД и BI мы решили, что это не то, что не обязательно, но и вообще – неправильно. В этой статье я расскажу, как мы реализовали систему мониторинга востребованности дашбо...
Обзор библиотеки LIBMF для Rust: факторизация матриц Привет, Хабр! Сегодня поговорим о библиотеке libmf — одном из лучших инструментов для факторизации матриц на Rust. libmf используется для задач машинного обучения: построение рекомендаций, сжатие данных и уменьшение размерности. Устанавливается она через Cargo легко и прост...
Подключение к GigaChat API на Java: пошаговое руководство Подключение к GigaChat API на Java: пошаговое руководство.В этой статье я расскажу о том, как подключиться к API GigaChat в IntelliJ IDEA на Java и настроить безопасное соединение с использованием SSL-сертификатов, чтобы получать ответы от GigaChat в своем приложении. Ч...
Паттерны многопоточности в Go В этой статье я постараюсь рассказать о том как их компоновать в самые популярные паттерны для поддержки масштабируемости и удобства сопровождения будущих систем.Почему же многопоточность так важна? Сегодняшние приложения должны быть быстрыми и отзывчивыми, а для этого нужно...
Telegram Web App, FastAPI и вебхуки в одном приложении: Создаем Telegram-бот с веб-интерфейсом для приема заявок Сегодня мы создадим полноценное веб-приложение на FastAPI, которое будет взаимодействовать с Telegram-ботом через MiniApp и вебхуки. В основе проекта — асинхронное взаимодействие с базой данных SQLite с помощью SQLAlchemy, что позволит нам реализовать масштабируемое и эффект...
Простая защита скрипта на Python Стек: Python 3.11.7, ntplib, subprocess, getpass для времени, системы, пароля, PyArmor 8+ для обфускации.Сценарий: Разработано приложение, которое дает преимущество перед конкурентами, или ваш код содержит конфиденциальные данные. Приложение предстоит установить не...
Чистый код: Начало По дате публикации, данная статья является завершением, а на самом деле предисловием к циклу статей написанных по теме чистого кода. В статьях отразил свой взгляд на создание гибкого и читаемого программного кода, где акцент сделан на примерах.Текущая же статья посвящена общ...
Koin: как сделать свой DI за 10 минут Привет, меня зовут Иван Курак, я Android-разработчик приложения Ozon Job. В этой статье мы реализуем свой механизм, на котором построен Koin. Тем самым мы пройдём путь, который проходили его авторы при решении проблемы построения собственного DI.Эта статья будет полезна тем,...
5 советов для оживления гильдии разработчиков Гильдии разработчиков становятся обычным явлением в IT-компаниях. Это своего рода неформальные клубы по интересам, которые помогают улучшать процессы, обмениваться опытом и развивать участников. Потенциал таких сообществ весьма высок, — они могут запустить изменения на...
Стены имеют уши: как современные технологии подвергают нас риску прослушки Современные технологии – это не только удобство и комфорт, но и потенциальная угроза приватности. Смартфоны, умные колонки и приложения собирают информацию о нас, включая данные, полученные посредством прослушки.О чем эта статья? В данной статье Надежда Жаринова расскажет, к...
Как мы сделали базу знаний Smarty на основе RAG За 15 лет работы red_mad_robot база знаний компаний сильно масштабировалась. Появление новых артефактов и рост количества проектов усложнили актуализацию знаний для сотрудников. Времени на обновление данных часто не хватает, поиск материалов стал сложнее,...
Новая эра ранней диагностики заболеваний: высокочувствительный биосенсор на основе ДНК-наноструктур Новая стратегия обнаружения микроРНК, основанная на лигировании алкин-азидного циклоприсоединения (SPAAC) с помощью дезинтеграции наноструктур ДНК, была разработана исследователями из Института биомедицинской инженерии и технологий Сучжоу (SIBET) Китайской академии наук...
Как обойти подводные камни FineBI для грамотной визуализации данных Всем привет, меня зовут Алиса Ручкина и я разработала больше 50 дашбордов в FineBI. Я все еще верю в функциональность и минимализм графиков для бизнес-пользователей, несмотря на то, что яркие и нагроможденные визуализации вызывают больше эмоций. О том, как применять теорию п...
Postman: почтальон на страже API Привет! Меня зовут Бальцер Вадим, я QA-инженер в команде android направления Банки.ру. Сегодня поделюсь нашим опытом внедрения автотестов обратной совместимости и интеграции их в CI. В материале расскажу: - Зачем нашей команде понадобились автотесты для контроля об...
Идеальный Продакт Овнер. Как такого найти? Идеальный Продакт Овнер. Как такого найти?Толковый Product Owner — связующее звено между бизнесом и разработкой. Как найти человека, который умеет приоритизировать задачи, разбираться в документации и вести команду к результату в реалиях 2024-2025 ? Как Product Owner в прошл...
Фреймворк ARTEM(L): Как мы автоматизируем обучение и обновление моделей в Альфа-банке Или как избавить DS от рутинных задач по обучению и обновлению моделей и их дальнейшему передеплою в проде?Всем привет! Я Настя Бондарева, senior Data Scientist в Хабе Юридических Лиц Альфа-Банка, лидирую инициативу ARTEML (AutoReTrainable ML). В статье расскажу, как мы упро...
Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь Всем привет! Меня зовут Константин Малолетов, я архитектор облачных сервисов в компании Arenadata. Сегодня хочу рассказать, как мы решаем задачу эффективного размещения ресурсоёмких систем, таких как Arenadata DB, в облаке.В статье рассмотрим несколько сценариев использовани...
[Перевод] Использование OSINT для выявления невидимых угроз нашим океанам Наши океаны огромны, и по мере удаления от суши вопрос о владении водами становится всё менее прозрачным, что упрощает сокрытие множества угроз — от разливов нефти и химических веществ до демонтажа судов и незаконного рыболовства. Эти виды деятельности представляют опасность...
Малоизвестные фичи SwiftUI Я уже 2 месяца прохожу обучение в онлайн-школе и у нас на этой неделе был открытый урок, нужно было подготовить доклад на тему “Малоизвестные фичи или особенности языка Swift”Так вот - я решила погуглить этот вопрос, подготовилась, написала код. Но когда дело дошло до самого...
Митап по Linux Kernel: про livepatching, работу с расширениями RISC-V и создание модуля ядра для memory extender 30 октября в 19:00 инженеры из YADRO и локальной Linux User группы откроют серию совместных митапов. Они поделятся опытом точечного обновления ядра Linux с помощью livepatching, расскажут о поддержке архитектуры и расширений RISC-V и про устройство подсистемы DMA.Регистрируй...
Разработчики dzen.ru, что с вами не так? Приветствую, Хабравчане!Статья о сайте дзен, точнее об отсутсвии простого и известного фунционала на нём, который есть почти на каждом форуме. В статье много боли и вопросов, почему так могло произойти. Подключайтесь, будем выяснять вместе. Читать далее
Тестирование процессов BPMN-схемы Camunda в изоляции Нотации BPMN (Buisness Process Model and Notation) все чаще используются для описания бизнес-процессов какой-либо предметной области реального бизнеса. В результате получается нечто среднее между блок-схемой и функциональной схемой, в которой есть: — элементы, описывающие не...
ООП для типовых ML задач Привет! Меня зовут Андрей Татаренко, я работаю Data Scientist-ом в Альфа-Банке. Я вам расскажу о своем опыте разработки Python-библиотеки для автоматизации разработки типовых ML-моделей. В статье привожу ту структуру основных классов, которая у меня получилась. Надеюсь, чита...
От «Клиент 360» к кросс-индустриальным партнёрствам: тренды и барьеры персонализации клиентских сервисов Где проходит граница между актуальностью предлагаемых продуктов и конфиденциальностью данных для каждого клиента и возможен ли в этом вопросе естественный баланс, рассказывает Юрий Карев, вице-президент, начальник управления процессов и стандартов моделирования и машинного ...
Как разметить 3D кубойды на 2D изображениях в CVAT? Методы геоинформационных систем в разметке данных Команда Data Light регулярно встречается с нестандартными задачами, и в прошлом году мы начали работать над одной из них: наш проект неожиданно перерос из привычной разметки LiDAR облаков (изображений со специальных сканеров) в написание скриптов и созданию нестандартных реш...
Российские лунные миссии станут основой для постройки постоянных баз Данные станций «Луна-27а» и «Луна-27б» станут основой для постройки долгосрочных баз на спутнике Земли
«Куда, куда вы удалились», или поиск пропущенных остановок в маршрутах общественного транспорта в OpenStreetMap OpenStreetMap (OSM) — глобальный проект, образованный вокруг геоинформационной базы данных, наполняемой всеми желающими — как энтузиастами, так и заинтересованными компаниями. Любой может внести свой вклад, однако открытость имеет и оборотную сторону, которая приводит к тому...
АвтоВАЗ анонсировал выпуск Lada Granta «Капитан» АвтоВАЗ подтвердил, что завод продолжает расширять цветовую гамму своих моделей. В ближайшее время стартует серийное производство Lada Granta в цвете «Капитан» Напомним, на сегодняшний день в цветовую гамму LADA Granta входят белый «Ледниковый», ...
Краткий гайд для самых маленьких по Tensor Flow TensorFlow — один из самых мощных и популярных фреймворков для машинного обучения, разработанный компанией Google Brain в 2015 году. Пока старички-студенты активно практикуются в самых сложных задачах машинного обучения, новички еще практикуются с освоением практики обу...
Samsung представила память GDDR7 в модулях 3 ГБ Samsung анонсировала новую память GDDR7 ёмкостью 24 ГБит (3 ГБ). Данный чип отличается рекордной скоростью передачи данных до 40 ГБит/с.
Как и зачем использовать Template Method в C# Template Method (он же «Шаблонный метод») — это паттерн проектирования, который определяет скелет алгоритма в методе, оставляя определенные шаги подклассам. Проще говоря, есть базовый алгоритм, но мы можно менять детали, переопределяя части этого алгоритма в наследниках.Клас...
Не играй в догонялки со Spring — Explyt Spring plugin для IDEA Community ВведениеВсем привет. После моей предыдущей статьи о Maven плагине, где я предложил новый подход к реализации и создал свою версию для IDEA (вместо того чтобы писать свой мини-мавен, я делегировал всю основную работу ему посредством Maven плагина), меня пригласили работать на...
Кейс оптимизации запросов для Greenplum Всем привет! Меня зовут Андрей, я работаю дата аналитиком в Data Team продукта Dialog.X5/Insights в X5 Tech. Мы предоставляем аналитику по продажам и покупательскому поведению на данных X5 Group. Для обработки больших объёмов данных в продукте используется СУБД (...
[Перевод] Искусственный интеллект, высшее образование, дебаты Высшее образование сталкивается с серьезным вызовом в лице нейросетей и повального их использования для написания научных работ. Однако система адаптируется и вместо того, чтобы запрещать использование агентов искусственного интеллекта, ученые предлагают сделать шаг назад и ...
Как работать с Amazon SP-API: инструкция для начинающих Этот текст я написал для людей, которые как и я, ещё 3 месяца назад про Python только слышали. Для тех, кто неплохо знает английский, но иногда хочет простого русского «ща сделаем». Для тех, кто решил написать свой первый запрос для AP...
Как в eXpress достигали мгновенного рендера отправки сообщения: оптимизация локальной базы данных Откройте eXpress, и отправьте в чат простое "Привет". Обратите внимание на то, сколько времени прошло между тем, как вы нажали на кнопку "отправить", и тем, как сообщение появилось в чате. Для человеческого глаза отображение отправленного сообщения в чате происходит мгновенн...
Как поднять свой WebSocket сервер на Node.js: основы Привет, Хабр!Сегодня создадим свой WebSocket сервер на Node.js. Это тот самый протокол, который позволяет отправлять и принимать данные в реальном времени без перекладывания на HTTP. Для этого мы будем использовать библиотеку ws. Читать далее
Дата-Сторителлинг: для Бизнеса и СМИ В сфере визуализации данных есть понятие «Дата-Сторителлинг». Буквально оно означает – рассказывание историй на основе данных.Но дальше оно разделяется на два схожих, но при этом разных направления, назовем их: Дата-журналистика и Дата-презнетация. Читать далее
Управление Данных с Elasticsearch: Обучение и Практика В эпоху больших данных эффективный поиск и анализ информации становятся критически важными для бизнеса и разработки. Elasticsearch — это мощный инструмент, который позволяет быстро и эффективно обрабатывать огромные объемы данных, предоставляя пользователям возможность наход...
Vector.dev: как упростить подсчет метрик по логам Меня зовут Дима Синявский, я SRE-инженер в Vi.Tech — это IT-дочка ВсеИнструменты.ру. В этой статье я расскажу вам о нашем опыте работы с vector.dev, как мы сначала превращали логи в метрики и как это автоматизировали до такой степени, что теперь с этим справиться один yaml-d...
Что умеет карманный компьютер DigiPort на базе Raspberry Pi 4 — ИИ, хакинг, игры и не только Raspberry Pi 5 может стать новым флагманом Pi, но возможности Raspberry Pi 4 еще далеко не исчерпаны. Примером тому является вычислительный модуль, лежащий в основе DigiPort. Это такой карманный компьютер следующего поколения, ставший первым подобным продуктом в портфолио ко...
Как я с LSB баловался В свете того, что тема маркировки генераций ИИ все набирает обороты, я вспомнил про такую штуку, как стеганография. Опыта с ней я не имел, только краем уха слышал на парах, когда еще был студентом, что это способ положить в фото, аудио или видео какую то информацию.Немного п...
Система сквозного логирования с передачей единого идентификатора между независимыми задачами Airflow Привет! Меня зовут Никита Хилов, я работаю в билайне уже более десяти лет. Начинал я работать с поддержкой систем фиксированного фиксированного биллинга, впоследствии я отвечал за разработку и поддержку различных расчетов по системам управленческой или корпоративной отчетнос...
Программирование для детей 8–9 лет: примеры направлений и проектов Младшие школьники 8–9 лет, о чем говорит наша практика, уже способны справляться с блочным программированием и постепенно погружаться в текстовые языки, ведь соответствующий возраст – хорошее время для первых успешных шагов в IT. А мы хотим рассказать о доступных направления...
Новая беспроводная технология установила рекорд скорости передачи данных — почти 1 терабит в секунду Секрет успеха кроется в использовании широкого спектра частот – от 5 до 150 гигагерц.
OpenAI o1 — LLM, обученная выполнять сложные логические рассуждения OpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы.До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. В...
АвтоВАЗ модернизировал линию сборки Lada Vesta: сборщики машин больше не будут ходить «спиной вперёд» На главном конвейере АвтоВАЗа между пятой и шестой вставками имеется большое количество постов, где люди работали спиной вперед. Сейчас собирать машины станет проще — на этом 30-метровом участке появилась движущаяся лента (траволатор), синхронизированная со скорос...
Бутстрап в PySpark Всем привет! Меня зовут Илья Черников, я аналитик больших данных в X5 Tech, сейчас занимаюсь аналитикой и оценкой активностей CVM маркетинга экспресс-доставки “Пятёрочки”.В статье я расскажу о том, как мы решали вопрос автоматизации оценки эффективности большого количества м...
Ведение дел – мой опыт Хочу поделиться с вами опытом ведения списка дел. Рассказывать буду на примере рабочих задач, но этот же метод я применяю и для повседневных дел. Все советы не привязаны к конкретному инструменту, и всё можно осуществить в любом мало-мальски популярном таск-менеджере. Со сво...
Устранение противоречий авторитаризма в управлении. На примере процесса «Управление проблемами» В данной статье я использую слово авторитаризм, как явление, при котором управление в первую очередь опирается на личный опыт, знания и умения руководителя, при этом обратная связь от подчинённых имеет вторичный характер. Природа авторитаризма занимательна и требует отде...
Лёгкости перехода: четыре разработчика о том, почему они перешли на Go Микросервисная архитектура — это новый черный: кажется, уже все бигтехи пилят монолиты на сервисы и и ищут гошников в штат. Спрос рождает предложение — всё больше ребят переходят с других бэкенд-языков на Golang. Мы попросили наших разработчиков поделиться своим оп...
Как подружить микросервисы и Kafka С увеличением вычислительных мощностей и пропускной способности каналов связи увеличились также и объемы обрабатываемых данных, а также требования к скорости обработки. Сейчас все больше систем требуют, чтобы работа с данными велась в режиме реальног...
Температура успеха: как X5 Tech измеряет эффективность развития IT-продуктов Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Если вы работаете в IT, то знаете как непросто оценивать результативность развития IT-продуктов и команд. А теперь представьте, что таких продуктов у вас десятки, и решения по ним нужно принимать оперативно, ведь речь ...
Как использование среды общих данных помогает повысить маржинальность проектной деятельности "Если ты такой умный, то где твои деньги?"В настоящей статье рассмотрим вопрос о том, как СОД позволяет повысить маржинальность проектной деятельности. Наибольшие затраты при проектировании идут на оплату труда специалистов. Себестоимость подготовки проектной документации за...
Проектируем А/Б-эксперименты грамотно Проектирование A/B-экспериментов может быть сложным процессом, особенно для тех, кто только начинает работать с аналитикой и тестированием в мобильных приложениях. Нередко возникают проблемы с формулировкой гипотез, выбором метрик и определением оптимального распределения ау...
Код, который работает: Unit и интеграционное тестирование для повышения надежности ПО Всем привет, меня зовут Андрей Федотов, я бэкенд-разработчик в компании «Цифровая Индустриальная Платформа».Как сказал Кент Бек: «Многие силы мешают нам получить чистый код, а иногда не удается даже получить код, который просто работает». В данной статье я расскажу историю н...
Toyota инвестировала 500 миллионов долларов в Joby Aviation для развития воздушного такси Toyota инвестировала ещё $500 миллионов в Joby Aviation в рамках партнёрства, направленного на содействие развитию коммерческого бизнеса американской компании воздушного такси. Инвестиции Toyota будут использованы для поддержки сертификации и производства электрического...
Инспектор транзакций: управление конфликтами в СУБД В этой статье представлена авторская концепция "Инспектор транзакций", направленная на оптимизацию работы с транзакциями в системах управления базами данных (СУБД). Мы предлагаем использовать инвертированный индекс для выявления конфликтующих транзакций. Перед выполнением но...
View. Строительный блок Android приложений Всем привет!Я — Дарья Касьяненко, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ.Сейчас мир Android‑разработки активно меняется, но многие из используемых технологий остаются актуальными, и их стоит знать каждому начинающему разра...
[Перевод] Практический подход к EF Core с использованием скалярных функций При создании приложения некоторые логические операции могут быть реализованы на стороне базы данных с использованием скалярных функций. В SQL скалярная функция — это тип функции, который работает с одним значением или небольшим количеством входных значений и всегда возвращае...
[Перевод] Практический подход к EF Core с использованием скалярных функций При разработке приложения некоторая логика может быть реализована на стороне базы данных с использованием скалярных функций. В SQL скалярная функция — это тип функции, которая работает с одним или небольшим количеством входных значений и всегда возвращает одно значение в кач...
Первые в мире кабели USB4 2.0 прошли сертификацию и обеспечивают скорость передачи данных 80 Гбит/с На данный момент кабели USB4 2.0 доступны только в Японии, но Elecom планирует начать международные поставки в ближайшие месяцы.
Управление цепочкой вызовов асинхронных функций Во фронтенде часто приходится вызывать асинхронные функции одну за другой, а потом отменять всю цепочку. У каждого опытного разработчика есть свои методы. В этой статье я хочу поделиться своим опытом: как прервать выполнение цепочки вызовов изнутри и снаружи, как обрабатыват...
Внешняя видеокарта backend-разработчика, или как заставить лучшего друга перестать тупить и начать помогать (часть 2) В первой части статьи я описывал свой опыт использования локальных моделей при разработке кода. В частности, столкнулся с тем, что без видеокарты скорость работы ollama была достаточно низкой. Далее постараюсь рассказать про техническую часть подключения внешней видеокарты к...
Цифровые двойники и современная архитектура обучения Данная статья является обобщением ранее разбираемых мной тем по современным образовательным технологиям, применительно к реальной задаче обучения специалистов в области бурения (персонала буровых установок разведочного и эксплуатационного бурения), а также специалистов в обл...
От коммивояжера до эмпатичного ИИ: как менялась работа с обратной связью Теоретически в нашей вселенной можно найти компанию, которую не интересовало бы мнение ее клиентов. Сделать это будет крайне сложно, тут придется постараться. И, конечно, такая компания вызовет недоумение: как она до сих пор умудряется существовать?!Сбор и анализ обратной св...
На рынке наконец-то появились первые кабели с поддержкой USB4 2.0 и скоростью передачи данных до 80 Гбит/с Стандарт USB4 2.0 очень медленно пробирается на рынок, но теперь наконец-то в продаже появились соответствующие кабели. Японский производитель периферийных устройств Elecom стал первой компанией, получившей сертификацию для своих кабелей USB4 2.0. Компания уже вы...
Миграция данных из Zimbra при помощи Carbonio Backup Главная функция Carbonio Backup - резервирование данных почтовых ящиков пользователей Carbonio. Созданная при его помощи резервная копия может использоваться для восстановления данных не только на исходном, но и новом сервере, обеспечивая возможность восстановления системы д...
Кузова УАЗа «Патриот» станет более качественным — производитель модернизировал сварку УАЗ в очередной раз модернизировал процесс сборки флагманского внедорожника «Патриот». На этот раз на конвейере установили специальный сварочный кондуктор, при помощи которого будут изготавливать щиток передка моделей «Патриот», «Пикап&raqu...
SINBON проведет бесплатный вебинар по ускорению IIoT с помощью гибридного однопарного Ethernet SINBON, тайваньский поставщик услуг по проектированию и интеграции электронных межсоединений, проведет бесплатный вебинар по новой технологии гибридного однопарного Ethernet (SPE). Благодаря большей передаваемой мощности электропитания и более высокой скорости передач...
Принципы SOLID на примерах из жизни и разработки Задача этой статьи только одна - попробовать уложить принципы SOLID на понятных «бытовых» примерах, а уже потом посмотреть, как оно может работать на практике - в коде.Итак, SOLID - это 5 принципов, которые используются при разработке приложений. На каждый принцип по букве:1...
Немного о Durability в Postgres. Часть 1 Как известно, многие реляционные базы данных, а в данном конкретном случае PostgreSQL, обещают нам, что наши транзакции будут обладать соответствовать критериям ACID (Атомарность, Согласованность, Изолированность, Сохраняемость), при должном уровне конфигурирования тех или и...
Построим GPT: с нуля и шаг за шагом В этой статье я построил GPT архитектуру на данных из произведений Шекспира и получил достаточно впечатляющие результаты. Читать далее
[Перевод] Экспорт данных из базы данных в Excel на C#: 5 проверенных методов Экспорт данных из базы данных в Excel - важнейшая задача для многих организаций, позволяющая пользователям легко анализировать, визуализировать и обмениваться информацией. Этот процесс обеспечивает беспрепятственный перенос данных, сохраняя целостность и структуру исходного ...
Корутины: stackful vs stackless В этой статье я хочу объяснить разницу между stackless и stackful корутинами: чем они отличаются, какие у них плюсы и минусы, а также в общих чертах рассказать, как в некоторых языках программирования реализована многопоточность.Я стараюсь писать статьи п...
Как сделать игру Doors на Scratch Давайте сделаем игру «Двери» в Скретче и создадим собственную виртуальную комнату, нарисуем страшного персонажа и запрограммируем его. Поможет простая и наглядная инструкция со скриншотами: в ней разобраны основные шаги и показано, что и как нужно делать.Scratch учит детей с...
Кабели USB4 2.0 имеют скорость передачи данных до 80 Гбит/с и мощность до 240 Вт Японский производитель периферийных устройств Elecom получил сертификацию на свои кабели USB4 2.0.
[Перевод] Тактильное восприятие в сочетании со зрением для успешного роботизированного ведения домашнего хозяйства. Часть 1 В области робототехники постоянное стремление имитировать сенсорные возможности человека было вызвано желанием наделить машины более глубоким пониманием окружающего мира. В последние годы тактильное восприятие и слияние тактильных и визуальных чувств (называемое тактильно-ви...
Assistant Alice — Jailbreak, обогащение контекста с помощью интернет поиска и базы знаний Статья будет переписываться по мере развития проекта и внесения правок в системный промт.Прототипом для промта послужила Алиса Селезнева. В промте используется 3 стоя абстракции для обхода цензурных ограничений. Комбинированы методы из DANv13, Developer Mode v2, DarkGPT и Sy...
«ИИ можно использовать для помощи в кризисных ситуациях, например, при буллинге или потере работы» Как в таком чувствительном и социальном направлении, как ментальное здоровье, применять большие данные и искусственный интеллект? И может ли ИИ стать психологом? Эти весьма любопытные темы подняли в свежем выпуске подкаста Data Therapy от X5 Tech, гостем которого с...
Ошибки в интерпретации A/B-тестов: как избежать неверных выводов А/В‑тестирование является одним из ключевых инструментов продуктовой аналитики, позволяя принимать обоснованные решения на основе данных. Но, несмотря на свою эффективность, многие команды допускают типичные ошибки при проведении и интерпретации результат...
Призовой фонд чемпионата Яндекса по программированию вырос до 16 млн рублей Яндекс увеличил общий призовой фонд в международном чемпионате по программированию Yandex Cup с 12,5 до 16 млн рублей. Как рассказали в пресс-службе, дополнительные 3,5 млн рублей получат финалисты турнира в направлении машинного обучения, а число финалистов в направлен...
Ученые применили ИИ для анализа данных о звездах Млечного Пути Группа ученых, возглавляемая Институтом астрофизики Лейбница в Потсдаме и Институтом космических наук Барселонского университета, разработала модель машинного обучения для обработки данных о 217 миллионах звезд, наблюдаемых телескопом Gaia. Этот подход позволя...
Pirelli представляет умную шину Cyber Tyre: инновационная технология для предотвращения аквапланирования и потери сцепления Итальянская компания Pirelli, известная своими инновациями в области шинной промышленности, недавно представила новую «умную шину», разработанную в сотрудничестве с Bosch, Pagani и McLaren. Эта шина, получившая название Pirelli Cyber Tyre, предназначена для ...
Об опыте использования популярных языковых моделей для решения повседневных задач Каждый год мы в «Цифре» проводим TechTalks, это наша внутренняя двухдневная ИТ-конференция, где мы обмениваемся опытом, интересными идеями, рассказываем, что у нас получилось реализовать, а что не очень. Короче, делимся всем, что связано с технологиями и позволяет нам делать...
Я создал самый быстрый способ поиска делителей числа Мной было проверено, что он быстрее двух самых быстрых способов поиска делителей числа: поиск до корня и разложение числа на простые множители с последующим их перебором. Читать далее
«А можно быстрее?»: практические советы по ускорению обучения нейросетей Мы продолжаем изучать, как ускоряют обучение нейросетей. В прошлой статье мы погрузились в теоретические аспекты этой проблемы. Сегодня перейдем к практике. Мы разберем несколько интересных исследований, которые демонстрируют эффективность различных подходов к ускорению...
Кабели USB4 2.0 окажутся вдвое быстрее своих предшественников USB4.0 Новый стандарт сможет обеспечить скорость передачи данных до 80 Гбит/с и мощность до 240 Вт.
Майкл Стоунбрейкер: отец реляционных баз данных Когда вы собираетесь почитать новости в интернете, покупаете билет на поезд в онлайн-кассе или бронируете номер в отеле, вы неизбежно взаимодействуете с базами данных, хотя порой даже не догадываетесь об этом. Отчасти все эти возможности доступны нам благодаря вкладу одного...
Новые технологии и древние звуки Привет всем, это статья про DIY разработку и изготовление оригинального музыкального инструмента. Когда-то я увидел электронный конструктор «арфа» где на рамке стояло 7 лазерных диодов и простой генератор тона. И вот захотел сделать лучше и больше – начался проект Оптоарфа. ...
@Volatile: Лёгкий способ синхронизировать потоки… пока не понадобится атомарность Привет, Хабр!Если кто-то сказал вам, что многопоточность в Java — это просто, то этот кто-то явно что-то недоговаривает. Многопоточность может быть настоящим кошмаром, особенно когда речь заходит о синхронизации данных между потоками. Но есть одно хитрое средство — @Volatile...
Биометрия и видеонаблюдение Всем привет! В этой статье на стыке ИБ и юриспруденции мы разберем правовые основы видеонаблюдения. Как организовать его в компании в соответствии с законом, какими статьями и нормами оно регулируется, как собирать биометрию и при каких условиях в дело вступает Единая Биомет...
[Перевод] Гаджет-пластырь от супербактерий Бесконтрольный доступ к антибиотикам породил глобальную проблему для человечества, которая грозит отбросить медицину в эпоху средневековья. Все дело в том, что «недолеченные» пациенты становятся идеальной базой для созревания супербактерий. Бактерий, устойчивых к последующим...
VK пригласил на работу специалистов из ABBYY VK объявила о готовности принять на работу сотрудников, уволенных из компании ABBYY. Это предложение касается как отдельных специалистов, так и сформированных команд. В холдинге уверены, что интеграция экспертов в области машинного обучения...
Как мы внедрили ретро в команде 1С Привет! Я Лена, ИТ-лидер 1С в Moex. Хочу поделиться историей, как я внедрила ретро в своей команде, не знакомой с ней и какие инструменты для этого я использовала.Надеюсь, что мой опыт будет полезен как пошаговое руководство для начала проведения встреч Ретро в вашей команде...
[Перевод] Как AI изменит Голливуд? От трюков Тома Круза до цифровых двойников Привет, на связи Шерпа Роботикс. Сегодня мы перевели для вас статью про борьбу за рабочие места в Голливуде на фоне внедрения искусственного интеллекта в кинопроизводство. Но так ли ужасна возможность создать свой фильм с помощью AI для любого обычного человека? Без миллионо...
Как начать создавать Flutter-приложения на Авроре: полная инструкция Привет Хабр, это Юра Петров, Tech Lead Friflex. Последнее время многие меня спрашивают, как быстро начать разрабатывать приложения для системы Аврора с помощью фреймворка Flutter. Решил поделиться опытом и собрал ультимативный гайд. Всё, что я буду показывать,...
iOS 18 для разработчиков: Ключевые изменения в UIKit Привет! Меня зовут Лена, я работаю iOS-разработчиком в KTS. Недавно вышла новая версия iOS 18, и я решила подробно изучить все нововведения, чтобы понять, какие новые возможности она предлагает разработчикам. В этой статье расскажу о самых интересных обновлениях в UIKit — но...
Мошенничество на основе доверенных данных Профессия мошенника весьма конкурентна: чтобы оставаться на плаву и быть экономически эффективными бедняги должны следить за трендами и быстро реагировать на изменения. Начнут завтра выдавать кредиты на развитие сельского хозяйства – быстро собирай крупный рогатый скот по со...
Curiosity продвигается вдоль западного края канала Gediz Vallis: и обнаруживает новые данные о геологии планеты Марсоход Curiosity продолжает исследование Марса, продвигаясь вдоль западного края канала Gediz Vallis. После успешного завершения изучения района Chuck Pass на сол 4341 и 30-метрового путешествия на сол 4342, марсоход направляется к хорошей точке обзора, прежде че...
Keycloak. Мапинг учеток через mTLS c двойной проверкой в kubernetes Продолжаем с делиться экспертизой отдела Security services infrastructure (департамент Security Services компании «Лаборатории Касперского»). В данном посте мы разберем, как легко настроить mTLS, обращаясь к ресурсам в k8s через ingress-контроллер, и подсоединить это все к k...
Google представила свою новую модель искусственного интеллекта Imagen 3 Данный инструмент позволит генерировать высококачественные изображения с помощью простых команд. Программа должна будет конкурировать с DALL-E
Как джуну повысить свои шансы на отклик от работодателя? Это статья для людей, которые действительно любят и хотят развиваться в IT, а не для проходимцев, которых привлекают только высокие зарплаты. Прежде, чем джун получит оффер в IT компанию он проходит по так называемой воронке найма. За долгие годы карьеры в IT я проходил эт...
PostgreSQL 'VALUES -> ANY' transformation: должна ли СУБД делать работу за пользователя? Недавно, на хабре вышла статья про один нюанс в оптимизаторе PostgreSQL [1]. Будучи предельно технической и скучной по-определению, она триггернула интересную дискуссию в комментах и дала мне, как разработчику систем баз данных, возможность взглянуть на систему с точки зрени...
Как мы укротили 156 ETL-процессов в Airflow за один день: метод, который изменил работу DevOps Всё началось с того, что однажды мы решили развернуть Airflow для управления нашими ETL-процессами. И не просто развернули, а сделали это в K8s. Но зачем это понадобилось?Наша задача была довольно проста: взять данные из одной системы и переложить их в другую. Главным хранил...
Почему ревлолюция в нейросетях намного важнее, чем кажется Придется начать немного издалека. Долгие века основой любого европейского (и, соответственно, российского тоже) мировоззрения была философия. Это был обязательный элемент в кругозоре любого публичного интеллектуала. Фактически, послевоенное поколение стало первым, которое от...
Опыт разработки приложений java и оформления кода В этой статье мы обсудим вопросы, с которыми столкнулись разработчики из компании «Наука» при создании Java-приложений и оформлении кода. Эти трудности, «выстраданные» через годы опыта, стали результатом многолетней работы над программным обеспечением для крупных предприяти...
Топология в анализе данных? Этого нам еще не хватало.Когда слышишь про математику в ML, представляешь только Байесовские методы, производные, интерполяции, а еще иногда тензоры... Но математический аппарат в машинном обучении может уходить глубоко в корни даже, как кажется, совершенно фундаментальных и...
Bukva: алфавит русского жестового языка Всем привет!Недавно мы анонсировали словарь русского жестового языка (РЖЯ), а в этой статье поговорим про задачу распознавания алфавита РЖЯ, именуемого также дактильным алфавитом или дактилем. Предлагаем ознакомиться с нашей работой, в которой мы представим новый датасет Buk...
Как у нейросетей работает внимание? Статья про self-attention и cross-attention Удивительно, как нейросети похожи на нас. У них тоже есть внимание, и на примере коня на ракете я расскажу, как оно работает! Читать далее
Zynq 7000. HDMI для платы Zynq Mini для baremetal Я давно носил идею проверки HDMI на платах Zynq, и вот наконец-то дошли руки до этого интересного топика. В этой статье я покажу, что вывод изображения через HDMI достаточно прост, но ограничусь только рассмотрением вывода изображения из baremetal-приложений, а вопросы про L...
Беспроводной искусственный интеллект для детей. Или как сделать вашего робота и ребёнка ещё умнее В предыдущей статье я рассказал, как мы делали робота с искусственным интеллектом в Летней компьютерной школе на базе детского лагеря в Новгородской области. Ребята собрали робота, который управляется голосом с помощью специального AI-модуля для Ардуино. Сегодня научим его п...
Войти в айти за год с нуля: быстро, качественно, недорого Здравствуй, Хабр!Сегодня хочу поделиться своими размышлениями на тему курсов для войтишников, но немного с другой стороны. Обычно мы привыкли ругать курсы, их агрессивный маркетинг и уловки, но мало где затрагивается вопрос мотивации самих людей, идущих туда.Надеюсь, статья ...
Связываем форму сайта с Telegram-ботом на чистом JavaScript за 15 минут: Полная разработка и деплой Сегодня я подготовил небольшую, расслабляющую статью, особенно в сравнении с предыдущими. Недавно я разрабатывал FullStack-приложение для небольшого лендинга, где одной из задач было привязать форму с сайта к Telegram-боту.Суть задачи:Пользователь вводит данные в форму на са...
Разбираемся с сетевым программированием на Rust Язык программирования Rust стал достаточно популярен благодаря своей надежности, безопасности и производительности. В рамках данной статьи мы не будем подробно обсуждать преимущества данного языка, так как на эту тему уже написано много статей. Вместо этого мы рассмотрим раз...
Что нужно включить на Android сразу после покупки смартфона Каждый смартфон обладает сотнями (если не тысячами) функций. Большинство имеют лишь номинальное значение или вовсе являются бесполезными. Но среди них есть по-настоящему важные настройки, которые нужно активировать сразу после покупки устройства. Они не только сделают взаим...
Suno, как аранжировщик etc Доброго времени всем пользователям Suno и тем, кто интересуется технологиями ИИ в музыке. Как и ранее не претендую на полноту освещения вопроса, но надеюсь, что информация будет полезнойПод аранжировкой обычно понимают создание инструментального трека (минусовки, backing tra...
Первый флагман Huawei без поддержки Android. Названа еще одна особенность Huawei Mate 70 — смартфон будет поддерживать новые жесты Серия Huawei Mate 70 будет отличаться от предыдущих флагманов во многих аспектах, включая функции и жесты ИИ. Ожидается, что предстоящая линейка будет использовать обновленный чип для улучшения существующих жестов и добавления большего количества новых. Инсайдер @FixedF...
Представлена HyperOS 2 для Xiaomi. Здесь все функции оболочки и смартфоны, которые получат обновление В Китае состоялась большая презентация Xiaomi, в ходе которой показали не только смартфоны Xiaomi 15 и Xiaomi 15 Pro, но и свежую оболочку HyperOS 2 для устройств китайской компании. Совсем скоро она начнет распространяться на смартфоны и планшеты, а пока мы готовы поделить...
СTE, подзапрос или представление? Здравствуйте, дорогие друзья! Сегодня мы окунёмся в мир SQL запросов и рассмотрим различные подходы, которые разработчики используют для работы с данными в БД. В современном мире разработки, где информация становитесь все больше и больше, и скорость получения данных имеет бо...
О Raspberry Pi для чайников как я. И при чем здесь SONY с ИИ? В последнее время новости по Raspberry выходят с завидной регулярностью. Например, бот, в котором я слежу за новостями по технологиям и искусственному интеллекту для своего блога, последние две недели выдаёт по новости про Raspberry в день, чего никогда не было раньше. И все...
Зачем нужны эмбеддинги? Современные проекты с использованием больших языковых моделей часто сталкиваются с задачей нечеткого поиска, когда нужно находить строки с неполным соответствием. В этой статье на конкретном примере мы рассмотрим разные методы определения сходства ст...
Краткий обзор библиотеки dApp Сегодня я расскажу вам о библиотеке dApp для Python — мощном инструменте для создания децентрализованных приложений на базе блокчейна. Она предлагает все необходимые функции для взаимодействия со смарт-контрактами, управления данными и обеспечения безопасности приложений. Ит...
Программирование для детей 14 лет: направления, видеоуроки, книги 14 лет – возраст, в котором можно изучать программирование на примере использования текстовых языков и вспомогательных сред. Lua и Roblox, C# и Unity – примеры удачных связок. Основа в виде понимания алгоритмов и базовых принципов кодинга – плюс, но даже без этого увлеченные...
Психологический тупик в ИТ-карьере: как я преодолевал «выгорание» и почему сопротивлялся изменениям В этой статье я хочу поделиться личным опытом и рассказать о том, как я оказался в психологическом тупике выбора пути дальнейшего развития в ИТ. Расскажу на что это было похоже, с какими трудностями столкнулся, какие варианты перепробовал и что мне действительно помогло. Все...
Разыскивается ARM-нетбук Ben Nanonote или WM8650 Привет, Хабр! Публикую специально в чулан, дабы не задеть ничьи чувства. Для подготовки следующей статьи о моддинге и программировании для необычных девайсов (можете посмотреть примеры у меня в профиле), я ищу китайские ARM-нетбуки конца нулевых-начала десятых годов. Стоили ...
Названа причина, по которой Samsung отказалась от интеграции UWB в свои смартфоны Портал Android Authority объяснил, почему Samsung отказалась внедрять в свои смартфоны Galaxy S25 технологию UWB — беспроводную передачу данных, которая позволяет передавать большой объём данных на небольшое расстояние.
Краткое пособие по переводу между системами счисления с основаниями 2, 8, 10, 16 Краткое пособие по переводу между системами счисления с основаниями 2, 8, 10, 16....В статье разобраны алгоритмы с примерами перевода чисел между NS с основаниями 2, 8, 10 и 16 Читать далее
Новая серия смартфонов компании Oppo будет поддерживать передачу данных на iPhone одним касанием Это первый случай, когда между Android и iOS реализовали функцию передачи в одно касание.
Данные – это новая нефть Данные – это реально нефть и даже лучше.Выгода от данных больше чем от нефти.Нефть заканчивается, а данные никогда не закончатся – это первое. А второе – данные можно перерабатывать и каждый раз получать выгоду. Читать далее
Как реализовывать IT услуги из России в ЕС/США, оставаясь незамечанным для санкций и активистов? Пример №1. Вы – владелец IT компании в России и оказываете услуги заказчикам/лицензиатам в ЕС или США. Есть действующие заказчики и две проблемы: (а) не проходят платежи в Россию и (б) есть желание скрыть владение российской компанией «на всякий случай».Пример №2...
В России создали устройство для передачи информации с помощью света Московские ученые разработали устройство на основе углеродных нанотрубок и светящихся белков, которое меняет проводимость под воздействием света разных спектров. Это новшество может стать основой для создания светочувствительной молекулярной электроники, способной ...
Разделили базу 1С за 40 часов вместо 200. Не стали создавать пустую базу и переносить данные Иногда очевидные решения могут стоить дороже и занимать больше времени, чем альтернативные. У нас был проект, на который изначально требовалось потратить 200 часов, но мы нашли выход и сделали за 40. Читать далее
[Перевод] Как оценить LLM модель В одном из прошлых блогов я представил концепцию тестирования крупных языковых моделей (LLM). Однако тестирование крупных языковых моделей (LLM) - достаточно сложная тема, которая требует дальнейшего изучения. Существует несколько соображений относительно тестирования моделе...
[Перевод] Асинхронный Rust в трех частях. Введение Async/await, или «асинхронный ввод‑вывод», — это относительно новая функция языка, которая позволяет программам выполнять несколько задач одновременно. Это своего рода альтернатива многопоточности, хотя программы на Rust часто используют и то и другое. Асинхронный ...
Файловая система без фокусов: как hard links и XOR сэкономят ваши гигабайты Для начала нужно понять главное - файлов не существует. А потом на примере простых манипуляций разобрать что такое hard links, чем может быть полезен непонятный XOR и как это всё уживается в системах копирования и снимков Читать далее
AI CoPilot в ИТ-мониторинге: перспективный тул или “Книга вредных советов”? По мере развития генеративного ИИ, вендоры в сфере ИТ-мониторинга работают над созданием инструментария AI CoPilot. Название тула пошло от представления, что управление ИТ-инфраструктурой подобно пилотированию самолетов. В случае инцидента пилоты пользуются «Руководств...
Darts: тестируем временные ряды с нуля Привет, Хабр!Если вы когда-либо имели дело с временными рядами, то, вероятно, слышали о Darts. А для тех, кто ещё в танке: Darts — это мощный инструмент, который поддерживает мультиварибельные временные ряды и легко интегрируется с PyTorch и TensorFlow.Зачем же тестировать в...
Как сократить время ответа в 2 раза, добавив одну строку кода Okko – один из крупнейших онлайн-кинотеатров в России c нагрузкой в несколько тысяч запросов в секунду, в котором персональные рекомендации занимают важное место. Для улучшения пользовательского опыта нужно не только предоставить качественные рекомендации, но и обеспечить...
[Перевод] Последовательное A/B-тестирование в Netflix. Часть 1: непрерывные потоки данных Привет, Хабр! Из этой статьи вы узнаете про применение последовательного A/B‑тестирования в Netflix. Читать далее
Маскот в мешке: как выбрать талисман и не пожалеть об этом «Плохой маскот» - так называется мультсериал, появление которого ждут и обсуждают веб-сёрферы и прочие виртуальные интернет-жители. Автор проекта Дима Сыендук (широко известен тем, что озвучил «Рика и Морти» на русском языке) выпустил первый эпизод захватывающей истории о пр...
Это новый главный бестселлер Li Auto: производственные мощности модели Li L6 нарастят до 30 000 машин в месяц Производственный потенциал нового бестселлера компании Li Auto, кроссовера Li L6 еще не полностью раскрыт, о чем рассказал Мэн Цинпэн, вице-президент цепочки поставок Li Auto. На сегодня потолок производственных мощностей заводов и поставщиков составляет 26 000 автомоби...
Family Frontend Meetup #3 Автогенерация функций выборки данных с помощью Orval, переработка логики оптимизации изображений с заменой нашего компонента Picture, обновления Next.js 15 и небольшой бонус – наш топ библиотек, которые упростят поддержку и разработку вашего проекта, а также сэкономят время ...
Как создать простую операционную систему с нуля Многие разработчики хоть раз задумывались о том, чтобы создать свою собственную операционную систему (ОС). Это может показаться сложной задачей, но, если разбить процесс на этапы, создание минимальной ОС становится более реалистичным. В этой статье мы рассмотрим основные шаг...
[Перевод] Транзакции в БД на Go с использованием многослойной архитектуры Когда я присоединяюсь к новой компании, меня часто посещает синдром самозванца. После всех этих собеседований кажется, что парни знают, что делают и я смиренно настравиаюсь учиться у лучших.Однажды, я столкнулся с инцидентом на проде и обратился за помощью к самому опытному ...
Поиск соседей в двумерной массиве Поиск соседей в программировании — это процесс поиска элементов, расположенных рядом с заданным элементом в структуре данных (например, матрице или графе). Этот подход применяется для анализа взаимосвязей между элементами, определения их свойств на основе окружения и выполне...
Low-code в крупных IT-проектах: безумие и отвага или «пиши и сокращай» в разработке? Так заведено, что сложные проекты требуют серьезных инструментов. К примеру, финтех-продукты холдинга IDF Eurasia, в том числе и Своего Банка, где я работаю, разрабатываются на далеко не самых простых языках Java и Kotlin. И, казалось бы, использование сложных форм — это сам...
Выборочный роутинг по доменным именам на маршрутизаторах Keenetic Эта статья предназначена для тех, кто хочет настроить выборочный роутинг на основе доменных имен на своих маршрутизаторах Keenetic. Основная цель — обойти блокировки по конкретным доменным именам, без необходимости добавлять сотни маршрутов в таблицу маршрутизации вручную. Т...
Как мы обучили Mistral 7B русскому языку и адаптировали для объявлений Авито Привет! Я Настя Рысьмятова, руковожу командой LLM в Авито. Эта статья — про то, какие задачи мы решаем с помощью языковых моделей и как адаптируем их под себя. Мой опыт будет интересен прежде всего тем, кто тоже занимается большими языковыми моделями в крупных продуктовых ко...
Из стажеров – в штат: реальность или иллюзии. Опыт «М.Видео–Эльдорадо» Набор персонала – задача со звездочкой для любых организаций. Особенно для крупных предприятий, которым нужен постоянный приток новых талантов. Добавьте к этому то, что разные поколения имеют свои приоритеты при поиске работы а, например, поколение Z - более «разнообразно», ...
[Перевод] Новый подход к безопасному управлению состояниями в Kotlin-приложениях Вот уже несколько лет я занимаюсь разработкой высокопроизводительных, полностью асинхронных, реактивных, мультиплатформенных приложений. За это время я успел наткнуться на несколько довольно тонких и трудно отлаживаемых проблем с управлением состояниями. В этой статье я хоте...
Парсим, редактируем, экспортируем: JSON, XML и CSV в PowerShell Сегодня рассмотрим, как в PowerShell работать с форматами данных JSON, XML и CSV. Эти форматы часто используются для обмена информацией между системами, и умение быстро парсить, изменять и генерировать данные в них — одна из важных задач в автоматизации и интеграции. Читать ...
Войти в IT – в 37 и с дипломом филфака Я нашла свою первую работу тестировщика в 37 лет, с гуманитарным образованием, без коммерческого опыта и без курсов. В этой статье хочу показать все максимально объективно – и успехи, и разочарования на этом пути. Читать далее
Сервисы для озвучки текстов с помощью нейросетей: выбор ZOOM Одной из областей применения нейросетей является синтез речи, который позволяет превращать тексты в аудиозаписи, звучащие максимально естественно. Современные нейросети способны обучаться на больших объемах данных и генерировать высококачественные звуковые файлы, что делает ...
Плюсы и минусы различных DWH как источников данных для BI Привет, Хабр! На связи Александр Чебанов, product owner Modus. Корпоративное хранилище данных долгое время является наиболее популярным источником данных для бизнес-аналитики, и вряд ли в ближайшее время картина радикально изменится. Но наряду с ним выступают и гибридны...
Пишем приложение на C#-стеке Всем привет! Меня зовут Дмитрий Бахтенков, и я .NET-разработчик. Сегодня мы проведем эксперимент — напишем полноценное веб-приложение с использованием решений, которые написаны на C# и платформе .NET. Больше моих статей можно прочитать в медиа вАЙТИ.Что я имею в виду?Ка...
Создание Telegram Web App с FastAPI: Генерация, сканирование QR-кодов камерой устройства и деплой за 5 минут Привет, друзья! Ваш теплый отклик на мою прошлую статью о разработке Telegram-ботов с использованием технологии MiniApp вдохновил меня на создание нового проекта.Сегодня вы узнаете, как создать Telegram Web App с помощью FastAPI и Aiogram 3, который сканирует и генерирует QR...
Простой и быстрый тест LLM для прототипа: сравниваем 16 open-source-моделей на запросе с разной температурой Привет, Хабр! Меня зовут Дмитрий Фролов, я ведущий разработчик в Центре RnD МТС Диджитал. С ростом популярности LLM создание на них прототипа может прилететь даже тем, кто напрямую с ML не связан. Допустим, вы работаете аналитиком, а ваше начальство резко захотело генератор ...
Компьютерные курсы для подростков: 50+ бесплатных видеоуроков Хотите обучиться разработке игр, трехмерному моделированию, дизайну в веб-среде или программированию? Может, интересует создание сайтов? Готовы помочь! Если одно из данных IT-направлений интересует, рекомендуем сегодняшнюю подборку: собрали 50+ видеоуроков, которые помогут с...
Разработан алгоритм, который позволяет передавать навыки между роботами Учёные из Калифорнийского университета в Беркли разработали новую вычислительную структуру под названием RoVi-Aug, которая позволяет дополнять роботизированные данные и облегчает передачу навыков между различными роботами. Эта структура использует генеративные модели дл...
Улучшаем безопасность ваших CI/CD через Shared Docker executor и OPA-плагин Привет, Хабр! На связи команда безопасности Платформы в лице её тимлида Букина Владимира. Основная задача нашей команды — защита CI/CD и, в частности, GitLab с K8s. Дальше я расскажу вам о том, как мы внедряли, поддерживаем и улучшаем наш плагин авторизации для Docker socket...
Что крупные компании хотят от вендорского ПО Эта статья может быть полезна ИТ-компаниям, которые планируют выводить свои продукты на рынок крупных организаций и госкомпаний России.Я около 20 лет работаю в сфере создания и внедрения тиражируемых программных продуктов для крупного бизнеса: от СУБД до платформ управ...
Производные дробного порядка и экспоненциальная производная В школах и университетах при изучении математики определяют операцию дифференцирования функции и производную. Это фундаментальные понятия, на которых в дальнейшим строится весь аппарат математического анализа.Обычную производную и её обобщения используют повсеместно, наприме...
Способы интеграции 1С и корпоративного хранилища данных Привет, Хабр! На связи Александр Чебанов, product owner Modus. Процесс передачи информации из 1С в корпоративное хранилище данных для интеграторов часто оборачивается головной болью. В целом, информационные системы 1С легко взаимодействуют друг с другом за счет платформенных...
[Перевод] Советы Team/Tech Lead: навыки, инструменты и вызовы Team Lead и Tech Lead – это НЕ должности, а ключевые функциональные роли в команде, которые могут взять на себя опытные специалисты. Team Lead отвечает за организацию работы команды, поддержание продуктивной среды и помощь коллегам в достижении общих целей. Tech Lead фокусир...
О bruteforce и его реинкарнациях Все мы хорошо знаем о том, что пароли можно подобрать или перехватить другими способами. В рамках данной статьи мы будем говорить именно о подборе паролей. Будем считать, что наш атакующий не имеет физического доступа к машине, с которой осуществляется аутентификация и следо...
10 SDK, чтобы улучшить ваше мобильное приложение SDK (Software Development Kit) — комплекс инструментов для расширения функциональности мобильных приложений и доступа к новым опциям и возможностям ПО. При этом каждый SDK ограничен своим набором компонентов и закрывает определённые задачи бизнеса. В статье расскажем о базов...
Как мы делали Yandex Cloud на дизайн-системе Gravity UI доступнее Привет, меня зовут Вова Тимофеев, я менеджер технических проектов Yandex Cloud. В статье поделюсь тем, как мы делали сайт облачной платформы доступнее, сколько итераций прошли и какую роль в этом сыграл Gravity UI.В основе доступности всех сервисов —...
VPN с Mobile IP на Raspberry Pi. WG туннель Для умных дядь в статье ничего интересного, это статья про обычный туннель. Оно для самых маленьких, но отчаянно нуждающихся. :)Когда я стал упорядочивать "знания" ввиде этой статейки, и понял, что в итоге получилось, то заметил, что информации по данной теме, оказывается, п...
BI для оценки полезности BI: огранка логов в АЛРОСА В наше время цифровизация процессов и событий вокруг нас имеет всё большую и большую востребованность. По этой причине важно понимать не только плановые и фактические показатели, но также и динамику их изменений. В этой статье я расскажу, как мы реализовали систему мониторин...
Кратко разбираем Zerologon на практике и смотрим его артефакты Привет! В этой статье мы кратко рассмотрим уязвимость CVE-2020-1472 aka Zerologon со стороны красных и синих: на практическом примере научимся эксплуатировать уязвимость, используя разные векторы, а также отметим основные артефакты атаки. Читать далее
[Перевод] Почему GitHub на самом деле победил: история глазами сооснователя Недавно мы опубликовали в блоге перевод статьи о том, как GitHub заменил SourceForge в роли доминирующей платформы для хостинга кода. Но, как справедливо отметил автор оригинала, его мнение основано на открытых источниках и интервью с коллегами. А потом своим ви́дением подел...
Рекурретные нейронные сети наносят ответный удар Рекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need), ко...
Икигай — это что такое? Действительно ли он помогает найти смысл жизни или это просто модный хайп из Японии? Я стал больше зарабатывать, чаще делаю то, чего действительно хочу, у меня хватает времени на себя и на то, что для меня важно и много чего ещё. В целом, жить стало интереснее.В статье я поделюсь собственным опытом и опишу алгоритм, по которому я всё...
Зарубежная банковская карта в 2024: где оформить онлайн, сколько стоит, как пополнять? Привет, Хабр! Меня зовут Мила, когда‑то я работала аналитиком в банках, а нынче делаю авторские туры в Африку. По работе мне постоянно приходится отправлять деньги за границу, оплачивать отели, трансферы, билеты онлайн и оффлайн.Хочу поделиться опыто...
Карточная игра Bloons Card Storm стала доступна на смартфонах и PC Студия Ninja Kiwi выпустила Bloons Card Storm на мобильные устройства и PC (Steam). Релиз состоялся во всём мире, включая РФ; скачать клиент можно через App Store, Google Play и Steam. В плане геймплея это необычная игра — на поверхности в её основе карточные баталии между о...
MediaTek Dimensity 9400 получит ядро Cortex-X925 По данным западных журналистов, компания MediaTek планирует официально представить мобильный процессор Dimensity 9400 уже 9 октября, то есть уже через два дня будут известны все характеристики модели. И хотя на просторах интернета уже есть достаточно много сливов данных о гр...
Инфраструктура для прямого эфира. Что остаётся за кадром? Мы продолжаем разговаривать с клиентами об их бизнесе и на этот раз затронем тему телевидения. Как технологии меняют эту сферу? Региональный директор компании TVU Networks Тихон Макушев поделился историей развития телеэфиров, рассказал, как происходит съёмка и пере...
Правда и мифы о чёрных дырах. Горизонт событий и сингулярность. Основы холонавтики Чёрная дыра… Ничто так не притягивает и не будоражит воображение, пока не погрузишься в глубины теоретической физики и не поймешь, что в реальности всё довольно скучно и прозаично. Знаю, тема буквально затёрта… до дыр, да и хайп вокруг неё поутих с тех пор, как появились пер...
SQLAlchemy 2.0 для новичков Данная статья представляет собой ознакомление с базовым синтаксисом SQLAlchemy 2.0, информации здесь хватит для того, чтобы сразу начать пользоваться и удовлетворить 80% ваших нужд, да и на неё вы потратите меньше времени, чем на чтение документации).Предполагается, что вы з...
Angular Signals Implementation Сигнал — это значение, которое является «реактивным», то есть может уведомлять заинтересованных потребителей, когда оно изменяется. Существует множество различных реализаций этой концепции. В данной статье мы рассмотрим имплементацию команды Angular, углубимся в код и попроб...
Запускаем Embedded Linux на Hard- и Soft-CPU Xilinx Zynq: сборка операционной системы И снова здравствуй, Хабр! Мы добрались до второй части повествования о параллельном запуске двух ОС на FPGA с процессорной подсистемой. В этой статье мы сначала определим минимально необходимые компоненты для запуска Embedded Linux. Затем осуществим сборку под ARM станд...
QR-код: улучшение считывания на сложных поверхностях Одним из направлений, на которое непосредственно влияет технологический прогресс, является передача информации. В каком виде она передается, каким методом, насколько быстро и как считывается — все это зависит от уровня доступных технологий. Ярким примером того является QR-...
Сравнение алгоритмов консенсуса ETH vs TON vs SOLANA Не нашел на просторах сети полноценного сравнения алгоритмов консенсуса, поэтому решил собрать инфу из разных источников воедино. Впереди очень много букаф технической инфы, статья не для всех, простым языком это не изложить(Всем кто остался - приятного чтения)Так как блокче...
Умное хранение или как мы снизили рост БД Oracle в полтора раза Сегодня предлагаем обсудить сжатие данных в Oracle. Ситуация: один наш крупный клиент в сфере телекома стремится нарастить абонентскую базу, поощряет потребление услуг и рост трафика. Это позволяет развиваться компании в целом и каждой её системе в отдельности, включая...
Эпопея шахматных движков: мой опыт в разработке шахматной программы В этой статье я расскажу про личный опыт написания шахматной программы на языке TypeScript. С какими проблемами столкнулся и пути к их решению :-) Читать далее
Кузова для классических Land Rover Defender, Toyota Land Cruiser FJ40 и Ford Bronco поставили на конвейер в Китае Компания Juncheng Autobody выпускает кузова внедорожников в сборке для широкого ассортимента популярных классических моделей, включая Land Rover Defender, Toyota Land Cruiser FJ40 и Ford Bronco. Для Land Rover Defender, который выпускался до 2016 году, Juncheng Autobody...
Как правильно разговаривать с вашим руководителем? (памятка Руководителю проектов Под начало недели небольшая база по общению с руководителем. В целом, может касаться и заказчика, и спонсоров вашего проекта: то есть всех людей, от которых вам нужна помощь или решение проблем вашего проекта.Когда у вас проблемы на проекте, вам хочется прийти к руководителю...
Как создать комнату испытаний в Minecraft на Python – туториал для детей Современные дети и подростки любят играть в Майнкрафт: они проводят часы за компьютером, исследуя виртуальную вселенную. Гейминг здесь – одна из основ формирования неподдельного интереса к программированию, поэтому предлагаем использовать это увлечение для погружения ребенка...
TOGAF 10 и архитектура предприятия Идея создать модель идеальной архитектуры предприятия существует уже довольно давно. Есть различные методологии, стандарты, шаблоны, описывающие разные варианты создания архитектуры. Платформа TOGAF (The Open Group Architecture Framework) является широко распространенным реш...
ИИ улучшил ПЦР-тесты для диагностики и криминалистики Ученые Университета Флиндерса (Австралия) прогнозируют значительные улучшения в области ДНК-тестирования благодаря применению методов машинного обучения к профилированию ДНК. Исследования показали, что с помощью новых технологий можно добиться как повышения ка...
LLM для HR-Tech: как мы делали ИИ-ассистента для автоматизации форматирования резюме ВведениеПривет, Habr! Меня зовут Александр Сулейкин, к.т.н., архитектор Big Data решений и генеральный директор ИТ-компании ”ДЮК Технологии”. Совместно с нашим экспертом по генеративному ИИ Романом Бабенко подготовили статью на базе реального кейса внедрения ИИ-помощника для...
Про auto.offset.reset в Spring Kafka Так исторически сложилось, что Apache Kafka использует для своих сообщений смещения (или же offset). В зависимости от нужд для настроек консьюмера можно выставить в параметр auto.offset.reset три значения: earliest, latest, none. По умолчанию, если данный параметр не задан, ...
Olimex RVPC за 1 евро: что умеет миниатюрный одноплатник на базе RISC-V Привет, Хабр! Это Виктор Сергеев из МТС Диджитал. На днях компания Olimex представила одноплатный компьютер — RVPC. Устройство стоит всего 1 евро (105 рублей по курсу на 8 октября). Новинка позиционируется как инструмент для обучения и экспериментов в мире компьютерной техни...
Искусственный интеллект в информационной безопасности: повышаем эффективность и прибыльность бизнеса Искусственный интеллект уже прочно вошел в арсенал инструментов современного бизнеса. Его применение теперь норма, а не исключение. ИИ эффективно решает задачи классификации, анализа данных и прогнозирования рисков в самых разных отраслях.Например, в банковском секторе ИИ ис...
Комплаенс-особенности создания ИТ-продуктов в рамках выполнения ИТ-проектов Отечественная судебная практика показывает, как сильно комплаенс-особенности в рамках выполнения ИТ-проектов влияют на процесс создания ИТ-продуктов. Например, как внесение изменений в уже созданную информационную систему (далее – ИС) может привести к конфликту между заинтер...
[Перевод] Как работает Mesh R-CNN Ну для начала всем привет, в этой статье постараюсь рассказать вам про структуру Mesh R-CNN как он работает, что вообще из себя представляет, также будут сделаны сноски с описанием концепции по генерации 3D объектов. Буду опираться как и уже на существующие статьи, так буду ...
Сравним ruby, lisp и python На примере простых алгоритмов (вычисление расстояния между точками, сумма членов геометрической прогрессии, формирование массива простых чисел по алгоритму Эратосфена, числа Фибоначчи) сравниваются три языка программирования - Lisp, Python и Ruby. Сравнение проходит по следу...
Делегирование в IT: как повысить ответственность и самостоятельность В быстро меняющемся мире IT, где новые технологии появляются каждый день, эффективность работы команды зависит не только от таланта и квалификации сотрудников, но также и от умения сотрудников делегировать полномочия. Правильное делегирование позволяет разгрузить руководител...
Масштабируем приложение в Kubernetes от метрики в Yandex Monitoring (или от любого http-эндпоинта) Всем привет! Меня зовут Дмитрий Мамонтов, я DevOps-инженер с опытом работы более пяти лет, а также наставник на курсе «DevOps для эксплуатации и разработки» и один из авторов курса «Эксплуатация и разработка в Kubernetes» в Яндекс Практикуме.Представим, что у нас есть п...
Из чего состоит безопасность современных приложений В сети можно встретить различные трактования понятия AppSec (Application Security). И в этой статье мы попробуем разобраться с тем, что же должно входить в AppSec и какие навыки требуются специалистам, работающим в данной отрасли и какие инструм...
Астрономы обнаружили новую экзопланету класса «супернептун», вращающуюся вокруг звезды солнечного типа Международная группа астрономов сообщила об открытии новой экзопланеты класса «супернептун», вращающейся вокруг звезды солнечного типа. Экзопланета, получившая обозначение TOI-5005 b, примерно в шесть раз больше и более чем в 30 раз массивнее Земли. Подробно...
Прогнозирование банкротства физических лиц: опыт t2 Fintech Я расскажу о том, как команда t2 Fintech исследовала признаки и индикаторы, по которым можно прогнозировать финансовое состояние пользователя. И сегодня поговорим о банкротстве.Вопрос банкротства физических лиц – острая тема. Количество банкротов в России в 2023 году состави...
Как я отказался от оффера в Сбер Вы, наверное, хотите сказать: "Ну отказался и отказался, что тут такого?". Чтобы добавить контекста, расскажу немного о себе. Ещё год назад я новоиспечённый гофер, только начинаю познавать основы языка, делаю свои первые пет-проекты и начинаю делать свои первые отклики. Есте...
State Space Models. Mamba Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLM. На данный момент они используются почти во всех фундаментальных моделях, от тех, что с ...
Text-to-speech. Анализ открытых решений синтеза речи Всем привет! В этой статье будут рассмотрены открытые проекты по синтезу речи с поддержкой русского языка. Под словом «открытые» будем иметь в виду, что разработчики безвозмездно предоставляют в пользование результаты своих трудов (спасибо им за это большое). Также в обзоре ...
HMPL — лучшая альтернатива HTMX Всем привет! В данной статье рассмотрим такой javascript модуль как HMPL и как он может заменить HTMX в проекте. Также, рассмотрим в чём их отличия, преимущества и недостатки.При дальнейшем сравнение двух модулей стоит учесть, что один является языком шаблонов, когда как дру...
Совместили молодёжный AI-конкурс с задачами «Северстали» и сделали предсказатель срывов поставок Кажется, ещё недавно ИИ был прерогативой умудренных опытом специалистов и даже ученых, но сейчас его осваивают и школьники. Уже сегодня они помогают отраслевым гигантам строить прогнозные модели. Глядишь, завтра в детсадах начнут сетки обучать. Мы делали конкурс по ИИ для мо...
В Белоруссии с конвейера сошёл 50-тысячный автомобиль Belgee Белорусско-китайское совместное предприятие «БелДжи» выпустило 50 тысяч автомобилей под маркой Belgee с момента старта их производства в июле 2023 года. Юбилейным автомобилем бренда стал городской кроссовер Belgee X50 в максимальной комплектации Prestige и ц...
Насколько хороши LLM? Основной целью данного бенчмарка является всесторонняя оценка возможностей русскоязычных LLM в контексте российской действительности по темам истории, географии, обществознания и политологии. В разработке бенчмарка ИОН РАНХиГС и ИСП РАН были заложены следующие принципы: ...
«Да будет свет!», — подумали мы. И стал свет. Краткая история обучения нейросветодизайнера нейросветодизайну Давным-давно, скажем, этим летом, нас посетила удачная мысль включить повсюду свет и озарить ночные города. Так родился проект по обучению нейросети сложному искусству светодизайна. Разумеется, мы были не первыми, кто до этого додумался, но поскольку бум ИИ ...
«Почта России» провела эксперимент с грузоперевозкой с помощью беспилотников Использование беспилотников для доставки грузов показало, что на данный момент такая услуга обходится в 152 раза дороже регулярного пилотируемого рейса и в 43 раза дороже чартерного.
Операционная система реального времени Xenomai 4 В данной статье подробно рассмотрим, как собрать ядро, поддерживающее EVL core, и библиотеку, реализующую пользовательский API для этого ядра. А также разберем некоторые аспекты реализации драйвера устройства и приложения под Xenomai 4.Xenomai — Фреймворк для разра...
Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу Мы на Хабр Карьере помогаем IT-специалистам зарабатывать больше, а компаниям — быть в курсе трендов на рынке найма.Путь в тысячу ли начинается с одного шага, а взлёт по карьерной лестнице — с первой работы. Как найти работу, будучи абсолютным новичком в интересной сфере, а м...
Закон распределения делителей числа (расширенная версия) В арифметике известны элементарные действия с числами (+), (–), (×), (/) и др., использование которых при заданных исходных данных дает нам возможность получать определенные результаты: сумму, разность, произведение, частное. Обратное действие с результатами в качестве исход...
Photoshop для детей: 16 ресурсов для обучения – бесплатные и платные Стоит ли использовать Фотошоп для обучения детей графическому дизайну? Если да, то как строить образовательный маршрут: идти на курсы, смотреть обучающие видео или играть в развивающие игры? Какие могут возникнуть сложности? Давайте разбираться в этих и смежных вопросах.Мы ж...
Мальчики, которые чинят компьютеры: что на самом деле делают инженеры сопровождения Инженеры сопровождения — это специалисты, которые следят за стабильной работой IT-систем. Но часто их путают с техподдержкой, системными администраторами, DevOps-специалистами, а иногда и с тестировщиками. Тема кажется очевидной, но зачем тогда писать статью? В професси...
[Перевод] Как мы написали GPU-based Gaussian Splatting вьюер в Unreal с помощью Niagara В этой статье я хочу рассказать вам о том, как мы писали с нуля полнофункциональный Gaussian Splatting вьюер для Unreal Engine 5. Читать далее
Kodu Game Lab для детей: учимся создавать игры в 5-6 лет Даже дошкольник 5–6 лет может понять базовые принципы «взрослого» программирования на примере написания визуального кода. В этом ему поможет Коду Гейм Лаб – среда, предназначенная для разработки простых 3Д-игр. Писать программы в ней нужно с помощью готовых блоков, как в Scr...
Российские физики улучшили экзотическую квантовую материю с помощью ИИ Российские физики из МФТИ при помощи машинного обучения смогли значительно улучшить процесс получения конденсата Бозе-Эйнштейна — экзотической формы материи, которая ведет себя как один гигантский атом. Это достижение, о котором сообщил Центр научной коммуникации МФТИ, ...
Трактовка понятий «технологии информационного моделирования» (ТИМ) и «среда общих данных» (СОД) Статья для тех, кто любит поговорить про значения слов в определениях и посмеяться. Предлагаю разобрать понятия Технологии информационного моделирования, информационная модель, среда общих данных и их взаимосвязь. В статье есть нудный анализ существующих определений в различ...