Применение нейросетевых подходов для формирования признаков в моделях

Обзор современных подходов персонализации диффузионных нейронных сетей Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженн...

Портретная гармонизация изображений Привет! В данной публикации команда RnD CV из SberDevices познакомит вас с нашим подходом к решению задачи повышения степени реалистичности портретных изображений (по-научному — портретной гармонизации изображений). Мы не только расскажем о задаче портретной гармонизации, но...

Albumentations: XYMasking Короткая версияПосле длинного вступления, будет туториал по применению аугментации XYMasking к спектрограммам от ЭЭГ. Кто экономит время - код с примерами можно найти по ссылке в документации библиотеки. Длинная версияAlbumentations - это Open Source библиотека для аугментац...

10 признаков недопонятого Agile, или почему ваш Agile не работает Всем привет! Меня зовут Анна Мозер, я работаю тимлидом системных аналитиков в X5 Tech. Мне удалось поработать и в корпорации, и в стартапе, и в качестве фриланс Delivery Manager на этапе запуска стартап команды. Системный аналитик находится в центре между бизнесом и ком...

Протектор и LLVM-обфускатор. Сравнение двух подходов к решению задачи запутывания кода Добрый день, Хабр! В данной заметке я постараюсь сравнить два разных подхода к задаче запутывания машинного кода – это протектор и обфускатор, построенный на базе LLVM-фреймворка. Нам пришлось с этим столкнуться, когда возникла задача защиты библиотек Guardant под разны...

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata Привет, Хабр!Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и большим данным. О решении одно...

Введение в МММ. Часть 2 Это вторая часть введения в медиа микс моделирование. В ней я расскажу подробнее про моделирование и оптимизацию: как выбрать подход и метрики, собрать и предварительно обработать данные и перейти к моделированию. Какие бывают подходы к моделированию?Существует два подх...

Товары-аналоги и с чем их едят или Свежий подход к формированию групп товаров для управления ассортиментом Ozon fresh Мы команда data science Ozon fresh. В этой статье мы расскажем об одной из наших задач - алгоритм, который помогает управлять нашим огромным ассортиментом.Ozon fresh — это сервис быстрой доставки продуктов, бакалеи, бытовой техники, электроники и других товаров. В нашем ассо...

ИИ помог обойти защиту резистентных бактерий: открыт новый класс перспективных антибиотиков По прогнозам к 2050 году смертность от инфекционных и бактериальных  заболеваний, не поддающихся лечению в связи с устойчивостью возбудителей к антибактериальным препаратам, составит 10 млн человек в год и выйдет на одно из лидирующих мест наряду с сердечно-сосудистыми ...

Продуктовые команды: строим правильно Привет, Хабр!Мы хотим поделиться подходом к формированию успешной продуктовой команды. В построении и развитии продуктовой команды есть свои законы, о которых можно почитать здесь. Но знание теорем бесполезно без навыков их применения в реальном мире. Поэтому сфокусируемся н...

DevOps as a Service. Часть 5. Работа с бэклогом и сквозной приоритизацией команды Всем доброе утро! С Вами Крылов Александр, и мы продолжаем серию статей про DevOps as a Service, и как с помощью данного подхода возможно решить ряд распространённых проблем в организации работы подразделения. В прошлых статьях мы описали подход и показали пути решения часто...

[Перевод] На пути к 1-разрядным моделям машинного обучения В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit. Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с кванто...

Приглашаем на Ozon Tech Community BI Meetup Всем привет!Меня зовут Дмитрий, я руководитель группы разработки инструментов BI. Стоит ли говорить, что данные вокруг нас и, если мы не умеем с ними работать, то мы не можем функционировать как бизнес вообще? Наша команда платформы данных старается обуздать десятки пет...

MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I Всем привет! Меня зовут Николай Безносов, я отвечаю за применение и развитие машинного обучения и продвинутой аналитики в билайне. В одной из прошлых статей мои коллеги рассказывали о месте Seldon в ML-инфраструктуре компании, а сегодня мы поднимемся на уровень выше и погово...

Синкерим, хешайдим, терминируем: 6 утилит, чтобы ускорить ваши локализации Наша команда Mobile Doc&Loc «Лаборатории Касперского» занимается подготовкой документации и локализации B2C-продуктов компании для мобильных устройств. Основная сложность (и одновременно фишка) нашей работы заключается в том, что необходимо регулярно подготавливать перев...

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока Наша команда разработчиков Исследовательского центра доверенного искусственного интеллекта ИСП РАН первые два года занималась построением сетевой системы обнаружения вторжений, основанной на применении методов машинного обучения. А в последний год мы сменили щит на меч и нач...

Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...

Как deep learning помогает в разработке персонализированной терапии рака? Специалистам в области технологий и медицинских инноваций посвящается новое слово в борьбе с раком – применение глубокого обучения, использованное исследовательской командой университета Джона Хопкинса для индивидуального анализа генетических данных пациентов. В мире, где он...

Разработка одностраничных приложений с помощью HappyX В прошлой статье я сравнивал HappyX и Karax, показывая их декларативный подход к разработке с помощью Nim.В этой статье я подробнее расскажу о разработке одностраничных приложений с помощью HappyX с применением императивного подхода к разработке. Читать далее

Анализ отличий в работе системного и бизнес-аналитика через призму процессного подхода Всем привет!Меня зовут Станислав, сейчас я работаю старшим системным аналитиком в отделе развития голосового антифрода.Сейчас в мои задачи входит анализ и управление требованиями к веб-приложению для настройки проверок параметров вызовов. Помимо описания взаимодействия между...

[Перевод] Два подхода моделирования исторических данных Перевод статьи с MediumВ статье обсуждаются моделирование данных для хранения исторических данных, включая использование временных таблиц и исторических таблиц. Временные таблицы добавляют две даты к каждой записи для определения периода актуальности данных, в то время...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

Планируем путешествие — задача коммивояжера (TSP) для построения оптимального маршрута С вами Алексей Ложкинс, эксперт по анализу данных и машинному обучению в ПГК Диджитал. Мы разрабатываем цифровые продукты для логистической отрасли, в первую очередь, для ж/д перевозок.В кулуарах московского офиса ПГК мы обсуждаем и нерабочие темы. Топовую строчку в темах не...

Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...

Метод опорных векторов (SVM). Подходы, принцип работы и реализация с нуля на Python Метод опорных векторов (Support Vector Machine или просто SVM) — мощный и универсальный набор алгоритмов для работы с данными любой формы, применяемый не только для задач классификации и регрессии, но и также для выявления аномалий. В данной статье будут рассмотрены основные...

«Физика для программистов» — как физтехи применяют её в приложениях. Бросок объекта под уголом к горизонту Данная статья входит в цикл, освещающий задачи на моделирование физических процессов на факультете МТФИ ВШПИ. Мы написали приложение на Flutter и сайт на React для моделирования броска, расскажем о нашем опыте в этой статье. Читать далее

От A/B-тестирования к Causal Inference в оффлайн ритейле Приветствуем всех читателей! Сегодня команда Ad-Hoc аналитики X5 Tech приоткроет дверь в увлекательный мир A/B-тестирования Causal Inference. С момента написания предыдущей статьи прошло уже 4 года. За это время наш подход к оценке инициатив значительно эволюц...

Как рассчитать CLTV с помощью машинного обучения и как нам в этом помогает Feature Store Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розни...

Машинное обучение повысило точность оценки солнечной радиации В новом исследовании, опубликованном в журнале Remote Sensing, ученые использовали методы аугментации данных в сочетании с моделью машинного обучения LightGBM для оценки как диффузной, так и прямой солнечной радиации. Этот подход изобретательно использует данные о солне...

Продвинутое использование форм в Django (на примере Bootstrap и crispy) В этой статье поговорим о существующих подходах к рендерингу веб-форм в Django.Обсудим подходы с использованием стандартных средств Django, а также применим сторонние средства для продвинутого управления рендерингом форм на примере пакета django-crispy-forms и фронтенд библи...

В поиске оптимального подхода к миграциям в Go Привет! Меня зовут Нина, и я Golang разработчик.Однажды, мы поняли, что в нашей компании очень много Go-сервисов, но каждая команда использует свой инструмент и подход. Поэтому мы решили систематизировать и унифицировать инструменты, используемые для создания и применения ми...

Книга «Продвинутые алгоритмы и структуры данных» Привет, Хаброжители! Познакомьтесь с самыми необходимыми алгоритмами решения сложных задач программирования в области анализа данных, машинного обучения и графов. Вы постоянно сталкиваетесь с бесчисленными проблемами программирования, которые поначалу кажутся запутанными...

Исследователи утверждают, что Mamba в пять раз быстрее Transformer Доминирующий на сегодняшний день подход к языковому моделированию основан на рекуррентных нейронных сетях

SPARK для «малышей» Примеры кода на Python для работы с Apache Spark для «самых маленьких» (и немного «картинок»).Данная статья представляет собой обзор основных функций Apache Spark и рассматривает способы их применения в реальных задачах обработки данных. Apache Spark — это мощная и гибкая си...

Как мы описываем требования к REST API для бэкенда в Confluence У нас в команде два системных аналитика с разным бэкграундом и изначально разными подходами к оформлению требований, в том числе к API. Вначале каждый из нас писал требования по-своему, с разным уровнем проработки и детализации. Но быстро стало понятно, что так дальше не пой...

Как мы перевернули подход к созданию интерфейсов ОС В мире очень немного дизайн-команд, которые занимаются разработкой дизайна операционных систем (Apple, Google, Huawei, Microsoft и т. д.). И это дает таким командам уникальную возможность создавать дизайн-решения, которые могут стать трендсеттерами на рынке. При этом у всех...

Эксперт рассказал, как определить фейковые аудио и видео, созданные нейросетью Эксперт по информационной безопасности рассказал по каким признакам можно определить нейросетевой фейк

Размываем границы времени и учимся создавать видео — Kandinsky шагает дальше В последние несколько лет активно развиваются генеративные модели, причём синтезировать с хорошим качеством уже сейчас получается и тексты, и аудио, и изображения, и видео, и 3D, и другие модальности. Если говорить про генерацию изображений, то стремительность прогресса в эт...

Как мы сделали переводчик точнее и дешевле Google и Yandex Всем привет! Меня зовут Никита, я Data Scientist из Raft. Сегодня я расскажу вам о том, как мы решили задачу перевода каталога товаров большого интернет-магазина с русского на арабский язык с применением искусственного интеллекта. Мы рассмотрим различные подходы и идеи, возн...

Метрики Эффективности Команд. Data driven подход к улучшению эффективности команд и бизнес результатов Как понять эффективность команд? Как узнать можем ли мы перформить лучше и экономить ресурсы? Многие поднимают эти вопросы в компаниях.Последние несколько лет я активно занимаюсь вопросом внедрения метрик эффективности в компании и команды и с многими компаниями мы прошли бо...

Проектирование БД рекомендательной системы по подходу DB-first В данной статье мы рассмотрим проектирование системы по подходу DB-first и то, какие проблемы он помогает не просто решить, а устранить как явление. Читать далее

Как язык моделирования ArchiMate помогает IT аналитикам в решении их задач В постоянно меняющемся мире бизнеса и технологий организации сталкиваются с вызовом управления сложностью, стремясь при этом к эффективности и инновациям. Для решения этой проблемы аналитики начинают обращать свой взгляд к надежным языкам моделирования, чтобы получить всесто...

[Перевод] Компиляция моделей МО в С Статья посвящена знакомству с инструментом micrograd и компиляции генерируемых им нейронных сетей в язык С. При этом она не является руководством по машинному обучению, но вполне может позволить вам лучше понять МО через призму компиляторов. В ходе этого процесса мы также р...

«Физика для программистов» — как физтехи применяют её в приложениях. Маятники Данная статья входит в цикл, освещающий задачи на моделирование физических процессов на факультете МТФИ ВШПИ. В этой части речь пойдёт про задачу моделирования поведения маятника: коротко разберём теорию, которая лежит в основе модели, немного подумаем над архитектурой и нап...

ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта Привет, дорогие читатели Хабра!Сегодня я хочу поделиться с вами своими знаниями и опытом в области анализа данных и машинного обучения, освещая увлекательную и актуальную тему – анализ отзывов на приложения с использованием модели ChatGPT. Этот подход открывает новые горизон...

Как автоматизировать переобучение моделей? Меня зовут Денис, я управляю разработкой и внедрением моделей машинного обучения в «Газпромбанке» в розничный бизнес. Наша команда ML-инженеров работает в связке с DevOps, мне помогает мой коллега Виталий VitaliyF. Он готовит инфраструктуру для обучения и переобучения моделе...

Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...

Курс «Директор по компенсациям и льготам. Интенсив» Перед вами стоит задача научиться управлять численностью персонала и повысить качество работы сотрудников? Нужно разработать или оптимизировать систему вознаграждения за достижение KPI? Внедрить концепцию нематериальной мотивации? В программе даются ответы на эти вопросы: пр...

Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми при...

Как обучают GPT Привет, Хабр! Меня зовут Родион Уколов, я занимаюсь искусственным интеллектом в компании Friflex. Мы помогаем компаниям внедрять модели машинного обучения и развиваем свои цифровые продукты.Может быть, вы помните статью моего коллеги о том, как решать реальные задачи с ChatG...

7 направлений оптимизации ClickHouse, которые помогают в BI Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, поч...

Использование LLM в автоматизации рутинных задач Всем привет!На связи Георгий Бредис, Deep Learning Engineer из команды Intelligent Document Processing в SberDevices. Наша команда занимается задачами автоматизации бизнес-процессов путем извлечения информации из неструктурированного контента и созданием сервисом суммаризаци...

Новейший космический телескоп обнаружил признаки жизни на нашей планете Международная группа ученых провела моделирование работы будущего аппарата для исследования экзопланет. Он называется Large Interferometer For Exoplanets (LIFE) и предназначен для поиска признаков жизни в далеких мирах. Пока что это лишь проект, причем достаточно спорный, по...

Как составить договор с помощью нейросетей В наше время технологии искусственного интеллекта все шире внедряются в различные сферы человеческой деятельности, включая юридическую практику. Одним из наиболее заметных примеров этого является использование нейронных сетей для создания договоров для тех или иных потребнос...

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Как я проектирую интерфейсы Привет, я Егор Камелев, проектировщик интерфейсов (UX-дизайнер). За последние 20 лет я поработал с командами десятков агентств, IT-отделов, действующих проектов и продуктов, стартапов (и запущенных, и незавершённых). Я знаком с сотней команд, не меньше. И среди них не нашлос...

Как оптимизировать бизнес-процессы с помощью ML: кейс ВТБ Одним из результатов запуска платформы GeoAutoML в банке стало сокращение сроков рассмотрения заявки на финансирование застройщиков в 3 раза: с 1 месяца до 10 дней. Как этого удалось добиться с помощью платформенного подхода и совмещения инструментов геоаналитики и машинног...

Как мы автоматизировали и упростили процесс ведения релизов До начала 2020 года наша команда принимала участие в релизах в качестве группы тестировщиков во главе с координатором. Процесс был полностью ручным, длительным и требовал достаточно много времени. Координатор занимался формированием команд на регрессы, отслеживанием активн...

Создание карты подключений Elasticsearch + Fluent Bit + Nginx Ingress Controller Данная статья представляет подход к решению задачи сбора и агрегации метрик от Ingress Nginx Controller для извлечения геоданных с помощью GeoIP2 и их визуализации в Elasticsearch. Читать далее

Объединение открытых данных Open Street Map и Landsat для уточнения площадей зеленых зон Привет, Хабр! Под катом мы хотели бы поговорить о том какие преимущества привносит в нашу жизнь объединение пространственных данных из различных открытых источников. Рассматривать, для примера, будем следующую задачу: оценить насколько в “зеленом” районе расположен тот или и...

Экономим на Kubernetes с помощью OpenCost — и другие прелести FinOps Вне зависимости от того, кто вы: небольшой стартап или развитая компания — задача управления затратами особенно важна. Модное понятие FinOps, оно же Financial Operations или Cloud Financial Operations, помогает организациям наиболее эффективно и экономически выгодно использ...

Продуктовый подход к pet-проекту или как я разработал музыкальное веб-приложение Что вам может дать продуктовый подход к pet-проекту? Если смотреть на pet-проект не как на лабораторную работу, а как на будущий продукт, начинаешь лучше понимать весь цикл разработки. При таком подходе ты сперва выступаешь в роли заказчика: определяешь, какую задачу пользов...

[recovery mode] Как мы делаем веб-сервис для автоматизации рабочих задач на базе агентов LLM Друзья, всем привет! Сегодня хотим рассказать про то, как мы — Виталий, Даниил, Роберт и Никита — при поддержке AI Talent Hub, совместной магистратуры Napoleon IT и ИТМО, создаем Цифработа — сервис цифровых работников, который помогает оптимизировать временные затраты у сотр...

Вы все еще пишете многопоточку на C++ с ошибками синхронизации? Привет, коллеги! В этой статье я покажу свой подход к написанию многопоточного кода, который помогает избежать типовых ошибок, связанных с использованием базовых примитивов синхронизации. Демонстрация идеи будет проходить на живых примерах кода на современном C++. Большинс...

Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров Привет, Хабр! Меня зовут Иван Антипов, я занимаюсь ML в команде матчинга Ozon. Наша команда разрабатывает алгоритмы поиска одинаковых товаров на сайте. Это позволяет покупателям находить более выгодные предложения, экономя время и деньги.В этой статье мы обсудим кластеризаци...

Прогнозирование временных рядов с помощью библиотеки Skforecast В открытом доступе существует огромное число библиотек для построения моделей машинного обучения в Python. Самые популярные — scikit-learn, XGBoost, LightGBM, Catboost, PyTorch. Каждая из них позволяет построить регрессионную модель для прогнозирования на временных рядах, ...

Опросы с использованием метода Дельфи Метод Дельфи, представляет собой уникальный подход к систематическому и структурированному сбору мнений экспертов для прогнозирования или решения сложных проблем. Цель статьи — не только описать метод Дельфи, его основные этапы и применение, но и показать, как его преимущест...

Обучение ИИ на синтетических данных: исследователи из MIT меняют правила игры Как известно, данные - это новая почва в мире AI. И товарищи-исследователи из MIT CSAIL нашли оригинальный способ вырастить на этой плодородной земле нечто большее, чем просто пиксели. В своем новом исследовании, они использовали синтетические изображения для обучения моделе...

Разрабатываем дизайн-концепцию IT-системы: этапы аналитики и дизайна Привет, Хабр! Меня зовут Юлия, я старший аналитик-проектировщик компании SimbirSoft. Работаю в сфере IT более 10 лет, в моем портфолио создание более 20 IT-систем для различных проектов: флагмана металлургии, медицинского проекта (6 стран присутствия), автомобилестроительной...

Системный аналитик: каждой бочке затычка В последнее время наблюдаю тенденцию увеличения обязанностей системного аналитика, и, кажется, в явном виде об этом никто не говорит. Наоборот, смотря профессиональные чаты и общаясь с коллегами, я в большинстве случаев считываю превалирующую мысль, что системный аналитик — ...

Построение высокопродуктивной команды: опыт СберМаркета Привет, меня зовут Борис Вольфсон, и я отвечаю за продукт и данные в СберМаркете. Сегодня я расскажу про наш подход к формированию и развитию команд, способных демонстрировать выдающуюся продуктивность. Подробно остановлюсь на традиционных методах и нестандартных инструмента...

NAS и SAN: основные характеристики, принцип работы и применение решений Сетевое хранилище (NAS) и сети хранения данных (SAN) — это два ключевых подхода к организации хранилища в сети, которые позволяют пользователям обмениваться данными независимо от их местоположения, что особенно актуально для работы геораспределенных команд.Несмотря на то, чт...

Одно, чтоб править всеми: как мы сделали хаб для сопровождения СУБД Работа в СУБД — это множество разноплановых задач: создание новых продуктов, плановые обновления, работа с инцидентами. По мере цифровизации компании количество таких задач растёт, очередь запросов наполняется. Всё больше времени уходит не на решения, а на подготовку — сбор ...

Наивный байесовский классификатор. Основная идея, модификации и реализация с нуля на Python Наивный байесовский классификатор (Naive Bayes classifier) — вероятностный классификатор на основе формулы Байеса со строгим (наивным) предположением о независимости признаков между собой при заданном классе, что сильно упрощает задачу классификации из-за оценки одномерных в...

Нейронные сети и dataset IRIS Исследовательская работа по dataset IRIS и библиотеке для машинного обучения и построения нейронных сетей tensorflow. Читать далее

Коэффициенты для экстраполяции прогнозов компонент CLTV на 5 лет Эта статья описывает, как из прогнозов ряда ML-моделей получить ценность клиента с горизонтом в 5 лет. Напомним, что показатель CLTV представляет из себя композицию прогнозов ее компонент (подробнее в статье). В нашей реализации максимальный период прогнозирования ...

Когда достаточно простого класса Python — взять и начать управлять ML-экспериментами Мы в ПГК занимаемся грузоперевозками, причем решаем различные транспортные задачи не только методами математической оптимизации, но и с помощью моделей машинного обучения. Наши дата-сайентисты проводят десятки экспериментов — в том числе и без необходимости прибегать к инстр...

<dl> или <table>? Исследуем подходы к представлению пар ключ-значение в HTML Казалось бы, простая задача - сверстать список пар ключ-значение. Бери <div> и делай. Но что, если захотелось подушнить? Этим и займёмся в статье...Рассмотрим три подхода к решению этой задачи: <div>, <dl>, <dt>, и <dd>, и <table>. Обсудим...

Clickhouse, Grafana и 3000 графиков. Как построить систему быстрых дашбордов Меня зовут Валя Борисов, и я — аналитик в команде Ozon. Задача нашей команды — создавать инструменты для мониторинга и анализа скорости. Наши усилия направлены на то, чтобы в реальном времени следить за тем, как быстро работают наши сервисы и платформа. Благодаря инстру...

Sparkling: Открытая библиотека для автоматического решения задачи кластеризации табличных и мультимодальных данных Если вы полагаете, что фундаментальные исследования всегда скучны и с трудом находят применение на практике, то прочитайте эту статью. Старший научный сотрудник нашей лаборатории Сергей Муравьев, занимающийся автоматизацией решения задач кластеризации, рассказывает о собств...

Способ автоматизации процесса получения BIM-моделей с Revit Server и последующей сборкой в Navisworks. Подробный гайд Одной из операционных задач BIM-отдела является подготовка и формирование проприетарных файлов моделей для последующего использования в тех или иных целях. На примере работы с программными продуктами Autodesk — Revit и Navisworks, подразумевается определённая логика разбивки...

Расчёт вкусов пользователя для ленты рекомендаций с применением item2vec-подхода Ежемесячная аудитория ОК только в России превышает 36 млн человек. Причём это активные пользователи, которые хорошо взаимодействуют с нашим контентом: ставят Классы, комментируют, делают репосты. Залогом активного отклика во многом является формирование новостной ленты с уче...

Классификация экзопланет (часть I обработка данных) В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее ...

Индуктивная статистика: доверительные интервалы, предельные ошибки, размер выборки и проверка гипотез Одной из самых распространённых задач современной аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь о небольшой части этой совокупности - выборке. Можно ли сделать вывод о миллионной ауди...

Что такое и как работает DevOps as a Service Методология DevOps помогает решить многие проблемы на всех стадиях жизненного цикла ПО. Используя ее, компании могут уменьшить сложность своей IT-инфраструктуры, обеспечить большую безопасность и надежность программных продуктов, чем при традиционных подходах к разработке. ...

DevOps as a Service. Часть 4. Решаем проблемы развития сотрудников подразделения и управления инициативами Всем доброе утро! С Вами Крылов Александр, и мы продолжаем серию статей про DevOps as a Service, и как с помощью данного подхода возможно решить ряд распространённых проблем. В прошлых статьях мы описали сам подход, показали пути решения различных проблем. Со статьями можно ...

Ищем Арнольда Шварценеггера среди мужчин, женщин и детей с помощью нейросети на С++ Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-с...

Apple рассказала, как разрабатывает свой аналог ChatGPT для iOS 18. Что будет, если она не успеет? Прошедший 2023 год можно смело называть годом нейросетей. Складывается ощущение, что все крупные компании запустили как минимум одну собственную нейросеть. У одних она служит для генерации изображений, а у других — это текстовая модель, с которой можно выстраивать диа...

В Сбере представили GigaAM – семейство моделей машинного обучения для распознавания речи и эмоций Команды разработки сервисов GigaChat и SaluteSpeech в SberDevices представили GigaAM (Giga Acoustic Model) — семейство акустических моделей для русского языка, которые позволяют корректно распознавать речь и эмоции. Сгенерировано нейросетью Dall-E GigaAM — ...

Развиваем продукт «без проблем» В своей прошлой статье я рассказывал о том, как использовать метрики при разработке продуктов. Статья получилась довольно насыщенная, но теоретическая.В этой статье я хочу рассказать о том, как на практике применять эти подходы при развитии продуктов. Можно ли опираться толь...

В Китае хотят «воспроизвести» нейросеть OpenAI Sora с открытым исходным кодом Пару недель назад OpenAI в очередной раз показала, насколько впечатляющими могут быть темпы развития ИИ, представив нейросеть Sora, которая умеет генерировать видео по текстовому описанию. Как сообщается, в Китае уже запустили проект, чтобы «воспроизвести» э...

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Что такое продуктовый подход и особенности использования его элементов в государственном банке Привет, Хабр! Меня зовут Олег Брандин, я главный архитектор в РСХБ‑Интех. Сегодня расскажу вам свое понимание пути от ИТ‑стратегии и ЦиЗ СЦТ (Цели и задачи Стратегии цифровой трансформации) до формирования продуктовой команды и защиты бюджета в реалиях го...

DeepMind от Google запустила футбольного советника на базе искусственного интеллекта В рамках долгосрочного сотрудничества Google с футбольным клубом «Ливерпуль», Google DeepMind представила систему искусственного интеллекта TacticAI, которая разработана для консультирования футбольных тренеров по вопросам тактики угловых ударов. Система, со...

ФП виновно в снижении стоимости программ. Вот мои доказательства, господа присяжные заседатели Среди особенностей моего подхода к разработке у моих заказчиков, коллег и студентов наибольшее сопротивление вызывает использование Spring Data JDBC, а не [Spring Data] JPA (де-факто стандарта работы с БД на платформе Java).Изначально я собирался писать пост "Почему не JPA",...

Действительно ли C++ — лучший язык, чтобы выстрелить себе в ногу? В 2023 году одной из главных IT-новостей стала публикация гайда от Агентства национальной безопасности (NSA) США, в котором языки С/C+ признавались «опасными» и требующими перехода на «безопасные» C#, Go, Java, Ruby и Swift. В этой статье я с позиции Security Champion в Ka...

AstraLinux для приборостроения Ни для кого не секрет, что в марте 2022 года был подписан приказ, согласно которому для безопасности и технологической независимости требуется перейти на отечественное ПО, в частности операционные системы. Мне стало интересно, если я переведу домашний ПК на AstraLinux, смогу...

Стартап Blaize привлёк $106 млн для своих ИИ-чипов Blaize Inc., перспективная компания в области разработки чипов искусственного интеллекта, совершила значительный прорыв, привлекая $106 000 000 финансирования. Это событие произошло менее чем через полгода после объявления Blaize о планах выхода на биржу через слияние с...

Моделирование нелинейных функций и ограничений в задачах линейного программирования Линейное программирование покрывает достаточно узкий класс задач, но механизмы решения таких задач представляют собой мощный инструмент для его применения в промышленных целях. Некоторые ухищрения моделирования позволяют расширить набор решаемых задач методами линейного прог...

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации В предыдущих статьях статья 1, статья 2, статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов я...

Call Activity vs SubProcess: В чём отличие? Приветствую моих читателей! Меня зовут Екатерина. Ранее 3.5 года я администрировала bpm-систему, сейчас вот уже более двух лет я работаю системным аналитиком и развиваю нашу собственную bpm-систему. В данной статье хочу рассказать о дилемме, с которой столкнул...

Инструменты продуктового аналитика VK, или Как мы работаем с большими данными Принятие решений на основе данных является неотъемлемой частью работы аналитика. Данные помогают сделать это быстро. Но что если объём данных достигает десятков петабайт? Подобная задача становится не такой тривиальной, как может показаться на первый взгляд. Как масштабирова...

Хорошие новости для кожаных мешков: мы пока еще в деле У меня уже давно было убеждение что профессии, которые нейронные сети смогут заменить позже всего — это профессии, связанные с аналитикой и исследовательской работой. В самой этой мысли, конечно, ничего удивительного нет, удивительно то, на сколько самые крутые языковые моде...

[Перевод] Как проанализировать риски: 4 шага Оценка потенциальных рисков и их влияния на бизнес-операции играет ключевую роль в обеспечении успеха проектов и стратегий организации. Риск-менеджеры проводят анализ, используя различные методы и расчеты, чтобы определить вероятность возникновения рисков и разработать планы...

Лапочки с характером: Как машинное обучение помогает определить тип личности ваших пёсиков Предлагаю Вам разбавить все серьезные, обсуждаемые здесь темы, небольшой отдушиной для многих из нас!Собаки – настоящие маленькие спутники жизни каждого хозяина, поэтому многих обрадовала бы возможность подобрать питомца, который будет вписываться в привычный образ жизни, и,...

Нейросети научились «нащупывать» подход к людям Учёные, специализирующиеся на исследованиях искусственного интеллекта из Калифорнийского университета в Сан-Хосе, США, в журнале Management Science рассказали о том, что агенты ИИ — виртуальные нейросетевые помощники — могут находить подход к людям, завоёвывая доверие.

NASA потеряло связь с марсианским вертолётом Ingenuity Во время своего 72-го полёта марсоход Ingenuity потерял связь с инженерами на Земле, как сообщило космическое агентство NASA. Обрыв связи произошел в четверг, 18 января, когда вертолёт Ingenuity завершал полёт. Ingenuity на снимке марсохода Perseverance, сделанном на М...

Microsoft представила облегчённую языковую модель Phi-3 Mini, сопоставимую с GPT-3.5 в ряде задач Microsoft представила облегченную языковую модель искусственного интеллекта под названием Phi-3 Mini, которая, несмотря на свои скромные размеры, способна обеспечить результаты на уровне GPT-3.5 в ряде задач. Согласно описанию в исследовательском документе, модель Phi-3 Min...

Погружение в мир адаптивной верстки с Flutter Я Магин Максим, Flutter-разработчик агентства мобильной разработки Instadev. Поговорим о таком понятии как “адаптивная верстка”. Разберем, для чего она нужна, чем отличается от других видов верстки и какие подводные камни могут встретиться при использовании.Каждый разработчи...

Как Data Polystores изменят управлении данными Полистор (полихранилище, polystore) — это принципиально новый подход к управлению данными, обеспечивающий бесшовную интеграцию различных источников данных и технологий, пишет на портале The New Stack Джо Макrанни, генеральный директор и президент ...

«Трудности перевода»: как ChatGPT справился с задачей адаптации сложных текстов Привет, Хабр! Меня зовут Сергей Кулабухов, я занимаюсь внедрением ИИ в бизнес-процессы компании Fix Price. С появлением моделей обработки естественного языка (natural language processing) изменился и подход к реализации подобных задач. Теперь мы не программируем и не обучаем...

Как применяется и для чего нужен local first подход Local first — это подход к разработке приложений, когда данные обрабатывают в первую очередь на устройствах пользователей, а не в облаке. Обсудим ключевые принципы подхода и примеры в контексте организации совместной работы. Читать далее

Книга «System Design. Машинное обучение. Подготовка к сложному интервью» Привет, Хаброжители! Собеседования по проектированию систем машинного обучения — самые сложные. Если нужно подготовиться к такому, книга создана специально для вас. Также она поможет всем, кто интересуется проектированием систем МО, будь то новички или опытные инженеры. ...

В России создали самый эффективный в мире алгоритм для обучения ИИ: вчетверо быстрее аналогов Команда «Тинькофф» поделилась новыми достижениями учёных из Tinkoff Research. Как сообщила пресс-служба, в лаборатории исследований искусственного интеллекта Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адапт...

Сбалансированные данные – успех в ML: Oversampling и Undersampling Данные, используемые для обучения моделей машинного обучения, должны быть идеально сбалансированы по всем категориям и классам. Однако суровая жизнь часто преподносит нам данные, в которых присутствует значительный дисбаланс. Такой дисбаланс может привести к нежелательным см...

В Белом доме заявили, что пока не наблюдают признаков «крупной эскалации» на Ближнем Востоке Видишь признаки эскалации? Нет? А они есть.

У ChatGPT нашли признаки сезонной депрессии Чат-бот ChatGPT оказался под прицелом обсуждений из-за предполагаемых признаков сезонной депрессии.

Онбординг аналитиков. Опыт Bimeister Я много слышу от новых коллег, что у нас в компании классный онбординг, что это им легко, комфортно входить в процесс, нет стресса. А ещё внутри компании и команды аналитиков он работает классно, поэтому решила поделиться им. Почти каждый а...

Ученые усовершенствовали диагностику рака Ученые из США научили искусственный интеллект по снимкам выявлять признаки рака на ранних стадиях. Разработанная ими программа анализирует большие объемы данных медицинских изображений и находит закономерности, которые помогают определить тип опухоли, ее расположение и прогн...

Зачем и как планировать трудозатраты технического писателя? Меня зовут Юлия Седова, и я представляю команду технических писателей ГК «Цифра». В рамках масштабной работы по повышению качества документации мы столкнулись с проблемой отсутствия культуры предварительного планирования трудозатрат технического писателя. В этой статье я хоч...

Как DDoS-атаки стали для нас рутиной и как ML помогает их отражать Несколько лет назад увидеть DDoS-атаку было целым событием. Если такое и случалось, то инцидент тщательно анализировала целая команда специалистов, а каждая извлечённая крупица информации использовалась для обучения моделей, формирования новых факторов и улучшения подходов д...

Альфа-Банк: машинное обучение с промышленным подходом Павел Николаев, начальник управления технологий машинного обучения Альфа-Банка, – о запуске экосистемы для разработки и внедрения моделей машинного обучения, с помощью которой удалось радикально ускорить процессы создания и запуска моделей.

Forrester: стратегию архитектуры данных определяют бизнес-цели Признаком бизнеса, основанного на инсайтах, является стратегия архитектуры данных, ориентированная на бизнес-цели, пишет в корпоративном блоге Мишель Гетц, вице-президент и главный аналитик Forrester. Однако инвестиции в модернизацию платформ данных ...

Правила работы с задачами, до которых не доходят руки Я размышлял о недавнем разговоре с руководителем одной из моих команд о важности поддерживать наши бэклоги в чистоте. Мы обсудили как поступать с задачами, которые постоянно откладываются.Я записал свои мысли и делюсь ими с вами. Это довольно распространенная проблема. Задач...

Глаза боятся, а ИИ делает: как эмоции помогают ИИ лучше управлять автомобилем Современный ИИ достиг впечатляющего прогресса, стимулируя сферу автономного транспорта. Особенно перспективно выглядит обучение с подкреплением (RL), показавшее успехи в сложных задачах принятия решений вроде игры в Го или управления беспилотными автомобилями. Но существующи...

Продуктивность в тишине: Отказ от совещаний как идеал В индустрии разработки программного обеспечения очень много времени и ресурсов тратится на совещания. У многих менеджеров календарь большую часть времени забит встречами. По данным исследования компании Atlassian, средний работник тратит до 31 часа в месяц на непродуктивные ...

Ученые из МТУСИ внедрили нейронную сеть для автоматической посадки летательного аппарата Ученые считают, что актуально применение нейронной сети в управлении беспилотными летательными аппаратами в частности при посадке, так как именно этот режим является самым сложным и ответственным и имеет большую степень аварийности летательного аппарата.

[Перевод] Как избирательное забывание помогает в обучении ИИ Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать к...

Использование Postgres и JSONB для хранения товаров, характеристик и цен Всем привет! Меня зовут Александр, в данное время я на фрилансе занимаюсь проектом по созданию очередного маркетплейса. В процессе работы мы столкнулись с далеко не новой проблемой организации хранения информации о товарах, имеющих различные характеристики и цену, зависящую ...

Свободная музыка со словами, созданная нейронными сетями в «Бесконечном нейронном радио» Привет, поклонники музыки! Думали ли вы о том, что наступит день, когда нейронные сети начнут генерировать музыкальные композиции в различных жанрах, начиная от Heavy Metal и заканчивая 80-ми? Недавно я выпустил большой апдейт для своего проекта с открытым исходным кодом «Не...

«Серёга, диктуй код из смс»: как мы ускорили проверку гипотезы с помощью эксперимента Привет! Меня зовут Алина Бузинова, я менеджер продукта Отелло, сервиса бронирования отелей от 2ГИС.Ключевой принцип развития молодого продукта — скорость доставки полезных решений. Но не каждая фича — полезная, и не каждая полезная фича — дешёвая. Планировать шестимесячную р...

Новый тип нейронной сети приходит на помощь большой физике Инструмент машинного обучения помогает физикам решать сложную задачу анализа больших, но почти пустых наборов данных, например, от детекторов нейтрино или коллайдеров частиц. Читать далее

Эффективное использование журнала регистрации и технологического журнала 1С в решении вопросов производительности Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).Напомню, что ЖР логирует действия пользователей — кто,...

Пермские ученые опробовали 3D-моделирование с помощью ChatGPT Исследователи из Пермского национального исследовательского политехнического университета (ПНИПУ) протестировали способность искусственного интеллекта ChatGPT генерировать программные коды для создания 3D-моделей на основе словесных запросов.

Частный детектив перечислил признаки измены Многие пары расстаются в декабре, перед новогодними праздниками. И одна из причин этого — измены. Аарон Бонд, частный детектив из Bond Rees Private Investigations, объяснил, по каким признакам можно понять, что партнёр вам неверен.

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

15+ полезных ссылок для начинающего специалиста по Data Science Привет, Хабр! Меня зовут Раф. Сейчас я работаю аналитиком ценообразования в Яндекс Лавке, куда попал после стажировки в команде аналитики Яндекс Браузера. Параллельно учусь в НИУ ВШЭ и уже успел пройти курс «Специалист по Data Science» в Практикуме.В этой статье я собрал пол...

Финляндия начала симулировать на компьютерах модели боевого столкновения с Россией Финские вооруженные силы используют компьютерные симуляции для моделирования возможных столкновений с Россией, говорится в недавней статье New York Times. При таком подходе к обучению два взвода солдат участвуют в имитации боевых действий с помощью компьютерных симулято...

[recovery mode] Просто об архитектуре в Android В нашем скромном мире разработки Android есть общепринятый подход к проектированию приложений - Clean Architecture, который рекомендуется Google. Несмотря на множество статей, посвященных этому стандарту, вопросы и споры вокруг того, как "правильно готовить" Clean Architectu...

Как ускорить LLM-генерацию текста в 20 раз на больших наборах данных Всем привет, я Алан, разработчик-исследователь в MTS AI. В команде фундаментальных исследований мы занимаемся исследованием LLM, реализацией DPO и валидацией наших собственных языковых моделей. В рамках этих задач у нас возникла потребность в генерации большого количества да...

Распознавание и перевод жестовых языков: обзор подходов Всем привет! В статье «Slovo и русский жестовый язык» мы рассказывали, как решаем задачу распознавания изолированных жестов, в статье «Русский жестовый язык: первое место в американском бенчмарке» делились результатами решения, а в статье «GigaChat и русский жестовый язык» р...

Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...

Перечислены скрытые признаки стресса По словам экспертов, «тихие» симптомы стресса можно легко не заметить, но в любом случае это важно для психического здоровья. Среди же явных признаков такого состояния выделяют гнев, раздражительность, нетерпеливость, мышечное напряжение.

Какие важные аспекты Agile не учитывают компании?  В мире жесткой конкуренции и борьбы за опыт клиентов, многие компании сталкиваются с тем, что их операционная модель и процессы не успевают за скоростью изменений. Поэтому многие компании стали рассматривать трансформацию своей модели управления на Agile, создавая...

Mail.ru внедрила искусственный интеллект для автоматизации техподдержки Российский сервис электронной посты, «Почта Mail.ru», успешно внедрил машинное обучение в техническую поддержку. Новая модель на базе нейронной сети автоматизировала первую линию поддержки, позволяя более эффективно распределять запросы пользователей и сокращать время обрабо...

DevX: ориентированный на разработчиков подход к измерению и повышению производительности Привет, Хабр! Меня зовут Олег Хромов, в МТС я руковожу центром «Управление разработкой». В статье расскажу, как мы оцениваем производительность IT-специалистов. Универсальные методы работают плохо, поэтому мы пришли к специально адаптированному для IT подходу под названием D...

Как совмещать работу с учебой. Что-то про тайм-менеджмент Всем привет! Меня зовут Даша и я системный аналитик компании SM Lab. Работаю в команде Brand Planning Tool. Наша команда BPT помогает брендам (таким как Fila, Demix, Northland) запускать новые коллекции. В этом я году закончила бакалавриат и поступила в магистратуру по напр...

Никогда не игнорируйте эти четыре признака рака Рак шейки матки может развиваться медленно, и многие его признаки похожи на побочные эффекты менструации. Поэтому обнаружить болезнь непросто. Но вот на какие симптомы точно стоит обращать внимание.

Простой способ обработки качественных исследований Данная статья может оказаться полезной начинающим менеджерам, аналитикам и дизайнерам. В ней рассказано о подходе, который поможет структурировать и упорядочить информацию, полученную из различных источников, таких как “one to one” встречи, глубинные интервью и другие подобн...

Гайд для системного аналитика: как управлять требованиями на разных этапах проекта. Часть 1: Инициация Жизненный цикл любого проекта включает в себя этапы инициации, планирования, исполнения, контроля и завершения. Гибкие методологии и итерационный подход используют в проектах по разработке программного обеспечения всё чаще. С ними этапы проекта повторяются несколько раз для ...

Airflow в Kubernetes. Часть 1 Приветствую!На пути инженера данных часто встречаются задачи связанные с DevOps. Одна из таких - развернуть Airflow в Kubernetes кластере. Если до этого похожего опыта работы не было, то эта задача может показаться нетривиальной. Конечно, можно выполнить несколько команд из ...

[Перевод] Как реализован SRE подход в Power BI Команда Power BI рассказала, как она обеспечивает надёжную, производительную и масштабируемую работу своего сервиса. В этой статье вы узнаете, как в Power BI устроен мониторинг состояния сервиса, как SRE команды устраняют инциденты и принимают меры по улучшению сервисов. Чит...

Kodein DI для Android. KMP и Compose Быть в авангарде в разработке — жизненная необходимость. Поэтому многие проекты уже переходят на Jetpack Compose, а самые смелые и продвинутые даже выпускают приложения на KMP. Мы в проекте Дринкит тоже активно переходим на Jetpack Compose (с KMP пока не сделали подход).Ну и...

Dream Chaser готовится к первому демонстрационному полёту К МКС Космический самолет Dream Chaser, разработанный компанией Sierra Space, проходит испытания на специализированном стенде NASA и готовится к своему первому демонстрационному полёту к МКС. Dream Chaser и его грузовой модуль Shooting Star на испытательном полигоне NAS...

Что общего между раком крови, лазерами и нейронными сетями? Доброго времени суток, дорогой Habr, надеюсь вы успели заскучать после 3-х месяцев паузы (ссылка на прошлую статью). На связи снова Николай Иванов и сегодня вы узнаете, что общего между раком крови, лазерами и машинным обучением.  В этой статье мы поговорим с вами о мет...

Модели вероятности дефолта: практические аспекты разработки и подводные камни Когда люди задумываются о профессии data scientist-а они в первую очередь вспоминают нейронные сети, которые создают красивые картинки или ведут с человеком псевдоосмысленные диалоги. Существует огромное количество материалов посвященных такого рода моделям, и они безусловно...

Сравнение локальных моделей машинного перевода для английского, китайского и русского языков "Машинный перевод – одна из наиболее актуальных и востребованных задач в сфере искусственного интеллекта, позволяющая снизить барьер в доступности информации на различных языках. Большинство данных в интернете представлены на английском и русском языках. Количество данных на...

Нейронные сети для новичков и профи: топ бесплатных курсов по ИИ Нейронные сети - одна из самых популярных и быстроразвивающихся областей в IT-обучении. Количество курсов и материалов по этой теме растет с каждым днем. К сожалению, не все из них качественные и действительно полезные.В этой статье мы собрали только лучшие бесплатные онлайн...

Борьба с энтропией в e-com. Как поддерживать актуальными данные о товарах в вечно меняющемся мире Всё течёт, всё изменяется. Особенно информация — она очень быстро устаревает. В e-com неактуальные данные о товарах могут сильно подпортить клиентский опыт. Если удовлетворенность пользователей — важный фокус вашей работы, мне есть чем поделиться :)Всем привет! Я Г...

Топовые подходы к решению алгоритмических задач Привет! Меня зовут Дмитрий Королёв, я бэкенд-разработчик в Авито. В этой статье я расскажу про ключевые аспекты и концепции работы с наиболее популярными алгоритмами и структурами данных. Это поможет и в реальных проектах, и чтобы глубже понять алгоритмические принципы. Стат...

Как стать надёжной базой Secure-base leadership или как стать надежной базой для коллег в нестабильные времена Сейчас набирает популярность относительно новый вид лидерства: secure base или «надёжная база». Этот подход в большей степени отражает контекст и потребности людей в вопросах построения карьеры и коммуникаций на работе. Во времена неопределенности важно, чтобы лидер мог воод...

JIRA + AI = LOVE или Как Product manager-у найти друзей и перестать страдать Развитие AI-инструментов на базе современных LLM запустило в последние годы тренд на автоматизацию всего, что прибито меньше, чем на 2 гвоздя, и первыми адоптерами здесь традиционно выступает IT сообщество. Как Луи Пастер некогда ставил себе и друзьям намешанные на голой кол...

Что такое генераторы статических сайтов и почему Astro — лучший фреймворк для разработки лендингов Всем привет! Недавно я решал задачу разработки сайта-лендинга для собственного проекта. У лендинга должна была быть админка, то есть данные для его содержимого должны были храниться и редактироваться на сервере. Поэтому я искал современный и мощный инструмент для генерации с...

HypEx и мэтчинг. Эксперимент без A/B-тестирования? Привет, Хабр! Меня зовут Дмитрий Тихомиров, я работаю в блоке «Финансы» в команде разработки HypEx (Hypotheses and Experiments) — open source-библиотеки для Python. Наша команда хотела придумать ёмкое название для фреймворка, чтобы оно отражало суть происходящего и помогало ...

Скелет, анимация, текстура: всё о создании 3D-модели человека по фотографии Всем привет! Меня зовут Ольга, я студентка второго курса НИУ ВШЭ магистерской программы «Системный анализ и математические технологии». В прошлом году я прошла отбор в совместный образовательный проект VK Education и НИУ ВШЭ — Инженерно-математическую школу (ИМШ), где стала ...

Собирать данные VS интерпретировать их: типичные ошибки в e-commerce аналитике Каждый день мы собираем больше 200 ГБ данных о клиентах Lamoda, которые листают сайт и делают заказы. Но красивые цифры про наше хранилище — это одно, а правильные выводы из данных — совсем другое.Меня зовут Александр Айваз, я руковожу командой Data & Analytics в Lamoda ...

Аналитика в игре на Godot: подключаем MyTracker Привет! Я Артем Ковардин, руководитель команды Push Service в RuStore. В этой статье я расскажу про подключение MyTracker в мобильную игру на Godot. Godot — замечательный движок для игр, но под него очень мало готовых плагинов. Особенно, плагинов для российских сервисов...

Python, Go или… готовим сырой видеопоток с полсотни камер В проектах, связанных с машинным зрением и обучением приходится работать с сырым видеопотоком с камер. Чтобы принимать, предобрабатывать и передавать эти данные нейросетям необходим отдельный программный компонент, который мы условно называем «видеоридер». Это микросервис, к...

Заметки о совмещении ролей в командах разработки Более 10 лет я наблюдаю за процессом разработки программного обеспечения, как изнутри, так и со стороны. За это время я занимал различные должности, от джуниора до техлида, тимлида и менеджера продукта. Сейчас совмещаю всё понемногу.Недавно менеджмент обратился ко мне с вопр...

Кратко про лидеров рынка Runbook Automation: Ansible, Puppet, и Chef Runbook Automation — это процесс использования специальных программных решений для автоматизации выполнения повторяющихся задач и процедур, которые в традиционных условиях выполняются вручную операторами IT-систем. RBA находит применение в автоматизации широкого спектра опер...

Колин Ву оценил ситуацию на рынке NFT как начало восстановления Известный аналитик Колин Ву заявил, что в прошлом месяце, когда рынок криптовалют в целом продемонстрировал признаки восстановления, основные торговые площадки NFT также зафиксировали положительные результаты

Практические аспекты ранжирования ответов виртуального ассистента Салют Всем привет! Меня зовут Аня Максимова, я занимаюсь NLP в команде Нейронные сети продукта Собеседник! 5 апреля проходила конференция Giga R&D Day, где мой коллега — Артем Снегирев рассказывал про практические аспекты ранжирования ответов виртуального ассистента ...

Как сделать автотесты гибкими и лаконичными При написании автотестов, так же как и при написании основного кода, важно придерживаться чистой архитектуры. Без нее мы можем столкнуться с некоторыми трудностями: при любых изменениях интерфейса потребуется обновлять код во множестве файлов, иногда тесты могут дублировать ...

Учёные научили роботов «здравому смыслу» Инженеры Массачусетского технологического института (MIT) разработали метод, который позволяет роботам логически адаптироваться к различным ситуациям при выполнении домашних задач. Они соединили данные о движении робота с «здравым смыслом», полученным из больших языковых мод...

Стоматолог предупредил о самых ранних признаках рака полости рта За последние 10 лет количество случаев рака полости рта выросло на 46%. Раннее обнаружение признаков этой болезни играет важную роль в том, насколько успешным будет лечение.

Кардиолог назвал первые признаки того, что ваше сердце работает плохо Профессор Энтони Матур, кардиолог и попечитель фонда Heart Cells, объяснил, что, когда сердце перестаёт работать должным образом, развивается сердечная недостаточность. И есть несколько характерных признаков этого состояния.

Игровая экономика Premium игр на примере PC 4х стратегии Как спроектировать экономику для вашей игры? Это вопрос, ответ на который может занять небольшой цикл лекций или статей. Принципиальная разница в подходе основана в первую очередь на модели монетизации: F2P или B2P. Второе, что определяет подход к разработке экономической си...

Вся линейка Samsung Galaxy S25 будет основана только на SoC Exynos? Свежие слухи говорят, что Snapdragon останется лишь у складных флагманов Согласно различным слухам, компания Samsung работает над совершенно новой SoC Exynos, которую якобы называют Dream Chip. Свежие данные говорят о том, что вся линейка флагманов Galaxy S 2025 года будет опираться на эту самую платформу.  Инсайдер Connor (OreXda), ко...

В борьбе со сложностью, или Как обуздать лог-экспоненциальный алгоритм (со ссылкой на код) В этой статье я расскажу об алгоритме, который помогает нам решить задачу дедупликации данных без идентификатора, дам контекст решаемой проблемы и словесное описание алгоритма с визуализацией. Реализацию алгоритма можно посмотреть по ссылке в заключении. Алгоритм решает прос...

Обновлённая Яндекс Погода для бизнеса составит прогноз для погодозависимых отраслей Нейросети в новой версии Яндекс Погоды для бизнеса предскажут динамику погодных показателей. По мнению разработчиков, это поможет компаниям, чей бизнес зависит от погоды, эффективнее планировать свою деятельность. Информация доступна предприятиям в личном кабинете в вид...

Мониторинг Apache Airflow. Оценка «прожорливости» тасок Всем привет! Случались ли у вас ситуации, когда количество DAG’ов в вашем Airflow переваливает за 800 и увеличивается на 10-20 DAG’ов в неделю? Согласен, звучит страшно, чувствуешь себя тем героем из Subway Surfers… А теперь представьте, что эта платформа является единой точ...

Ученые представили новый метод обучения ИИ на принципах хаотической динамики Ученые из Китая представили новый подход к обучению искусственных нейронных сетей, который внедряет хаотическую динамику, аналогичную той, что обнаружена в мозге. Они утверждают, что такой подход не только повышает эффективность обучения, но и улучшает обобщающую способность...

Инфраструктурный пентест по шагам: боковое перемещение и повышение привилегий в сети В предыдущих статьях мы изучили подходы к разведке и анализу целей, а также ключевые аспекты этапа сканирования. Теперь пришло время разобраться в анализе парольных политик, ACL и DNS, найти способы бокового перемещения и провести обзор основных актуальных техник повышения п...

Создать тест онлайн Эта статья предназначена для широкого круга специалистов, желающих углубить свои знания в создании и применении онлайн тестов. Независимо от того, являетесь ли вы HR-специалистом, маркетологом, учителем или разработчиком онлайн курсов, здесь вы найдете полезную информацию, к...

Диетолог назвала признаки того, что вы едите слишком мало белка Белок - важное питательное вещество, необходимое для наращивания мышц, поддержания здорового веса и укрепления иммунитета. Дестини Муди, зарегистрированный диетолог и спортивный диетолог из Garage Gym Reviews, рассказала, по каким признакам можно понять, что вам не хватает б...

Ученые МТУСИ разработали нейросетевую модель распознавания голосовых команд для системы управления роботом-манипулятором Взаимодействие человека с роботом-манипулятором все чаще входит в практику работы в пищевой промышленности и медицине. По словам ученых, для такой работы целесообразно по максимуму использовать возможности нейросетевой модели для распознавания и классификации голосовых коман...

Уроки форензики. Большой гид по артефактам Windows Для подписчиковСегодня мы поговорим об основных артефактах Windows, которые помогают исследователю обнаружить вектор компрометации, признаки бокового перемещения по сети и закрепления в системе, а также разберем тонкости работы с инструментами для анализа этих артефактов.

Jenkins: оптимизируя динамический пайплайн → распределённая сборка компонентов ОС В процессе улучшения подходов к менеджменту зависимостей компонентов нашей Операционной Системы появилась необходимость перейти от монолитной статической сборочной системы на основе CI/CD инструментов к динамическому распределённому подходу с порождением сотен и тысяч автон...

Эксперт назвал четыре признака того, что компрессор у вашего холодильника скоро перестанет работать Компрессор холодильника стоит очень дорого, а его замена может обойтись в половину стоимости самого холодильника. И вот какие признаки плохой работы компрессора нельзя игнорировать.

Это база машинного обучения Рассказать всё о машинном обучении на двух страницах текста — невыполнимая задача. Именно сложность и многообразие темы могут отталкивать тех, кто только начинает знакомство с ней. Однако мы хотим помочь на этом пути и дать упрощённое введение в машинное обучение, чтобы кажд...

CG Charger BQ: как TP4056, только на стероидах (BQ25895) Сегодня на нашем операционном столе очередное гениальное изобретение компании ClimateGuard — девайс под не менее гениальным названием CG Charger BQ. Расшифровке того, что же всё-таки скрывается под этими загадочными буквами BQ (что означают буквы CG постоянные читатели мое...

Финансовые данные: об измерении автокорреляции, тяжелых хвостах и других статистиках (Vol 1) Финансовые данные — одни из самых популярных данных для анализа сегодня. Однако применимы ли классические методы статистического анализа для работы с финансовыми данными? В данной статье мы обсудим ключевые свойства данных о доходностях финансовых активов и поговорим о подво...

Эксперты лаборатории реактивного движения NASA представили гибкого робота, который сможет исследовать подлёдный мир Энцелада Ученые из Лаборатории реактивного движения (JPL) NASA представили нового робота, способного исследовать ледяную луну Сатурна — Энцелад. Главная задача робота, получившего название Exobiology Extant Life Surveyor (EELS), заключается в поиске возможных признаков вне...

Создаем I2C Master Controller на Verilog. Пишем HDL код Закончив в предыдущей статье описание того, как должны осуществляться атомарные операции и каким образом осуществляется выполнение команд я бодро перешел к написанию HDL-кода. Пришлось разобраться с тем, как организовать FSM, как организовать считывание и выставление данных ...

Как я приложение на Compose писал Далеко не новость, что в мобильной разработке под Android развивается новый подход к построению UI. Он же Compose. Он же плейбой, филантроп и просто классная функционалочка, которая колоссально упрощает жизнь в процессе верстки пользовательского интерфейса. В статье буд...

Геометрия и навигация В этой статье будут рассмотрены некоторые проблемы и размышления, связанные с довольно интересной задачей коррекции/восстановления автомобильного трека на основе данных, полученных от MEMS датчика и навигационного приемника. Эта задача содержит много различных а...

[Перевод] Уэбб может напрямую проверить одну из теорий о тёмной материи Какова связь между галактиками и тёмной материей? Большинство, если не все галактики окружены ореолами этой загадочной, неизвестной, но вездесущей материи. И она также играет определённую роль в формировании галактик. Природу этой роли астрономы всё ещё выясняют. Сегодня они...

Организация корпоративной ИТ-инфраструктуры для 1С (50, 100, 200 пользователей) В данной статье мы рассмотрим пример подхода для создания инфраструктуры 1С в зависимости от количества пользователей. Читать далее

Как математика улучшает геосервисы и помогает быстрее сориентироваться Сегодня всё чаще требуется учитывать географическую привязку и выполнять поиск в локальном окружении клиента. Иными словами, регулярно возникает необходимость найти что-то (или кого-то) рядом с конкретным пользователем. «Где ближайший банкомат?», «Кто из друзей поблизости?»,...

Кто трогал мой mac? Ловим горничную или evil maid detection Я часто нахожусь в командировках и путешествиях, внимательно отношусь к безопасности своего macbook. Недавно, вернувшись в отель, я обнаружил признаки того, что кто-то что-то делал с моим ноутбуком в мое отсутствие.В этой статье мы рассмотрим способы, позволяющие узнать о по...

Моделирование показало, что жизнь может быть менее хаотичной, чем принято считать Давнюю гипотезу удалось опровергнуть с помощью компьютерного моделирования десятков процессов протекающих внутри клеток

ВСУ тратят на 2500 снарядов в день больше, чем получают с запада На данный момент пока всё в порядке, но уже есть признаки дефицита.

Чем могли бы заниматься аналитики свечного заводика: объясняем на реальных задачах В анализе данных много направлений — бизнес-аналитика, продуктовая аналитика, Data Science. Разбираемся в нюансах каждого вместе с сервисом онлайн-образования Яндекс Практикум.

Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.В этой статье будет вс...

[Перевод] 13 инструментов для тестирования методом «чёрного ящика» Инструменты для тестирования методом «чёрного ящика» сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное...

Дашборд управления бизнесом (P&L) в Metabase за 5 дней Один из важнейших инструментов в моей работе — дашборд с данными о прибылях и убытках компании P&L (он же БДР, он же отчет о финансовых результатах). Он помогает контролировать рентабельность бизнеса, эффективность отделов компании, прогнозировать прибыль и строить гипот...

Асинхронный API First API-First — один из популярных подходов к проектированию серверных приложений. Для обеспечения этого подхода создано множество программных продуктов. Однако сложно найти продукт, который поможет реализовать этот подход для серверных приложений, использующих брокеры сообщений...

ABC-XYZ анализ на Python. Управление ассортиментом и схемами поставок Управление ассортиментной матрицей и складскими запасами является нетривиальной задачей для бизнеса, требует аналитики и научного подхода к решению задачи. Одним из методов управления ассортиментом и закупками является ABC-XYZ классификация. Рассмотрим ее реализацию на Pytho...

Ozon Tech Community 1C Meetup Как сделать жизнь 1С разработчика проще? У нас есть ответ.Всем привет, меня зовут Евгений, я руководитель группы разработки финансовых систем 1С. Приглашаю вас на Ozon Tech Community 1C Meetup, 10 октября в Санкт-Петербурге.На встрече обсудим целую палитру тем: от подходов п...

Neural ODE: встреча с дифференциальными Уравнениями Дифференциальные уравнения и нейронные сети вместе? Не может быть или может... Neural ODE – подход в глубоком обучении, объединяющий идеи нейронных сетей и обыкновенных дифференциальных уравнений. Выглядит пугающе, давайте проверим! Читать далее

Базовый анализ продуктовых фичей Привет, я работаю продуктовым аналитиком и мои задачи, в большей степени, связаны с анализом пользовательского поведения в продукте.Пожалуй, чаще всего, мне приходится работать с разного рода исследованиями. В отдельную категорию можно выделить исследования интерфейсных реше...

ANNA – сервис для автоматической разработки нейронных сетей Нейросетевые модели уже несколько лет успешно применяются в Альфа-Банке для решения ключевых задач, таких как кредитный скоринг, прогнозирование склонности клиентов к продуктам и определение оттока. Модели глубокого обучения демонстрируют высокое качество и стабильно улучшаю...

Дообучение ruGPT-3.5 13B с LoRA Добрый день, уважаемые читатели и авторы Хабра!Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ре...

Российские ученые научили роботов-манипуляторов распознавать голосовые команды Группа ученых из Московского технического университета связи и информатики разработала нейросетевую модель, которая помогает роботам-манипуляторам распознавать голосовые команды с точностью 87,17%. Эта модель предназначена в основном для разработчиков роботов. На ее основе м...

Визуализируй это: как я обучаю джунов и ставлю задачи через диаграммы и графики Привет, меня зовут Сергей, я ведущий разработчик в DDoS-Guard и человек из мемов xkcd, который любит всё экстраполировать, истовый фанат визуализации данных. Диаграммы и графики решают кучу моих проблем с онбордингом джунов и объяснением задачи исполнителям. В этой стат...

Тот самый RAT-троян за 200 рублей: как защититься от RADX Всем привет! Меня зовут Валерий Слезкинцев, в Positive Technologies я руковожу направлением реагирования на конечных точках в отделе обнаружения вредоносного ПО в PT Expert Security Center. Наша команда занимается исследованиями MaxPatrol EDR в части выявления и реагиро...

Frontend внутри Bitrix. Использование и написание экстеншенов + SPA приложение на Vue или React В данной статье мы рассмотрим правильный подход к Frontend разработки в Bitrix. А именно разделение на расширения которые сможем подключать в любой момент времени. + напишем SPA приложение на React. Читать далее

[Перевод] Миф: наличие тестировщиков в Agile-команде необязательно В этой статье я постараюсь развеять один из самых распространенных мифов о разработке по Agile: «Необязательно иметь в команде тестировщиков. Разработчики могут тестировать сами». Я думаю, такой подход возможен в некоторых «особых» сценариях, но в любом случае это было бы не...

Ученые использовали VR для понимания ранних признаков болезни Альцгеймера Новое исследование, проведенное учеными Калифорнийского университета, показывает, что нарушение пространственной навигации может быть ранним признаком болезни Альцгеймера, проявляясь за несколько лет до проблем с памятью или других когнитивных нарушений.

Quantization Deep Dive, или Введение в современную квантизацию Привет! Меня зовут Василий Землянов, я занимаюсь разработкой ML-инфраструктуры. Несколько лет я проработал в команде, которая делает споттер — специальную маленькую нейросетевую модельку, которая живёт в умных колонках Яндекса и ждёт от пользователя слова «Алиса». Одной из м...

Как работает дедупликация данных в потоке Kafka-to-Kafka? Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей части «Как исп...

Варим кашу из нечеткой логики и вариационных автоэнкодеров Пока весь мир затаив дыхание следит за большими языковыми моделями и одни грезят о том, как подсадят всех на свои сервисы LLM, а другие прикидывают как заменить бездушными симулякрами если не зажравшихся айтишников, то хотя бы штукатур...

Как я ad-hoc задачи аналитиков автоматизировал Лид продуктовой аналитики о том, как спасал свою команду от ad-hoc-задач, что получилось, а что нет и как нужно было действовать. История внедрения изменений в команде аналитики. Читать далее

Улучшение кода без споров и цитирования известных практик Не секрет, что при формировании новой команды руководители (Team Leader, Tech Leader) сталкиваются с проблемой формирования единого стиля написания программ, так как все члены команды новые, и у каждого из них свой подход к организации кода и выбору используемой практики. Ка...

Внутренние данные: топливо успеха в банковской индустрии, или Тайны загрузки данных, формирующих будущее инноваций Внутренний источник данных в банке – это любой источник информации, который находится внутри банковской организации и генерирует данные самостоятельно. Эти данные хранятся исключительно внутри банка. Они выделяются уникальностью, бесплатностью (сформированы внутри ...

Мультимодальный трансформер для content-based рекомендаций На первый взгляд может показаться, что ничего интересного в области RecSys не происходит и там всё давно решено: собираем взаимодействия пользователей и товаров, закидываем в какую-нибудь библиотеку, которая реализует коллаборативную фильтрацию, и рекомендации готовы. В то ж...

Как провести unit-тестирование Flink-операторов: TestHarness Привет всем, на связи снова Александр Бобряков, техлид в команде МТС Аналитики. Продолжаем цикл статей про фреймворк Apache Flink.Напомню, в предыдущих частях я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Та...

«Рывок во всех генеративных задачах»: СберБанк представил следующее поколение чат-бота GigaChat Команда СберБанка представила первую модель следующего поколения фирменной генеративной нейросети GigaChat. Как отмечает пресс-служба, за счет изменения подхода к обучению в ней значительно улучшились практически все умения модели, от сокращения текстов и ответов на воп...

Подход, который помог нам точно оценить трудозатраты на разработку дизайн-системы При планировании проекта команде дизайна приходится отвечать на много вопросов. Главные — что делать, как долго и сколько это будет стоить. Ответы есть не всегда и точно не у дизайнеров, которые занимаются отдельными задачами и не видят картину в целом. Меня зовут Александр...

Осмысленная визуализация при анализе и проектировании в действии Диаграммы и иные средства визуализации являются одним из основных инструментов системного аналитика. Они используются для решения самого широкого круга задач: для создания моделей, представления данных, процессов и систем. Их применение помогает лучше понимать и анализироват...

Google отказалась от услуг компании, помогавшей обучать ее ИИ Google решила расторгнуть контракт с Appen, австралийской компанией, занимающейся подготовкой моделей искусственного интеллекта для Bard, Search и других продуктов Google. По словам представителя Google, этот шаг был предпринят в связи с тем, что Google оценивает и корр...

Курсы ЕГЭ по английскому языку: Ключ к успешной подготовке Единый государственный экзамен (ЕГЭ) по английскому языку – это важное испытание для многих школьников, которые стремятся поступить в вузы. Подготовка к этому экзамену требует не только знаний языка, но и умения правильно использовать их в рамках формата и требований теста. ...

Tierra Biosciences привлекла $11,4 миллионов для коммерциализации технологии синтеза белков, основанной на Искусственном Интеллекте Калифорнийская компания Tierra Biosciences представила инновационную платформу, использующую искусственный интеллект, для индивидуального синтеза белков. Эта технология, которая может применяться в фармацевтической, промышленной и сельскохозяйственной сферах, позволяет ...

Связь системных ограничений и UX-дизайна: как устроено взаимодействие в системном подходе Привет! Меня зовут Настя, я UX-дизайнер в отделе технологических проектов «Леруа Мерлен». Мы занимаемся разработкой внутреннего технологического портала — это единый фронт, где продуктовые команды могут получить услуги других команд в режиме Self-Service. Мы предоставляем ин...

Who are you, Platform Engineering: разбираемся с одним из главных технологических трендов. Часть 1 Platform Engineering — один из главных технологических трендов 2024 года. По оценке Gartner, к 2026 году 80% компаний, занимающихся разработкой, будут иметь внутренние платформенные сервисы и команды для повышения эффективности разработки.  Мы в VK Cloud предлагаем Dev Pl...

Как автоматизировать проверки данных в Airflow с Great Expectations Привет, меня зовут Дима Курганский, и я - MLOps инженер в команде машинного обучения в Банки.ру. Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations и его составляющие компоненты и хочет вывести его на прод с использованием Apache Airflow. Читат...

Кожаный мешок или генеративная сетка? Генерируем обложку книги ТЛДР одной картинкой. Задача. О чём эта статья. Задача у меня довольно понятная — нужна обложка для моей SciFi книги. Есть ТЗ, есть эскиз. Нейросети с таким не справятся, так как нужна сцена из книги, образы не мейнстримные, не представленные широко в массовой, и тем более ...

Бизнес-аналитик — мастер переговоров или как не сойти с ума, работая с требованиями Друзья аналитики и ценители данных!Меня зовут Виктория и я считаю, что аналитика - это не просто работа, а образ жизни. 10 лет погружения в мир данных научили меня выжимать инсайты из сухих цифр и видеть скрытые закономерности.Сейчас я также руковожу отделом аналитики в IT-к...

Учёные определили новые признаки жизни на планетах вне Солнечной системы, которые способен обнаружить «Джеймс Уэбб» Учёные из Массачусетского технологического института (MIT), Бирмингемского университета и других учреждений предложили новый подход для определения признаков жизни на планетах за пределами нашей Солнечной системы. Они предполагают, что низкое содержание углекислого газа...

Финские заключенные тренируют модели с искусственным интеллектом и зарабатывают 1,54 евро в час Подготовкой больших объемов данных для моделей ИИ часто занимаются низкооплачиваемые работники. Поскольку их трудно найти в Европе, финский стартап использует для этого заключенных.

Microsoft хочет улучшить процесс производства Surface с помощью ИИ Microsoft в своём блоге подробно рассказала о том, как команды Surface и Azure использовали облачные технологии высокопроизводительных вычислений для революции в процессе проектирования новых устройств линейки Surface. Заявляется, что это позволило уменьшить затраты и сокра...

[Перевод] Введение в оптику в Scala На протяжении всего этого блога я неоднократно упоминал о преимуществах сильной системы типов. Я рассказывал об уточнении типов (type refinement) для проверки значений, о рассчитанном на новичков и продвинутом подходе к выведению классов типов (type-class derivation) или о т...

Технологии интеграции ИТ систем Одной из основных задач для Enterprise архитекторов является проектирование и проведение работ по интеграции различных ИТ систем. Так типичной историей является наличие у заказчика каких-то решений, либо не взаимосвязанных, либо частично связанных между собой и архитектору н...

Альтернативный вариант к подходу хранения SQL-кода в репозитории и его разработке Приветствую, current_user()!Хочется тебе показать, как можно хранить sql-скрипты объектов БД так, чтобы было удобно и разработчику, и ревьюеру, а так-же рассказать о плюсах и минусах такого подхода.Так-же хотелось-бы узнать твоё мнение о таком подходе и обсудить, возможно ст...

Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.

MANIFESTO: Формализуем принципы работы команды Одной из сложнейших задач, но при этом важнейших, для тимлида является построение эффективного взаимодействия внутри своей команды. Почему это так сложно? Потому что команда — это, в первую очередь, люди, которые имеют различные ценностные качества, принципы, компетенции, ст...

Новая техника скрытого извлечения данных из реестра: анализ и рекомендации по защите Недавно в сети появился инструмент, который позволяет получить учетные данные из реестра Windows без взаимодействия с файловой системой — непосредственно из памяти. Детектировать такие атаки средствами штатного аудита очень непросто. В статье сравниваем механизм работы новой...

Как ответить на вопрос «Когда будет готово?» на основе статистики Всем привет! Я Анастасия Жадринская, деливери-менеджер в Тинькофф. Да, эта статья опять про оценки и сроки выполнения задач. Сроки без вуду, астрологии, гаданий и привлечения экспертов. В статье рассмотрю метод Монте-Карло — элегантный и простой в применении математический п...

Как визуализация приоритетности задач позволила нам ускорить процесс разработки и сделать его прозрачным для всех Какое-то время назад мы столкнулись с проблемой: сроки нашей разработки и темпы реализации начали сильно стопориться. При запуске фичей команда сталкивалась с отсутствием прозрачности при отображении объема задач в спринте. У одного разработчика в работе могло находиться сра...

Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных Привет, Хабр! Меня зовут Владислав Абрамов, я аналитик в команде разработки компании Easy Commerce. Перед нами стояла задача создать алгоритм, который определяет влияние характеристик карточки товара на поисковую позицию в крупнейших российских маркетплейсах. Большинство из ...

Управление контейнерами из Kotlin-тестов Нередко для выполнения тестов требуется запуск вспомогательных сервисов (баз данных, брокеров очередей и др.) и стандартной практикой в подходах DevOps является запуск тестов внутри управляемого окружения, где сначала создается контейнер с JVM, после чего внутри конвейера CI...

Алгоритм генерации столбцов (Column Generation) Генерация столбцов - подход к решению задач смешанного линейного программирования (MIP) с большим кол-вом переменных или столбцов.В статье представил теоретическую предпосылку, схему алгоритма и python реализацию подхода. В практической части рассмотрел решение двух задач: з...

МО РФ подтвердило нанесение группового удара с применением «Кинжала» по энергосистеме и предприятиям ВПК Украины Всё-таки не массированный. Хотя были все признаки именно массированного удара. Видимо, на грани.

«Группа Астра» и «Норникель» подписали меморандум о сотрудничестве Сотрудничество будет направлено на популяризацию отечественных ИТ-решений, научно-техническую проработку подходов к интеграции технологий, апробацию инноваций, консолидацию практического опыта и др.

[Перевод] Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, п...

Почему студентам и ученикам лучше отказаться от кофе Кофеин, возможно, мешают обучению Нашему мозгу регулярно приходится решать самые разные задачи, которые могут сильно отличаться друг от друга, например — изучать новый язык, запоминать прочитанную информацию, принимать решения в различных жизненных ситуациях и т.д. Чтобы реш...

[Перевод] Разметка данных при помощи GPT-4 Разметка данных — критически важный компонент проектов машинного обучения. К ней применима старая поговорка «мусор на входе — мусор на выходе». В процессе разметки создаются аннотированные датасеты для обучения и проверки. Однако этот процесс может быть длительным и дорогос...

Нейросети помогают продавать автомобили: в «Авто.ру» можно генерировать объявления с помощью YandexGPT Команда Яндекса объявила о запуске нового сервиса на основе фирменной генеративной нейросети на платформе «Авто.ру». Теперь все продавцы «Авто.ру» смогут написать объявление о продаже автомобиля с помощью YandexGPT.  Сгенерировано нейросеть...

Децентрализованное доверие. 1. Гипотеза Данная публикация - это приглашение к обсуждению концепции децентрализованных систем. Здесь только изучение интереса, обсуждение целесообразности и реализуемости. Чтобы не грузить читателей абстракциями, попробую описать гипотетическую децентрализованную сеть через неск...

Как менять подход к управлению с ростом команды и проекта Когда в команде больше семи человек, а руководитель продолжает ежедневно писать код и настраивать серверы — это настораживает. В большинстве ситуаций такой подход к управлению не идёт на пользу проекту. А ещё это выглядит как отсутствие доверия к сотрудникам, что тоже не оче...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Тесты: 100% покрытия и юниты не нужны Мы покрываем код тестами, когда хотим быть уверенными, что в негативных сценариях он сработает надёжно. Хочется, чтобы тесты были не бланковой заглушкой, а полезной нагрузкой, которая позволит считать, что наше поведение достаточно валидное. Так мы можем обеспечить корректно...

3D-GPT: новый подход к 3D-моделированию Система искусственного интеллекта может упростить и сделать доступным создание 3D-контента

Проектирование и строительство развязок в Тюмени осуществляется с применением ТИМ Главное управление строительства Тюменской области рассказало о применении технологий информационного моделирования дорог и транспортных развязок.

Историческое событие: Tesla отказалась от 300 000 строк кода C++ и перевела автопилот FSD на «сквозные нейронные сети» Tesla начала распространение обновления FSD Beta v12, которое должно представит то, что генеральный директор Илон Маск назвал «сквозными нейронными сетями» (end-to-end neural nets). Самое большое отличие от предыдущих версий системы автопилота FSD заключаетс...

Методы оценки руководителей Руководители не только определяют стратегическое направление компании, но и вдохновляют свои команды на достижение общих целей. Именно поэтому оценка руководителей является важнейшим инструментом в руках современного HR-специалиста и топ-менеджмента. Она позволяет не только ...

Опыт внедрения компонентной разработки Привет! Меня зовут Александр Омельяненко, я работаю тимлидом Flutter-команды в AGIMA. Расскажу, как и почему на одном из наших проектов мы внедрили компонентный подход к разработке и какие плоды нам это дало. В статье покажу основные плюсы и минусы нашего решения. А еще затр...

Патенты на применение галлия в России и мире: краткий анализ Мы продолжаем нашу серию материалов, посвященных различным химическим элементам. В этой статье мы расскажем о галлии и патентом аспекте его применения в России и мире.    Читать далее

Годовой дайджест по аналитике и ML за 2023 Привет, Хабр! Я Стас, занимаюсь развитием аналитических и ML-продуктов в Selectel. В новом мега-дайджесте мы с командой собрали для вас свои лучшие материалы по итогам 2023 года. Читайте и сохраняйте в закладки: пригодится всем, кто хочет быть в курсе новостей и актуальных ...

Где открыть магазин? Путешествие в геопространственный анализ и обратно В статье расскажу поподробнее про оценку локаций для бизнеса.Проблема классическая: ищем место для открытия нового магазина/ресторана/пиццерии.Сразу скажу, что при помощи гео я решал очень узкий набор задач:• Оценить существующие локации с т.з. плотности населения, конкуре...

Взгляд НСИ на VBA в Excel и не только Салют! На связи Ганзюк Владимир. Тружусь инженером по нормативно-справочной информации (НСИ) в компании Bimeister.Хочу поделиться с вами опытом работы с Excel: расскажу, как можно ускорить выполнение рутинных задач при работе с составлением наименований согласно нормативно-т...

Один на 150 миллионов операций. Расследуем причины выброса времени отклика в операциях ввода-вывода Привет! Я Александр Пищулин, перфоманс-инженер в компании YADRO. Сегодня расскажу об одном интересном случае траблшутинга в работе с системой хранения данных — он касается выброса времени отклика. Поиск причин сбоев, наверное, одно из самых увлекательных занятий в моей работ...

DQFirewall: контроль качества данных как сервис Екатерина Мельникова, начальник Центра технологий управления данными Газпромбанка, – об альтернативном подходе к контролю качества данных в системах-источниках, реализованном в ходе проекта DQFirewall.

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

Непрекращающиеся AB-тесты: как делать продукт лучше и знать об этом Основное предназначение A/B тестов — оценить эффективность вносимых изменений и, в случае увеличения целевых метрик, зафиксировать эти изменения, а в случае снижения — откатить. Как правило, один из критериев хорошего дизайна A/B-теста — это конкретное и реалистичное с практ...

Кеширование next.js. Дар или проклятие В 13 версии команда next.js представила новый подход к проектированию приложения - так называемый App Router. В 14 версии его сделали стабильным и основным для новых приложений.App Router значительно расширяет функционал next.js - частичный пререндеринг, шаблоны, параллельны...

Аналитика с актуальной версией платформы Visiology доступна в безопасной среде ОС Astra Linux Работая с BI-решением Visiology в среде операционной системы Astra Linux, организации получат доступ к информации и полный набор инструментов для сбора, анализа и отображения данных из различных источников.

Метод K-ближайших соседей (KNN). Принцип работы, разновидности и реализация с нуля на Python К-ближайших соседей (K-Nearest Neighbors или просто KNN) — алгоритм классификации и регрессии, основанный на гипотезе компактности, которая предполагает, что расположенные близко друг к другу объекты в пространстве признаков имеют схожие значения целевой переменной или прина...

В пакет «МойОфис» внедрили чат-бот GigaChat от Сбера Создатели программного обеспечения «МойОфис» интегрировали в экосистему генеративную нейросеть GigaChat Сбербанка. Об этом сообщила пресс-служба компании на международной конференции AI Journey 2023.  Иллюстрация: МойОфис Чат-бот GigaChat интегрирован ...

Перечислены ингредиенты, которые помогают бороться с признаками старения Джошуа Зейхнер, доктор медицинских наук, и другие дерматологи рассказали, какие ингредиенты обладают лучшим антивозрастным эффектом.

SimulIDE: открытый симулятор цифровых схем и микроконтроллеров В этой заметке я решил рассказать о SimulIDE. Это относительно новое программное средство с открытым исходном кодом, предназначенное для моделирования 8-битных микроконтроллеров семейств AVR и PIC, а также прочих электронных схем. По интерфейсу SimulIDE напоминает Proteus. S...

Метод SMART. Что это и почему про него важно знать руководителю? Привет! Меня зовут Лера, я в управлении проектами уже 7 лет. Реализовывала проекты на стыке AR/VR/ML-технологий в сервисной компании. Сейчас работаю в EdTech и параллельно занимаюсь менторством начинающих проджектов и руководителей.Прежде чем мы перейдем к основной...

Анти-легаси архитектура для UI приложений В предыдущих статьях мы пришли к выводу, что для того, чтобы UI‑код не превращался в легаси, нам нужно отделить представление от бизнес‑логики и немного иначе, чем это делают Redux и Elm, так как оба подхода не позволяют сделать э...

Реализация слоев в NN (часть 1) Не приходил ли вам когда-нибудь в голову вопрос о том, как устроены слои нейронных сетей под капотом? Задумавшись над этим вопросом, я перерыл интернет в поисках полноценной реализации слоёв, но находил лишь отдельные куски кода или слишком упрощенные примеры, где чаще всего...

ВРМ. Смарт-инструменты «Таблица -> Схема» для формализации бизнес-процессов. Рестайлинг ARIS SmartDesign Ставится задача повторить доселе непревзойдённый ARIS SmartDesign, который по табличному представлению процесса автоматически рисует схему процесса (структуры чего-либо). Схемы процессов желательно строить в нескольких процессных нотациях (EPC, VAD и т.п.). ARIS SmartDesign ...

Чем занимаются бизнес-аналитики и как их нанимают: рассказывают работодатели и специалисты Бизнес-аналитик работает на стыке бизнеса и IT — помогает крупным компаниям разобраться в процессах и улучшить их, выступая звеном между заказчиком и командой разработки. Более точное определение дать сложно, потому что задачи, навыки и инструменты бизнес-аналитика в разных ...

Динамика падения на рынке ПК снижается По данным IDC, мировой рынок компьютеров остается в упадке, но при этом демонстрирует признаки восстановления.

Оптимален ли блокчейн для хранения идентификационных данных? Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изучен...

Команда «Kcell» путь к победе на KazHackStan 2023 Привет, Username, в данной статье я хочу рассказать тебе о конференции KazHackStan, которая прошла 13-15 сентября 2023 года. Также, поделиться информацией о некоторых векторах атак на полигоне и подготовке, которая позволила нам - команде "Kcell" - завоевать почетное первое ...

Как избежать типичных ошибок при проведении оценки персонала Проведение оценки персонала не только помогает определить уровень компетенций и профессиональных навыков сотрудников, но и выявляет потенциал для их дальнейшего развития. Однако, несмотря на её значимость, многие организации сталкиваются с типичными ошибками, которые могут и...

Amazon превращается в лидера индустрии робототехники: число роботов увеличилось более чем вдвое за три года Компания Amazon значительно увеличила количество роботов, которые работают в центрах по обработке заказов, и теперь претендует на звание крупнейшего производителя промышленных роботов в мире. Согласно отчету Business Insider, количество роботов выросло с 350 000 в 2021 ...

Удалённое исполнение кода в ML: подходы и инструменты. Доклад Яндекса Всем привет. На связи Артём Гойлик @ArtoLord и Владислав Волох @Chillintano из команды DataSphere в Yandex Cloud. Мы создаём инфраструктуру для ML-разработчиков. И сегодня расскажем про одну задачу, которая, как и многие другие, начиналась с болей наших пользователей. Чита...

Как AI помогает повседневной работе команды разработки Статья ориентирована на читателя, который еще сомневается в том, стоит ли ему пробовать чат‑боты в работе. Если вы знакомы с технологией и пробовали её в повседневной деятельности то вряд ли найдете её полезной.Немного расскажу о реаль...

Samsung Knox появится и на умных телевизорах Технология Samsung Knox уже десять лет является важнейшей частью устройств компании Samsung, защищая пользователей от утечки информации, различных взломов и прочих неприятностей. А теперь корейская компания официально объявила, что ей система безопасности данных будет расшир...

Как сделать макеты удобнее для команды Привет! Меня зовут Владимир Крылов, и я проектирую внутренние сервисы в Ozon.Продуктовые дизайнеры упаковывают решения проблем в макеты, которые часто смотрят коллеги: другие дизайнеры, менеджеры, аналитики, разработчики и QA-инженеры. Важно, чтобы макеты были максимально по...

Биткоин устремился вниз, а аналитики ожидают прихода Медведей и падения активности Китов Bitcoin подешевел до 64 тысячи долларов и демонстрирует все признаки медвежьего цикла

Вестник DeFi: аналитики зафиксировали признаки возрождения DeFi, а TVL продолжил расти Сектор децентрализованных финансов (DeFi) продолжает привлекать повышенное внимание криптовалютных инвесторов

Россия фиксирует подготовку к ядерным испытаниям в Неваде Заместитель министра иностранных дел РФ Сергей Рябков: есть признаки того, что на Невадском полигоне ведутся или велись, по крайне мере, до последнего времени соответствующие работы.

Уроки 3D моделирования в 3D редакторе Blender 4.0 от 3Dtool. Отвечаем на вопросы зрителей. Часть №4. Всем привет, Друзья! С Вами компания 3DTool!"Blender 3D" популярный 3D редактор практически для любых задач. Знание и умение работы в нем являются отличным дополнением к 3Д принтеру или станку ЧПУ. В Blender 3D вы можете смоделировать любой желаемый объект и отправить его на...

3D-печатные капсулы с реактивами ускоряют подготовку химических экспериментов Исследователи из Санкт-Петербургского государственного университета и Института органической химии имени Н. Д. Зелинского представили технологию, повышающую безопасность и эффективность лабораторных исследований. Методика предполагает использование 3D-печатных полимерных кап...

Автоматизированная торговля акциями с использованием глубокого обучения с подкреплением В этой статье мы начинаем рассматривать практическое применение библиотеки FinRL для построения торгового агента. В предыдущей статье мы вкратце рассмотрели библиотеку FinRL, предоставляемые ей возможности моделирования рынка и обучения торговых агентов на основании алгоритм...

The Wall Street Journal: На поле боя нет признаков того, что Россия проигрывает Автор статьи утверждает, что российское государство не истощается в отличие от Украины.

В мае Microsoft проведёт специальное мероприятие о Windows, Surface и ИИ Microsoft разослала представителям СМИ приглашение на мероприятие, которое состоится 20 мая в преддверии конференции Build 2024. Сообщается, что на этой презентации генеральный директор Microsoft Сатья Наделла расскажет о перспективах внедрении ИИ в аппаратном и программном...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

Современный способ организации зависимостей в Android. Version catalog и Gradle convention plugin Я — Денис, Middle Android-разработчик в «Лайв Тайпинге». В этой статье я расскажу о современном подходе организации зависимостей в Android. Вы узнаете как использовать version catalog и convention plugin в вашем проекте. Читать далее

Kerberos простыми словами Несмотря на то, что уже существует множество различных статей про Kerberos, я всё‑таки решил написать ещё одну. Прежде всего эта статья написана для меня лично: я захотел обобщить знания, полученные в ходе изучения других статей, документации, а...

Введение в Apache Flink: осваиваем фреймворк на реальных примерах Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет ...

Что ночные кошмары могут рассказать о вашем состоянии Иногда тяжёлые сны — это признаки серьёзных заболеваний.

О каких психических расстройствах говорит беспорядок в квартире Иногда домашний беспорядок легко объяснить, но в некоторых случаях это — признак психических расстройств Многим людям не удается постоянно сохранять чистоту в доме, особенно если они являются членами больших семей. В комнатах часто разбрасываются личные вещи, в ванной копитс...

Переход с Vue-CLI на Vite: ускоряем разработку Vue 3 Одним из новых инструментов в арсенале Vue 3 является Vite - быстрый и легковесный бандлер, который значительно упрощает процесс разработки и ускоряет сборку проекта. В этой статье мы рассмотрим, как перейти от стандартного подхода с использованием Vue-CLI и Webpack к более ...

Клонирование голоса из музыки, удаление движимого текста из видео и новые фишки во второй части обновления Wunjo AI Привет, Хабр! Наконец, после множества бессонных ночей, я завершил работу над второй частью обновления open-source проекта Wunjo AI и воплотил своё видение приложения. В этом обновлении основное внимание уделено звуку: улучшено клонирование голоса, извлечение вокала или мело...

Unpacking аналитиков: виды, особенности и отличия Приветствую всех читателей Хабра!Меня зовут Белоусова Александра, я развиваю направление по обучению и стажировкам аналитиков в «Автомакон». У меня довольно разнообразный профессиональный опыт: была и бизнес-аналитиком, и системным, и аналитиком данных, руководила проектами ...

[Перевод] Книга «Грокаем машинное обучение» Привет, Хаброжители! Машинное обучение — это набор методов анализа данных, основанных на алгоритмах, которые дают все более точные результаты по мере поступления новых данных. Машинное обучение лежит в основе систем рекомендаций, программ распознавания лиц, «умных» колонок ...

НИЯУ МИФИ и Открытая Мобильная Платформа начинают сотрудничество в области мобильных технологий ООО «Открытая мобильная платформа» и НИЯУ МИФИ подписали соглашение о стратегическом сотрудничестве, основным направлением которого станет развитие экосистемы мобильной операционной системы Аврора, включая подготовку специалистов и проведение исследовательских работ.

Бьемся с индексацией парных неравенств в планах PostgreSQL Я уже не раз писал, что условия с несколькими неравенствами (<, <=, >=, >) обычно плохо подходят для индексирования "классическим" btree, вызывают "тормоза", и необходимо придумывать различные нетривиальные подходы в PostgreSQL, чтобы добиться хорошей производите...

Исследование: иммунотерапия перед операцией улучшит результаты лечения рака Исследование, проведенное специалистами UCLA Health Jonsson Comprehensive Cancer Center, показало, что комбинированное применение иммунотерапии и химиотерапии до операции безопасно и способно улучшить результаты лечения рака поджелудочной железы. Данные исследования показали...

[Перевод] Data Mesh – ячеистые топологии для работы с данными Из каких соображений можно хранить данные в виде ячеистой сети Во всех организациях, где мне доводилось работать, всегда понимали важность данных. Поэтому я видел, что руководство либо заинтересовано, либо прямо планирует создать платформу нового поколения для обращения с ...

[Перевод] Какой будет GPT-2030? Это перевод статьи Якоба Стейнхардта, где он описывает и обосновывает свои оценки того, как будут выглядеть языковые модели в 2030 году. Статья подводит базу для ещё двух, в которых он описывает возможные при наличии подобных систем катастрофические сценарии. Их переводы тож...

Что не увидит SCA Всем привет!

Любимая задачка на знание React Всем привет! Меня зовут Олег и я fullstack-программист в компании Тензор. Опыт в разработке, без малого, 20 лет (как-то раз батя спаял на кухне ZX Spectrum и все заверте..., сам не понял как так вышло). В данный момент являюсь тимлидом собственной команды разработчиков, кото...

False или не false? При расследовании инцидентов есть несколько ключевых моментов этого процесса для аналитиков, на которые в данной статье мы обратим внимание – это корректность самого расследования, верная категоризация произошедшего, а также приоритет. Грамотно расставленные приоритеты, а им...

Отслеживание ради анализа гипотез Статья является рассуждением о том, что комбинация между отслеживанием тех или иных метрик (привычек) и ведением дневника может создать больше возможностей для нахождения инсайтов и формирования каких-либо систематических и при этом продуктивных знаний о себе и своём поведен...

Моделирование курса валют методом Монте-Карло Метод Монте-Карло — это мощный инструмент стохастического моделирования, который используется в самых разнообразных областях науки и инженерии. В финансах, этот метод часто применяется для анализа и прогнозирования временных рядов, таких как курс валют или акций. Использован...

Сказки про ИБ в машинном обучении Всем привет! На связи Ozon, и мы спешим вас поздравить с наступающим Новым Годом! С вами Дед Мороз Никита Губорев — специалист по информационной безопасности Ozon Tech.В настоящее время модели машинного обучения становятся все более популярными и широко применяются в различн...

Приключение SAM в Японии или как компьютерное зрение видит гейшу Привет! Я занимаюсь разметкой данных для ИИ: экспертно и с большой любовью. Задачи компьютерного зрения — одни из самых популярных и поэтому поговорим про них.Прочитав статью вы узнаете как алгоритму отличить гейшу от китаянки, кто такая майко, как не перепутать лапшу с авто...

Фитнес-тренер перечислила основные признаки вреда от тренировок Фитнес-тренер Елена Соболь назвала основные признаки вреда от тренировок.

Заметки руководителя проекта: советы начинающим, факапы для бывалых Привет, Хабр!Меня зовут Кристина Спирина, я руководитель проектов в IT.Сегодня мы пройдем по жизненному циклу проекта, на каждом этапе поговорим о важных моментах, о факапах, с которыми мы с командой сталкивались на практике, и о том, как мы их исправляли.В своей работе я оп...

Stack Overflow ввел плату за доступ к знаниям программистам всего мира для ИИ Stack Overflow, популярная платформа вопросов и ответов для программистов, объявила о существенном изменении своего подхода к доступу к данным и их использованию большими языковыми моделями (LLM).

Шаблонизируй это или Как ускорить разработку при помощи одного документа Привет! На связи лид команды аналитиков Magnus Tech Владислава Никитина.В заказной разработке каждый проект начинается со сбора бизнес-требований к будущей системе. Это важный этап, ведь именно здесь определяются контуры задач, которыми займутся разработчики. И с ним связан ...

Кратко про микросервисы на Scala и Erlang Привет, Хабр!Микросервисы давно являются некой "попсой" для создания гибких, масштабируемых и отказоустойчивых систем. И естественное имеет свою реализацию в функциональном программирование.В статье рассмотрим два языка программирования, которые выделяются своим функциональн...

Токены. От появления до продвижения в Active Directory О токенах, используемых в операционных системах семейства Windows слышали многие, ведь они являются важным звеном, участвующим в контексте безопасности всей операционной системы. Данная статья является результатом моих наработок о токенах. В ходе написания данного материала ...

Оптимальный Power Limit для deep learning задач на RTX 3090 Недавно я купил б/у RTX 3090 для экспериментов с обучением нейронных сетей и выяснил, что карта сильно нагревается и потребляет много энергии. После понижения power limit до 250 Вт производительность упала не так сильно, как я ожидал. Я решил исследовать, как ограничение мо...

Чем бизнес-аналитик отличается от системного и почему для проектов цифровой трансформации вам нужно два специалиста Привет, Хабр! Я Владимир Хрипун, руководитель центра компетенций по развитию BPM-систем в Первой грузовой компании. Сегодня разберем с вами, чем бизнес-аналитик отличается от системного и почему для проектов цифровой трансформации вам нужно два специалиста. Статья будет поле...

CatBoost Добрый день, уважаемые читатели Хабра! CatBoost – алгоритм, разработанный специалистами из Yandex, представляет собой нечто большее, чем просто ещё один инструмент в арсенале данных науки. CatBoost – это гармоничное сочетание инноваций и эффективности, особенно когда дело до...

KLIPPER: О подключении бюджетного дисплея "RepRapDiscount Full Graphics Smart Controller" к 3D контроллеру "BTT SKR E3-DIP". Оба моих принтера с "рождения" и до сей поры работали и работают на прошивке Marlin и в принципе не особо жаловались на свою трудовую жизнь. Да и меня в общем всё устраивало. Печатаю я немного, в основном техничку и всё вроде бы нормально, но всегда ведь хочется чего-то лучш...

Атаки на Bluetooth. Часть 1 Снова приветствуем всех заинтересованных и случайно попавших на эту статью! Продолжаем рубрику "Без про-v-ода", в основном мы разбираем для вас атаки на Wi-Fi, но в этой статье мы затронем одну из популярных беспроводных технологий - Bluetooth. Все мы каждый день им пользуем...

Почему нельзя сделать прогноз CLTV с помощью одной модели Или как превратить набор продуктовых моделей склонности и оттоков в полноценный инструмент прогнозирования продуктового состояния клиента.В чём специфика задачи оценки СLTV в банке? К каким математическим задачам она сводится? Как их решить и почему стандартные способы, напр...

Опыт автоматизации управления FPGA-стендами для распределенной команды: отказ от готового решения и работа над ошибками В software-разработке с автоматизацией обычно все неплохо: более-менее понятно, как настроить CI и автоматизировать отдельные этапы CI-конвейера. Есть множество готовых решений и практик. Но, когда речь заходит об автоматизации тестирования на «железе», появляется множество ...

[Перевод] Проблема объёма логов Когда на нашей рабочей системе происходит какая-либо ошибка, нам хочется, чтобы логи содержали всю необходимую информацию о том, из-за чего она произошла. На достаточно сложных системах это приводит к сбору большого количества данных: какие этапы обработки были выполнены, с ...

Как оценить лояльность сотрудников? Лояльность сотрудников — не просто маркер удовлетворённости работы, это фундаментальный показатель, который напрямую влияет на стабильность и успех компании. Понимание того, насколько сотрудники преданы своему делу и компании, помогает руководству формировать более эффективн...

[Перевод] О Prepare statements, серверном кэше скомпилированных запросов или как эффективно кэшировать запросы в YDB Существуют различные способы снижения стоимости выполнения SQL-запросов в современных СУБД. Наиболее распространенными подходами являются использование подготовленных запросы и кэширование. Оба метода доступны в YDB.Кэширование запросов позволяет ско...

Заменят ли LLM людей в разметке данных для AI? Привет! Использование ИИ в разметке данных для него же — уже скорее необходимая потребность, нежели что-то удивительно новое. Разного рода экспериментами с авторазметкой данных нейронками мы занимаемся последние полгода и результаты — нравятся.В данной статье я детально расс...

6 признаков того, что вы становитесь лучше с каждым днём Пора узнать, приносят ли вам пользу статьи о саморазвитии и какого прогресса вы уже добились на этом пути.

[Перевод] Куда уходят разработчики после сокращений? Можно с уверенностью сказать, что 2023 год стал annus horribilis в том, что касается сокращений по технологическому сектору. После пандемии COVID-19 развитие бизнеса замедлилось и технологические компании стали поддаваться давлению со стороны инвесторов, то есть компенсирова...

В ОАК собрались создать истребитель шестого поколения и рассказали о его признаках Но до появления такой боевой машины придется подождать

На культовом ПК Commodore 64 из 1982 года запустили модель ИИ, которая создаёт изображение 8 х 8 пикселей за 20 минут Для работы с искусственным интеллектом сейчас используют либо специализированные процессоры, либо GPU, либо NPU. А авто канала Nick Bild решил попробовать задействовать культовый компьютер Commodore 64.  Это очень старый ПК, вышедший на рынок в 1982 году. Он основ...

Взгляд в хранилище данных. Анализ диска с помощью Kali Linux В данной статье мы рассмотрим основные инструменты и методы, предоставляемые Kali Linux, для анализа содержимого дисков, включая методы извлечения данных, анализ файловой системы, поиск удаленных следов и многое другое. Погрузимся в мир цифровой форензики и обнаружения инфор...

Оценка эффективности программ обучения В этой статье мы поговорим о том, почему оценка эффективности программ обучения является неотъемлемой частью образовательного процесса, какие методы и подходы можно использовать для оценки и какие инструменты могут помочь в этом нелегком деле.Статья адресована HR-специалиста...

Open Research Knowledge Graph: новый подход к научной коммуникации На сегодняшний день для представления и обмена результатами исследований мы используем методы, которые были разработаны много веков назад. С момента зарождения современной науки (публикации первого научного журнала "Transactions of the Royal Philosophical Society", 1665 г.) ...

В Красноярске создадут центр ИИ для промышленности На базе Сибирского федерального университета (СФУ) в 2024 году откроется Центр компетенций в сфере применения искусственного интеллекта (ИИ) для промышленности. Новый центр будет заниматься решением актуальных задач для различных отраслей, в первую очередь металлургической и...

Нотация моделирования архитектуры С4 — примеры диаграмм и инструменты Если возникает вопрос об описании архитектуры системы, то есть несколько основных решений где и как это сделать. Среди популярных нотаций для визуализации схемы архитектуры можно выбрать C4, разработанную Саймоном Брауном.В этой статье я хочу показать пример применения нотац...

Интероперабельность с нативным кодом через платформу .NET Привет, Хабр!Часто некоторые проекты требуют от нас все более новых подходов к решению задач. Одна из таких задач - эффективное взаимодействие управляемого кода .NET с нативным кодом, которое позволяет по максимуму использовать ресурсы ОС и другого ПО, написанного не на .NET...

[Перевод] С алгоритмами в духе LeetCode на собеседованиях пора кончать Современная разработка охватывает широкий диапазон от работы с алгоритмами до системного дизайна. По большей части разработка ПО укладывается в эти рамки. Основная масса разработчиков занимается созданием приложений, что ближе с системному дизайну, чем к низкоуровневым алгор...

Data-driven подход в HR: как не терять деньги и время из-за ложных данных Строим успешную стратегию, опираясь на цифры.

Новый раскладной смартфон Tecno Phantom V2 Fold уже на подходе Компания Tecno, судя по всему, работает над преемником своей раскладной модели Phantom V Fold. Новинка, очевидно, получит название Tecno Phantom V2 Fold, ранее она была замечена в базе IMEI, а теперь засветилась и в бенчмарке Geekbench. Благодаря этому стали известны не...

Huawei заметно подпортила Apple жизнь в Китае. Продажи iPhone 15 обвалились, китайцы выбирают Huawei Mate 60 Pro Данные исследовательской компании Counterpoint Research показали, что продажи серии iPhone 15 в течение 17 дней с момента ее запуска в Китае упали на 4,5% по сравнению с серией iPhone 14, выпущенной в 2022 году. Причина в основном заключается в успехе серии Huawei Mate ...

Замедляем разработку. Вредные советы по тестированию в проектах Привет, меня зовут Кристина Климовских, я — Python Developer в команде DataMining. Главная задача моей команды — поддерживать бесперебойный флоу добычи данных для обогащения и актуализации справочника 2ГИС.Ежедневно наши парсеры собирают разношёрстные дан...

Правильный мониторинг API: метрики и лучшие практики Применение API в разработке ПО сыграло большую роль в создании современных приложений и повлияло на их общую оценку и опыт конечных пользователей. В этой статье Екатерина Саяпина, Product Owner личного кабинета платформы МТС Exolve, рассказывает про правильные подходы при от...

Как GlowByte помогает «Пятёрочке» анализировать персональные коммуникации на рынке В современном мире, где конкуренция в сфере ретейла продолжает набирать обороты, держать руку на пульсе становится все более актуальным для каждой успешной корпорации. Борьба за потребителя никогда не была такой интенсивной, и в этой борьбе большое значение приобретает транс...

Построение AppSec в огромном Enterprise и опыт его применения в бирюзовой компании Речь пойдёт о трудностях работы инженеров по безопасности в крупной компании – как команда выстроила AppSec и как выбранный подход помог сделать безопаснее “бирюзовую” команду и огромный Enterprise в целом. Это история о самоорганизации, зрелости и уменьшении количества...

Опрос по оценке эффективности работы сотрудников Оценка эффективности сотрудников играет ключевую роль в управлении персоналом и развитии организации. Правильный подход к этому процессу не только помогает выявить лидеров и потенциал для роста внутри компании, но и способствует улучшению взаимопонимания между сотрудниками и...

Предсказание остановок оборудования с использованием LSTM и Байесовского подхода Привет, дорогие читатели Хабра! Исследования выполнено в рамках выпускного проекта на курсе Machine Learning Advanced в OTUS. Рецензенты проекта - @bekemax, @stureikoДанные были предоставлены ПАО «Северсталь» для хакатона ЛИДЕРЫ ЦИФРОВОЙ ТРАНСФОРМАЦИИ 2023В проекте разв...

Как мы запустили автобиддер для управления рекламными кампаниями в Ozon? Привет! Меня зовут Артём, я руковожу командой эффективности рекламы в Ozon. Наша задача состоит не только в том, чтобы реклама приносила деньги компании, заказы рекламодателям и была релевантной для пользователей, но и в том, чтобы сделать запуск рекламных кампаний удобным и...

Как мы выстроили процесс работы с макетами Меня зовут Алина Шилова, я работаю системным аналитиком над внутренними продуктами Tele2. Вот уже два года наша команда занимается разработкой портала для сотрудников компании. Специально для создания платформы была набрана команда. За 10 лет работы в ИТ-сфере это был мой пе...

Центр Big Data МТС открыл исходный код для создания графовых нейросетей ПАО «МТС» сообщает о разработке первой в России библиотеки CoolGraph, позволяющей создавать графовые нейросети с помощью нескольких строк кода. Бесплатный доступ к разработке открыт для всех желающих.

Honor Magic6 Porsche Design вышел на международный рынок Китайская компания Honor официально представила версию Porsche Design своего флагманского смартфона Magic6 ещё в марте текущего года, а сегодня устройство отфициально отправили в продажу за пределами Китая. Данный смартфон поставляется с 24 ГБ оперативной памяти, 1 ТБ встрое...

Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...

Уровень парниковых газов в атмосфере достиг рекордных значений в 2023 году Неумолимый рост концентрации парниковых газов в атмосфере не подает признаков замедления. Новые данные NOAA свидетельствуют о рекордно высоких уровнях углекислого газа и метана в 2023 году.

Равновесное ранжирование со смещением к целевой метрике Постановка задачи: Имеется дискретное множество объектов или элементов. А также набор признаков для них, предполагаем, что признаки числовые. Необходимо найти наилучший объект или группу объектов только на основе имеющихся признаков.Сделаем небольшое отступление. Многие у...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.В этой статье рассмотрим ма...

Как располагать элементы игровых интерфейсов Правильное расположение элементов игрового интерфейса помогает людям решать задачи, которые мы перед ними ставим В статье примеры подходов и решений, которые упрощают жизнь игрокам  =) Читать далее

Tcpdump на разных уровнях Утилита Tcpdump знакома любому сетевому администратору, с ее помощью мы собираем трафик для последующего анализа. Типичная история – собираем траффик, приходящий на нужный интерфейс и затем уже анализируем его Wireshark. Подход практичный, ведь Wireshark Действительно очень ...

Быстрее в 10 раз: новая версия нейросети Kandinsky Сбера доступна всем пользователям Команда СберБанка поделилась свежими новостями о развитии проекта фирменной нейросети — бесплатной генеративной модели Kandinsky, которая создаёт изображения по текстовому описанию на русском и английском языках. Обновлённая версия Kandinsky 3.1 теперь стала досту...

[Перевод] Grafana 10: на что стоит обратить внимание в новом релизе Всем привет! Несколько месяцев назад прошел GrafanaCON 2023, на котором объявили о выходе десятой версии Grafana — инструмента для мониторинга и визуализации данных с аудиторией в 20 миллионов по всему миру.Grafana 10 помогает добиться большего: подробнее анализировать данны...

Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц Есть два подхода к работе с машинным обучением (Machine Learning, ML): быть человеком-оркестром и задействовать «зоопарк технологий» для каждого этапа, или работать с готовым набором инфраструктурных решений, который позволяет выстроить MLOps-конвейер в рамках одной платфо...

Как стать дирижёром процессов в цифровом переводе Всем привет! Меня зовут Владислав Москалёнок, и я работаю техническим переводчиком и редактором в сфере телекома и IT уже более 20 лет. Сегодня хочу поделиться опытом команды Bercut в цифровизации переводческих процессов. Из статьи вы узнаете, как мы реализовали комплексное ...

Новое исследование показало, что бизнес ждет взрывной рост применения ИИ В рамках последнего исследования Comindware и PEX Network, было выявлено значительное проникновение искусственного интеллекта (ИИ) в различные аспекты операционной эффективности и цифровой трансформации бизнеса. Отчет за 2024 год демонстрирует, что компании различных отрасле...

[Перевод] Классическое программирование на грани вымирания Все изображения в этой статье сгенерированы нейросетью DALL-E 2 Приближается конец эпохи классических компьютерных наук, и большинство из нас словно динозавры в ожидании падения метеорита. Период моего юношества пришёлся на 80-е годы. Тогда я занимался программированием ПК...

Модель будущего космического телескопа обнаружила признаки жизни на Земле Нас заметили.

(Еще один!) личный опыт переезда в США. Часть 2: виза Приветствую желающих узнать о том, можно ли самостоятельно и с минимальными затратами времени\денег получить рабочую визу в США. Туристическая виза - это отдельный разговор, и осознавая сложность ее получения, я даже не пытался. С рабочей же овчинка могла стоить выделки, поэ...

[Перевод] Новые клиентские хуки React 19 Вопреки распространенному мнению, основная команда разработчиков React занимается не только серверными компонентами React и Next.js. В следующей версии — React 19 — появятся новые клиентские хуки. Они сфокусированы на двух ключевых аспектах: выборке данных и работе с форм...

Если бы Торетто был ML-инженером: мониторинг дрифта моделей и данных Даже при наличии качественных входных данных качество предсказаний ML-модели со временем ухудшается. Под катом рассмотрим, как команда Neoflex с помощью мониторинга обнаруживает изменения вовремя и поделимся подборкой open source-библиотек для определения дрифта данных. Те...

Apple и тут пойдёт своим путём. Все функции искусственного интеллекта в iOS 18 будут обрабатываться непосредственно на смартфоне Похоже, подход Apple к искусственному интеллекту на смартфонах будет отличаться от такового у конкурентов. Как сообщается, вся обработка данных для работы таких функций будет происходить непосредственно на смартфоне.  создано DALL-E Согласно данным журналиста Bloo...

По шагам: подход к киберустойчивости на практике Сегодня кажется, что безопасность – это вопрос высоких затрат и непрерывной гонки за новыми средствами защиты. Но многочисленные инструменты и решения не гарантируют безопасности, ведь в мире информационных угроз нет универсальной таблетки или коробки, способной обеспечить п...

Перенести терабайты канбан-досок в облако: опыт команды Yandex Tracker Привет, меня зовут Мария Карпенко, я разработчик в команде Yandex Tracker — сервиса для управления процессами и проектами. Внутри Яндекса сервис  используется для постановки задач практически во всех командах, так что общее количество событий по задачам исчисляется уже ...

Как увеличить шрифт так, чтобы контейнер не поехал? Адаптация UI/UX для людей с проблемами зрения в XML и Compose Я — Денис, Android-разработчик в «Лайв Тайпинге». В этой статье я продолжу рассказывать о современных подходах разработки адаптивного UI /UX для людей с ограниченными возможностями, разных национальностей и особенностями развития. В этой статьей я расскажу про разработку инт...

Аналитика от Mediascope: Ежедневно Telegram пользуется 47% взрослого населения России По данным исследования Mediascope за декабрь 2023, популярность Telegram среди россиян стремительно увеличивается. Все больше людей в России используют данный мессенджер как к основное приложение коммуникации.

Samsung Electronics Co. сообщила о запуске новой исследовательской лаборатории полупроводников Данное учреждение будет заниматься разработкой чипов для искусственного интеллекта

Snapdragon X Elite уничтожает новейший Core Ultra 7 155H в первых тестах. Правда, они не касаются процессорной части Платформа Snapdragon X Elite уже показала себя хорошо на фоне Core i7-13800H и Apple M2 Pro. Теперь же сама Qualcomm продемонстрировала, как её новая SoC может быть на порядок быстрее новейшего Core Ultra 7 155H.  В данном случае речь идёт уже не о бенчмарке, а о ...

Нужен ли удаленной команде менеджер? Обсуждая удаленку, мы часто говорим о том, что комфортно в таком режиме работается людям с высоким уровнем самостоятельности - тем, кто может сам спланировать время, мотивировать себя делать задачи (да и в целом понимает, что удаленка - это не фриланс, а “фриленд”).Но если м...

Задача Эйнштейна — большой тест LLM нейросетей на логическое мышление Я был вдохновлен ранее вышедшей статьей автора MikeMSN - "Задача Эйнштейна. ChatGPT, YaGPT2, Gigachat, Mistral Large" и решил провести большой тест наиболее популярных LLM нейросетей. Использовал для этого сайт Chatbot Arena, а также свой компьютер, на котором...

Ученые изучили годичные кольца 600-летних деревьев Исследователи расшифровали историю матушки-природы, открыв «американские горки» засух и наводнений в Калифорнии. Этот подход к «путешествиям во времени», сочетающий годичные кольца деревьев с передовым моделированием погоды, раскрывает реальность калифорнийских погодных ката...

VK приглашает опробовать нейросети пользователей «Почты», «Заметок», «Календаря» и «Облака Mail.ru» Компания VK (бывшая Mail.ru Group) объявила о запуске обновления для своих фирменных сервисов. «Почта», «Заметки», «Календарь» и «Облако Mail.ru» получили ряд новых функций на основе системы искусственного интеллекта. ...

Нейропанорамы для любой точки Земли: как «осмотреться» на спутниковом снимке Как получить изображение местности, если единственным источником знаний о ней является спутниковый снимок. Сколько нейронных сетей для этого потребуется, легко ли собрать набор данных для обучения и зачем вообще это может быть кому-то нужно — в небольшой статье. Генерироват...

Депутат Верховной Рады Александр Дубинский: "Президент Зеленский и его команда не знают, что делать" По мнению депутата, противоречия являются признаком того, что руководство Украины не имеет четкого плана действий и находится в состоянии паники.

Радиообсерватория ALMA раскрывает механизмы формирования планет Разгадка тайны того, как планеты, подобные Земле, формируются, является важным вопросом для понимания происхождения жизни. Предполагается, что планеты формируются, когда межзвёздная пыль и газ собираются в протопланетном диске, окружающем протозвезду. Однако до сих пор ...

Как в СУБД реализовать администратора без прав доступа к данным В СУБД-строении есть не новая, но не теряющая актуальности задача. Сформулировать её можно примерно так: как убрать возможность суперпользователя взаимодействовать с данными, но оставить ему все возможности по управлению СУБД? Эта функция затребована не только большими компа...

Яндекс открывает крупнейший русскоязычный датасет отзывов на организации Сегодня мы хотим поделиться новостью для всех, кто занимается анализом данных в области лингвистики и машинного обучения. Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. Это 500 тысяч отзывов со ...

Построение планов параллельного выполнения программ для процессоров со сверхдлинным машинным словом (проект) Процессоры архитектуры  сверхдлинного машинного слова (VLIW - Very Long Instruction Word) относятся к специфическим классам архитектур, прямо нацеленным на использование внутреннего параллелизма в алгоритмах (программах), причём параллелизм этот анализируется и планируе...

Как взломать банк? (или разбор Payment Village на StandOff 11) Егор Филатов, младший аналитик отдела анализа защищенности Angara Security, подготовил разбор двух недопустимых событий в банковской сфере, которые могли бы нанести серьезный урон бизнесу... Но на практике это моделирование кибератаки через мобильное приложение, которое полу...

Криптография перед эпохой квантовых вычислений Недавно мы провели встречу экспертного сообщества по криптографии и квантовым технологиям, в которой приняли участие ведущие российские компании данной отрасли – «Российский квантовый центр», QApp, «Криптонит», «КриптоПро», «ЭЛВИС-ПЛЮС» и другие. На мероприятии обсудили разв...

В Невинномысске разработан робот-поводырь с ИИ В Невинномысском технологическом институте (филиал СКФУ) создан робот-поводырь для людей с ограниченными возможностями, который получил машинное зрение и способен с помощью алгоритмов искусственного интеллекта проводить анализ получаемых данных и генерировать соответствующие...

Безопасность на уровне кода: как эту задачу помогает решать облако Ошибки на уровне кода — бомба замедленного действия с точки зрения безопасности. Даже небольшие факапы, дыры и «костыли» могут обернуться большой проблемой и привести к реализации различных киберугроз.  В этой статье расскажем о распространённых угрозах для приложений, пр...

Применение архитектурных шаблонов в машинном обучении: разбор Gradient Boosting Привет, Хабр! Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптир...

Fuzzing-тестирование. Практическое применение Привет, Хабр! Меня зовут Никита Догаев, я Backend Team Lead в команде Контента на портале поставщиков Wildberries. Мы отвечаем за карточки, которые каждый день испытывают на прочность сотни тысяч продавцов из разных стран.В статье поделюсь своим опытом применения фаззинга дл...

MERGE и её улучшение производительности с помощью work_mem С выходом PostgreSQL 15 мы застали появление долгожданной команды MERGE, которая позволяет реализовывать эффективные способы синхронизации обновлений.Суть MERGE заключается в ее универсальности: она позволяет объединить операции INSERT, UPDATE и DELETE в одном запросе, автом...

Эксперт рассказал как распознать прослушку в смартфоне и что делать в такой ситуации Россиянам рассказали о признаках прослушки в смартфонах

3D моделирование ангела Всем привет. Недавно сделали 3д модель ангела по одной фотке.Заказчик скинул только одно фото и попросил сделать детализацию на наше усмотрение.Лепили в Zbrush.А вот и распечатанные ангелы. Заказчик занимается макетами и 3D печатью.С уважением, команда SUKRASIVO

И тут Apple сумела заставить пользователей покупать более дорогое. MacBook Pro в США более популярны, чем MacBook Air Аналитики CIRP опубликовали данные о популярности различных Mac в 2023 году в США.  фото: Apple Практически ровно половина всех продаж (51%) пришлась на различные модели MacBook Pro, то есть на не самые дешёвые ПК Apple. Доля MacBook Air тоже велика (39%), но всё ...

[Перевод] Согласно новой теории, цивилизации могут очень быстро распространяться по Вселенной Поиск внеземного разума (SETI) всегда был сопряжён с неопределённостью. Имея в качестве примера только одну пригодную для жизни планету (Землю) и одну технологически развитую цивилизацию (человечество), учёные до сих пор ограничиваются лишь теоретическими предположениями о т...

Масс-спектрометр Peregrine PITMS, созданный для анализа лунной атмосферы, пережил возвращение на Землю С миссией Peregrine связывались большие надежды в отношении научных задач в том числе, изучении состава сверхтонкой лунной атмосферы. Однако, миссия столкнулась с неожиданными сложностями сразу после выхода в открытый космос. Утечка топлива на посадочном модуле стала пр...

Meta меняет подход к рынку VR Компания Meta объявила о новом подходе к виртуальной реальности, который изменит индустрию. Так, Meta решила создать новую аппаратную экосистему, позволив партнёрам использовать свою Quest VR OS.

О внутрикластерной маршрутизации через Istio Привет, Хабр! Я Степан, DevOps‑инженер, занимаюсь созданием CI/CD процессов с учётом проверки кода на безопасность, поддержкой и разверткой новых кластеров Kubernetes, соблюдением требований безопасности и созданием системы мониторинга и логирования — все это ...

Ученые создали самую подробную в истории компьютерную модель Вселенной Астрономы провели крупнейшее на сегодняшний день космологическое компьютерное моделирование Несмотря на внушительное количество накопленных данных, наши знания о Вселенной крайне малы. Мы не знаем как она появилась, почему расширяется с ускорением и почему устроена таким стр...

Раскрыты ключевые характеристики смартфона Huawei Nova 12 Ultra У Huawei на данный момент на подходе целый ряд новых смартфонов, среди которых флагманская серия P70 и линейка Nova 12.

Как начать карьеру в пентесте: опыт сотрудника Angara Security Мы продолжаем цикл материалов о старте карьеры в кибербезопасности. Этот материал подготовил сотрудник отдела анализа защищенности Angara Security, по просьбе автора, мы не будем раскрывать его имя. Если после прочтения статьи будут вопросы, welcome в комментарии или в личны...

Мы наш, мы новый ИИ построим: перспективы России в области искусственного интеллекта Ведущие эксперты — о реалистичности ожиданий в отношении создания конкурентоспособных на мировом рынке подходов и технологий в области искусственного интеллекта, машинного обучения, языковых моделей.

POCO X6 Neo на подходе – бюджетный хит от Xiaomi, или ... Компания Xiaomi готовит к анонсу новый смартфон под брендом POCO – модель X6 Neo. Инсайдер Санджа Чоудхари недавно раскрыл основные характеристики и ориентировочную стоимость новинки

Владелец крупнейшего парка спутников ДЗЗ PlanetScope объединился с Google Cloud Marketplace Компания Planet Labs PBC, поставщик данных наблюдений о Земле, заявила о доступности своих спутниковых данных PlanetScope на платформе Google Cloud Marketplace. Таким образом, пользователи получают новую возможность анализировать, обрабатывать и получать информацию из о...

Могут ли пульсары помочь найти тёмную материю? Астрономы продолжают искать и проверять новые идеи источников частицы тёмной материи. Один из таких подходов описан в новой статье, опубликованной в журнале Physical Review Letters, он предполагает, что если тёмная материя состоит из аксионов, то мы могли бы увидеть све...

Проблематика Open Source: профиль риска, лицензирование, как выбирать продукт и подход к разработке решений Привет, я Ольга Свитнева, идеолог и менеджер продукта «Платформа данных» в VK Cloud. В современном мире ИТ тема Open Source поднимается довольно часто. Особенно когда речь идет о работе с данными. И тому есть ряд объективных причин. В этой статье я предлагаю взглянуть на Op...

[Перевод] Переход с ETL на ELT ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относ...

Как мы создавали сервис для хостинга ML-моделей на базе Kubernetes и AIOHTTP Привет, Хабр! Я Денис Брандес, инженер-программист в Контуре. В этой статье поделюсь своим докладом с конференции по ML. Расскажу, как наша команда справляется с сервингом сотни моделей и какие решения мы для этого разработали. Центр AI в компании Контур занимается различн...

Россиянам рассказали о признаках слежки за смартфоном Эксперт рассказал, как понять, что за вашим смартфоном установлена слежка

Kandinsky 3.1 — новая быстрая модель генерации изображений по тексту 2023 год можно смело называть годом бурного развития генеративного искусственного интеллекта. Это касается не только привычной нам модальности изображений (Kandinsky 2.1, 2.2, 3.0, Stable Diffusion XL, IF, Шедеврум и др.), но и текстовой (ChatGPT, GPT-4, LLaMA, Falcon, GigaC...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

Зачем вам эмоциоанльный дизайн Привет! Я Лёша. Cейчас руковожу командами эмоционального дизайна и UX-редакторов в Альфе. До этого почти пять лет работал в Яндексе и помогал строить лучший автомобильный классифайд Авто.ру, сначала в роли дизайнера, а потом руководил продуктовым дизайном.В середине прошлого...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Ученые МФТИ нашли способ улучшить работу чат-ботов с помощью ИИ В пресс-службе МФТИ сообщили, что ученые вуза представили новый метод для улучшения работы чат-ботов, используя искусственный интеллект (ИИ). Они разработали алгоритм, который значительно сокращает время и затраты на подготовку данных для обучения нейросетей.

DataMaps. Рассказ о нашей ORM на Kotlin Уже несколько лет мы с командой трудимся над платформой, которая официально называется БФТ.Платформа, а менее официально - Ice. В основном наша платформа используется в органах власти и государственных учреждениях. Сегодня хотелось бы рассказать не обо всей платформе, а толь...

Линейная регрессия. Основная идея, модификации и реализация с нуля на Python В машинном и глубоком обучении линейная регрессия занимает особое место, являясь не просто статистическим инструментом, но а также фундаментальным компонентом для многих более сложных концепций. В данной статье рассмотрен не только принцип работы линейной регрессии с реализа...

Samsung понравилось увеличивать размеры экранов? Внешние дисплеи складных Fold6 и Flip6 будут больше, чем у текущих моделей Складные смартфоны Samsung Galaxy Z нового поколения получат более крупные, чем у текущих моделей, внешние экраны.   Ранее мы уже слышали, что модели Fold6 и Flip6 будут выполнены в новом дизайне, теперь же отраслевой аналитик и основатель исследовательских компан...

Представлена OpenAI Sora — нейросеть, умеющая создавать целые видео, которые порой сложно отличить от настоящих. OpenAI представила новую нейросеть под названием Sora, которая умеет создавать целые видео по текстовому описанию. И это похоже на очередную революцию в развитии ИИ.  Sora — это диффузионная модель, которая способна «создавать сложные сцены с нескольки...

NASA продолжает развивать миссии программы Earth System Observatory в условиях неопределённости бюджета NASA продолжает активную работу над проектом Earth System Observatory, несмотря на финансовую неопредёленность. Этот проект представляет собой многомиллиардную серию научных экспедиций, направленных на изучение Земли. В ходе встречи Американского Геофизического Союза в ...

Бесшовный апгрейд ПО для системы хранения данных: как организовать и улучшить Любое программное обеспечение необходимо обновлять — ПО для систем хранения данных (СХД) не исключение. Логика апгрейда в СХД не тривиальна. В системе есть несколько контроллеров хранения, обновлять которые нужно последовательно, учитывая все возможные риски — потерю отказоу...

Краткий обзор TinyML TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к инт...

РИВЦ: учет для агрохозяйств с индивидуальным подходом к животным Нияз Халиуллин, генеральный директор АО РИВЦ, – об оптимизации производства молока с помощью индивидуального подхода к учету и кормлению коров, что дает возможность максимально использовать их потенциал.

Google представила Gemini — «убийцу» ChatGPT Компания Google официально объявила о запуске собственной системы искусственного интеллекта Gemini. По заявлению генерального директора Google Сундара Пичаи (Sundar Pichai), который провёл презентацию новейшей разработки, Gemini 1.0 на данный момент является самой мощно...

Компьютерное зрение сквозь года Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей от...

CPM vs. BI:  о чем не расскажут продавцы Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.Написать данную статью мен...

Команда учёных создала нейросеть для объяснения принципа других нейросетей Ученые-компьютерщики из Нью-Йоркского университета (NYU) разработали нейронную сеть, способную объяснять свои предсказания, проливая свет на обычно скрытые процессы искусственного интеллекта (ИИ) и машинного обучения.

Omoda рассказала о новинках для России и об огромном успехе седана Omoda S5 Директор брендов Omoda и Jaecoo Виктор Нащанский рассказал о том, какие новинки привезет марка Omoda в РФ в следующем году. «Несомненно, в следующем году мы порадуем наших покупателей новым продуктом. Omoda C7 — это кроссовер, который попадет в линейку ...

ClearML Data Management Очевидный для ML-инженера факт: если на вход модели подать мусор — на выходе тоже будет мусор. Это правило действует всегда, независимо от того, насколько у нас крутая модель. Поэтому важно понимать, как ваши данные будут храниться, использоваться, версионироваться и воспро...

Революция в клеточной биологии: Применение GPT-4 для РНК-секвенирования Одноклеточное РНК-секвенирование (scRNA-seq) – метод изучения экспрессионных профилей на уровне отдельных клеток, то есть определения, какие РНК присутствуют в каждой клетке и в каком количестве. Это позволяет ученым понимать, как функционирует каждая клетка и какие функции ...

Храним файлы Strapi в облаке Selectel Привет, я некоторое время работаю над своим пет проектом, где в основном занимаюсь фронтом, а для данных использую headless CMS под названием strapi.io. В какой-то момент у меня появилась потребность вынести медиа хранилище из локальной папки в облако. А так-как основно...

Московская цифровая библиотека расширила доступ к медицинским данным Мэр Москвы, Сергей Собянин в своем Telegram-канале сообщил о пополнении Московской цифровой библиотеки новыми наборами данных о лучевой диагностике. Среди них — информация о маммографии, рентгенографии грудной клетки, флюорографии и компьютерной томографии. Эти данные, досту...

В ПГНИУ открылась лаборатория 3D-моделирования и прототипирования Новая лаборатория позволит студентам Пермского государственного национального исследовательского университета применять технологии 3D-печати при подготовке учебных проектов, а также разрабатывать актуальные технические решения для предприятий Пермского края. Аддитивное обору...

Система интерактивного голосования Эта статья призвана исследовать значение и актуальность интерактивного голосования, демонстрируя его влияние не только на проведение различных мероприятий и собраний, но и на процессы принятия решений в корпоративной среде, образовании и даже в публичной политике.Целевая ауд...

FineBI-g brother is still watching: как мы усовершенствовали мониторинг Привет, Хабр! На связи BI-команда Tele2. Ранее мы уже рассказывали о нашем опыте перехода на Fine BI и подходе к анализу действий пользователей на платформе. В нашем случае мониторинг пользователей и объектов на платформе – вопрос жизненной необходимости. Fine BI пользуется ...

СМИ: вице-президент Xbox Карим Чоудри покидает Microsoft Игровое подразделение Microsoft стало одним из самых прибыльных для компании, опередив по этому показателю даже Windows. Это произошло во многом благодаря недавнему приобретению Activision Blizzard, которая владеет такими крупными франшизами, как Candy Crush Saga, World of ...

Байт-код — это просто! Как сделать DI по-настоящему быстрым Привет! Меня зовут Григорий Юрков, и я уже несколько лет работаю в инфраструктурной команде Яндекс Маркета. Два года назад мы начали разрабатывать свой легковесный DI-фреймворк Scout, который предоставляет выразительный Kotlin DSL. Он не генерирует код, а делает вс...

NVIDIA резко сокращает сроки поставки своих GPU с ИИ благодаря улучшению цепочки поставок По данным аналитиков UBS, компания NVIDIA значительно улучшила свою цепочку поставок графических процессоров искусственного интеллекта.

Intel Gaudi 2 обошла по производительности NVIDIA H100 в работе с ИИ Специалисты утверждают, что ускорители искусственного интеллекта Intel Gaudi 2 являются наиболее жизнеспособной альтернативой чипам NVIDIA, особенно в области генерации текста с использованием Llama 2. Например, в демонстрации, которую провели специалисты компании Hugging Fa...

Космос будущего: о чём говорят патенты игроков мирового аэрокосмического сектора С 2019 по январь 2022 года я занималась патентной аналитикой мирового аэрокосмического сектора. В данной статье раскрою некоторые результаты реализованной работы, покажу, как патентная аналитика способна выявить технологические тренды будущего на примере конкретной отрасли, ...

Какой вообще толк от Siri? GPT-4V научили управлять iPhone на одном уровне с человеком Недавно было обнаружено, что GPT-4V, разработанный OpenAI, способен взаимодействовать со смартфонами, в частности с iPhone, выполняя различные задачи без предварительного обучения.

В России запущен суперкомпьютер «Сергей Годунов»: пока 54,4 Тфлопс, но уже в этом году будет 120,4 Тфлопс В России начал работу новый вычислительный комплекс, получивший название «Сергей Годунов» в честь выдающегося математика. Суперкомпьютер разместили в Институте математики имени С. Л. Соболева Сибирского отделения Российской академии наук (ИМ СО РАН). Задачи ...

Пора переходить на микрофронтенд? Опыт “Инферит Клаудмастер” Приветствую всех новичков и гуру фронтенда, а также всех, кто работает с интерфейсами. Я Никита Борцов, создаю красоту на фронте первой в России FinOps-платформы для управления облачными затратами “Инферит Клаудмастер”.В этой статье вы узнаете о:- факторах, сформировавших тр...

Как менять команды, не увольняясь из компании. Культура горизонтальной мобильности в Контуре Меня зовут Настя Миронова, я менеджер разработки в Контуре и уже около двух лет  руковожу командой Рейнджеров – это разработчики без своего продукта, такие мобильные инженеры. Команда появилась в конце 2020 года, и за это время мы постоянно исследуем, чем можем помочь п...

О точности вычислений: как не потерять данные в цифровом шуме Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай изучил процесс потери точности вычислений и написал библиотеку, доступную на GitHub, которая помогает разработчикам контролировать точность расчётов на каждом этапе вычислений. Данная библиотека ос...

Мобильный телефон Meizu 21/21 Pro появился в базе данных с 5 различными версиями Среди этих моделей Meizu 21 — M461Q, две другие модели — M461H и M461S, модель Meizu 21 Pro — M481Q, данная версия также будет доступна в модели M481S.

Как мы разгрузили руководителей проектов и освободили время для «профильных» задач Руководители IT-проектов (РП) на рынке труда в остром дефиците: по данным hh.ru на 1 вакансию приходится 1,9 резюме. Поэтому часто в компаниях один РП ведет по 5-6 проектов. При такой загрузке успеть все и сохранить качество практически невозможно.Решить проблему с загрузкой...

Почему не стоит отрабатывать съеденное на тренировках Такой подход не помогает избавиться от нездоровых привычек, а только добавляет новые.

Что такое «мягкая экономия» и как она помогает сохранить деньги Благодаря этому простому подходу резко менять привычный образ жизни не понадобится.

Из-за обострения голодного кризиса в Газе, в больницах появляются истощенные дети Два маленьких палестинских мальчика были замечены в медицинском центре с видимыми признаками голода, их вес значительно уступает нормам, и у них появились различные заболевания.

Нужен ли продакт в ML-команде? Мнение изнутри Пять лет назад из обычного продакт-менеджмента я перешла в команду с дата-сайентистами. И весь процесс моей работы сильно изменился. Раньше после определения потребностей пользователя я приходила к команде разработки с готовой задачей и дизайн-макетами. А после разработ...

Респонс по DaVinci: как мы перевернули систему работы Security-аналитика и что из этого вышло Как обычно происходит стандартное реагирование в SOC? Получил аналитик оповещение об инциденте от какой-то системы безопасности, посмотрел логи SIEM, чтобы собрать дополнительные данные, уведомил заказчика и составил для него короткий отчет о произошедшем. А что дальше? А ...

Как навести порядок с паролями и обезопасить свой бизнес Правильный подход к хранению корпоративных паролей — Залог безопасности! В эпоху цифровых технологий безопасность данных стала жизненно важным как для бизнеса, так и для частных лиц. И теперь их защита является ежедневной необходимостью. Несмотря на то что авторизация по био...

AMADEE-24: Астронавты начинают моделирование Марсианской миссии в Армении В Армении стартует аналоговое моделирование Марса AMADEE-24, организованное Австрийским космическим форумом и Армянским космическим агентством. Специальное оборудование для миссии было доставлено на полигон в Армении, где шесть астронавтов разных национальностей будут р...

Делаем из Black Box мониторинга внешнее observability Есть мнение, что Black Box подход к мониторингу хуже, чем White Box. Мол, мы получаем от него мало информации. Данных действительно немного, но мы можем развить нашу систему Black Box мониторинга и добиться довольно информативной системы контроля, которую мы условно назвали ...

[Перевод] Небольшой туториал по полигруппам в Zbrush Полигруппы (Polygroups) в Zbrush представляют из себя способ разделения уже существующей 3D-модели на группы полигонов с целью выполнения над ними различных видов работ. При создании каждой из этих групп полигонов ей назначается свой уникальный цвет, что помогает нам визуаль...

Гайд для лид-дизайнера: как управлять креативной командой Советы для руководителя, который хочет найти подход к творцам.

Intel Gaudi 2 обошла по производительности NVIDIA H100 в работе с ИИ В рамках партнерства с Hugging Face, Habana, дочерняя компания Intel, оптимизировала выводы моделей языкового моделирования на ускоритель Gaudi, что позволило легко генерировать текст с помощью моделей Llama 2

[recovery mode] Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование Проведение анализа дефектов, обнаруженных на продакшене, кажется сложной и трудоемкой задачей. Однако в команде Polymatica мы успешно интегрировали этот процесс в цикл тестирования, сделав его неотъемлемой частью обеспечения качества ПО. Локализация дефектов с...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.В этой ...

Учёные: Солнце меньше, чем считалось раньше. Меняет ли это что-то В астрономическом мире произошло важное открытие: оказалось, что Солнце меньше, чем предполагалось ранее. Свежие данные могут кардинально изменить подходы к изучению небесного тела.

И целого интернета мало. Для создания больших языковых моделей нового поколения, включая GPT-5, попросту не хватает данных Похоже, процесс создания всё более масштабных и сложных языковых моделей на основе ИИ уже упёрся в одну весьма серьёзную преграду. Для таких моделей весь интернет фактически слишком мал.  создано DALL-E Для обучения больших языковых моделей нужно очень и очень мно...

Книги, которые помогут прокачать писательские скилы Пять разноплановых книг, которые помогут прокачать писательские скилы и создавать интересные и полезные статьи для Хабра. В одних упор делается на смысловое содержание, в других на подачу и логику взаимодействия с умной аудиторией, ну и на работу с самим текстом.Начать лучше...

Обработка результатов статистических наблюдений с помощью толерантных интервалов Здравствуйте, уважаемые читатели!В статье хочу поделиться личным опытом использования толерантных интервалов для обработки результатов статистических наблюдений, привести некоторые примеры и дать краткое описание процедуры расчета с реализацией на языке Python. Может быть, к...

Распознавание русского жестового языка: распознаём до 3+ жестов в секунду на обычном ПК без видеокарты Привет! Меня зовут Максим Новопольцев, я техлид RnD команды Центра развития технологий AI во благо общества, Sber AI. Мы занимаемся проектами, направленными на решение важных социальных и экологических задач, таких как сохранение биоразнообразия, создание инклюзивной среды, ...

Не тимбилдингом единым: как наладили коммуникации в команде с помощью базы знаний Объем задач растет, как снежный ком, а разработчики и аналитики переводят друг на друга стрелки, потому что никто не понимает, что от них хотят. Обстановка обостряется до предела и грозит превратиться в поле битвы. Такая ситуация произошла несколько лет назад, когда работать...

В помощь IT-команде — «Регламент создания багов» или «Как сделать задачу ясной для тебя из отпуска» Данный регламент я написал на основании опыта работы лидом в IT компании с веб-приложением. Пункты из него прошли проверку практикой. Изначальные версии были (естественно) основаны на best practice из интернета, agile и опыта предыдущих и текущих руководителей. Стоит отметит...

Зачем нужен проектный офис, если компания работает в продуктовом подходе? Привет! Это Оля Муттер, руководитель проектного офиса в СберМаркет Tech. Сегодня я хочу рассказать о проектном подходе в продуктовой разработке. Нужны ли проджекты, если в компании уже есть продакты? Как построить синергию между проектным офисом и продуктовой командой и каку...

Простейшая нейронная сеть, мой опыт и выводы Мой маленький шажок на пути подготовки к написанию шахматного движка. Написание простейшей нейронной сети, выяснение, что это за зверь такой. Читать далее

Как мы наводим порядок с данными в столичном транспортном институте Привет, Хабр!  На связи команда разработки «МосТрансПроекта». Наш институт является интеллектуальным центром транспортного планирования Москвы, и для решения задач нам постоянно нужны данные. Для запуска компенсационных автобусов во время ремонта станции метро необходим...

Генерируем отчеты PDF на Android с использованием HTML и WebView в фоне Сервис, прежде всего, должен решать задачу пользователя. Часто приложения должны делать то, что, казалось бы, должно ложиться на плечи сервера и других публичных API. В рамках этой статьи хочу рассказать про наш опыт переноса функционала генерации PDF-отчетов на Android-устр...

Работа с UI-автотестами под Android: от запрета мерджа к особенностям запуска UI-автотесты под Android — отличный инструмент, который позволяет кратно сократить время на проверку разрабатываемых фич и свести к минимуму участие в ручном регрессионном тестировании инженеров по обеспечению качества. Но работать с UI-тестами надо правильно — иначе все мож...

Как тема месяца помогает добиваться целей легко и с удовольствием Подход к планированию, который даёт больше гибкости и избавляет от стресса.

Архитектура unity проектов За всю карьеру удалось поработать на множестве игровых проектов в качестве лида. За более чем 5 лет удалось насмотреться на разные подходы к созданию проектов.В данной статье я собрал выжимку статей и мыслей из своего блога о подходах, которые я использую в своих проектах. А...

Следующая версия Windows может не достаться жителям России Сайт Neowin обнаружил признаки того, что Microsoft планирует распространять Windows 12 по модели платной подписки.

[recovery mode] Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики В мире, где каждый клик, каждое взаимодействие и каждая транзакция превращаются в данные, способность понимать и интерпретировать этот поток информации становится все более ценной. Данные — это золото нашего времени, невидимый актив, который в правильных руках способен преоб...

Астрономы запечатлели свет пространственной паутины, соединяющей галактики Такие изображения раскрывают ценную информацию о том, как формируются и эволюционируют галактики, а также помогают отследить местоположение неуловимой тёмной материи, которая составляет около 80% массы Вселенной. В 2014 году астрономы впервые запечатлели космическую пау...

5 способов повысить продуктивность, которым стоит научиться у детей Позаимствуйте их подход к решению непривычных задач и будьте любопытнее.

«Конкурентные преимущества»: избранные материалы для разностороннего подхода к проектированию технологических решений Возвращаюсь к экспериментам с подборками полезных источников. Подобрал материалы, которые помогут увидеть нестандартные ходы и найти конкурентные преимущества с точки зрения стратегии развития вашей организации и ее технологических решений.Пригодится не только топ-менеджерам...

Впечатления от посещения Fan Fest 23 Там же на сайте, кстати, все желающие могут ознакомиться и с более подробным списком спикеров и участников, так как я поименно-пофамильным перечислением всех присутствующих, так же, как и описанием ничем не запомнившихся мне стендов и активностей, в данном материале занима...

Применение алгебраических типов данных для моделирования ошибок и сообщений в журнале В функциональном программировании широко используются так называемые алгебраические типы данных. Такие данные формируются из более простых типов с использованием всего двух операций — "суммы" и "произведения". Использование таких математических операций о...

ИИ поможет ускорить диагностику пневмонии Исследователи из Университета Карнеги-Меллона представили новый подход к диагностике пневмонии с использованием машинного обучения и квантовых вычислений. Это позволит ускорить и улучшить точность определения заболевания.

[Перевод] Удачный переход Netflix на GraphQL В 2022 году с приложениями Netflix для iOS и Android произошли серьезные изменения. Мы перевели мобильные приложения Netflix на GraphQL с нулевым временем простоя, что повлекло за собой полное перепроектирование от клиента до уровня API.До недавнего времени наши мобильные пр...

SmartFlow: «В начале был пароль...» или новая аутентификация VK ID Привет, Хабр! Исторически сложилось, что первым способом аутентификации (в 1960-х) с появлением доступных компьютеров стал пароль. О рисках его использования и об изобретённых человечеством альтернативах мы подробно рассказали в статье о будущем беспарольной аутентифика...

Решение внутренних конфликтов: инженерный подход Люди на Земле уже многие века как-то решают свои внутренние конфликты. Да что там говорить - это умеют делать даже обезьяны. Хотя у людей получается лучше: нам помогают не только инстинкты и развитый неокортекс, но и чужой опыт: мифы, религии, философские учения, нормы культ...

database/sql: плохой, хороший, злой Многие Golang-разработчики  пробовали работать с БД в Go, и у каждого — свои боли. В этой статье разберём библиотеку database/sql как безотносительно конкретной СУБД, так и применительно к YDB. Рассмотрим трудности эксплуатации при использовании драйвера database/sql на...