О точности вычислений: как не потерять данные в цифровом шуме

Дообучение ruGPT-3.5 13B с LoRA Добрый день, уважаемые читатели и авторы Хабра!Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ре...

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

Сбалансированные данные – успех в ML: Oversampling и Undersampling Данные, используемые для обучения моделей машинного обучения, должны быть идеально сбалансированы по всем категориям и классам. Однако суровая жизнь часто преподносит нам данные, в которых присутствует значительный дисбаланс. Такой дисбаланс может привести к нежелательным см...

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

Машинное обучение повысило точность оценки солнечной радиации В новом исследовании, опубликованном в журнале Remote Sensing, ученые использовали методы аугментации данных в сочетании с моделью машинного обучения LightGBM для оценки как диффузной, так и прямой солнечной радиации. Этот подход изобретательно использует данные о солне...

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой...

В «Авто.ру» запустили нейросеть оценки состояния автомобиля по фото Команда «Авто.ру» объявила о запуске нового сервиса на платформе, который призван повысить точность прогноза справедливой цены автомобиля за счёт внедрения алгоритмов машинного обучения. Новый алгоритм машинного обучения определяет категорию состояния автом...

Индуктивная статистика: доверительные интервалы, предельные ошибки, размер выборки и проверка гипотез Одной из самых распространённых задач современной аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь о небольшой части этой совокупности - выборке. Можно ли сделать вывод о миллионной ауди...

Как я написал свой первый классификатор эмоций Всем привет! Немного о себе. Меня зовут Максим, я работаю специалистом по Machine Learning в компании SimbirSoft. Последние два года я углубленно изучал область машинного обучения и компьютерного зрения и сегодня с удовольствием поделюсь с вами опытом разработки личного пет-...

Выжимаем из Random Forest максимум: увеличиваем полноту при 100% точности Была классическая задача: по табличным данным предсказать некое событие — случится или нет. И как бы я к этим данным ни подбирался, с какого ракурса ни смотрел, результат, увы, не впечатлял. Данных было мало, а то, что было, обладало слабой предсказательной силой. Хотя казал...

Адаптация, а не онбординг: что мы делаем, чтобы наши сотрудники влились в компанию? Привет, Хабр! Я Анна, руководитель отдела адаптации, обучения и развития в ГК «Автомакон». У нас в команде 800+ специалистов на удалёнке, продолжается бурный рост, и возникает вопрос: как не потерять сотрудников на этапе адаптации? Мы выделили отдельную роль – куратор процес...

Выявление схожести между произведением искусства из коллекции музея и работами автора методами ML Идею работы: «Похоже ли произведение искусства из коллекции музея на работы автора?» я придумала под датасет Музея MoMa. Конечно, хотелось бы установить: оригинал или подделка? Но для ответа на такой категоричный вопрос данных оказалось недостаточно.У проекта было несколько ...

Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще Привет Хабр! В этой статье мы рассмотрим некоторые полезные библиотеки Python для задач обработки данных, с которыми, возможно, вы еще не знакомы. Хотя для задач машинного обучения на ум приходят такие библиотеки, как pandas, numpy, scikit-learn, keras, tensorflow, matplotli...

CSI — индекс удовлетворённости клиентов. Где провести и как рассчитать? Эта статья предназначена для предпринимателей, маркетологов, специалистов по клиентскому опыту, которые стремятся глубже понять своих клиентов и улучшить качество своих услуг и продуктов.Что делает эту статью особенно ценной и интересной? Здесь мы представляем не только осно...

ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта Привет, дорогие читатели Хабра!Сегодня я хочу поделиться с вами своими знаниями и опытом в области анализа данных и машинного обучения, освещая увлекательную и актуальную тему – анализ отзывов на приложения с использованием модели ChatGPT. Этот подход открывает новые горизон...

Ищем Арнольда Шварценеггера среди мужчин, женщин и детей с помощью нейросети на С++ Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-с...

битрикс24 продажи и внедрение Битрикс- это платформа для управления бизнесом, которая предлагает широкий спектр инструментов и функций для продаж и внедрения. Она помогает организациям эффективно управлять процессами продаж, взаимодействовать с клиентами и автоматизировать бизнес-процессы. Вот некоторые...

Методика нахождения потерь в обмотке дросселя вследствиe скин-эффекта и эффекта близости При расчетах трансформаторов и дросселей в силовой электронике очень часто сталкива­ешься с необходимостью нахождения потерь в данных элементах и зачастую используются в основном только омические, разработчики 1часто забывают о потерях при поверхностной проводимости, потеря...

Анализ вакансий ИТ в Москве: системное администрирование, 2023г Прошел ровно год с предыдущего анализа вакансий системных администраторов и снова появилась необходимость в актуальных данных для планирования заработных плат специалистам уже на 2024 год.Цели, условия, методика и формат анализа остались без изменений, их можно про...

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Где искать работу Дата Саентисту в 2024 году В настоящее время профессия дата-саентиста является одной из самых востребованных и перспективных. С развитием технологий и увеличением объема данных, специалисты в области анализа данных становятся незаменимыми для компаний всех отраслей. Однако, в 2024 году сфера науки о д...

Как математика улучшает геосервисы и помогает быстрее сориентироваться Сегодня всё чаще требуется учитывать географическую привязку и выполнять поиск в локальном окружении клиента. Иными словами, регулярно возникает необходимость найти что-то (или кого-то) рядом с конкретным пользователем. «Где ближайший банкомат?», «Кто из друзей поблизости?»,...

Как deep learning помогает в разработке персонализированной терапии рака? Специалистам в области технологий и медицинских инноваций посвящается новое слово в борьбе с раком – применение глубокого обучения, использованное исследовательской командой университета Джона Хопкинса для индивидуального анализа генетических данных пациентов. В мире, где он...

NumPy для самых маленьких Математика везде в нашей жизни, но в программировании, а особенно ML ее два раза больше. Обычно Питон берут в пример самого "научного" языка программирования из-за математических фреймворков. Как не Питон может помочь оперировать математическими абстракциями, некоторые из сф...

Борьба с энтропией в e-com. Как поддерживать актуальными данные о товарах в вечно меняющемся мире Всё течёт, всё изменяется. Особенно информация — она очень быстро устаревает. В e-com неактуальные данные о товарах могут сильно подпортить клиентский опыт. Если удовлетворенность пользователей — важный фокус вашей работы, мне есть чем поделиться :)Всем привет! Я Г...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Что в промптах работает, а что нет Удивительно, но при всём хайпе, творящемся сейчас вокруг языковых моделей (LLM), мало кто понимает, как они работают. И ещё меньше понимают, как работать с ними. Появилась даже профессия промпт-инженера, человека, способного составить ТЗ для модели. Например, очень важно...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

[Перевод] 10 фактов, которые разработчики ПО должны знать про обучение Десятилетия исследований в сферах когнитивной психологии, образования и программирования дали нам глубокие знания о том, как мы учимся. В следующих десяти разделах статьи мы представим научно доказанные факты об обучении, которые касаются и разработчиков ПО, а также поговори...

Milk Sad уязвимость в библиотеке Libbitcoin Explorer 3.x. Крупная кража на $ 900 000 у пользователей Биткоин Кошельков Исследователи компании «Slowmist» проводят регулярное исследование сферы безопасности блокчейна Биткоин. Они обнародовали уязвимость в библиотеке Libbitcoin Explorer 3.x, который позволила злоумышленникам украсть более $ 900 000 у пользователей Биткоин Кошельков (B...

Применение архитектурных шаблонов в машинном обучении: разбор Gradient Boosting Привет, Хабр! Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптир...

Как обучают GPT Привет, Хабр! Меня зовут Родион Уколов, я занимаюсь искусственным интеллектом в компании Friflex. Мы помогаем компаниям внедрять модели машинного обучения и развиваем свои цифровые продукты.Может быть, вы помните статью моего коллеги о том, как решать реальные задачи с ChatG...

Инфраструктурный пентест по шагам: боковое перемещение и повышение привилегий в сети В предыдущих статьях мы изучили подходы к разведке и анализу целей, а также ключевые аспекты этапа сканирования. Теперь пришло время разобраться в анализе парольных политик, ACL и DNS, найти способы бокового перемещения и провести обзор основных актуальных техник повышения п...

CatBoost Добрый день, уважаемые читатели Хабра! CatBoost – алгоритм, разработанный специалистами из Yandex, представляет собой нечто большее, чем просто ещё один инструмент в арсенале данных науки. CatBoost – это гармоничное сочетание инноваций и эффективности, особенно когда дело до...

[Перевод] Объясняем простым языком, что такое трансформеры Облако предлагает много возможностей для развития ИИ. С помощью облачных вычислений проще масштабировать ML-модели, повышать точность обучения и предоставлять данные удаленно пользователям. Однако масштабное развертывание ML-моделей требует понимания архитектуры нейронных се...

Дашборд управления бизнесом (P&L) в Metabase за 5 дней Один из важнейших инструментов в моей работе — дашборд с данными о прибылях и убытках компании P&L (он же БДР, он же отчет о финансовых результатах). Он помогает контролировать рентабельность бизнеса, эффективность отделов компании, прогнозировать прибыль и строить гипот...

Это база машинного обучения Рассказать всё о машинном обучении на двух страницах текста — невыполнимая задача. Именно сложность и многообразие темы могут отталкивать тех, кто только начинает знакомство с ней. Однако мы хотим помочь на этом пути и дать упрощённое введение в машинное обучение, чтобы кажд...

Сравнение локальных моделей машинного перевода для английского, китайского и русского языков "Машинный перевод – одна из наиболее актуальных и востребованных задач в сфере искусственного интеллекта, позволяющая снизить барьер в доступности информации на различных языках. Большинство данных в интернете представлены на английском и русском языках. Количество данных на...

Ученые МИСИС показали перспективный квантовый процессор Специалисты из НИТУ МИСИС объявили о создании квантового процессора, включающего восемь кубитов сверхпроводникового типа, который в ходе тестирования показал высокую точность проводимых вычислений — более 95 %. Новинка стала первым в нашей стране решением с таким кванто...

Go на митап: обсудим sync.Pool, свой mini-k8s, паттерны и сообщения об ошибках 28 марта встречаемся на митапе по Go-разработке с инженерами из команд систем хранения данных и телекома YADRO, а также разработчиками из VK и AvitoTech. Эксперты расскажут, как: — снизить нагрузку на сборщик мусора,— сделать свой mini‑k8s,— написать библиотеку для...

Прогнозирование временных рядов с помощью библиотеки Skforecast В открытом доступе существует огромное число библиотек для построения моделей машинного обучения в Python. Самые популярные — scikit-learn, XGBoost, LightGBM, Catboost, PyTorch. Каждая из них позволяет построить регрессионную модель для прогнозирования на временных рядах, ...

WaveSync: Новый путь к нелинейному анализу эмбеддингов WaveSync — новый алгоритм для детального, нелинейного и быстрого анализа сходства эмбеддингов и векторов. Алгоритм является в большинстве задач заменой линейному косиносному сходству. Он позволяет улучшить точность обработки языка и открывает новые перспективы для разработчи...

Тесты с проходным баллом: разработка и анализ результатов В этой статье мы погрузимся в мир разработки и анализа результатов таких тестов, обсудим их значимость и поделимся секретами создания эффективных тестовых заданий.Эта статья будет особенно интересна специалистам в области HR, образования, тренинга и развития, а также всем, к...

Ученые НИТУ МИСИС предложили новый метод оценки точности системы локализации трамвая Специалисты создали подход, который позволяет оценить точность определяемых координат по ключевым точкам, извлеченным из фото и видеоматериалов, сделанных во время многократных проездов трамвая по маршруту. Механизм является частью процесса тестирования алгоритмов, разработа...

Библиотека на Go для работы с RuStore API Привет, Хабр!Меня зовут Энрике, и я работаю Go-разработчиком в RuStore. Сегодня хочу рассказать про библиотеку на Go для комфортной работы с API магазина приложений RuStore. Иногда авторизация через API и получение JWE-токена занимают больше времени, чем хотелось бы. С ...

Игорь Боровиков: первопроходец в сфере кибербезопасности Основатель компаний Noventiq и Softline Игорь Павлович Боровиков уже более 30 лет занимается ИТ-проектами. Он начинал свой бизнес в 90-х, когда в России количество предприятий, занятых в отрасли, можно было пересчитать по пальцам. Сегодня созданные им компании стали междунар...

Мало было серьёзных уязвимостей в процессорах, теперь такую обнаружили в GPU. LeftoverLocals опасна в случае обучения больших языковых моделей Несколько лет назад одной из самых активных тем в IT были многочисленные уязвимости в процессорах. Теперь такую же обнаружили в современных GPU.   Называется уязвимость LeftoverLocals (её каталожный номер — CVE-2023-4969). Она позволяет восстанавливать данны...

Компания Quantum Machines показала использование прямого цифрового синтеза (DDS) Использование прямого цифрового синтеза для генерации микроволновых импульсов в квантовых вычислениях предоставляет преимущества в виде простоты, масштабируемости и улучшенной точности фазы.

Российские физики разработали алгоритм для сравнения расчетов квантовых компьютеров Учёные из МИСиС разработали квантовый алгоритм, который позволит сравнить точность вычислений квантовых компьютеров

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации В предыдущих статьях статья 1, статья 2, статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов я...

Сравнение различных схем квантования для LLM Как запустить локально LLM 70B параметров на 1 видеокарте с 24gb? Нужно квантование! Квантование - это процесс уменьшения битности вычислений в нейронной сети, используемых для представления весов, смещений и активаций. Путем снижения точности мы можем значительно сократить ...

Скрытые симптомы: как модели машинного обучения предсказывают развитие болезни Альцгеймера за 7 лет до ее начала К сожалению, в настоящее время нет лекарств, способных полностью вылечить болезнь Альцгеймера (деменцию) или остановить ее прогрессирование на поздних стадиях. В мире с таким диагнозом ежегодного сталкиваются порядка 50 миллионов человек, и...

Программа для таксопарка и её преимущества Программа для таксопарка – это специальное программное обеспечение, которое помогает управлять и контролировать работу такси-компании. Она позволяет автоматизировать процессы заказа и отслеживания поездок, управления автопарком, расчета заработной платы водителям и многое др...

Новый тип нейронной сети приходит на помощь большой физике Инструмент машинного обучения помогает физикам решать сложную задачу анализа больших, но почти пустых наборов данных, например, от детекторов нейтрино или коллайдеров частиц. Читать далее

Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...

Каждый айтишник желает знать: корпоративное обучение в МТС Тета Привет, Хабр. Меня зовут Максим Яровой, я руковожу внутренним центром развития и обучения IT-специалистов – МТС Тета.Одна из основных проблем обучения в IT-секторе в том, что учебные программы часто отстают от быстро развивающейся индустрии. МТС Тета была создана два года на...

[Перевод] Мозг и системы машинного обучения: сравнение масштабов Эпистемологический статус: весьма неопределённый. В литературе приводятся обширные, но ненадёжные данные, и в этой статье я делаю некоторые весьма грубые допущения. Тем не менее, я удивлюсь, если мои заключения отличаются от истины более чем на 1-2 порядка.В настоящее время ...

Роботы научились играть в футбол благодаря машинному обучению Специалисты по искусственному интеллекту из DeepMind, компании Google, использовали машинное обучение, чтобы обучить крошечных роботов играть в футбол. Они описали процесс разработки роботов в журнале Science Robotics.

Рынок данных в даркнете: как купить чужие и не потерять свои Уже 3 года подряд компания Privacy Affairs публикует на своем сайте исследование рынка информационных услуг в даркнете. Первое исследование носило характер обзора и вышло в 2020 году. В 2021, 2022 и 2023 году специалисты компании анализировали динамику цен на те услуги, кото...

Московская цифровая библиотека расширила доступ к медицинским данным Мэр Москвы, Сергей Собянин в своем Telegram-канале сообщил о пополнении Московской цифровой библиотеки новыми наборами данных о лучевой диагностике. Среди них — информация о маммографии, рентгенографии грудной клетки, флюорографии и компьютерной томографии. Эти данные, досту...

Ученые создали программу для анализа функции сердца с помощью ИИ Ученые из Колумбийского инженерного центра представили новый инструмент, который значительно упрощает и ускоряет анализ функции сердца. BeatProfiler — это программа, использующая искусственный интеллект и машинное обучение для автоматического анализа данных видео о работе се...

Обзор библиотеки drake в R Drake предлагает систематический подход к построению и управлению зависимостями в проектах, автоматизируя процесс обработки данных и анализа. С помощью drake можно отслеживать изменения в коде и данных, автоматически перезапуская только те части анализа, которые были изменен...

Ученые проверили способность ИИ распознавать эмоции в голосе Группа исследователей из Германии решила выяснить, насколько точно технические инструменты могут предсказывать эмоциональные оттенки в голосовых записях. Для этого они сравнили точность трех моделей машинного обучения в распознавании различных эмоций в аудиофрагментах. Резул...

Машинное обучение помогло выявить взаимосвязь между ростом черных дыр и эволюцией их родительских галактик Вселенная наполнена сверхмассивными чёрными дырами, и наша галактика не исключение. Однако до сих пор существует много вопросов, связанных с тем, как они становятся такими огромными и какие процессы лежат в основе их эволюции. Одной из трудностей, с которой сталкиваются...

Управление цветами в Seaborn: как эффективно визуализировать данные Привет, Хабр. В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.Я покажу не только картинки было-стало, но и приведу примеры кода, а также объясню логику принятия решений: как исп...

В Microsoft разработали метод улучшения точности языковых моделей ИИ На январском Форуме исследований Microsoft Дипендра Мисра, старший исследователь в Microsoft Research Lab NYC и AI Frontiers, представил метод Layer-Selective Rank Reduction (LASER), способный повысить точность больших языковых моделей.

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.В этой статье рассмотрим ма...

Эффективные вложения в ИТ: Как посчитать ROI при внедрении ПО на примере системы маскирования данных Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачаст...

Глаза боятся, а ИИ делает: как эмоции помогают ИИ лучше управлять автомобилем Современный ИИ достиг впечатляющего прогресса, стимулируя сферу автономного транспорта. Особенно перспективно выглядит обучение с подкреплением (RL), показавшее успехи в сложных задачах принятия решений вроде игры в Го или управления беспилотными автомобилями. Но существующи...

Не радиус важен, а плотность! Часть 1: Глубокий взгляд на precision и recall Нет, нет, я совсем не про геометрию или физику, я про множества!Точнее про множество того, что вы знаете.К сожалению, множество знаний у ML разработчиков всех уровней часто представляет из себя именно такое. Хотелось бы попробовать озвучить некоторый, как кажется, более глуб...

As const в Typescript Привет, Хабр!В разработке часто возникают ситуации, когда точность типов и нежелание допускать неясности в коде становятся первостепенными задачами. В таких случаях, разработчикам приходится искать инструменты, предоставляющие максимальную ясность и строгость в определении д...

[Перевод] Как избирательное забывание помогает в обучении ИИ Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать к...

Можно ли научить чат-бота всегда говорить правду. Часть 2 Эта статья является продолжением анализа существующих способов устранения галлюцинаций чат-ботов и повышения точности их ответа. В прошлый раз был разбор того, как оценивать точность в процессе диалога, а сегодня мы поговорим о методах, которые из научного сообщества уже про...

Кто такие специалисты по безопасной разработке и где на них учиться Привет, Хабр! В этой статье мы разберемся, кто такой специалист по безопасной разработке, какие требования к нему предъявляют работодатели, сколько специалисты этой профессии сегодня зарабатывают и куда можно пойти учиться на AppSec-специалиста. Давайте знакомиться! Меня зов...

Security Week 2404: подглядывание через датчик освещенности Научные исследования в сфере безопасности довольно регулярно посвящены угрозам совершенно теоретического плана. В публикации попадают потенциальные уязвимости, которые никто прямо сейчас эксплуатировать не будет. Задача таких работ — усилить безопасность в перспективе. Если ...

Документация на этапе «Обучение» (с примерами) Список обучающихся на этапе обучения имеет несколько важных целей:1. Организация Процесса Обучения:   - Составление списка обучающихся помогает эффективно организовать процесс обучения, определить количество участников и управлять группой.2. Контроль Присутствия:&n...

Как GlowByte помогает «Пятёрочке» анализировать персональные коммуникации на рынке В современном мире, где конкуренция в сфере ретейла продолжает набирать обороты, держать руку на пульсе становится все более актуальным для каждой успешной корпорации. Борьба за потребителя никогда не была такой интенсивной, и в этой борьбе большое значение приобретает транс...

НаQA нам QA? Привет, Хабр! Меня зовут Ксения, я руководитель отдела QA в компании ISPsystem. О том, как я собирала команду, можно почитать в моей предыдущей статье. Сейчас в нашем отделе 14 человек. Чем шире становится команда, тем больше ожиданий на нее возлагается относительно кач...

Библиотеки для реализации алгоритмов сжатия данных в Rust Привет, Хабр!Сегодня мы рассмотрим хорошие библиотеки для реализации алгоритмов сжатия данных на ЯП Rust. Сжатие данных позволяет уменьшать объемы данных без потери качества или с минимальными потерями. Различают две основные категории методов сжатия: с потерями и без потерь...

Не бойтесь брать джунов В последние годы наш рынок труда столкнулся с серьёзным дефицитом кадров. Особенно сильно это затронуло сферу IT. Многие специалисты либо решили релоцироваться, либо были наняты в зарубежные компании. Существует несколько вариантов решения проблемы нехватки кадров, и почему-...

Лапочки с характером: Как машинное обучение помогает определить тип личности ваших пёсиков Предлагаю Вам разбавить все серьезные, обсуждаемые здесь темы, небольшой отдушиной для многих из нас!Собаки – настоящие маленькие спутники жизни каждого хозяина, поэтому многих обрадовала бы возможность подобрать питомца, который будет вписываться в привычный образ жизни, и,...

Модель запроектной аварии с потерей теплоносителя Добрый день!В последние годы проектирование ядерных реакторов нового поколения стало одним из векторов развития атомной энергетики во всем мире. Стоит отметить, что главным приоритетом в создании таких энергетических установок по-прежнему остается обеспечение безопасности. Н...

11 лучших программ для нейросетей Для работы в области науки о данных, особенно при прогнозировании сложных закономерностей или погружении в проекты компьютерного зрения, часто требуются мощные инструменты, как, например, Neural Designer. При использовании потенциала сверто...

Компромисс смещения и дисперсии в машинном обучении Привет Хабр! В этой статье мы рассмотрим такое понятие в машинном обучении, как компромисс смещения и дисперсии (bias-variance Tradeoff). Так как понимание того, что можно изменить в процессе обучения нашего алгоритма обучения, приведет нас к созданию более точных моделей. Ч...

Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...

Моделирование курса валют методом Монте-Карло Метод Монте-Карло — это мощный инструмент стохастического моделирования, который используется в самых разнообразных областях науки и инженерии. В финансах, этот метод часто применяется для анализа и прогнозирования временных рядов, таких как курс валют или акций. Использован...

Кому и зачем нужны разработчики мобильных приложений в 1С Платформа 1C:Enterprise — самый простой способ перейти в сферу мобильной разработки. Научиться писать приложения на 1С проще, чем освоить Swift, Java или Kotlin. Обучение займёт всего пару месяцев. При этом специалист с такими знаниями всегда будет востребован на рынке благо...

Погружение в мир адаптивной верстки с Flutter Я Магин Максим, Flutter-разработчик агентства мобильной разработки Instadev. Поговорим о таком понятии как “адаптивная верстка”. Разберем, для чего она нужна, чем отличается от других видов верстки и какие подводные камни могут встретиться при использовании.Каждый разработчи...

Это мы юзаем: библиотека Optuna в Python для оптимизации гиперпараметров Привет, Хабр!Гиперпараметры — это параметры, которые не учатся в процессе обучения модели. Они задаются заранее. От выбора гиперпараметров напрямую зависит качество и эффективность модели, а их оптимизация может улучшить результаты предсказаний.Традиционный подход к оптимиза...

Обзор актуальных инструментов шифрования в Android Привет, Хабр! Меня зовут Артур Илькаев, я работаю в департаменте экосистемных продуктов, мы разрабатываем VK ID SDK и все что связано с авторизацией и сессиями, в частности — мультиаккаунт.Секретные данные требуют особого внимания при хранении и передаче. Инструмен...

Помогаторы разработчика 1С Всем привет. Данная статья написана по моему выступлению на Infostart Event 2022, на котором я рассказал об инструментах и «лайфхаках», которые использую в своей работе и которые, как мне кажется, помогают сделать работу разработчика 1С проще, удобнее, а главное, эффективней...

Tele2/Altel: развитие сетей связи с помощью больших данных Станислав Стрельцов, CDO Tele2/Altel, – о проекте оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений. Проект призван снизить капитальные затраты и улучшить качество услуг, при этом помогая достижению целей ус...

Обзор современных подходов персонализации диффузионных нейронных сетей Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженн...

Калькулятор судьбы – как новый алгоритм ИИ предсказывает дату смерти? Результаты нового исследования показали, что современные системы ИИ могут точно предсказывать время чьей-либо смерти. В 2023 году искусственный интеллект наконец приблизился к научной фантастике. Сегодня эти умные системы активно внедряются в экономику, образование, бизнес и...

Это может спасти сотни тысяч жизней: стетоскоп с искусственным интеллектом ставит точный диагноз за 15 секунд Британские медики в настоящее время тестируют новейший стетоскоп, который использует передовую технологию искусственного интеллекта для моментальной постановки диагноза. Портативное устройство, созданное американской компанией Eko Health, представляет собой инновационны...

В московских поликлиниках итоговый диагноз теперь ставит ИИ Во всех взрослых поликлиниках Москвы заработал сервис постановки итогового диагноза пациенту с помощью искусственного интеллекта (ИИ), данные об этом появились на официальном портале мэра и правительства Москвы. ИИ помогает столичным терапевтам и врачам общей практики в...

False или не false? При расследовании инцидентов есть несколько ключевых моментов этого процесса для аналитиков, на которые в данной статье мы обратим внимание – это корректность самого расследования, верная категоризация произошедшего, а также приоритет. Грамотно расставленные приоритеты, а им...

«Машинное чтение» цифровых и не только индикаторов без ИИ и нейронок на Python В этой статье рассмотрим простой алгоритм обработки и распознавания значений из массива фотографий с показаниями цифровых индикаторов. Не будет машинного обучения, нейросетей, только стандартные библиотеки Python для работы с изображениями. Чита...

Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения Каждую неделю мир машинного обучения наполняется новыми открытиями, проектами и статьями, которые не только вдохновляют дата саентистов, но и расширяют горизонты знаний. В этой статье мы собрали для вас подборку самых интересных и актуальных материалов недели, которые помогу...

Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.

Room для Kotlin Multiplatform. Пробуем нативное решение Всем привет! На связи Анна Жаркова, руководитель группы мобильной разработки в компании Usetech. В начале мая Google нас порадовали релизами нескольких библиотек для локальных хранилищ. Наконец, в приложения Kotlin Multiplatform можно полноценно использовать Room (версия 2....

SQL и python для анализа цен на новостройки в СПб или ценнейший навык для маркетолога в 2024 «Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблица...

[Перевод] На пути к 1-разрядным моделям машинного обучения В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit. Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с кванто...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.В этой ...

Как выбрать GPU для машинного обучения Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты...

Как составить резюме начинающему IT-специалисту В этой статье я покажу, как бы составил резюме, если бы в данный момент был начинающим Flutter-разработчиком. Рекомендации универсальны, поэтому будут актуальны под любую IT-профессию. Просто изучите все пункты этого материала и воспользуйтесь подготовленным шаблоном. Читать...

Пульс опросы по удовлетворенности сотрудников Удовлетворенность сотрудников становится не просто показателем корпоративной культуры, но и ключевым фактором успешности бизнеса. Регулярное измерение этого аспекта позволяет компаниям не только отслеживать настроения в коллективе, но и своевременно реагировать на возникающи...

Тысячи компаний продолжили делиться личными данными людей с Facebook* Новое исследование Consumer Reports показало, что огромное количество компаний делится личными данными с Facebook*. В ходе исследования были изучены данные 709 добровольцев, и выяснилось, что в среднем 2230 компаний отправляли данные о каждом человеке в Facebook*.

Компиляция на этапе выполнения в C++: constexpr, consteval и constinit Сегодня мы поговорим о том, как constexpr, consteval, и constinit позволяют реализовывать компиляцию на этапе выполнения. Компиляция на этапе выполнения позволяет ускорить выполнение кода за счет выполнения расчетов на этапе компиляции, а не в рантайме.constexpr делает воз...

ИИ поможет ускорить диагностику пневмонии Исследователи из Университета Карнеги-Меллона представили новый подход к диагностике пневмонии с использованием машинного обучения и квантовых вычислений. Это позволит ускорить и улучшить точность определения заболевания.

Как рассчитать CLTV с помощью машинного обучения и как нам в этом помогает Feature Store Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розни...

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata Привет, Хабр!Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и большим данным. О решении одно...

Коротко об играх от инди разработчиков №2 Прошлая подборка была неоднозначна принята. В комментарии было написано что не надо, а потом кто-то написал что надо. Пусть лайки/дизлайки определят, нужно такое здесь публиковать или нет. Попытка № 2.На DTF в комментариях было очень тепло принято, на пикабу залайкано.Мне на...

[Перевод] Разметка данных при помощи GPT-4 Разметка данных — критически важный компонент проектов машинного обучения. К ней применима старая поговорка «мусор на входе — мусор на выходе». В процессе разметки создаются аннотированные датасеты для обучения и проверки. Однако этот процесс может быть длительным и дорогос...

Магическое ускорение работы моделей с помощью самогонного аппарата Вы когда-нибудь задумывались о том, что у человеческого мозга есть ограниченная емкость и вы можете выучить этот чертов английский просто потому что в детстве запомнили слишком много покемонов? Или почему обучение с учителем гораздо эффективнее, чем самостоятельное?Эти вопро...

Планируем путешествие — задача коммивояжера (TSP) для построения оптимального маршрута С вами Алексей Ложкинс, эксперт по анализу данных и машинному обучению в ПГК Диджитал. Мы разрабатываем цифровые продукты для логистической отрасли, в первую очередь, для ж/д перевозок.В кулуарах московского офиса ПГК мы обсуждаем и нерабочие темы. Топовую строчку в темах не...

Тенденции в онлайн-опросах: что нового в 2023 году? В этой статье мы погрузимся в последние тренды и инновации в сфере онлайн-опросов, которые набирают обороты в 2023 году. Это не просто обзор новых функций и технологий; это исследование того, как эволюционирует весь процесс сбора и анализа данных, и что это значит для бизнес...

Взгляд в хранилище данных. Анализ диска с помощью Kali Linux В данной статье мы рассмотрим основные инструменты и методы, предоставляемые Kali Linux, для анализа содержимого дисков, включая методы извлечения данных, анализ файловой системы, поиск удаленных следов и многое другое. Погрузимся в мир цифровой форензики и обнаружения инфор...

Порядок создания технического задания для разработки информационной системы Привет, Хабр! Часто приходится разрабатывать информационные системы разной сложности и в один момент решил написать порядок действий (инструкцию) для данного действа . Я прекрасно понимаю, что она неполная и написана c точки зрения системного аналитика, но надеюсь ,что конст...

Анализ 10 000 вопросов с технических интервью: частотность и вероятность встречи Привет, Хабр! Я проанализировал 600 публичных мок-интервью с YouTube и собрал из них 10 000 уникальных вопросов. Затем посчитал, как часто они встречаются, и определил вероятность появления каждого вопроса. У меня есть данные по 20 профессиям, включая frontend, python, java-...

Как работает multiprocessing в Python под капотом Я довольно давно пишу на Python и во многих проектах использовал multiprocessing — пакет стандартной библиотеки языка Python, который предоставляет интерфейс для работы с процессами, очередями, пулами процессов и многими другими удобными инструментами для параллельного прогр...

[Перевод] Xv6: учебная Unix-подобная ОС. Глава 2. Устройство операционной системы Операционная система выполняет несколько процессов одновременно. ОС распределяет время работы с ресурсами компьютера между процессами. ОС даст каждому процессу шанс на выполнение, даже если число процессов больше числа процессоров.ОС изолирует процессы друг от друга так, что...

Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python Следующим мощным алгоритмом машинного обучения является AdaBoost (adaptive boosting), в основе которого лежит концепция бустинга, когда слабые базовые модели последовательно объединяются в одну сильную, исправляя ошибки предшественников.В AdaBoost в качестве базовой модели и...

Как визуализация приоритетности задач позволила нам ускорить процесс разработки и сделать его прозрачным для всех Какое-то время назад мы столкнулись с проблемой: сроки нашей разработки и темпы реализации начали сильно стопориться. При запуске фичей команда сталкивалась с отсутствием прозрачности при отображении объема задач в спринте. У одного разработчика в работе могло находиться сра...

Это база. Как прокачиваются сервисные инженеры КРОК Привет, Хабр! Меня зовут Жора Дубовец, я сервисный инженер в департаменте инфраструктурных решений и сервисов КРОК. За четыре года я прошел путь от стажера до ведущего специалиста в команде, которая 24/7 поддерживает работоспособность ИТ-инфраструктур компаний от Калининград...

Как ускорить LLM-генерацию текста в 20 раз на больших наборах данных Всем привет, я Алан, разработчик-исследователь в MTS AI. В команде фундаментальных исследований мы занимаемся исследованием LLM, реализацией DPO и валидацией наших собственных языковых моделей. В рамках этих задач у нас возникла потребность в генерации большого количества да...

Ученые создали микроскоп с ИИ Ученые создали микроскоп с ИИ, который анализирует данные прямо во время работы. Это позволит проводить больше экспериментов и быстрее получать результаты. Рентгеновские микроскопы стали настолько мощными, что ученые не успевают обрабатывать всю получаемую информацию. Новая ...

MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I Всем привет! Меня зовут Николай Безносов, я отвечаю за применение и развитие машинного обучения и продвинутой аналитики в билайне. В одной из прошлых статей мои коллеги рассказывали о месте Seldon в ML-инфраструктуре компании, а сегодня мы поднимемся на уровень выше и погово...

[Перевод] Как калькуляторы вычисляют синус? Синус, одна из фундаментальных тригонометрических функций, играет важнейшую роль в различных областях, включая математику, физику, проектирование и computer science. Процесс его вычисления нетривиален, особенно при реализации в электронных калькуляторах, где крайне важна эфф...

Российские ученые улучшили диагностику рака с помощью нового алгоритма В пресс-службе Российского научного фонда (РНФ) сообщили, что российские ученые совместно с французскими коллегами разработали алгоритм, который значительно улучшит диагностику рака. Он позволяет системам компьютерного зрения более точно определять границы клеток и число их ...

Нейронные сети и dataset IRIS Исследовательская работа по dataset IRIS и библиотеке для машинного обучения и построения нейронных сетей tensorflow. Читать далее

Подробный гайд «Как испортить обучение сотрудников» Чего я только не насмотрелась, работая  с отделами обучения крупных компаний (и в России и за рубежом). Публикую свой личный ТОП-10 «Как испортить любое обучение сотрудников». Пользуйтесь. Читать далее

Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов? Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.Эта статья — развл...

RSLike@3. Well-known Symbol, улучшенное использование Typescript, и весим больше Еще совсем недавно я выпустил библиотеку которая должна была искоренить ошибки связанные с null и undefined . Честно признаюсь, что решил подсмотреть у Rust Option и Result апи, поскольку увидел в этом потенциал и удобство использования!Если кратко пройтись по истории создан...

[Перевод] 100 промптов для ChatGPT Не стоит ожидать, что в текущем виде ChatGPT способна проделать за вас работу, поскольку она еще слишком нова и наивна, хотя и учится и совершенствуется с каждым днем. При этом он вполне может помогать искать ошибки в коде и быстро сгенерировать простой код. Но для выполнени...

Бенчмарк HTML парсеров в Python: сравнение скорости Привет, Хабр!Меня зовут Вадим Москаленко и я разработчик инновационных технологий Страхового Дома ВСК. В этой статье хочу поделиться с вами информацией по проведенному сравнению производительности нескольких популярных библиотек для простого HTML-парсинга.При необходимости с...

Анализ данных КХЛ. Часть 1 — про теорию шести рукопожатий Привет, Хабр! Эта статья посвящена исследованию о том, насколько тесен мир хоккея.Меня зовут Рашит Гафаров, я начинающий дата-инженер и выпускник Яндекс Практикума. Мы с наставницей Юлией Муртазиной и ещё пятью студентами проанализировали с помощью Pytnon связи между хоккеис...

Как начать карьеру в пентесте: опыт сотрудника Angara Security Мы продолжаем цикл материалов о старте карьеры в кибербезопасности. Этот материал подготовил сотрудник отдела анализа защищенности Angara Security, по просьбе автора, мы не будем раскрывать его имя. Если после прочтения статьи будут вопросы, welcome в комментарии или в личны...

Code review: почему мы до сих пор его используем и какие альтернативы? Прообраз code review появился в 60-х годах прошлого столетия, когда программы писали на перфокартах. Главной проблемой тогда было преобразование программного кода в машинный — компиляция. Это сложный процесс, чувствительный к ошибкам и структуре написанного кода. Если в проц...

[Перевод] Полезные расширения VScode для работы с документацией Как правило, работа с документацией — это последний этап любого проекта, связанного с данными (data science, data visualization и т. д.), проектированием и разработкой ПО. Речь о создании и редактировании библиотек, файлов README, обучающих материалов и др. Среди всех преиму...

Самый лучший в мире курс по Машинному обучению — Алгоритмы Машинного обучения с нуля Краткий обзор курса, который я недавно закончил пилить на степике. Курс хардкорный :) В нем необходимо с нуля писать алгоритмы машинного. Наверное это один из лучший способов досконально разобраться в алгоритме.Курс бесплатный: https://stepik.org/course/68260/promo Читать да...

Qucs-S: руководство по видам моделирования, часть 1 Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан на С++ с использованием набора библиотек Qt. О данной программе рассказывают мои предыдущие статьи. Для работы Qucs-S...

Цифровой двойник помогает в реконструкции цехов UMNO digital создала цифровой двойник вагоноремонтного предприятия «Техкомплекс» в Самаре. Компания разработала копию завода в виртуальной среде и оценила эффект реконструкции цеха ремонта колесных пар. Двойник показал варианты изменений и позволил с высокой точностью рассчи...

Как начать карьеру в инфобезопасности Привет! Меня зовут Иван, я инженер по кибербезопасности в достаточно крупной компании и автор курса «Специалист по информационной безопасности: веб-пентест». В этой сфере я уже около шести лет. Сейчас занимаюсь тестированием безопасности приложений, архитектурой и внедр...

Квантовая случайность против детерминизма и супердетерминизма. Изгоняем демона Лапласа Миром правит детерминизм или случайность? Будущее предопределено или многовариантно? Можно ли в точности предсказать будущее состояние системы по начальным условиям, или её динамика в принципе непредсказуема? Всё происходит согласно необходимости и провидению, или наша судьб...

Z-test Привет, Хабр!Z-тест, известный также как z-критерий Фишера, представляет собой набор статистических методов для проверки гипотез, которые базируются на предположении о нормальном распределении данных. Эти методы используются для анализа, являются ли средние значения двух наб...

Аналоги сервиса Анкетолог В эпоху цифровизации и активного развития интернет-технологий, опросы и тесты стали неотъемлемой частью многих сфер деятельности. Они помогают компаниям получать обратную связь от клиентов, анализировать предпочтения пользователей, изучать вовлеченность сотрудников, а также ...

«Цифровая Земля» станет доступна уже в январе Государственные испытания комплекса геосервисов «Цифровая Земля», предоставляющего анализ данных дистанционного зондирования Земли (ДЗЗ) с применением искусственного интеллекта, успешно завершены. Об этом рассказал заместитель директора департамента автомати...

[Перевод] Каково положение отдела по взаимодействию с разработчиками (DevRel) в организационной структуре? Пришло время переосмыслить «местоположение» отдела по взаимодействию с разработчиками (DevRel) в структуре организации.Краткое изложение: Отдел по взаимодействию с разработчиками - не совсем инженерный, а также не полностью маркетинговый, и зачастую далек от сферы продаж. Ит...

Изучение Java в 2024 году: что стоит почитать. 6 книг, которые можно рекомендовать В 2024 г. Java никуда не делась и в ближайшие много лет явно не исчезнет. Язык продолжает развиваться. ПО, написанного на этом ЯП, всё больше. Разработчиков тоже нужно много и сразу, причём хороших. Для того чтобы стать таким специалистом, нужно, конечно, учиться и практиков...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Теперь китайцы получат ускорители Nvidia, которые в лучшем случае почти в семь раз медленнее, чем H100. Для обхода санкций представлены HGX H20, L20 PCIe и L2 PCIe Компания Nvidia уже представила те самые ускорители для ИИ, предназначенные для Китая, о которых мы говорили сегодня ранее.  Как и сообщалось, анонсировано три модели: HGX H20, L20 PCIe и L2 PCIe. Они довольно сильно отличаются друг от друга, а все параметры можно...

Хакеры используют ошибку 404, чтобы воровать данные банковских карт Обнаружена новая Magecart-кампания, в ходе которой хакеры внедряют веб-скиммеры для кражи данных банковских карт на страницы с ошибкой 404 на сайтах интернет-магазинов. По данным экспертов Akamai, атаки сосредоточены на сайтах Magento и WooCommerce, а среди пострадавших есть...

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

USB через IP: тест российского сетевого USB-концентратора Привет! Я Воробьев Михаил, R&D-специалист «Тринити». Мы в отделе исследований и разработок постоянно тестируем множество программно-аппаратных комплексов, которые применяем в работе компании. Когда попадается что-то интересное, очень хочется об этом написать. Вот и ...

[Перевод] Компиляция моделей МО в С Статья посвящена знакомству с инструментом micrograd и компиляции генерируемых им нейронных сетей в язык С. При этом она не является руководством по машинному обучению, но вполне может позволить вам лучше понять МО через призму компиляторов. В ходе этого процесса мы также р...

Как автоматизировать проверки данных в Airflow с Great Expectations Привет, меня зовут Дима Курганский, и я - MLOps инженер в команде машинного обучения в Банки.ру. Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations и его составляющие компоненты и хочет вывести его на прод с использованием Apache Airflow. Читат...

Яндекс подготовит на треть больше высококлассных специалистов по ИИ ШАД готовит специалистов в области машинного обучения и анализа данных, спрос на которых постоянно растёт в связи с развитием технологий ИИ.

Как мы прогнозируем объемы грузоперевозок на основе машинного обучения, используя MLflow Привет, коллеги! Меня зовут Александр Кузьмичев, и я ведущий специалист по анализу данных в Первой грузовой компании. Мы с коллегами разработали «Прогнозатор» — инструмент для оценки объемов грузоперевозок между ж/д станциями. В основе лежит открытая платформа MLflow, и сего...

WinRAR CVE-2023-38831 10 июля 2023 года при исследовании распространения троянского ПО под названием DarkMe, специалистами из Group-IB была обнаружена раннее неизвестная уязвимость в WinRAR, которая касалась обработки zip-архивов. Данная уязвимость получила идентификатор CVE-2023-38831. С помощью...

Новый баг macOS 14.4: опасайтесь потери файлов в iCloud Drive Пользователи Mac, у которых в macOS 14.4 включена функция «Оптимизировать хранилище Mac», имейте в виду, что недавно обнаруженная ошибка может привести к безвозвратной потере данных в iCloud.

Революция в цифровой инфраструктуре: контейнерные центры обработки данных (КЦОД) Приветствую всех! Я Геннадий Гужов, студент Высшей школы экономики и продакт-менеджер в компании "Солдвиг", специализирующейся на контейнерных дата-центрах. В этой статье я расскажу о контейнерных дата-центрах: что они из себя представляют, из чего состоят и какие преимущест...

Чем занимаются бизнес-аналитики и как их нанимают: рассказывают работодатели и специалисты Бизнес-аналитик работает на стыке бизнеса и IT — помогает крупным компаниям разобраться в процессах и улучшить их, выступая звеном между заказчиком и командой разработки. Более точное определение дать сложно, потому что задачи, навыки и инструменты бизнес-аналитика в разных ...

[recovery mode] Решаем дифференциальные уравнения с помощью Python часть 1 Начнем пожалуй с того, что решать дифференциальные уравнения вручную может быть не совсем просто. На данном ресурсе http://mathprofi.ru/differencialnye_uravnenija_primery_reshenii.html есть шпоры как это делать вручную, там есть множество подсказок по различным разделам высш...

ИИ выявил серьезные ошибки четырехлетнего правила США о воде Новое исследование с использованием машинного обучения показало, в какой степени правило администрации Трампа, принятое в 2020 году, резко отменило регулирование водно-болотных угодий, ручьев и питьевой воды в Соединенных Штатах. Анализ показал, что это правило отменяет защи...

Как человек покоряет Марс: хронология В настоящее время исследование Марса — одна из важнейших задач мировых космических агентств. Развитие технологий приводит к появлению новых методов изучения космического пространства. Это, в свою очередь, помогает решaть отдельные научные задачи. Космические аппараты собираю...

Краткий обзор TinyML TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к инт...

Алгоритм расчёта расстояния между строками По работе стояла задача оптимизации поиска по адресам (улицы, дома и объекты). Главный критерий - нахождение адреса, если написано с ошибками или не дописан он в полной мере. Bert’ы, косинусные расстояния эмбеддингов и т.д. не подходили, так как они заточены под смысловой по...

Сказки про ИБ в машинном обучении Всем привет! На связи Ozon, и мы спешим вас поздравить с наступающим Новым Годом! С вами Дед Мороз Никита Губорев — специалист по информационной безопасности Ozon Tech.В настоящее время модели машинного обучения становятся все более популярными и широко применяются в различн...

Создан фреймворк для улучшения производительность компьютеров С развитием технологий, связанных с машинным обучением и сетями 5G, потребность в высокопроизводительных вычислениях становится все более актуальной. Для обеспечения плавной работы таких приложений требуются более энергоэффективные и экономичные системы. В этой связи был раз...

Microsoft отозвала сертификаты драйверов устройств — последствия для пользователей Если после установки накопительных обновлений безопасности Windows 10 (разных, актуальных версий) вышедших в июле 2023 года и позже вы столкнулись с проблемой в работе (сетевых) устройств - предлагаю ознакомится с данной статьёй. Здесь изложена причина появления ошибки с код...

Альфа-Банк: машинное обучение с промышленным подходом Павел Николаев, начальник управления технологий машинного обучения Альфа-Банка, – о запуске экосистемы для разработки и внедрения моделей машинного обучения, с помощью которой удалось радикально ускорить процессы создания и запуска моделей.

Разработка и интерпретация иерархической кластеризации Привет Хабр!Иерархическая кластеризация является мощным методом анализа данных, позволяющим группировать схожие объекты в кластеры. В этой статье мы рассмотрим процесс разработки и интерпретации иерархической кластеризации, погружаясь в методы создания кластеров и анализа ре...

[Перевод] Как проанализировать риски: 4 шага Оценка потенциальных рисков и их влияния на бизнес-операции играет ключевую роль в обеспечении успеха проектов и стратегий организации. Риск-менеджеры проводят анализ, используя различные методы и расчеты, чтобы определить вероятность возникновения рисков и разработать планы...

Albumentations: XYMasking Короткая версияПосле длинного вступления, будет туториал по применению аугментации XYMasking к спектрограммам от ЭЭГ. Кто экономит время - код с примерами можно найти по ссылке в документации библиотеки. Длинная версияAlbumentations - это Open Source библиотека для аугментац...

Изучение потребительского поведения с помощью анализа данных Привет, Хабр!В этой статье мы разберем принципы потребительского поведения. Понимание потребительского поведения становится не просто важным аспектом, а маст хев элементом стратегии любой компании. Ведь каждый клик, каждый выбор и даже секунды пребывания на сайте рассказыва...

ЦЕРН увеличил объем своего хранилища до первого в истории эксабайта. Как хранятся данные Большого адронного коллайдера Когда Большой адронный коллайдер запущен — как например, во время своего второго цикла, с начала 2015 года по 2018 год, — он обрабатывает события на частоте 40 МГц. Другими словами, он учитывает 40 миллионов событий в секунду. Это необходимо, чтобы отслеживать столкновения м...

Интеграция SonarQube в Kubernetes В современном мире разработка программного обеспечения стала неотъемлемой частью бизнес-процессов, требующей не только высокой производительности, но и надежной защиты от угроз безопасности. В этом контексте DevSecOps выступает как ключевая парадигма, интегрируя принципы без...

Как Data Science помогает разрабатывать лекарства На протяжении более чем десяти лет я профессионально занимаюсь анализом медицинских данных и участвую в разработке инновационных препаратов. Не скрою, меня приятно удивляет, что в данный момент наука о данных (Data Science) привлекает все больше внимания и захватывает умы ма...

Актуальные методы проверки работоспособности больших и высоконагруженных сетей. Протоколы мониторинга Привет, Хабр!В данной статье мы рассмотрим актуальные методы проверки работоспособности сетевого оборудования. Конкретно в этой статье мы поговорим про протоколы мониторинга. Статья является переваренным опытом компании Netopia, которая занимается разработкой программного о...

[recovery mode] Где бесплатно учить Java в 2024 году В 2024 году изучение Java остается одним из актуальных направлений для тех, кто стремится стать профессиональным разработчиком.В настоящее время существует множество бесплатных ресурсов, которые предлагают уроки по Java, от курсов до университетских программ, что делает дост...

Библиотека Scout — быстрый и безопасный DI на Kotlin Привет! Меня зовут Александр Миронычев. Я занимаюсь инфраструктурой приложения Яндекс Маркет под Android. Около двух лет назад при работе над модульностью у меня появилось желание написать собственную библиотеку для внедрения зависимостей, которая позволила бы ускорить сборк...

Линейная регрессия. Основная идея, модификации и реализация с нуля на Python В машинном и глубоком обучении линейная регрессия занимает особое место, являясь не просто статистическим инструментом, но а также фундаментальным компонентом для многих более сложных концепций. В данной статье рассмотрен не только принцип работы линейной регрессии с реализа...

Замыкания и декораторы в Python: часть 2 — декораторы Уважаемые читатели, рад вас приветствовать в новой статье. Этот материал является продолжением предыдущей публикации, посвященной замыканиям. В данной части обзора мы углубимся в тему декораторов.Эта статья написана в первую очередь для тех, кто только начинает свой путь в п...

Обучение с подкреплением. Q-обучение. Понятное объяснение В данной статье я подробно опишу один из методов обучения с подкреплением - обучение на основе функции полезности (Q-обучение или Q-learning). Читать далее

AI-генераторы порно фото: этика, тренды и законодательство В последнее время, AI-генераторы порно фото стали частью большого обсуждения в сфере искусственного интеллекта, и порно индустрия не исключение. Интерес к этой теме растет, как и количество споров вокруг неё. AI-генераторы порно фото — это программы, использующие алгоритм...

Автоматизация скачивания документов из контрактов с площадки ЕИС при помощи Python В настоящее время информация о государственных контрактах является важным ресурсом для многих исследований и аналитических работ. Однако сбор этой информации может быть трудоемким процессом, особенно когда речь идет о большом количестве контрактов. В этой статье мы рассмотри...

Инструкция по SCA: генерация SBOM, инструменты, отличия Анализ сторонних компонентов ПО становится всё более актуальным в свете увеличения числа уязвимостей в открытом исходном коде. Популярные репозитории содержат более 20 тысяч потенциально опасных пакетов. Сегодня мы поговорим о спецификации SBOM (Software Bill of Material), о...

Технология OCR и ее преимущества для бизнеса OCR (Optical Character Recognition) - это технология, которая позволяет компьютерам распознавать текст, написанный от руки или напечатанный на бумаге, и преобразовывать его в электронный формат. С помощью OCR возможно автоматическое сканирование и распознавание текста с доку...

[recovery mode] Фильтруем логи санитайзеров и valgrind на примере приложения с Qt Периодически встречающаяся проблемами кода на С и C++ являются утечки памяти и неопределенное поведение. Даже если вы используете умные указатели, то от ошибок в библиотеках сторонних разработчиков вы не застрахованы. Для поиска ошибок в коде существуют специальные инструмен...

Palantir и Voyager Space объединяют усилия для применения искусственного интеллекта в космосе в новом проекте Starlab Американская компания-единорог Palantir, специализирующаяся в области аналитики данных и искусственного интеллекта, продолжает углублять своё присутствие в космической сфере. Она объявила о стратегическом сотрудничестве с компанией Voyager Space для изучения потенциала ...

Как один опытный разработчик за три дня потерял аккаунт в Телеграме, а второй чуть не перевел «другу» 100 тысяч рублей Коллеги из ИБ-отдела финансовой организации рассказали нам, как недавно атаковали их ИТ-специалистов — эту статью мы написали вместе с CISO, который активно участвовал в расследовании. Кажется, что ИТ-специалиста должны лучше разбираться в интернет-мошенничестве из-за с...

Hisense выпустила телевизор с 10 динамиками и режимом "картинной галереи" Новинка может похвастать высокой точностью цветопередачи и другими актуальными характеристиками

Сорвать покровы: почему светлячки светятся и как они к этому пришли Светлячки, их возможности и образ жизни неплохо изучены. Например, специалисты выделили фермент — люциферазу, который насекомые используют для излучения света. С 60-х годов прошлого века известны вещества, благодаря которым возможна люминесценция. Но эти похожие на личинок ж...

Как я написал программу для преданалитики клиентов Привет! Меня зовут Александр Кулагин. Я не занимался разработкой профессионально, но заинтересовался созданием нейросетей. После изучения основ Python, NumPy и TensorFlow я захотел попрактиковаться на реальных задачах. Так я решил создать проект, который оценивает, какие ком...

Инструмент статического анализа Slither Всем привет! Я из команды по анализу уязвимостей распределенных систем Positive Technologies. Мы занимаемся исследованием безопасности в области блокчейн-технологий и хотим поделиться обзором фреймворка для статического анализа кода, написанного на Solidity, — Slither. Он ра...

Переделали всё, не разломав ничего, или Проект по информационной безопасности (взглядом PM) Тихо скрипнула задвижка, дверь открылась, и вот они — специалисты информационной безопасности со своими задачами. Куда бежать? Кого спасать? Где лазейки? А поздно! Мы уже всё увидели, услышали и готовы действовать. Новость или само появление отд...

[Перевод] GPU-вычисления в браузере на скорости нативного приложения: марширующие кубы на WebGPU WebGPU — это мощный GPU-API для веба, поддерживает продвинутые рендеринговые конвейеры и вычислительные конвейеры GPU. WebGPU ключевым образом отличается от WebGL своей поддержкой вычислительных шейдеров и буферов хранения данных. В WebGL такие возможности отсутствуют, а Web...

Кадровая текучка в ИТ — мнения HR-партнеров компаний SSP SOFT и Softorium Какие айтишники чаще меняют работу и почему, как текучка кадров влияет на работу в командах и что с этим делать? Евгения Забелина, HR бизнес-партнёр SSP SOFT обсудила эту тему с Анной Сабадаш, управляющим партнёром Softorium. Ситуация в разных сферах ИТ може...

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Путь к совершенному ПО: Искусственный интеллект в автоматической формальной верификации При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать оди...

Системы автоматизации, SGRC Современная кибербезопасность включает в себя множество различных аспектов, объектов и субъектов защиты: информационные активы компании (ИТ-системы, бизнес-приложения, серверы, рабочие станции, сетевое оборудование), файлы и данные в самых разных форматах (от структурированн...

DeepMind от Google запустила футбольного советника на базе искусственного интеллекта В рамках долгосрочного сотрудничества Google с футбольным клубом «Ливерпуль», Google DeepMind представила систему искусственного интеллекта TacticAI, которая разработана для консультирования футбольных тренеров по вопросам тактики угловых ударов. Система, со...

Анатомия Htmx Hello world! По данным 2023 JavaScript Rising Stars библиотека htmx заняла второе место в разделе Front-end Frameworks (первое место вполне ожидаемо принадлежит React) и десятое место в разделе Most Popular Projects Overall. htmx — это библиотека, которая предоставляет до...

Теоретические основы всех популярных алгоритмов машинного обучения и их реализация с нуля на Python В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией с нуля на Python, отражающей основную идею. Помимо этого, в конце каждой темы указаны дополнительные и...

Прогнозы на теннис сегодня от профессионалов Прогнозы на теннис сегодня от профессионалов - это анализ и предсказание результатов теннисных матчей, основанное на опыте и экспертизе профессиональных теннисистов и тренеров. Они используют различные факторы, такие как текущая форма игроков, статистика их предыдущих матчей...

Модели вероятности дефолта: практические аспекты разработки и подводные камни Когда люди задумываются о профессии data scientist-а они в первую очередь вспоминают нейронные сети, которые создают красивые картинки или ведут с человеком псевдоосмысленные диалоги. Существует огромное количество материалов посвященных такого рода моделям, и они безусловно...

6 шагов к автоматизации управленческого учёта, отчётов и расчёта зарплат Привет! Эта статья для тех, у кого финансовый отдел просил «автоматизировать управленческую отчётность в соответствии с учётной политикой». Звучит как эльфийский, но я вам переведу)) Расскажу, как мы автоматизировали расчёты и освободили наших финансистов от ручной подготовк...

Обновленная платформа от компании «Наносемантика» ускорила процесс разметки в 240 раз Компания «Наносемантика» представила обновленный сервис для разметки данных «Маркер», который используется как инструмент подготовки датасетов для машинного обучения и создания на их основе нейросетей. В новом релизе продукта ...

Исследователи научились извлекать ключи RSA из SSH-трафика благодаря ошибкам Группа ученых продемонстрировала, что при определенных условиях пассивный злоумышленник, прослушивающий трафик, может узнать приватные ключи RSA, которые используются в SSH-соединениях. Для этого используются вычислительные ошибки в ходе вычисления цифровой подписи, возникаю...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

Вступление в мир разработки игр Исследуйте путь профессионала в области машинного обучения и его команды, погружаясь в разработку мобильных игр. Статья рассказывает о переходе от участия в соревнованиях на Kaggle к созданию мобильного приложения «Угадай фильм». Узнайте о проблемах разработки MVP для Androi...

[Перевод] Сокращаем дистанцию: как сконструировать SQL-модели в MLflow и упростить управление жизненным циклом машинного обучения Сегодня в постоянно меняющейся сфере машинного обучения особую важность приобретает возможность управлять полным жизненным циклом моделей без особых усилий. Этот витиеватый процесс поможет упростить Open-Source-платформа MLflow. Читать дальше →

Компании плакали, кололись, но продолжали искать системных аналитиков Системный аналитик — одна из наиболее востребованных профессий на российском ИТ-рынке. Хороших, как обычно, на всех не хватает. Согласно статистике за первую половину 2023 года, средний ежемесячный размер дохода такого специалиста составляет 200 тыс. руб. Джуны зарабаты...

Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов Привет, Хабр!Многомерный анализ данных позволяет нам оперировать множеством измерений и атрибутов, создавая более глубокое понимание данных. Это важно для принятия обоснованных бизнес-решений, улучшения производительности и оптимизации процессов.Работая с данными, мы сталкив...

Анализ текстовых данных с помощью NLTK и Python Привет, Хабр!NLTK предлагает удобные инструменты для множества задач NLP: токенизация, стемминг, лемматизация, морфологический и синтаксический анализ, а также анализ настроений. Библиотека идеально подходит как для начинающих, так и для опытных разработчиков, предоставляя и...

Жук, нумерология, хеш или ничо? Оптимизация работы с путями Привет, Хабр! Меня зовут Евгений Кузьмин, я Java-разработчик в CDEK. Надеюсь, все знают, что это за компания и чем она занимается. Давайте представим, что вам нужно отправить посылку с гостинцами родственнику в Москву из Новосибирска. Вы приходите в ближайший пункт приёма по...

[Перевод] 10 распространённых рисков проекта и шаги по их устранению Анализ рисков проекта помогает управлять проектом от начала до конца, чтобы исключить или сократить потери или неудачи в бизнесе. Причины рисков зависят от типа, сложности и продолжительности проекта. Цель анализа рисков проекта состоит в том, чтобы выявить возможные угрозы ...

[Перевод] Книга «Грокаем машинное обучение» Привет, Хаброжители! Машинное обучение — это набор методов анализа данных, основанных на алгоритмах, которые дают все более точные результаты по мере поступления новых данных. Машинное обучение лежит в основе систем рекомендаций, программ распознавания лиц, «умных» колонок ...

[recovery mode] MindVault: маленькая революция в flash карточных приложениях Здравствуй хабр! Я всегда мечтал создать идеальное приложение для обучения и запоминания информации, пытался понять как в целом работает память, насколько хорошо она может работать, от чего и как это зависит, в этой статье мы посмотрим что на данном этапе я достиг, или быть ...

В Томске создана нейросеть, с точностью до 100% выявляющая рак Специалисты Томского госуниверситета совместно со своими коллегами из НИИ онкологии ТНИМЦ создали нейросеть, которая способна с точностью 100 % определять наличие рака кожи, также известного как меланома. Для этого применяется терагерцевая спектроскопия тканей, по данны...

Потерянный контакт с агрессией, гештальт и IT-шники Меня зовут Антон. Я гештальт-терапевт и руководитель отдела тестирования. В основе моей терапевтической практики лежит работа с IT-специалистами. В данной статье я постараюсь ёмко описать свой опыт работы с клиентами, которые потеряли контакт со своими активными, агрессивным...

МТС создал библиотеку для специалистов по глубокому обучению нейросетей Центр Big Data МТС анонсировал разработку библиотеки Coolgraph для специалистов в области глубокого обучения нейронных сетей. Проект, представленный на платформе Github, предоставляет возможность строить графовые нейросети с помощью небольшого количества кода, пишет ТАСС ссы...

Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python Привет Хабр! В мире современных вычислений и информационных технологий, алгоритмы играют решающую роль. Они служат фундаментальным инструментом для решения разнообразных задач, начиная от оптимизации бизнес-процессов до анализа сложных структур данных. В контексте графовой т...

Как я проходила стажировку в отделе аналитических решений почти без опыта работы с данными Привет, меня зовут Луиза, я инженер данных в ЮMoney — работаю здесь уже год. Мы собираем данные, структурируем их, храним и создаём аналитические решения, например OLAP-кубы и дашборды. Департамент разделён на несколько команд, у каждой своя предметная область. За год я прев...

Собирать данные VS интерпретировать их: типичные ошибки в e-commerce аналитике Каждый день мы собираем больше 200 ГБ данных о клиентах Lamoda, которые листают сайт и делают заказы. Но красивые цифры про наше хранилище — это одно, а правильные выводы из данных — совсем другое.Меня зовут Александр Айваз, я руковожу командой Data & Analytics в Lamoda ...

PIX Robotics запускает PIX Аналитик процессов Компания PIX Robotics, российский разработчик экосистемы ИТ-решений, запускает PIX Аналитик процессов — инструмент класса Process Mining, который собирает и анализирует данные о бизнес-процессах в компании и помогает ...

Попасть в IT: невозможное возможно В последние годы конкуренция на рынке IT стала велика и самым очевидным способом войти в эту сферу – начать путь с нуля, а именно попасть на стажировку в одну из соответствующих компаний. Так получилось у меня. Привет, Хабр! Меня зовут София, я эксперт в Дивизионе информацио...

IT Recruiting — HR Forum 2023 После всех потрясений 2022 года на рынке iT кадров России наметилась стабилизация. Количество резюме на рынке вакансий растет, но происходит это в основном за счет появления большого количества джунов, а вот мидлов и сеньоров по-прежнему не хватает. Бизнесу в этой ситуации н...

Как исследование GlowByte помогает «Пятёрочке» анализировать персональные коммуникации на рынке Food Retail В современном мире, где конкуренция в сфере ретейла продолжает набирать обороты, держать руку на пульсе становится все более актуальным для каждой успешной корпорации. Борьба за потребителя никогда не была такой интенсивной, и в этой борьбе большое значение приобретает транс...

Российские учёные создали квантовый процессор Учёные МИСиС разработали квантовый процессор с высокой точностью вычислений

«Физика для программистов» — как физтехи применяют её в приложениях. Маятники Данная статья входит в цикл, освещающий задачи на моделирование физических процессов на факультете МТФИ ВШПИ. В этой части речь пойдёт про задачу моделирования поведения маятника: коротко разберём теорию, которая лежит в основе модели, немного подумаем над архитектурой и нап...

Восстановление доступа к аккаунтам Mail.ru теперь возможно за несколько минут Компания VK (бывшая Mail.ru Group) объявила о запуске полезного обновления для своих фирменных сервисов. Новая система ускорит восстановление учетных записей пользователей «Почты» и «Облака Mail.ru».   Иллюстрация: Mail.ru Как рассказали в ...

Миграция в три шага, волшебные кнопки и обезболивающие Мы регулярно рассказываем, как облачный инструментарий помогает оптимизировать хранение данных, ускорить доставку контента, оцифровать рабочие места. Всем этим процессам зачастую предшествует один — миграция инфраструктуры. В 2007 году, как показало исследование Bloor R...

Artec 3D выпустила настольный 3D-сканер Micro II Новая система от люксембургского разработчика и производителя цифрового оборудования способна сканировать небольшие объекты с точностью до пяти микрометров — в два раза выше, чем у оригинальной модели.

Тестирование для всех: топ книг для начинающих специалистов и не только Привет, Хабр! У многих IT-специалистов есть свой список настольных пособий, которыми они пользуются или изучают. Сегодня поговорим о тестировании. Мы со своей стороны можем порекомендовать книги, так как они помогают не только изучить базовые положения работы тестировщика, н...

ИИ от Google превзошел в точности прогноза погоды традиционные механизмы расчёта метеорологов В полку потенциальных безработных прибыло

Бесплатные курсы для изучения искусственного интеллекта в 2024 году Существует множество бесплатных курсов и ресурсов, которые покрывают различные аспекты и прикладные области ИИ, что позволяет выбрать подходящий для ваших целей. ИИ – это быстро развивающаяся и перспективная область, и бесплатные курсы могут помочь вам быть в курсе последних...

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 1 Библиотека pandas 2.0 вышла в начале апреля, в ней появилось много улучшений нового режима Copy‑on‑Write (CoW, копирование при записи). Ожидается, что в pandas 3.0 режим CoW будет использоваться по умолчанию. Сейчас полный переход на к...

Что такое бизнес-чат-боты и зачем они компаниям Бизнес-чат-боты – это программы, которые помогают компаниям общаться со своими клиентами 24/7 через мессенджеры, такие как WhatsApp, Facebook Messenger и другие. Они позволяют автоматизировать процесс общения с клиентами, сокращая время ответа на запросы и повышая качество о...

Исследование рыночной корзины на основе данных розничной торговли в Стамбуле Всем привет! Вот и я добралась до Хабра :).Хочу поделиться своей проектной работой, которую написала в рамках курса OTUS "Machine Learning.Basic". Итак, нас ждет путешествие в увлекательный мир шопинга в Стамбуле! Целью работы было получить представление о тенденциях и модел...

Представлен коврик для оценки состава тела Amazfit Body Composition Mat Amazfit представила новый гаджет Body Composition Mat, который предназначен для использования вместе с фитнес-умными часами Amazfit Balance, выпущенными в прошлом году. Коврик для анализа состава тела позволяет оценить состав тела, используя технологию биоэлектрического...

Учёные создали ПО, способное с высокой точностью идентифицировать собак и кошек по фотографии В настоящее время точность достигает 76%, но работа над повышением эффективности программы уже ведётся

«АстраЗенека»: эффективности бизнеса помогают данные Александр Мамонтов, Chief Data & BI Lead компании «АстраЗенека», – о построении платформы, позволяющей увеличить эффективность коммуникаций со специалистами здравоохранения и оптимизировать процессы их обучения.

[recovery mode] Где изучать Python в 2024. Бесплатные курсы, книги и ресурсы Python является одним из самых популярных языков программирования в мире. Он широко используется в различных сферах, таких как веб-разработка, научные исследования, анализ данных, машинное обучение и многое другое. Изучение Python позволит вам получить полезные навыки и откр...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

В Петербурге открылось пространство Школы анализа данных от "Яндекса" В пресс-службе "Яндекса" сообщили об открытии второй площадки Школы анализа данных (ШАД) в Санкт-Петербурге, которая станет центром для обучения специалистов в области искусственного интеллекта, пишет ТАСС.

Как избежать типичных ошибок при проведении оценки персонала Проведение оценки персонала не только помогает определить уровень компетенций и профессиональных навыков сотрудников, но и выявляет потенциал для их дальнейшего развития. Однако, несмотря на её значимость, многие организации сталкиваются с типичными ошибками, которые могут и...

Пора вернуть свои данные себе Многие из нас замечают, что с увеличением числа онлайн-сервисов, контроль над личными данными кажется ускользающим. Наши файлы и личная информация хранятся на удаленных серверах, защищенные паролями и методами двухфакторной аутентификации, и доступны нам только до тех пор, п...

Анализ новостей с помощью сегментации и кластеризации временных рядов В Отусе я прошла курс ML Advanced и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и со...

Нейросетевая революция в метеорологии. Как машинное обучение может навсегда изменить прогноз погоды 14 ноября 2023 года команда Google Deepmind официально представила мировой общественности свою модель прогнозирования погоды – GraphCast. Её особенность заключается в том, что она способна рассчитывать погоду на 10 дней вперёд без понимания «физики» атмосферных процессов. Уч...

Путь исследователя цифровых продуктов в «Магните»: проблемы и решения «Магнит» — это не только продукты съедобные, но и продукты цифровые: мобильные приложения, веб-сервисы. Команда пользовательского опыта старается делать их лучше: для этого есть исследователи, которые проводят исследования внутренних (для сотрудников) и внешних (для клиентов...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

СберУниверситет и «Рексофт Консалтинг» стали партнерами по исследованиям в сфере бизнеса и менеджмента СберУниверситет и «Рексофт Консалтинг», подразделение трансформационного и стратегического консалтинга группы «Рексофт», подписали меморандум о сотрудничестве. Основной целью партнерства станет проведение исследований в области бизнеса и менеджмента, а также обмен опытом и и...

Майнинг бизнес-процессов и визуализация данных с помощью Neo4j, Plotly и GPT Этот материал может быть полезен для COO, бизнес-аналитиков и топ-менеджеров компаний. Хотя в тексте присутствуют некоторые технические детали, надеюсь, они не будут слишком сложными. Цель материала: показать общую логику, которую мы использовали для извлечения и анализа дан...

6 полезных инструментов на основе ИИ для разработчиков ИИ постепенно проникает в разработку, хотя и не особо быстро. Естественно, разработчика искусственный интеллект никак не заменит. Однако ИИ может помочь человеку работать более эффективно. Так, инструменты кодинга на базе ИИ помогают писать шаблонный код, упрощают рутинные п...

Искусственный интеллект и прогнозирование метастазов Использование искусственного интеллекта в различных областях деятельности человека становится все более обыденным делом. Хоть ИИ и далек от многогранности человеческого мозга, в некоторых ситуациях он все же весьма полезен. Особенно если речь идет об анализе данных. Ученые...

Ждём нового роста цен на связь? Операторам в 10 раз увеличат плату за использование сетей 4G Расходы российских мобильных операторов на использование сети 4G могут возрасти в десять раз, а общие издержки на все частоты — вдвое. Эту информацию сообщают «Известия», ссылаясь на источники из сферы связи и государственных органов. Повышение стоимос...

Что нас ждет в сфере технологий в 2024 году Что нас ждёт в сфере технологий в 2024 году? Этим вопросом задаётся каждый представитель ИТ-сферы. В прошлом году мы готовили статью о 5+ трендах, которые будут актуальны в 2023 году, и в этот раз решили не нарушать традицию. Разработчики, аналитики, тестировщики, дизайнеры,...

Компьютерное зрение сквозь года Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей от...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

Lenovo и CMCC запускают новую энергоэффективную и мощную систему для исследования климата Cassandra Она позволит проводить глубокие и масштабные исследования климатических изменений и моделировать климатические процессы с высокой точностью и скоростью.

Расширение PVS-Studio для Visual Studio Code: поиск ошибок в Java-коде Java-разработчик и предпочитаешь работать в VS Code? Для тебя есть хорошая новость! Теперь ты можешь писать ещё более надёжный код вместе с расширением PVS-Studio, которое помогает находить ошибки в Java-проектах и не только. Читать далее

Как происходит подготовка проб для рентгенофлуоресцентного анализа Для химического анализа веществ разработано высокоточное измерительное оборудование. Чаще лаборатории используют спектрометры, которые походят для анализа материалов твердой, жидкой, порошкообразной формы. Из методов исследования эффективность доказал рентгенофлуоресцентный,...

Энергетика будущего: как прогрессирует сфера альтернативных источников энергии В России созданием новых видов топлива занимаются множество исследовательских центров. Например, ТПУ при поддержке федеральной программы «Приоритет 2030» развивает стратегический проект «Энергия будущего», направленный на дополнительное образование студентов и школьников. Ср...

Проверка работодателя: как минимизировать риски при трудоустройстве Вы IT-специалист и решили сменить место работы. Что обычно делают в таких случаях айтишники? Ходят по собеседованиям, работают над ошибками в случае отказов — и всё по новой до тех пор, пока не будет получен подходящий оффер. Многие ли из айтишников оценивают надёжность буду...

Бесшовный апгрейд ПО для системы хранения данных: как организовать и улучшить Любое программное обеспечение необходимо обновлять — ПО для систем хранения данных (СХД) не исключение. Логика апгрейда в СХД не тривиальна. В системе есть несколько контроллеров хранения, обновлять которые нужно последовательно, учитывая все возможные риски — потерю отказоу...

Как я пришёл в дата-анализ после долгих блужданий по онлайн-курсам, маршрут со всеми тупиками и ухабами Привет! Меня зовут Алексей, я дата-аналитик. Четыре года назад я пришёл в дата-анализ из сферы, далековатой от IT, — пивоварения (хотя о том, что на самом деле они не так далеки, я рассказывал здесь). До того как я нашёл свою нишу, тщетно пробовал вкатиться в IT через разные...

Detekt: как статический анализ помогает улучшить код автотестов Есть такое мнение, что качество кода автотестов не так важно в сравнении с основной кодовой базой. Однако это тоже код, который приходится поддерживать с соответствующими накладными расходами. Если не следить за его качеством, то и тут могут возникать проблемы. И у кажд...

Робот с ИИ совершил прорыв в химическом синтезе Группа химиков из Амстердамского университета разработала автономного робота для химического синтеза под названием RoboChem, который способен превзойти химиков-людей по скорости, точности и изобретательности. Робот оснащен блоком машинного обучения на основе искусственного и...

crm для фитнес клуба crm для фитнес клуба— это программа, которая помогает управлять отношениями с клиентами. Она собирает данные о посетителях, ведет запись на занятия, контролирует оплату абонементов и многое другое. CRM для фитнес-клуба должна обладать следующими функциями: 1. Ведение клие...

[Перевод] NumPy: оттачивайте навыки Data Science на практике В этой статье мы рассмотрим ряд различных упражнений, используя библиотеку NumPy (и сравним с тем, как мы бы реализовали их без неё). В самом конце статьи я приведу ряд упражнений.t.me/ai_machinelearning_big_data -  моем телеграм канале я публикую актуальные проекты ку...

Настройка CI/CD для самых маленьких разработчиков Считается, что построение CI/CD - задача для DevOps. Глобально это действительно так, особенно если речь идет о первоначальной настройке. Но часто с докручиванием отдельных этапов процесса сталкиваются и разработчики. Умение поправить что-то незначительное своими силами позв...

Известный инсайдер назвал размер диагонали Samsung Galaxy S24 Ultra с точностью до десятого знака после запятой Инсайдер, известный под ником Ice Universe, отметился очень интересным сообщением в соцсети Twitter: он назвал размер экрана будущего флагмана Galaxy S24 Ultra с точностью до десятого знака после запятой. Сообщение Ice Universe появилось как комментарий к сообщению дру...

[recovery mode] Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики В мире, где каждый клик, каждое взаимодействие и каждая транзакция превращаются в данные, способность понимать и интерпретировать этот поток информации становится все более ценной. Данные — это золото нашего времени, невидимый актив, который в правильных руках способен преоб...

Создание и проведение опроса клиентов, пошаговая инструкция Опросы клиентов выступают не просто как инструмент сбора информации, но как мост, соединяющий компанию с её потребителями. Эта статья представляет собой всестороннее руководство по созданию и проведению эффективных опросов, начиная от формулировки целей и заканчивая анализом...

Марсианские хроники: анализ российских патентов в сфере освоения красной планеты Климат Марса, хотя и не пригоден для высокоразвитых форм жизни, является наиболее близким к земному, а сама планета является ближайшей целью исследования и освоения дальнего космоса ведущими мировыми игроками. И Россией в том числе. Не так давно мы опубликовали на Хабре дета...

Кто на новенького: как справиться со стрессом и избежать провалов при адаптации в новой компании и команде Привет, Хабр! Я Оксана Нечитайлова, руковожу отделом сервисного дизайна в YADRO. В разработке продуктов я уже более 16 лет и за свою карьеру сменила несколько компаний, сфер бизнеса и рабочих ролей. В общем, не раз «обнулялась» и проходила периоды адаптации в новой команде и...

Нужен ли продакт в ML-команде? Мнение изнутри Пять лет назад из обычного продакт-менеджмента я перешла в команду с дата-сайентистами. И весь процесс моей работы сильно изменился. Раньше после определения потребностей пользователя я приходила к команде разработки с готовой задачей и дизайн-макетами. А после разработ...

ИИ помог обойти защиту резистентных бактерий: открыт новый класс перспективных антибиотиков По прогнозам к 2050 году смертность от инфекционных и бактериальных  заболеваний, не поддающихся лечению в связи с устойчивостью возбудителей к антибактериальным препаратам, составит 10 млн человек в год и выйдет на одно из лидирующих мест наряду с сердечно-сосудистыми ...

[Перевод] Как заново реализовать тетрис Я из тех программистов, кому нравится всё реализовать самостоятельно. Нет, я не имею в виду, что не доверяю работе, сделанной другими. Скорее, я полагаю, что, если сделаю что-нибудь сам, то из этого будет гораздо больше толку, чем если просто взять чужую реализацию. Наприм...

Простой, но масштабируемый State Management для Flutter Библиотека для управления состоянием - то, чем мы пользуемся каждый день. Чувствуете ли вы легкое покалывание при виде OnRefreshPostsButtonClickedHomeScreenEvent? Возможно, вы используете bloc.Нет? А сейчас -firstNameUserProfileStateProvider ? Ага, riverpod.Все еще нет? Тогд...

Разработка рекомендательных систем: три открытых библиотеки от Сбера Делимся своими открытыми библиотеками для разработки рекомендательных систем. Что? Да! Рассказываем подробнее. Всем известно, что Сбер это уже не просто банк, а огромная технологическая компания, которая включает в себя и сервисы компаний-партнёров: электронную коммерцию, ин...

Как оптимизировать бизнес-процессы с помощью ML: кейс ВТБ Одним из результатов запуска платформы GeoAutoML в банке стало сокращение сроков рассмотрения заявки на финансирование застройщиков в 3 раза: с 1 месяца до 10 дней. Как этого удалось добиться с помощью платформенного подхода и совмещения инструментов геоаналитики и машинног...

Несколько советов начинающим инженерам и не только Меня зовут Женя, я главный разработчик в компании ITFB Group. По долгу службы я общаюсь с большим количеством разработчиков: собеседую, помогаю в развитии, выступаю наставником, иногда оказываю психологическую поддержку. Кому-то советую книги, предлагаю использовать те или и...

Может ли потеря слуха заставить вас сбросить вес? Исследование нашло связь Исследование, проведенное в Университете Оулу (Финляндия), выявило связь между потерей слуха и снижением веса. Работа, проведенная под руководством Йияна Хе (Yiyan He), использовала генетические данные для раскрытия этой связи.

Точность "Солнцепека" повысили до пяти метров и оснастили новой системой расчёта траектории Один полный залп тяжелых 220-мм снарядов делает "нежизнепригодной" площадь в 4000 кв. метров

Плохой-хороший ИИ: как алгоритмы помогают хакерам и специалистам по ИБ Компании активно используют ИИ-системы и чат-ботов в рабочих процессах, например, для создания регулярных выражений, паттернов проектирования и уточнения запросов. Роль таких решений продолжает расти и в сфере кибербезопасности — а также кибератак. Мы в beeline cloud достато...

Intel представила оптимизацию библиотеки машинного обучения PyTorch Intel представила оптимизацию библиотеки машинного обучения PyTorch для использования на своих графических процессорах Arc "Alchemist"

Кто такие LLM-агенты и что они умеют? В последнее время большие языковые модели (Large Language Models, LLM) стали невероятно популярными — кажется, их обсуждают везде, от школьных коридоров до Сената США. Сфера LLM растёт бурными темпами, привлекая внимание не только специалистов в области машинного обучен...

Почему не стоит устанавливать ранние версии Android и приложений Писать программы сложно, и об этом многие догадываются. Куда сложнее написать универсальный программный код для сотен разных моделей смартфонов так, чтобы он нравился если не всем, то большинству. Когда вы берете миллионы строк общего кода и пытаетесь превратить его в нечто...

Обнаружение ядерных испытаний: новый метод достиг 99% точности Ученые из Австралийского национального университета (ANU) разработали принципиально новый метод выявления подземных ядерных испытаний, точность которого составляет почти 99%. Этот метод имеет огромное значение для международных усилий по «мониторингу и сдерживанию».

Топ некритичных ошибок в инфраструктуре, приводящих к критичным проблемам Допустить незначительную ошибку в конфигурации — очень просто. Однако, череда таких некритических уязвимостей может привести к компрометации системы. Поэтому, даже если других дел тоже очень много, нужно уметь не допускать таких ошибок, то есть изначально настраивать инфраст...

Использование теории очередей для оптимизации опросов в клиентском сервисе В этой статье мы погрузимся в мир теории очередей и исследуем, как её принципы могут быть применены для оптимизации опросов в сфере клиентского сервиса. Мы изучим, как понимание поведения клиентов в условиях ожидания и выбора может помочь в улучшении качества и эффективности...

SSD вскоре подорожают? Аналитики считают, что да, и вот почему Помните, насколько сильным был дефицит электронных компонентов и систем во время пандемии? Тогда резко вырос спрос на ноутбуки, смартфоны и другие электронные устройства. Но поскольку производство и логистические цепочки не были рассчитаны на такие объёмы, почти сразу стала ...

Как сделать чат-бота лучше, нужен всего лишь простой советский… RAGAS В вводной части обзора мы познакомились с концепцией Retrieval Augmented Generation (RAG) и её расширением через методологию RAGAS (Retrieval Augmented Generation Automated Scoring). Мы разобрались, как RAGAS подходит к процессу оценки эффективности и точности RAG-систем.В ...

[Перевод] Что нового в Chrome 117? Что ожидается в статье:Три новые функции CSS позволяют легко добавлять плавные анимации появления и исчезновения.Вычисление наборов данных более высокого порядка с помощью группировки массивов.DevTools упрощает процесс локальных переопределений.И многое другое. Читать далее

Нейронные сети для планирования движения беспилотных автомобилей Планировщик движения беспилотного автомобиля — это алгоритм-помощник, который общается с другими участниками движения посредством манёвров. То есть он действует так, чтобы другим было понятно, куда поедет беспилотник, и сам по действиям других пытается определить, кто куда б...

Локальный веб-сервер для разработки с помощью Docker К вам в отдел выходит новый коллега-разработчик и, прежде чем брать первые задачи в одном из проектов, первым делом ему нужно запустить его у себя локально. Если это Senior Full Stack разработчик с опытом администрирования Linux, то установка и настройка конфигов Nginx,...

Как «Умные» холодильники Cooler Screens меняют мерчендайзинг Пользователи больше не удивляются, что их «рекомендуемые товары» на любой e-commerce платформе совпадают с реальностью - покупками, запросами, избранным. А может это просто комплиментарный товар к только что купленному. Независимо от того кто вы, где вы и каков ваш доход,&nb...

Как и когда получает адрес новое жилищное строение Присвоение адреса – это важный шаг в процессе строительства новостройки. Новые дома появляются каждый день, особенно в развивающихся городах и районах. Поэтому важно иметь систему адресации, которая позволяет точно определить местонахождение каждого дома. Процесс присвоения ...

Криптография перед эпохой квантовых вычислений Недавно мы провели встречу экспертного сообщества по криптографии и квантовым технологиям, в которой приняли участие ведущие российские компании данной отрасли – «Российский квантовый центр», QApp, «Криптонит», «КриптоПро», «ЭЛВИС-ПЛЮС» и другие. На мероприятии обсудили разв...

YOLO-World: распознавание произвольного числа объектов с высокой точностью и скоростью Всем привет! Буквально несколько дней назад была представлена новая модель семейства Yolo. Ее основная фишка заключается в том, что в отличие от своих старших братьев, она способна распознавать на изображении фактически любые объекты (которые интересуют человека) без предвар...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

Ученые из Стэнфорда создали ИИ, точно определяющий пол по активности мозга Ученые из Стэнфорда разработали модель искусственного интеллекта, способную определить пол человека с точностью 90% на основе анализа активности мозга. Исследование подтвердило гипотезу о существенных различиях в мозговой активности между мужчинами и женщинами, пишет Газета....

DLP: предотвращаем утечки Утечки данных являются одной из главных проблем современного мира ИТ. Персональные данные, конфиденциальная информация, коммерческая тайна а иногда и что-то более секретное периодически у кого-нибудь утекает и всплывает на просторах Даркнета, телеграмм каналах для пробива и ...

Опросы для Определения Индекса Лояльности Клиентов (CLI) Индекс лояльности клиентов (CLI) – это не просто метрика; это комплексный индикатор, который отражает удовлетворённость, преданность и эмоциональное вовлечение клиентов. В этой статье мы углубимся в методологию опросов, которые помогают определить CLI, и обсудим, как эта инф...

Картографирование Марса: машинное обучение поможет определить место посадки в кратере Езеро Марс является объектом интереса для исследователей уже длительное время,  посадка ровера на его поверхность — задача, требующая тщательной проработки. Один из важных этапов подготовки — картирование и планирование места посадки в кратере Езеро. Для этог...

Книга «Python с нуля» Привет, Хаброжители! Эта книга даст вам основные знания и инструменты, которые помогут стать опытным разработчиком на Python. Эта книга приглашает вас в путешествие по огромному миру Python и охватывает все — от самых основ до более продвинутых тем, таких как наука о данн...

Как провести анкетирование клиентов Когда каждый клиентский отзыв может стать решающим фактором для развития продукта или услуги, анкетирование выступает не просто как инструмент сбора информации, но как стратегическое преимущество для любого бизнеса. Оно позволяет не только узнать мнение клиентов о текущем пр...

New York Times: чат-бот GPT-4 обучался с использованием расшифровок видео на YouTube В поисках легально доступных данных по обучению ИИ компания OpenAI обратилась к видео на платформе YouTube. Сама Google, кажется, их использует для обучения своего ИИ.

Дифференциальная приватность в машинном обучение Привет!Концепция дифференциальной приватности впервые появилась в начале 2000-х. Она позволяет проводить анализ данных, сохраняя информацию о личности индивидов неприкосновенной. В машинном обучение это означает возможность обучать модели, делающие общие выводы, не раскрывая...

Ученые разработали «калькулятор жизни» AI Life2vec, прогнозирующий «отведенное» время Калькулятор на основе искусственного интеллекта Life2vec производит расчеты "обратной судьбы" с точностью до 78%.

Как применять метод PCA для уменьшения размерности данных Одной из ключевых задач при работе с данными является уменьшение размерности данных, чтобы улучшить их интерпретируемость, ускорить алгоритмы обучения машин и, в конечном итоге, повысить качество решений. Сегодня мы поговорим о методе, который считается одним из наиболее мощ...

Не видел, значит не было. Объясняем заказчику, почему в UX-исследованиях важны не только цифры Привет! Я Катя Патрикеева, работаю в AGIMA UX-исследователем. Это достаточно молодая прикладная сфера бизнеса, и я сталкиваюсь с тем, что о UX-исследованиях разные компании имеют совершенно разные представления. Суть одного из них в том, что UX — в основном про качественные ...

Был программистом, а стал системным аналитиком: что хорошего в смене специализации и каких ошибок лучше не совершать Если вы задаётесь такими вопросами, как «точно ли я занимаюсь тем, что нравится?» или «как сменить сферу деятельности?», тогда эта статья однозначно для вас. В ней я поделюсь:• тем, как я выбрал свою первую профессию программиста;• почему решил сменить её и ушёл в системный ...

Настройка C++ проекта c OpenMP. Обертывание С++ для Python с помощью pybind11 и CMake В статье описан практический пример настройки проекта на языке C++ с использованием, в качестве примера, библиотеки для многопоточных вычислений OpenMP , а также дальнейшее обёртывание для использования в проектах написанных на Python при помощи библиотеки Pybind11. В качест...

DevSecOps: Сканирование образов при отправке в Amazon ECR Все больше компаний стремятся интегрировать безопасность в каждый этап разработки программного обеспечения. В контексте быстро развивающегося мира контейнеризации и облачных технологий, DevSecOps становится неотъемлемой частью создания безопасных и надежных приложений.Одним ...

Зачем вам Employee Experience: как премии, CRM и выдача ноутбуков влияют на прибыль компании Привет! Мы команда UX-исследователей Alfa Research Center. В банке отвечаем за Employee Experience (EX) — исследование клиентского опыта сотрудников. Мы погружаемся в устройство процессов и интерфейс внутренних продуктов. Мы не ограничиваемся исследованиями интерфейсов ...

Как автоматизировать переобучение моделей? Меня зовут Денис, я управляю разработкой и внедрением моделей машинного обучения в «Газпромбанке» в розничный бизнес. Наша команда ML-инженеров работает в связке с DevOps, мне помогает мой коллега Виталий VitaliyF. Он готовит инфраструктуру для обучения и переобучения моделе...

Написание open source проекта на примере рендера для ttf шрифтов. Начало В данном проекте планируется создать парсер, а затем и рендер для шрифтов с расширениями TTF, OTF, TTC, OTC.Цикл данных статей является своеобразным блогом, но не обучающим. Наоборот я прошу об обратном отклике в виде комментариев.Данный влог - это опыт создания open source ...

[recovery mode] Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование Проведение анализа дефектов, обнаруженных на продакшене, кажется сложной и трудоемкой задачей. Однако в команде Polymatica мы успешно интегрировали этот процесс в цикл тестирования, сделав его неотъемлемой частью обеспечения качества ПО. Локализация дефектов с...

VR-тур на A-Frame + React Всем привет! Меня зовут Егор Молчанов, я разработчик в команде CRM для менеджеров ипотечного кредитования в компании Домклик. Хочу поделиться своим опытом создания VR‑тура с помощью фреймворка A‑Frame и библиотеки React. Для этого написал свой неболь...

Оцениваем RAG-пайплайны RAG (Retrieval Augmented Generation) - это популярный подход, объединяющий извлечение данных из баз и генерацию текста, позволяя моделям AI давать ответы на вопросы, основанные на информации, которую они не видели в процессе обучения. Важным этапом в развитии RAG является ег...

«Как пресейл инженер телеграм ботом дверь открывал» или «Ты куда полез?» Данная статья рассчитана на специалистов области физических систем безопасности и в частности контроля доступа. Я предполагаю, что статья может быть интересна тем, кто не обладает навыками в программировании, но всегда хотел попробовать реализовать что-то здесь и сейчас, с в...

SAIC и GomSpace North America запустят мощный кубсат, объединяющий искусственный интеллект и машинное обучение Американский оборонный подрядчик SAIC заключил свой первый контракт с Пентагоном на интеграцию небольшого спутника в партнёрстве с производителем космических аппаратов GomSpace. Согласно контракту, стоимость которого не разглашается, SAIC будет разрабатывать и развёртыв...

Swirl для анализа корпоративных данных: как мы использовали ИИ-поиск и что из этого вышло При решении задачи поиска мы столкнулись с проблемой интеграции разнородных источников данных и обеспечения максимальной релевантности результатов. У нас накопилось много разрозненной информации в разных форматах и системах, что сильно осложняло поиск.В итоге мы решили попро...

Рефакторинг кода, и как его не бояться Привет, Хабр!Уже около четырех лет моя профессиональная деятельность тесно связана с энтерпрайз разработкой мобильных приложений на Flutter в компании TAGES. Сегодня мне бы хотелось поделиться некоторыми мыслями и практическими советами на тему, которая является актуальной и...

Метод Reverse-engineering на практике: как расшифровать исходный код Всем привет! Сегодня в нашем эфире новый автор - Никита Синкевич, руководитель группы анализа и реагирования Инженерного центра Angara Security. Итак, начинаем!Иногда в ходе расследования инцидента информационной безопасности необходимо понять, имеет ли та или иная программа...

ИИ повысил точность создания биооружия, но незначительно OpenAI хочет, чтобы вы были спокойны, зная, что ChatGPT лишь «немного» облегчает создания биооружия. Компания провела исследование GPT-4, оценив его потенциал в этом.

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных Я работаю в компании STM Labs, где мы строим большие высоконагруженные системы класса Big Data. Эта статья написана по мотивам моего выступления на конференции Saint Highload 2023. Хочу рассказать вам увлекательную историю про то, как мы искали лучшее решение по синхронизаци...

Цифровые технологии помогут организовать правильное питание для пермских буренок МегаФон обеспечил интернетом одну из крупнейших молочных ферм Прикамья. С помощью сети оператора специалисты предприятия оперативно обмениваются данными и контролируют вес, состав, последовательность приготовления кормов.

Этот фрукт защитит от диабета 2 типа В ходе недавнего исследования эксперты изучили данные более чем 6000 взрослых в возрасте от 45 до 84 лет. Оказалось, что употребление авокадо помогает снизить вероятность развития диабета 2 типа. Все эти результаты были опубликованы в The Journal of Nutrition.

Тестирование сборки: Supermicro X13SAE-F Intel Core i9-14900KF 6.0 GHz В этой статье мы поделимся результатами тестирования компьютерной сборки на базе материнской платы Supermicro X13SAE-F и нового процессора Intel Core i9-14900KF с возможностью разгона до 6.0 GHz.HOSTKEY — хостинговая компания, поэтому нам важно своевременно обновлять оборудо...

Linux From Scratch на Zynq UltraScale+ MPSoC В данной статье я постараюсь описать процесс создания кастомного образа Linux на Zynq UltraScale+ MPSoCс. Каждый необходимый компонент будет собран отдельно с использованием соответствующих утилит. Статья разбита на разделы, которые шаг за шагом знакомят вас с процессом сбор...

Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц Есть два подхода к работе с машинным обучением (Machine Learning, ML): быть человеком-оркестром и задействовать «зоопарк технологий» для каждого этапа, или работать с готовым набором инфраструктурных решений, который позволяет выстроить MLOps-конвейер в рамках одной платфо...

Передача контекста и знаний в IT команде Всем привет и добро пожаловать! Данная статья не является научной и не относится к разряду технических, она больше про коммуникации и командные процессы в IT. Это попытка систематизировать реальные практики по передаче контекста и знаний в ...

Нейросеть «Товарищ майор» определит владельцев анонимных Telegram-каналов В Росси разработали нейросеть, которая призвана идентифицировать администраторов и владельцев анонимных каналов, изучая их в Telegram. Об этом рассказало издание «Известия» со ссылкой на пресс-службу Национальной технологической инициативы (НТИ) и компанию р...

Продолжаем глубже изучать передачу данных по сетям GSM через GRPS с помощью SIM868 и Repka Pi — про AT-команды  В предыдущей статье мы рассказали, как с помощью модуля GSM/GPRS/GNSS Bluetooth HAT, созданного на базе SIM868, библиотек SIM800L, RoverConnect и Telemetry можно обмениваться данными между микрокомпьютером Repka Pi с JSON-сервисом, доступным в интернете.Мы привели исхо...

Как распараллелить тесты с базой данных Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка др...

Xiaomi TV S Pro 65 раскупили до начала продаж Компания Xiaomi объявила, что представленные несколько дней назад телевизоры Xiaomi TV S Pro 65 и TV S Pro 75 оказались распроданы еще на этапе предварительного заказа. Компания уже заверила пользователей, что для удовлетворения высочайшего спроса она нарастила производство....

Система интерактивного голосования Эта статья призвана исследовать значение и актуальность интерактивного голосования, демонстрируя его влияние не только на проведение различных мероприятий и собраний, но и на процессы принятия решений в корпоративной среде, образовании и даже в публичной политике.Целевая ауд...

На образовательной платформе Сбера появился курс по ИИ от ДОМ. РФ На фоне активного развития цифровых технологий, компания ДОМ. РФ представила новый образовательный курс о истории и тенденциях искусственного интеллекта. Курс доступен на платформе Edutoria от Сбера и охватывает основы машинного обучения и продуктового управления.

Facebook выпустил новую CSS-in-JS библиотеку — StyleX Верней оформил 5 декабря 2023 года оформил для всех то, чем его разработчики пользуются уже давно. Позиционируется данный помощник для js-подобных фреймворков типа React, Preact, Solid, lit-html и Angular, однако оперирующие html шаблонами Vue и Svelte тоже могут задействова...

Как сделать быстрый Wi-Fi для ПЛК Быстрый Wi-Fi позволяет собрать больше диагностической информации, а значит облегчает отладку, улучшает поддержку и открывает путь к машинному обучению в ПЛК и во встраиваемых устройствах. Но кроме быстрого Wi-Fi модуля нужен ещё быстрый драйвер на стороне микроконтроллера. ...

Flask для начинающих Как начать работать с FlaskМеня зовут Михаил, и я пишу эту статью специально для начинающих программистов, желающих изучить основы веб-разработки с использованием Flask. Вы новичок в программировании и мечтаете о создании собственных веб-приложений? Эта статья — ваш ключ к ...

Платформа для корпоративных опросов Корпоративные опросы играют в этом процессе важнейшую роль, позволяя менеджерам и HR-специалистам получать ценные отзывы, анализировать уровень удовлетворенности и вовлеченности, а также идентифицировать области для улучшения. В этой статье мы поговорим о том, как современны...

Мишустин подтвердил выделение дополнительного миллиарда на ИИ Председатель Правительства Российской Федерации Михаил Мишустин заявил, что власти выделили дополнительные средства на развитие технологий искусственного интеллекта. Большая часть средств пойдет на гранты малым предприятиям. «На поддержку искусственного интеллекта...

Настройка Eltex SMG-3016 в роли УПАТС На волне импортозамещения и ухода заграничных вендоров из страны всё более актуальным становится железо отечественных производителей, хотя выбор пока не такой большой. В сфере VoIP многие организации, особенно госучреждения, всё чаще используют IP-АТС из линейки Eltex SMG. В...

По пульсу человека можно понять, станет он преступником или нет Сердечный ритм может многое рассказать о человеке Каждый день в мире совершаются тысячи преступлений разной степени тяжести. Как правило, преступниками становятся люди с низким уровнем образования, не имеющие стабильного источника дохода. Также повышенной склонностью к наруш...

Сервис проверки пользовательских файлов «powered by pytest»: нужно повозиться, но оно того стоит Возникла задача проверки нескольких типов пользовательских документов Excel. Проверка должна покрывать такие аспекты как корректность шаблона (наличие ожидаемых страниц, колонок таблиц) и корректность данных (присутствие обязательных значений, корректность значений точки зре...

Неструктурированные данные: что это, в чем их опасность и как защититься? Объемы, разнообразие, а главное, ценность информации продолжают расти. Особенно выделяются неструктурированные данные, которые не имеют четкой организации, структуры или формата. Этим они отличаются от структурированных данных, которые обычно хранятся в базах данных и подчин...

Любовь в каждой атаке: как группировка TA558 заражает жертв вредоносами с помощью стеганографии Приветствую! И снова в эфир врывается Александр Бадаев из отдела исследования киберугроз PT Expert Security Center. Но на этот раз мы работали в паре с Ксенией Наумовой, специалистом отдела обнаружения вредоносного ПО, недавно рассказывавшей читателям Хабра о троян...

Кардиоупражнения оказались полезны для профилактики развития рака простаты Новое исследование показало, что кардиотренировки могут быть особенно полезны для здоровья мужчин. Это выяснилось по итогам анализа данных более чем 57 тысяч мужчин из Швеции.

Советы по IT-обслуживанию организаций IT-обслуживание организаций — это процесс поддержки и обслуживания информационных технологий компании. Он включает в себя такие задачи, как установка, настройка и поддержка программного обеспечения, мониторинг производительности компьютерных систем, резервное копирование дан...

Что можно и что нельзя делать с Async/Await Синтаксис async/await, введенный в Swift 5.5, значительно упростил асинхронное программирование, сделав его более доступным и интуитивно понятным. Однако, как и любой мощный инструмент, он может быть использован неправильно. Здесь я хочу рассмотреть пять распространенных оши...

Из-за ошибки артиллеристов, "накрывших" своих штурмовиков, захлебнулась атака ВСУ под Клещеевкой Без точных данных разведки, расчеты ВСУ превратились в "слепых котят"

Теоретическая и реальная производительность Intel AMX AMX (Advanced Matrix Extension) - это модуль аппаратного ускорения умножения матриц, который появился в серверных процессорах Intel Xeon Scalable, начиная с 4 поколения (архитектура Sapphire Rapids). В начале этого года ко мне в руки наконец попал сервер, с данным типом...

Триггерные исследования — разбираемся в деталях Триггерные исследования — это не просто модный тренд в аналитике и маркетинговых исследованиях, это мощный инструмент, который позволяет компаниям вовремя реагировать на потребности и предпочтения их клиентов, а также адаптировать продукты и услуги под реальные требования ры...

Unpacking аналитиков: виды, особенности и отличия Приветствую всех читателей Хабра!Меня зовут Белоусова Александра, я развиваю направление по обучению и стажировкам аналитиков в «Автомакон». У меня довольно разнообразный профессиональный опыт: была и бизнес-аналитиком, и системным, и аналитиком данных, руководила проектами ...

Большая охота. Практикуемся в Threat Hunting Для подписчиковПервый этап реагирования на ИБ‑инцидент — это обработка событий и поиск в них артефактов. Затем специалист строит таймлайны и определяет вектор и время атаки. В этой статье мы поговорим об инструментах, которые облегчают этот труд и помогают в расследовании, в...

Стиль написания кода на Wolfram Language Я как большой фанат Wolfram Language (WL) очень часто изучаю открытые репозитории с кодом на этом языке. Изучив достаточно много кода я заметил, что стиль написания этого кода очень сильно разнится от проекта к проекту. Но так же я изучил много встроенных пакетов в Mathemati...

15+ полезных ссылок для начинающего специалиста по Data Science Привет, Хабр! Меня зовут Раф. Сейчас я работаю аналитиком ценообразования в Яндекс Лавке, куда попал после стажировки в команде аналитики Яндекс Браузера. Параллельно учусь в НИУ ВШЭ и уже успел пройти курс «Специалист по Data Science» в Практикуме.В этой статье я собрал пол...

Что мы делаем, когда у нас заказывают аналитику без нормальных формулировок «Дайте нам аналитику, — просит бизнес айтишников, — правда, мы глубоко в это погружаться не хотим, чётко сформулировать требования не можем и расчётам BI не очень-то доверяем». Сюр? Сюр. Но встречается на каждом шагу. Вопрос решается с помощью Self-service, который даёт в...

Как ошибки проектирования при разработке на Symfony могут привести к перерасходу ресурсов и замедлению работы системы Сегодня хочу рассказать о том, какие ошибки можно допустить на начальном этапе создания e-commerce проекта в проектировании модели данных и в разработке веб-приложения. И, самое главное, как эти ошибки исправить: снизить потребление памяти в 1000 раз и кратно уменьшить нагру...

Сбор обратной связи от клиентов Сбор и анализ обратной связи позволяют предприятиям не только улучшать свои продукты и услуги, но и адаптироваться к меняющимся потребностям и предпочтениям своих клиентов, опережая конкурентов и повышая лояльность своей аудитории.Целевая аудитория этой статьи - руководители...

Методы оптимизации в машинном и глубоком обучении. От простого к сложному В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концеп...

Medit запустила систему i900 для изменения сканирования в стоматологиях Компания Medit, ведущий поставщик стоматологических 3D-сканеров и решений для цифровой стоматологии, представила интраоральный сканер Medit i900, устанавливающий новый стандарт скорости, точности и комфорта. Medit i900 переопределяет процесс сканирования с помощью интуитивно...

Обзор инструмента DefectDojo: почему его выбирают? Практика ASOC (Application Security Orchestration and Correlation, оркестрация и корреляция безопасности приложений), интегрирующая инструменты анализа защищенности со стеком разработки ПО, сегодня широко известна в сфере безопасной разработки. О ней много писали мы и другие...

Пароли в открытом доступе: ищем с помощью машинного обучения Я больше 10 лет работаю в IT и знаю, что сложнее всего предотвратить риски, связанные с человеческим фактором. Мы разрабатываем самые надежные способы защиты. Но всего один оставленный в открытом доступе пароль сведет все усилия к нулю. А чего только не отыщешь в тикета...

Как автоматизировать заполнение changelog через GitHub Action Привет, Хабр! Меня зовут Юрий Петров, я автор Youtube-канала «Мобильный разработчик» и Flutter Tech Lead в компании Friflex. Мы разрабатываем мобильные приложения для бизнеса и специализируемся на Flutter. Разработчики используют GitHub, чтобы писать и хранить свои прое...

Пять ошибок новичка при покупке Sony PlayStation 5 Многие игроманы берут игровые консоли по наитию и не понимают, что на самом деле их ждет впереди. Реклама и фанбойства сильно искажают объективную реальность. Именно о реальности и хочется предупредить будущих владельцев.

В России создали нейросеть для прогнозирования ошибок на химических производствах В России появилась нейросеть, которая с высокой точность предсказывает проблемы на химических производствах

ИИ определит детский аутизм по снимкам глаз с точностью 100% Ученые Медицинского колледжа при Университете Йонсей в Южной Корее разработали инновационный способ диагностики детского аутизма, имеющий точность 100 %. Подход использует алгоритм искусственного интеллекта, анализирующий фотоснимки глаз.

Эпоха цифровых двойников: как виртуальные модели выводят промышленность на новый уровень Мы обратили внимание, что за последние два года новости о цифровых двойниках стали выходить чаще. Причина понятна: в 2022-ом случился прорыв в изучении и внедрении искусственного интеллекта (ChatGPT и Midjourney), который сильно «взбодрил» сферу. Технологии применяют, чтобы ...

Интеграция с ЕСИА на Node.js без CryptoPro [2024] Приветствую! Свою первую статью решил посвятить технической стороне интеграции с ЕСИА (Госуслугами). Считаю данный материал уникальным, поскольку пока разбирался в этой задаче не увидел ни одной статьи которая описывает интеграцию с ЕСИА без использования платной CryptoPro. ...

Неочевидные трудности роста IT-специалиста Идея этой статьи родилась из обсуждения в чате канала «UI фэйл» (https://t.me/uifail), который ведёт мой коллега и друг Денис Пушкарь. В процессе сборки материала я обращался к коллегам из других команд и направлений (в том числе разработки, тестирования и аналитики), чтобы ...

Быстро и легко ищем баги в играх на Unity (для C# разработчиков) Все мы сталкиваемся с багами в играх. В некоторых даже чаще, чем хотелось бы. Множество этих багов связаны с ошибками в коде. Сегодня посмотрим, как с помощью статического анализа можно легко находить ошибки и улучшать ваш проект. Читать далее

Результаты исследования «Цифровая зрелость страховых компаний — 2023»: 3-е ежегодное отраслевое исследование в сфере страхования

NAS и SAN: основные характеристики, принцип работы и применение решений Сетевое хранилище (NAS) и сети хранения данных (SAN) — это два ключевых подхода к организации хранилища в сети, которые позволяют пользователям обмениваться данными независимо от их местоположения, что особенно актуально для работы геораспределенных команд.Несмотря на то, чт...

Как викинги лечили зубы — кажется, у них была развита стоматология У викингов были не идеальные зубы, но стоматология у них была развита хорошо За последнее десятилетие викинги сыграли большую роль в массовой культуре. О них был снят как минимум один одноименный сериал, а также множество фильмов. В ходе многочисленных исследований ученые уз...

Вспомнить за майские: 20 шагов для апгрейда информационной безопасности Каждый год растет количество взломов сервисов, хакерских атак, утечек персональных данных. Особенно это видно за 2023 год. Открываешь Tadviser — и волосы дыбом встают. В этом тексте даем базовую информацию о том, как защитить инфраструктуру, не потерять данные клиентов, по...

SETI@Home, или Как миллионы людей искали следы внеземного разума SETI@Home — краудсорсинг-проект для обработки данных радиотелескопов, запущенный в 1999 году, и первый масштабный проект в сфере распределенных вычислений в принципе. В этом посте мы подробней расскажем предысторию проекта, в котором на протяжении более 20 лет в разное время...

Dedoc: как автоматически извлечь из текстового документа всё и даже немного больше Привет, Хабр! Мы команда разработчиков Института Системного Программирования РАН, занимаемся Computer Vision в обработке электронных документов. Мы разработали open-source библиотеку dedoc, которая помогает разработчикам и дата-сайентистам в пару строк кода читать разли...

Backpropagation для взрослых: простое обьяснение Перед обсуждением обратного распространения ошибки давайте рассмотрим, что такое нейронная сеть? Концептуально — что она делает — она пытается преобразовать ряд входных данных (например, изображения) в ряд выходных данных (ответы на вопросы, например, есть ли на этих картинк...

Microsoft хочет улучшить процесс производства Surface с помощью ИИ Microsoft в своём блоге подробно рассказала о том, как команды Surface и Azure использовали облачные технологии высокопроизводительных вычислений для революции в процессе проектирования новых устройств линейки Surface. Заявляется, что это позволило уменьшить затраты и сокра...

«Разгоняем» HashSet, HashMap и циклы на примере Dart Если вы занимались профилированием своего приложения, то, глядя на CPU Flame Chart, вероятно, испытывали смесь досады и азарта, глядя на особо «жирный» метод. Досады – что ваша программа всё ещё не идеальна по скорости. Азарт – от того, что вы можете докопаться до причины пр...

Основные типы распределений вероятностей в примерах Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необ...

Как установить GOWIN EDA для запуска примеров Школы Синтеза Одной из проблем первых сезонов Школы цифрового синтеза является малое число поддерживаемых плат, на которых можно легко и быстро повторить упражнение.Чтобы справиться с данной проблемой, группа энтузиастов, под руководством Юрия Панчула, добавила поддержку множества плат и ...

Российские ученые улучшили точность навигационных систем Ученые из Пермского национального исследовательского политехнического университета разработали алгоритмы для повышения точности навигационных систем на основе инерциальных датчиков. Эти системы активно применяются в авиации, космонавтике и морском деле, обеспечивая автономно...

Астрономы «прослушали» звёзды, откалибровав космический телескоп Астрономы часто используют данные с космического телескопа Gaia, определяющего параллаксы космических объектов. Для проверки точности этих данных учёные применили оригинальный метод, проверяющий расстояние до звёзд с помощью их вибраций

Подборка книг для менеджеров и тимлидов, которые развивают команды в России Возможно, в новый год вы вступаете в роли техлида, тимлида или менеджера команды. А может, вы хотите сделать следующий шаг в профессиональном развитии в новом году? Собрали для вас несколько полезных книг, которые помогут начинающим и опытным лидерам команд (да и линейным со...

Факультет компьютерных наук ВШЭ и Яндекс расширят сотрудничество в сфере подготовки специалистов по ИИ ФКН был основан Яндексом и НИУ ВШЭ 10 лет назад и стал одним из лидеров в подготовке разработчиков и специалистов по ИИ и машинному обучению.

[Перевод] Лосось и машина Одно из самых увлекательных дел, которое счастливая случайность может подкинуть учёному‑информатику — это сложная социотехническая задача из области, переживающей процесс цифровой трансформации. В моём случае это была задача подсчёта рыб. Недавно я р...

Pandas в pandas'е: упаковываем документацию в датафрейм Документация к сложным библиотекам на питоне (напр. pandas) хранится в doc-строках и разбросана по сотням страниц сайта. В этой статье мы с помощью небольшого кода упакуем её (информацию из документации для каждого класса и метода) в... датайфрейм. Но зачем? Во-первых, это п...

RecTools – OpenSource библиотека для рекомендательных систем Если вы когда-либо работали с рекомендательными системами, то знаете, что все необходимые и самые часто используемые инструменты разбросаны по разным библиотекам. Более того, каждая из таких библиотек имеет много уникальных особенностей, к которым нужно приноровиться (наприм...

Внедрение практик и принципов DAMA-DMBOK2 как предпосылки к использованию ИИ в бизнес-процессах организаций 28 сентября компания РСХБ‑Интех провела RSHB Data Integration Meetup — митап для специалистов по работе с данными, в рамках которого выступил Антон Агеев, корпоративный архитектор и техлид команды Подписки в проекте «Свой бизнес» РСХБ‑Интех. В своем докла...

Как я уронил прод на полтора часа (и при чем тут soft delete и partial index) В жизни любого разработчика наступает момент, когда он роняет прод. Представьте: полдень, в Skyeng час пик, тысячи запланированных онлайн-уроков, а наша платформа лежит… Все упало из-за ошибки в процессе деплоя, которая связана с тонкостью PostgreSQL. К сожалению, на эт...

Вот она — память GDDR7, которую получат видеокарты GeForce RTX 50. Samsung привезла на GTC микросхемы с частотой до 32 ГГц Компания Samsung показала на GTC 2024 свою графическую память GDDR7, которую анонсировала некоторое время назад.  Микросхемы Samsung GDDR7 имеют объём 2 ГБ и рабочее напряжение всего 1,1 В. Samsung говорит, что относительно GDDR6 энергоэффективность повышена на 20...

[Перевод] Анатомия shadcn/ui Если вы следите за новинками экосистемы JavaScript, то должны были слышать об интересной библиотеке пользовательского интерфейса (user interface, UI) под названием shadcn/ui. Вместо того, чтобы распространяться в виде пакета npm, компоненты shadcn/ui добавляются с помощью ...

Huginn. Мозговой центр PaaS Привет, Хаброжители! Я Саша, Go-разработчик в компании Сбермаркет. Я со своей командой работаю над созданием инструментов PaaS.PaaS для нас — это не просто микросервисная архитектура. Это целый мир, в котором с самого начала мы почувствовали потребность в создании эффективно...

Футбольная аналитика: что поменялось за 2 года Пару лет назад я рассказывал, как мы трекаем движения игроков на поле, что помогает очень круто оцифровать тренировки детей (в наших футбольных школах). Потом оказалось, что это нужно футбольным клубам по всему миру. Но там классическая засада — мы дошли до определённого пре...

Жажда «цифровой крови»: как Google, OpenAI и Meta переступают черту ради развития ИИ Технологические гиганты OpenAI, Google и Meta* в погоне за онлайн-данными для обучения своих новейших систем искусственного интеллекта готовы на всё: игнорировать корпоративные политики, менять собственные правила и даже обсуждать возможность обхода законов об авторском прав...

«Физика для программистов» — как физтехи применяют её в приложениях. Бросок объекта под уголом к горизонту Данная статья входит в цикл, освещающий задачи на моделирование физических процессов на факультете МТФИ ВШПИ. Мы написали приложение на Flutter и сайт на React для моделирования броска, расскажем о нашем опыте в этой статье. Читать далее

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

Цифровой термометр на жесткой логике Привет, Хабр! В этой статье я расскажу вам, про электронный термометр с цифровой индикацией и линейной шкалой без применения микроконтроллеров и программирования. Данный проект появился, когда очередной раз мне пришлось сменить САПР для проектирования печатных плат. Нужна...

Как подготовиться к собеседованию по System Design мобильному разработчику В последнее время рынок труда в ИТ-индустрии переходит от рынка соискателя к рынку работодателя и компании все чаще заинтересованы в отборе максимально опытного специалиста, удовлетворяющего всем требованиям. Скорее всего вы слышали о недавних сокращениях в BigTech-компаниях...

Яндекс открывает крупнейший русскоязычный датасет отзывов на организации Сегодня мы хотим поделиться новостью для всех, кто занимается анализом данных в области лингвистики и машинного обучения. Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. Это 500 тысяч отзывов со ...

Kornia — библиотека компьютерного зрения Kornia это open source библиотека для решения задач компьютерного зрения. Она использует PyTorch в качестве основного бэкенда и состоит из набора дифференцируемых процедур и модулей. Создатели библиотеки вдохновлялись OpenCV, и поэтому Kornia является его аналогом, но при эт...

Раскрываем секретные функции: магия макросов в Burp Suite Привет! Если ты думаешь, что знаешь всё о Burp Suite, я тебя удивлю! Этот мощный инструмент для тестирования веб-приложений скрывает в себе ещё больше возможностей, способных значительно упростить и ускорить работу. Сегодня мы изучим функционал макросов на практике и увидим,...

Несколько советов как новичкам не забросить изучение IT Я создаю IT-курсы уже 6 лет, являюсь руководителем направления обучения Бэкенд-разработке в онлайн-школе и даже развиваю свои собственные курсы по программированию на Python. Еще веду корпоративные обучения, работаю в универе и провожу консультации о построении пути в I...

Persistent-request библиотека для надежных запросов Всем привет!В этой статье расскажу, как решил написать библиотеку https://packagist.org/packages/xman12/persistent-request и что там внутри.Как и любая библиотека, эта решает свои задачи, а именно гарантированное выполнение запроса и последующую обработку. Я находил, как мин...

Методы очистки данных в Pandas Привет, Хабр!Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязны данные – это пропущенные значения, дубликаты, неконсистентные данные. Пропущенные значения заставляют нас гадать, что же было замыслено нашим колл...

Губа не дура: Великобритания решила снизить затраты на ИИ-вычисления в 1000 раз Агентство перспективных исследований и инноваций Великобритании (ARIA) делает смелый шаг в области искусственного интеллекта, запуская проект стоимостью 42 миллиона фунтов стерлингов (53,5 миллиона долларов). Эта инициатива направлена на то, чтобы переосмыслить способ питани...

Как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне Привет, Хабр!Мультиколлинеарность возникает, когда в модели множественной регрессии одна из независимых переменных может быть линейно предсказана с помощью других независимых переменных с высокой степенью точности. Это явление приводит к тому, что расчетные коэффициенты регр...

Визуализация алгоритмов построения маршрутов показывает как A* для жилых домов Москвы может расчитываться день В прошлых публикациях на Хабре я находил все жилые дома в пешей доступности от входов в метро и МЦК и жилье в 500м от сетевых продуктовых магазинов в Москве. Когда настал момент объединить все метрики для мегаполиса, включая пешеходные расстояния и экологию в единую модель, ...

Wildberries тестирует новый процесс покупок из-за рубежа Wildberries проводит тестирование нового процесса покупок из-за рубежа, при которой покупателям нужно будет пройти верификацию через портал «Госуслуги». Теперь при оформлении заказа из Китая и Узбекистана покупателю понадобится пройти верификацию через порта...

Обучение ИИ на синтетических данных: исследователи из MIT меняют правила игры Как известно, данные - это новая почва в мире AI. И товарищи-исследователи из MIT CSAIL нашли оригинальный способ вырастить на этой плодородной земле нечто большее, чем просто пиксели. В своем новом исследовании, они использовали синтетические изображения для обучения моделе...

NLUX: Библиотека интерфейса Conversational AI В современном мире взаимодействие с компьютерами и приложениями становится все более естественным и удобным благодаря использованию разговорных интерфейсов и искусственного интеллекта. Однако, интеграция таких функциональностей в веб-приложения может стать вызовом для разраб...

Рыночные данные в кармане: как получать их быстро и просто с помощью Java/Kotlin и Spring Boot + TinkoffApi Если вы хотите написать проект, связанный с рыночными данными или торговлей на бирже, и вы знакомы с Java или Kotlin и слышали про Spring Boot, то эта статья для вас Читать далее

[recovery mode] Как стать Flutter-разработчиком бесплатно? Всем привет! Я Даниил Беликов, мобильный разработчик в крупной российской компании. Мои знакомые часто интересуются, стоит ли им входить в IT и на кого учиться. Обычно я отвечаю, что если человек визуал, есть смысл попробовать Flutter. Во-первых, это востребовано. Во-вторых,...

Кодирование числа в Micro QR Code версии М1 Задача: необходимо прочитать Micro QR Code версии М1, содержащее кодовое слово, состоящее из цифр (на примерах – 7, 77, 777, 7777 и максимальное кодовое расстояние – 77777) на основе алгоритма, приведенного в ГОСТ Р ИСО/МЭК 18004-2015 (п. 7.4.3, пример 2). Данный режим невоз...

Аналитика с актуальной версией платформы Visiology доступна в безопасной среде ОС Astra Linux Работая с BI-решением Visiology в среде операционной системы Astra Linux, организации получат доступ к информации и полный набор инструментов для сбора, анализа и отображения данных из различных источников.

Красота не только в коде — как оформлять репозиторий Сегодня мы затронем сторону, отличную от написания кода. Мы займемся оформлением и написанием документации, как правильно делать коммиты и как оформлять код. Все, что вы увидите в данной статье, будет касаться прочитанных мною материалов и полученного опыта. В мире разработк...

На GitHub больше 1 000 уязвимых репозиториев: в чём суть угрозы и что с этим делать Привет, Хабр! На связи технический директор MTC RED Денис Макрушин и команда Advanced Research Team: Павел Гусь, Иван Бессарабов и Андрей Сомсиков.В январе разработчики GitLab нашли в своей системе две критические уязвимости. Из-за ошибок в верификации злоумышленники могут з...

Статический анализ структуры базы данных (часть 1) Статический анализ структуры базы данных — это процесс выявления ошибок, нерекомендуемых практик и потенциальных проблем в базе данных только на основе структуры, типов данных, свойствах объектов. Статиеский анализ структуры не задействует ни пользовательские данные, ни ста...

Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...

Техноэкстаз в мире фармацевтики: как ИИ выводит создание медикаментов на новый уровень Добро пожаловать в мир, где Кембриджские исследователи в сотрудничестве с Pfizer вступили в бой, чтобы перевернуть фармацевтическую игру. Алгоритмы, нейронные сети, математические формулы – это ваши ключи к миру, где создание медикаментов становится настоящим кодерским искус...

Безопасное программирование на Си Статья для первокурсников технических ВУЗов, которым повезло изучать Си в качестве первого языка программирования. В рамках данной работы расскажу и покажу, как избегать типовых ошибок при разработке, а если уж вы эту ошибку допустили - как быстро и безболезненно её найти. Ч...

Python, Go или… готовим сырой видеопоток с полсотни камер В проектах, связанных с машинным зрением и обучением приходится работать с сырым видеопотоком с камер. Чтобы принимать, предобрабатывать и передавать эти данные нейросетям необходим отдельный программный компонент, который мы условно называем «видеоридер». Это микросервис, к...

Как мы делаем общие библиотеки Сегодня я хотел поговорить о том, как мы выстраиваем процесс работы с общими библиотеками разработки. Я расскажу о нашем подходе, который позволяет соединить процессы, команды и инструменты в единое целое. Статья будет интересна тем, кто сопровождает, создает или интересуетс...

Как составить договор с помощью нейросетей В наше время технологии искусственного интеллекта все шире внедряются в различные сферы человеческой деятельности, включая юридическую практику. Одним из наиболее заметных примеров этого является использование нейронных сетей для создания договоров для тех или иных потребнос...

Diátaxis: структура технической документации Это первая статья в корпоративном блоге компании documentat.io. Мы занимаемся заказной разработкой технической документации и помогаем компаниям настраивать процессы документирования.Многие разработчики сталкиваются с тем, что писать и поддерживать документацию трудно: непон...

Введение в Apache Flink: осваиваем фреймворк на реальных примерах Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет ...

Что интересного можно рассказать о человеке по запаху его тела Запах тела каждого человека уникален, и может рассказать о нас много чего интересного Ежедневно каждый человек сталкивается с тысячами разных запахов. Утром нас часто встречает аромат чая или кофе, днем мы посещаем десятки помещений которые тоже имеют свои уникальные запахи ...

Не Unity единым… Игры бывают разные, большие и маленькие, триA и супер инди, в компаниях с сотнями разработчиков и что создаются гениями-одиночками. Редко их делают с нуля и пишут код только игры, чаще пишут игровые тулы, редактор и параллельно пишут саму игру. За всей этой многомиллиардной ...

Цена успешного эксперимента или как ML модели помогают добывающим компаниям: вчера vs сегодня «Все имеет свою цену!» внушали нам с детства, на что пытливые умы отвечали вопросами «Что есть цена?», «Как ей управлять?», «Можно ли ее предсказать?». Кого-то эти вопросы увлекают настолько, что они решают связать с ценами всю свою жизнь и становятся кассиром в Пятерочке, к...

Kotlin Object Multiplatform Mapper Складывается такое впечатление, что дописать свою приложение для Android мне суждено не скоро. Каждый раз начиная писать новую версию (так как старая была написана не до конца, использовалась только мной, а через пару-тройку лет простоя - проще написать заново) своего прилож...

Как потерять $5000, не уехать в США и остаться должником в $17000+ Ранее на Хабре уже выходила статья Повесть о том как потерять 3тыс. долларов и не уехать в США, в которой @Iliya_karin рассказал о своём опыте сотрудничества с компанией, которая помогает переехать в США IT-специалистам - oCitizens (uDevs).Илья и я стали клиентами oCitizens ...

[Перевод] Введение в поддержку JavaScript в MySQL MySQL продолжает наращивать инновации и теперь включает в себя богатые возможности процедурного программирования внутри базы данных. Отныне разработчики могут писать хранимые программы на языке JavaScript (функции и процедуры) в сервере баз данных MySQL. Хранимые программы б...

Microsoft тестирует установку обновлений Windows 11 без необходимости в перезагрузке Мало кто любит обновления в Windows, поскольку они прерывают ваш рабочий процесс или игровую сессию окном с просьбой перезагрузить компьютер для установки очередного ежемесячного накопительного обновления. Это происходит как минимум раз в месяц, поскольку подобные обновлени...

Революция в клеточной биологии: Применение GPT-4 для РНК-секвенирования Одноклеточное РНК-секвенирование (scRNA-seq) – метод изучения экспрессионных профилей на уровне отдельных клеток, то есть определения, какие РНК присутствуют в каждой клетке и в каком количестве. Это позволяет ученым понимать, как функционирует каждая клетка и какие функции ...

Chat GPT как замена системного аналитика: сравнение эффективности Сегодня тяжело найти человека, который бы не слышал прогнозов о том, что нейросети уже готовы заменить системных аналитиков, в особенности на этапе формирования требований к новым системам. Например, тренер в школы системного анализа, ИТ-архитектор в “Systems.Education“ Юрий...

5 основных ошибок в опросах сотрудников Проведение опросов сотрудников является одним из самых эффективных способов сбора этой ценной информации. Однако, чтобы опросы были действительно полезны, они должны быть правильно организованы.Цель данной статьи — обратить внимание на пять наиболее ...

[Перевод] Новое в SQL Server 2022: Microsoft.Data.Sqlclient Популярная среди администраторов баз данных SQL Server Management Studio (SSMS) для подключения к серверам баз данных (по версию 18.12.1 включительно) использовала System.Data.Sqlclient (SDS). Новая версия SQL Server теперь поставляется с библиотеками Microsoft.Data.Sqlclien...

Технические предпочтения пользователей с нарушениями зрения в 2023 году. Исследование Яндекса Цифровые продукты и сервисы стали обыденным явлением, и сегодня это часть повседневной жизни самых обычных людей, а не только ранних энтузиастов новых технологий. Однако есть пользователи, которые по-прежнему испытывают существенные трудности при взаимодействии с современным...

Зеттелькастен рисование на бесконечном канвасе или как помнить всё на свете Каждый автор, обдумывая статью, сталкивается с проблемой. С одной стороны хочется передать читателю крутую идею и тем самым принести большую пользу, а с другой страшно давать что-то “тяжелое”, потому что тема может оказаться неподъемной и следовательно бесполезной.В первых м...

Раскрыта информация о работе функции ИИ-улучшения видео в Pixel 8 Pro Она будет заметно повышать динамический диапазон, детализацию и точность цветопередачи, но происходить всё это будет не в процессе съёмки и даже не на самом устройстве, а на серверах компании

Использование теории игр для повышения прозрачности моделей машинного обучения Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильност...

Библиотека dplyr в R Библиотека dplyr в R позволяет манипулировать данными, проводить фильтрацию, выборку, сортировку, группировку данных и многое другое.В этой статье как раз и рассмотрим эту библиотеку. Читать далее

Инструменты продуктового аналитика VK, или Как мы работаем с большими данными Принятие решений на основе данных является неотъемлемой частью работы аналитика. Данные помогают сделать это быстро. Но что если объём данных достигает десятков петабайт? Подобная задача становится не такой тривиальной, как может показаться на первый взгляд. Как масштабирова...

5 способов писать эффективный код на Go: от названий переменных до архитектуры Если вы задумывались, какие практики использовать, чтобы писать код на Go быстро и качественно, этот материал для вас. Руководитель группы разработки подсистем Геннадий Ковалев и эксперт по разработке ПО Даниил Подольский обсуждают пять способов повысить эффективность разраб...

Как аналитики данных и специалисты по Data Science находят работу после курсов: опыт Практикума Привет, Хабр! Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. Большая часть наших студентов в качестве цели обучения указывает успешное трудоустройство в новой профессии. Поэтому мы внимательно отслеживаем, у кого из выпускников получ...

Python, MSA, Kafka Всем привет! Сегодня микросервисная архитектура, что называется "на хайпе". Я перечитал достаточно много статей по данной тематике, но обнаружил, что среди всего прочего, не так много публикаций, объясняющих данную концепцию на конкретном примере (может, плохо искал). Сегодн...

Статический анализ мультиязычности Angular приложения c помощью ngx-translate-lint Не так давно мне довелось решить интересную задачу, направленную на снижение риска того, что разработчик забудет о мультиязычности приложения и это станет причиной заведения нежеланных багов в будущем. Изначально я искал решение проблемы на Хабре, но, увы, не нашел. Поэтому ...

Критический баг в Atlassian Confluence приводит к потере данных Компания Atlassian предупредила администраторов о критической уязвимости в Confluence. Эксплуатация этой проблемы может привести к потере данных, поэтому разработчики призывают установить патчи как можно быстрее.

Ученые Пермского Политеха повысили точность нейросетей для распознавания изображений Ученые ПНИПУ разработали подсистему машинного зрения, которая обеспечивает надежное распознавание мелких и разноудаленных от камеры объектов.

[Перевод] Обучение птиц новой информации К этому подступались долго - изучить точный механизм обучения у птиц и узнать заодно - весь этот опыт в распознавании звуков опасности - это врождённое-генетическое или нет? Поскольку статья не роман ( это не первая статья на данную тему, но очень свежая, 2024 года ), то сра...

План самообразования по профессии продуктового аналитика Привет, я работаю в сфере уже около 10 лет, преимущественно по специальности чистой продуктовой аналитики. Иногда я оглядываюсь назад и думаю — с текущим пониманием что и как устроено в работе, как бы я выстраивал свой процесс обучения с нуля?Эта статья — мои мысли на эту те...

Какой плащ был у Понтия Пилата? Отвечает GigaChat Всем привет! На связи лид разработки SDK GigaChat’a — Константин Крестников. В этой статье я расскажу о том, что такое GigaChain и как в целом SDK позволяет упростить жизнь разработчика LLM, например, научить LLM давать ответы на вопросы по вашим документам или работать в ре...

Безопасность в Docker: от правильной настройки хоста до демона Привет, Хабр! Меня зовут Эллада, я специалист по информационной безопасности в Selectel. Помогаю клиентам обеспечивать защиту инфраструктуры и участвую в разработке новых решений компании в сфере ИБ. И сейчас я начала больше погружаться в тему разработки и изучать лучшие пр...

«Ревизорро» в IT: тестируем суммаризацию текста в GigaChat и YandexGPT После появления на рынке API для беседы с ChatGPT 3.5 каждый второй заказчик решения на основе машинного обучения (ML) хочет внедрить у себя ИИ, который может красиво и содержательно общаться на русском языке.Меня зовут Екатерина, я IT-архитектор команды SimbirSoft, специали...

Постановка целей по технологии SMART: критерии, процесс целеполагания и возможные ошибки Почему важно уметь правильно ставить рабочие цели в компании? Дело в том, что постановка целей — один из основополагающих факторов деятельности в коллективе. Такая процедура позволяет четко определить, в какую сторону вы двигаетесь и чего именно хотите достичь. Ясная, четко ...

Количество нативных приложений для HarmonyOS достигло 4000 Huawei сделала заявление относительно своей мобильной операционной системы HarmonyOS. Компания сообщила, что количество собственных приложений HarmonyOS в настоящее время достигло отметки в 4000. В данный момент Huawei готовится выпустить HarmonyOS NEXT, оптимизированну...

[Перевод] Нелинейные корреляции. Моя любимая статистическая мера: D Хёфдинга Предположим, у вас есть две последовательности чисел, которые вы хотите сравнить, чтобы измерить, насколько они связаны или зависимы друг от друга. Это действительно довольно общий сеттинг: две последовательности могут представлять временные ряды, так что у вас есть таблица...

В России предложили изменить правила хранения данных пользователей в интернете Министерство цифрового развития, связи и массовых коммуникаций РФ предлагает изменить правила хранения данных пользователей интернет-ресурсов. Согласно предложению, к обязательным данным для хранения добавятся номера сетевых портов пользователей и адреса ресурсов. Это измене...

Бруклинский мост. Зачем генерируем C++ на Kotlin Нелегко на рынке найти senior разработчика для конкретной сферы. Каждый из них имеет уникальные знания в своем языке и фреймворке, будь это Java, Kotlin, С++, JS или Swift. Каждый накапливал свои знания годами. Но найти senior разработчика, который одинаково хорош и C++ и в ...

Моделирование движения космических тел В этой статье я подробно объясню и покажу, как написать на Python простой симулятор движения космических тел и что для этого не нужно знать. Моделирование - очень удобный и понятный способ вычисления многих процессов. Он не требует использования законов, описывающих движение...

Qucs-S: руководство по использованию SPICE-моделей и созданию библиотек Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан с использованием набора библиотек Qt. О принципах работы с Qucs-S рассказывают мои предыдущие статьи. Далее будет рас...

Android-устройства Samsung приносят больше половины доходов Google Play Об этом рассказал вице-президент Google по партнерским отношениям Джеймс Колотурос в рамках судебного процесса Epic Games (разработчик игр) против Google. Данные актуальны на начало 2019 года.

Замедляем разработку. Вредные советы по тестированию в проектах Привет, меня зовут Кристина Климовских, я — Python Developer в команде DataMining. Главная задача моей команды — поддерживать бесперебойный флоу добычи данных для обогащения и актуализации справочника 2ГИС.Ежедневно наши парсеры собирают разношёрстные дан...

Теория сборки: новая смелая «теория всего», которая объединяет физику и эволюцию Физика — прекрасная основа для понимания нашей Вселенной, но в ней есть несколько заметных пробелов. Одним из них является эволюция. До сих пор непонятно, из каких процессов возникает жизнь, и каким законам это явление подчиняется. Биология, если подумать, должна соответство...

[Перевод] Как продлить срок службы старых PHP-приложений PHP постоянно развивается. Каждый год радует нас крупным релизом, содержащим новые фичи, улучшения производительности, целую кучу исправлений и даже изменения в синтаксисе. Разработчики ядра PHP поддерживают две последние версии PHP, активно устраняя ошибки и добавляя исправ...

Как DDoS-атаки стали для нас рутиной и как ML помогает их отражать Несколько лет назад увидеть DDoS-атаку было целым событием. Если такое и случалось, то инцидент тщательно анализировала целая команда специалистов, а каждая извлечённая крупица информации использовалась для обучения моделей, формирования новых факторов и улучшения подходов д...

Автоматизированная торговля акциями с использованием глубокого обучения с подкреплением В этой статье мы начинаем рассматривать практическое применение библиотеки FinRL для построения торгового агента. В предыдущей статье мы вкратце рассмотрели библиотеку FinRL, предоставляемые ей возможности моделирования рынка и обучения торговых агентов на основании алгоритм...

США могут передать Украине крылатые ракеты типа AGM-158 JASSM вместе с поставками истребителей F-16 Данные боеприпасы обладают большей дальностью, нежели ракеты Storm Shadow, и имеют превосходную точность

Метод конечных элементов своими руками Метод конечных элементов (МКЭ) применяют в задачах упругости, теплопередачи, гидродинамики — всюду, где нужно как-то дискретизировать уравнения сплошной среды или поля. На Хабре было множество статей с красивыми картинками о том, в каких отраслях и с помощью каких программ э...

Московским врачам в поликлиниках диагноз помогает ставить искусственный интеллект c точностью 87% Окончательное в этом вопросе решение принимает терапевт.

«Отучаем» WinFXNet от жадности (часть 1) ПредысторияВ сфере АСУ ТП инженерам по работе приходится не только писать ПО, но и использовать готовое ПО от производителей оборудования. В связи с санкциями, многие поставщики покинули РФ, а оборудование и ПО необходимо продолжать эксплуатировать дальше.В данной статье буд...

Цифровой рубль — начало цифрового концлагеря Коллеги, привет! Меня зовут Хайрбек Ажимов, я занимаюсь автоматизацией HR процессов в ПАО «РусГидро». Сегодня я хотел бы разобрать тему цифрового рубля с моего понимания информационных технологий и финансов. Дисклеймер: я не специалист по блокчейну. Вещать буду из роли заинт...

Symbiote.js VS LitElement Мотивация разработчиков библиотек и фреймворков для фронтенда может быть разной. И если вы, являясь таким разработчиком, хотите работать не “в стол” а с расчетом на какое-то признание и пользу для индустрии, вы должны четко понимать, что именно и зачем вы делаете. Если вы хо...

Решение ошибки при миграции на Storybook 7: «Providers from the BrowserModule have already been loaded» Привет, я фронтенд-разработчик в Skyeng. При переходе с шестой версии Storybook на седьмую встретилась ошибка «Providers from the BrowserModule have already been loaded. If you need access to common directives such as NgIf and NgFor, import the CommonModule instead».В этой с...

Открытые стандарты и архитектуры или самоделки? Специфика моей деятельности связана с имитационным моделированием технологических объектов и процессов (как сейчас модно говорить - цифровые двойники, оптимизация, тренажеры для обучения персонала). И конечно в этом деле постоянно сталкиваюсь с задачей сетевого обмена информ...

“Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python Привет, хабр! Сегодня мы хотели бы продолжить тему обработки пространственных данных средствами Python библиотеки estaty. Мы уже рассказывали о том как можно Объединять открытые данные Open Street Map и Landsat для уточнения площадей зеленых зон вокруг объектов недвижимости....

Студентов ИТ-специальностей обучат технологиям работы с данными на базе решений «Ростелекома» В крупнейших университетах России ИТ-специалистов в сфере аналитики данных будут обучать с помощью «Платформы управления данными» от «Ростелекома».

Как не допустить потери своей цифровой личности – советы Алексея Кузовкина Максимально закрывать свои данные в интернете для сохранения цифровой личности советует IT-предприниматель, экс-председатель совета директоров группы компаний «Армада» Алексей Викторович Кузовкин. Для этого следует выполнять простые правила. Выкладывать информацию о себе в и...

[Перевод] Все, что нужно знать для разработки с использованием LLM Цель данной статьи — простым языком объяснить ключевые технологии, необходимые для начала разработки приложений на основе LLM. Oна подойдёт как и разработчикам, так и специалистам по машинному обучению, у которых есть базовое понимание концепций...

Обзор библиотеки Stan в R Приветствую! Stan - это библиотека на C++, предназначенная для байесовского моделирования и вывода. Она использует сэмплер NUTS, чтобы создавать апостериорные симуляции модели, основываясь на заданных пользователем моделях и данных. Так же Stan может использовать алгоритм о...

Дата релиза Rainbow Six Mobile поменялась на осень 2024 Ранее релиз Rainbow Six Mobile был намечен на декабрь 2023 года. Теперь Ubisoft поменял эту дату на сентябрь 2024 года, без конкретных цифр. Отмечу, что указанная в App Store информация не является финальной, но такой разгон на пол года может означать, что разработчикам нужн...

GridStack + Vue 3 composition api Мир всем, на связи ShADAMoV!Сегодня, я бы хотел поведать вам о своём опыте взаимодействия с библиотекой GridStack. Расскажу о странностях и сложностях, с которыми столкнулся в ходе её интеграции во Vue 3 проект. Прежде чем приступим, дисклеймер: автор данной статьи не претен...

Роль генеративного ИИ в сфере управления персоналом Генеративный ИИ является одной из самых преобразующих технологий, к которым когда-либо имели доступ люди. Влияние этой новой технологии будет ощущаться во всех организациях, включая, конечно, отдел управления персоналом (HR). Согласно исследованию Gartner, 76% руководителей ...

Протектор и LLVM-обфускатор. Сравнение двух подходов к решению задачи запутывания кода Добрый день, Хабр! В данной заметке я постараюсь сравнить два разных подхода к задаче запутывания машинного кода – это протектор и обфускатор, построенный на базе LLVM-фреймворка. Нам пришлось с этим столкнуться, когда возникла задача защиты библиотек Guardant под разны...

Опрос по оценке эффективности работы сотрудников Оценка эффективности сотрудников играет ключевую роль в управлении персоналом и развитии организации. Правильный подход к этому процессу не только помогает выявить лидеров и потенциал для роста внутри компании, но и способствует улучшению взаимопонимания между сотрудниками и...

[Перевод] Как я стал специалистом по машинному обучению. Open AI и Dota 2 Грег Брокман - американский предприниматель, инвестор и разработчик ПО, один из основателей и президент компании OpenAI. Начал свою карьеру в компании Stripe в 2010 году и стал ее CTO в 2013 году. Покинул Stripe в 2015 году, чтобы стать соучредителем OpenAI, где он также взя...

Mimesis: идеальное решение для генерации данных Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, прав...

Методы оценки руководителей Руководители не только определяют стратегическое направление компании, но и вдохновляют свои команды на достижение общих целей. Именно поэтому оценка руководителей является важнейшим инструментом в руках современного HR-специалиста и топ-менеджмента. Она позволяет не только ...

End-of-Life: как понять, пора ли закрывать продукт, основываясь на данных Привет! Меня зовут Ульяна Баисламова. Я старший продуктовый аналитик в команде B2b и оффлайн-опыта в СберМаркете.Закрытие продукта (End-Of-Life, EoL) — естественная часть жизненного цикла сервиса или проекта, которая не обязательно связана с его несостоятельностью. В предыду...

Неочевидные угрозы: как защититься от атак на десериализацию, XSS и чтение произвольных файлов Злоумышленники могут успешно атаковать 98% веб-приложений. И это не просто громкие цифры, а данные из исследования Positive Technologies. Как такое возможно, если есть инструменты и практики типа SAST, DAST и WAF, а разработчики вроде бы нормально кодят?Давайте я объясн...

[Перевод] Создание сквозного конвейера MLOps с помощью Open-source инструментов MLOps с открытым исходным кодом: TL;DR Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения трад...

Как подружить бизнес и процессы Привет, Хабр! Я Максим Катаев, старший аналитик в отделе Mobile Core Тинькофф. Наш отдел разрабатывает общие компоненты для мобильных приложений: от авторизации до дизайн-системы. Они используются в приложениях экосистемы Тинькофф: Инвестициях, Бизнесе, Мобайле и прочих.&nbs...