Parameter-Efficient Fine-Tuning (PEFT): методы LoRA, Prefix tuning, Prompt tuning и Adapters

Apple хочет наделить каждый iPhone собственной большой языковой моделью. Компания работает над оптимизации таких систем Компания Apple не спешит присоединяться в общей гонке чат-ботов и искусственного интеллекта нового поколения, но работает в этом направлении. В частности, Apple исследует возможности размещения больших языковых моделей непосредственно на мобильных устройствах пользовате...

Как дообучать огромные модели с максимальным качеством и минимальными затратами? LoRA paper linkhf implementationДля ответа на вопрос в заголовке - погрузимся в статью.Саммари статьи:Обычно LLM-ку предобучают на огромном корпусе, потом адаптируют на down-stream tasks. Если LLM-ка была большая, то мы не всегда можем в full fine-tuning. Авторы статьи предлагают...

Новая линейка Supermicro задействует потенциал ИИ в периферийных вычислительных средах Supermicro, Inc., производитель комплексных ИТ-решений для ИИ, облачных вычислений, хранения данных и 5G/Edge, расширил свой портфель решений на базе ИИ, позволяя клиентам использовать потенциал и возможности ИИ в периферийных локациях, таких как общественные места, розничны...

Подбираем параметры сессии в Apache Spark, чтобы не стоять в очереди Бывало у вас так, что некоторые аналитики запрашивают побольше вычислительных ядер и оперативной памяти для своих Jupyter-ноутбуков, а у вас в это время ничего не работает? У меня бывало, ведь недостаточно уметь разрабатывать код на Spark — еще нужно уметь его настраива...

Кратко про NewSQL Привет, Хабр!

Обзор параллельных режимов работы хэш-функций С каждым днем, по мере роста объема обрабатываемых данных, становится все более важным использование эффективных методов обработки. Особенно значимым является внедрение параллельных вычислительных архитектур для достижения высокой производительности. Однако многие стандартны...

Опросы с использованием метода Дельфи Метод Дельфи, представляет собой уникальный подход к систематическому и структурированному сбору мнений экспертов для прогнозирования или решения сложных проблем. Цель статьи — не только описать метод Дельфи, его основные этапы и применение, но и показать, как его преимущест...

[Перевод] О Prepare statements, серверном кэше скомпилированных запросов или как эффективно кэшировать запросы в YDB Существуют различные способы снижения стоимости выполнения SQL-запросов в современных СУБД. Наиболее распространенными подходами являются использование подготовленных запросы и кэширование. Оба метода доступны в YDB.Кэширование запросов позволяет ско...

[Перевод] Какой будет GPT-2030? Это перевод статьи Якоба Стейнхардта, где он описывает и обосновывает свои оценки того, как будут выглядеть языковые модели в 2030 году. Статья подводит базу для ещё двух, в которых он описывает возможные при наличии подобных систем катастрофические сценарии. Их переводы тож...

Google Gemma — ИИ, который призван помочь разработчикам создавать другой ИИ более ответственно. Компания Google представила — семейство легких современных открытых языковых моделей.  Новая языковая модель, которая доступна в двух вариантах — Gemma 2B и Gemma 7B — предназначена для разработчиков. Google говорит, что Gemma создана для ответст...

Прорывная концепция ракетного двигателя Быстрое освоение космического пространства столкнулось с проблемой, связанной с недостаточной эффективностью современных ракетный двигателей.В качестве решения этой проблемы предложена концепция реактивного двигателя на новых принципах работы, использующий комбинацию известн...

Ускорение инференса LLM Инференсом ML-модели называют процесс её работы на конечном устройстве. Соответственно, чем больше мы разгоняем инференс, тем быстрее работает модель. Скорость может зависеть от разных условий, например, от архитектуры, которую вы выбрали для модели, или от железа, на которо...

Применение архитектурных шаблонов в машинном обучении: разбор Gradient Boosting Привет, Хабр! Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптир...

[recovery mode] Как Канбан-метод повлиял на команды банка Всем привет! Меня зовут Дмитрий. Я работаю senior Agile‑коучем в ОТП Банке. Использую практики Канбан‑метода в своей работе с 2019 года и хочу поделиться с вами своим опытом. В статье используются данные, собранные при работе с сервисной IT...

[Перевод] Как проанализировать риски: 4 шага Оценка потенциальных рисков и их влияния на бизнес-операции играет ключевую роль в обеспечении успеха проектов и стратегий организации. Риск-менеджеры проводят анализ, используя различные методы и расчеты, чтобы определить вероятность возникновения рисков и разработать планы...

Оптимизация Скорости и Доступности с помощью Сети Доставки Контента (CDN) в Microsoft Azure Привет Хабр!В мире быстро развивающихся технологий быстродействие и доступность играют ключевую роль в обеспечении удовлетворения потребностей пользователей. В этой эпохе, где каждая миллисекунда имеет значение, использование современных инструментов для оптимизации скорости...

Бесплатные курсы по большим языковым моделям для дата-сайентистов Большие языковые модели предоставляют широкий спектр возможностей для различных задач и приложений. Они могут быть использованы для создания чат-ботов, голосовых помощников, автоматического редактирования текста, генерации субтитров и многое другое. Обучение этих моделей в 2...

Как работает Kubernetes пока ты спишь Эта статья - базовое описание того, из каких компонентов состоит Kubernetes, как он работает «под капотом». Это важно так как платформа сложная и: •  понимание ее работы влияет на факторы разработки; •  становится понятно, что можно и чего нельзя; • &n...

Apple интегрирует ИИ в iPhone 16 Большие языковые модели для работы искусственного интеллекта обычно требуют исключительно больших ресурсов в области оперативной памяти, но инсайдеры сообщают, что компания Apple активно экспериментирует с размещением баз данных на флэш-накопителях, вероятно, чтобы сделать т...

[Перевод] Шпаргалка по модели памяти С++11 Модель памяти представляет из себя спецификацию допустимого поведения многопоточных программ, работающих с разделяемой памятью (shared memory) [1]. Наиболее примитивной моделью является последовательная согласованность (sequential consistency), где все инструкции из всех пот...

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой...

Fullstack QA — путь самурая, или раскрытие потенциала тестировщика Специалисты fullstack QA весьма востребованы работодателями. В сегодняшней статье расскажу, в чем ценность таких сотрудников, какие hard и soft skills нужны и почему будущее именно за fullstack QA. Читать далее

Преимущества серверов HP для 1С В мире современного бизнеса, где оперативность, надежность и эффективность играют ключевую роль, выбор правильной инфраструктуры становится стратегическим вопросом. В контексте использования программного обеспечения 1С, которое часто является основным инструментом автоматиза...

Redux vs Mobx кого же выбрать для React-приложения в 2024 году? Привет, Хабр!Сегодня я хочу поделиться с вами своими размышлениями о том, какой стейт менеджер лучше использовать для разработки приложений на React в 2024 году. Как вы знаете, React — это одна из самых популярных и мощных библиотек дл...

Ученые нашли способ ускорить работу квантовых компьютеров Ученые из Японии совершили прорыв, который позволит значительно ускорить работу квантовых компьютеров. Одной из главных особенностей квантовых компьютеров заключается в сложности поиска оптимальной последовательности команд для решения конкретной задачи. Традиционный метод п...

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

CRTP в C++ Привет, Хабр!CRTP — это метод в C++, при котором класс наследуется от шаблона класса, используя себя в качестве параметра шаблона. Это выглядит примерно так: класс X наследуется от класса-шаблона Y<X>. Этот паттерн позволяет базовому классу напрямую обращаться к метода...

The Hive. Разбор open source решения В свете быстрого развития информационных систем и увеличения угроз кибербезопасности поиск надежных решений, позволяющих минимизировать вред от нарушения информационной безопасности (ИБ), становится важной задачей для различных организаций. Когда инфрастр...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

Языковые модели ИИ можно взломать, чтобы генерировать вредоносный контент «Дата Саентист» (Data Scientist) Магдалена Конкевич раскрыла тревожные уязвимости в больших языковых моделях (LLM), предостерегая от потенциального злоупотребления, ведущего к вредоносному поведению. Раскрывая методы оперативной инженерии, Конкевич поведала о том, как LLM, с...

Ученые создали самую подробную в истории компьютерную модель Вселенной Астрономы провели крупнейшее на сегодняшний день космологическое компьютерное моделирование Несмотря на внушительное количество накопленных данных, наши знания о Вселенной крайне малы. Мы не знаем как она появилась, почему расширяется с ускорением и почему устроена таким стр...

Новые горизонты производства электроники и солнечных батарей: оптимизация мультикристаллических материалов с помощью ML упность и различные преимущества мультикристаллических материалов сделали их широко распространенным сырьем для различных применений в сфере солнечной энергетики и, в целом, полупроводни.ковой индустрии, электроники и медицины, однако работа с ними сопровождается серьезными ...

[Перевод] Добавление собственных данных в LLM с помощью RAG Этот материал посвящён тому, как добавлять собственные данные в предварительно обученные LLM (Large Language Model, большая языковая модель) с применением подхода, основанного на промптах, который называется RAG (Retrieval‑Augmented Generation, генерация ...

Как быстро выбирать языковые модели (LLM) под свои задачи Последние полгода я активно занимаюсь разработкой сервисов на базе больших языковых моделей, они же «LLM». Для каждого проекта мне приходится подбирать модель по определенным критериям: языковая поддержка, требования к памяти, типу (instruction-based или completion), скорост...

Экономия без потерь: оптимизация расходов на IT- инфраструктуру с помощью VPS Оптимизация затрат на IT-оборудование и услуги может значительно снизить общие расходы и повысить конкурентоспособность компании. В данной статье мы обсудим, как использование виртуальных частных серверов (VPS) помогает добиться этих целей, обеспечивая при этом высокое качес...

Рассчитываем оптимальный бэклог спринта с использованием методов линейного программирования Сталкивались ли вы с понятием линейного программирования? А его применением на практике? В университете мы изучаем разные разделы математики, нам рассказывают про математические модели и методы, однако вопросу их практического применения часто уделяется недостаточно внимания...

Путеводитель по DDoS: основные виды и методы борьбы Всем привет! На связи Николай Едомский, руководитель группы сетевых инженеров в ЕДИНОМ ЦУПИС.В этой статье я простыми словами расскажу о том, что из себя представляет DDoS, о самых распространенных видах DDoS и методах борьбы с ними. Основная цель материала – на простых прим...

ИИ-ускоритель от Groq превзошел всех конкурентов Компания Groq, базирующаяся в Калифорнии, представила собственный ИИ-ускоритель LPU Inference Engine, который превзошел всех конкурентов в публичных тестах. Этот языковой процессор, разработанный для улучшения скорости обработки сложных вычислительных приложений, таких как м...

Решетчатый и случайный поиск Привет, Хабр!Среди разнообразных подходов оптимизации, методы решетчатого (grid search) и случайного (random search) поиска выделяются своей способностью находить оптимальные решения в хардовых пространствах параметров. Решетчатый поиск - это метод, при котором пространство ...

Security Week 2412: атака на ChatGPT по сторонним каналам Исследователи из Университета имени Бен-Гуриона опубликовали работу, в которой показали новый метод атаки, приводящий к частичному раскрытию обмена данными между пользователем и ИИ-чатботом. Анализ зашифрованного трафика от сервисов ChatGPT-4 и Microsoft Copilot в некоторых ...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

[Перевод] GPU-вычисления в браузере на скорости нативного приложения: марширующие кубы на WebGPU WebGPU — это мощный GPU-API для веба, поддерживает продвинутые рендеринговые конвейеры и вычислительные конвейеры GPU. WebGPU ключевым образом отличается от WebGL своей поддержкой вычислительных шейдеров и буферов хранения данных. В WebGL такие возможности отсутствуют, а Web...

E-Plus 3D EP-P420: производительность и экономичность в одном 3D-принтере 3D-печать продолжает завоевывать всё больше областей в производстве, и это не удивительно. В отличие от традиционных методов изготовления, она предлагает более быстрый, эффективный и экономически выгодный способ производства. Среди множества технологий можно выделить техноло...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

Книга: «Рецепты Python. Коллекция лучших техник программирования» Привет, Хаброжители! В «Рецептах Python» используется простой, но эффективный метод освоения 63-х базовых навыков программирования на Python. Сначала формулируется вопрос, например «Как найти элементы в последовательности?» Затем приводится базовое решение на чистом понятн...

Учим большие языковые модели описывать продукты данных Привет, Хабр! В этой статье мы рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике. Это может улучшить автоматизацию процесса, предоставляя инструмент для создания описаний продуктов. Читат...

Основные настройки для управления ресурсами в PostgreSQL: настройка памяти, CPU и I/O Привет, Хабр!При работе с PostgreSQL (да и в целом с любой БД) важно правильно настраивать и управлять ресурсами, такими как память, процессорное время и дисковые операции, и так далее для обеспечения лучшей производительности и стабильности работы БД. В этой статье мы как р...

Инсталляция и первичная настройка Sangfor Cloud Platform. Часть 1 В предыдущих статьях мы обсудили Sangfor HCl (Hyper Converged Infrastructure). Рассмотрели установку решения и нюансы типа подключения СХД и настройки aSAN. Сегодня мы расскажем об облачном портале SCP (Sangfor Cloud Platform) — решении для управления ресурсами на базе ...

Security Week 2417: эксплуатация уязвимостей с помощью LLM На прошлой неделе был опубликован препринт научной работы, в которой утверждается, что большие языковые модели (LLM) могут автономно эксплуатировать уязвимости класса «one-day». Под «one-day» здесь понимается уязвимость, которая уже была обнаружена, то есть речь в работе не ...

Клонирование голоса из музыки, удаление движимого текста из видео и новые фишки во второй части обновления Wunjo AI Привет, Хабр! Наконец, после множества бессонных ночей, я завершил работу над второй частью обновления open-source проекта Wunjo AI и воплотил своё видение приложения. В этом обновлении основное внимание уделено звуку: улучшено клонирование голоса, извлечение вокала или мело...

Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми при...

Сложность алгоритмов. Разбор Big O Сложность алгоритмов - это ключевой аспект при проектировании и создании веб-приложений, особенно при работе с большим объемом данных или выполнении вычислительно сложных операций. Понимание, как оценивать сложность алгоритмов, помогает принимать обоснованные решения в выбор...

Схема цепи преобразования данных в системах с интерфейсами Метод схематизации вариативности данных в точках их преобразований в информационной системеВ статье описан подход к схематизации движения данных в цифровом сервисе. Он основан на таблицах решений, понятиях преобразователя и предох...

Добавление WebAuthn в веб-приложение Привет! В этой статье мы научимся добавлять WebAuthn в веб‑приложения со стороны frontend‑разработчика. WebAuthn представляет собой новый метод аутентификации, который обеспечивает более высокий уровень безопасности, заменяя устаревшие пароли и SMS‑подтверждения на...

Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...

[recovery mode] Развертывание программного комплекса на Asp.net на российских ОС В России все больше пользователей и организаций используют российские Linux системы. Но при подготовке пакетов для комплексных решений на этих системах могут возникнуть сложности, связанные с несовместимостью ПО, необходимостью настройки пакетов и т.д. В этой статье рассмотр...

«Самые энергоэффективные нейроны во Вселенной». Стартап Extropic представил принципиально новый подход к вычислениям ИИ и создал прототип алюминиевого процессора Возможно, на рынке вычислений ИИ в обозримом будущем произойдёт ещё одна революция. Как минимум стартап Extropic говорит, что стремится именно к этому.  Заявления у компании действительно весьма серьёзные. В Extropic говорят, что они создали подход к вычислениям, к...

Прививка от созависимости. Зачем нужен DI и как он работает в iOS-приложениях hh.ru Всем привет! На связи Яша Штеффен — iOS разработчик из hh.ru. Думаю, любой, кто долгое время писал код для платформы, был свидетелем эволюции работы с зависимостями. На ранних этапах и в простых проектах все создавалось и настраивалось внутри ис...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

[Перевод] Элегантный стек данных для встроенной аналитики Контекст По работе мне доводилось иметь дело с аналитическими стеками любых конфигураций и размеров. Мы на собственном опыте изучили, что цена стека для встроенной аналитики данных, расположенного за фронтендом, может моментально вырасти настолько, что об окупаемости инвест...

Сбер представил модели ИИ, способные распознавать русский жестовый язык Команда Сбербанка на международной конференции по искусственному интеллекту AI Journey представила нейросетевые модели, позволяющие распознавать русский жестовый язык. Фото: Nic Rosenau / Unsplash Команда Vision RnD в SberDevices, разрабатывающая одно из таких решений,...

Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...

NAS и SAN: основные характеристики, принцип работы и применение решений Сетевое хранилище (NAS) и сети хранения данных (SAN) — это два ключевых подхода к организации хранилища в сети, которые позволяют пользователям обмениваться данными независимо от их местоположения, что особенно актуально для работы геораспределенных команд.Несмотря на то, чт...

Смартфоны будущего: какими они будут? Когда-то давно, в далеком 2007 году, была у меня симпатичная раскладушка Nokia 6131. Вполне обычный телефон для своего времени: 1.3 мегапикселя, дисплей 320х240, интернет по GPRS и батарейка, выдерживающая в режиме ожидания больше недели. А еще — объем памяти в 10 мегабайт, ...

Варим кашу из нечеткой логики и вариационных автоэнкодеров Пока весь мир затаив дыхание следит за большими языковыми моделями и одни грезят о том, как подсадят всех на свои сервисы LLM, а другие прикидывают как заменить бездушными симулякрами если не зажравшихся айтишников, то хотя бы штукатур...

Google представила Jpegli — новую библиотеку кодирования JPEG, которая сжимает изображения на 35% лучше Компания Google неожиданно представила улучшение для привычного многим формата JPEG — Jpegli.  Jpegli представляет собой не замену JPEG. Это новая библиотека кодирования JPEG, которая разработана так, чтобы работать быстрее, эффективнее и визуально приятнее,...

Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки» Привет, Хабр!На связи участники профессионального сообщества NTA Рощупкин Богдан, Сахоненко Егор и Алёшин Максим.В посте мы рассмотрим, насколько эффективен torch.compile() на практике, заглянем под капот «двушки» PyTorch 2.0, чтобы узнать, как работает этот метод и как...

Метод Binoculars обещает высокую точность обнаружения текста от больших языковых моделей ChatGPT пишет не хуже человека, но можно ли обнаружить «машинность» в тексте? Хотя некоторым компаниям было бы выгоднее представить всё так, будто результат работы языковых моделей неотличим от человеческого, исследования в этом направлении активно ведутся. Авторы научной ...

Сравнение работы MTS AI Chat с другими русскоязычными LLM Всем привет!Мы в MTS AI занимаемся созданием технологий и продуктов на базе искусственного интеллекта. Непосредственно наша группа фундаментальных исследований разрабатывает LLM и модели для генерации кода. В этой статье мы представим нашу первую фундамен...

Разработка тензорного компилятора под RISC-V CPU с помощью OpenVINO и MLIR Привет, Хабр! Меня зовут Владислав Виноградов, я инженер группы исследований и разработки ПО глубокого обучения в YADRO. Моя команда создает и оптимизирует связанное с искусственным интеллектом программное обеспечение. Сегодня я расскажу, как можно разработать тензорный комп...

Создан искусственный интеллект, обучающий роботов. Nvidia Eureka учит роботов выполнять сложные физические действия, как человек Ну вот и настал момент, когда искусственный интеллект начал обучать роботов. Компания Nvidia разработала ИИ-агент Eureka, который умеет обучать роботов сложным двигательным навыкам.  К примеру, Eureka обучил роботизированную руку пенспиннингу — быстрому жонг...

Ученые MIT сделали ИИ менее «токсичным» Ученые из лаборатории ИИ при Массачусетском технологическом институте (МИТ) и лаборатории искусственного интеллекта IBM разработали новый метод защиты больших языковых моделей от токсичных ответов. Используя машинное обучение, они создали технику, которая позволяет обучить м...

Шведский танк-подарок: роскошный и бесподобный Шведский танк-подарок - это роскошный и бесподобный подарок, который захватывает воображение своей элегантностью и изысканностью. Сочетая в себе стильный дизайн и высокую производительность, этот танк представляет собой превосходное сочетание современной технологии и шведско...

[recovery mode] Создаем чат-бота на Python: Полное руководство В этом полном руководстве от DataTech Community мы шаг за шагом рассмотрим процесс создания чат-бота на Python. Откройте для себя мощь NLTK и TensorFlow в обработке естественного языка и машинном обучении, чтобы создать интеллектуального помощника, способного общаться и отве...

[Перевод] Как работает радио? Радиокоммуникации играют ключевую роль в современной электронике, но их теорию сложно понять начинающему любителю. Да, у нас есть общее представление: мы знаем о частотах и, вероятно, можем объяснить разницу между амплитудной и частотной модуляциями. Однако большинству из н...

DevX: ориентированный на разработчиков подход к измерению и повышению производительности Привет, Хабр! Меня зовут Олег Хромов, в МТС я руковожу центром «Управление разработкой». В статье расскажу, как мы оцениваем производительность IT-специалистов. Универсальные методы работают плохо, поэтому мы пришли к специально адаптированному для IT подходу под названием D...

Можно ли научить чат-бота всегда говорить правду. Часть 2 Эта статья является продолжением анализа существующих способов устранения галлюцинаций чат-ботов и повышения точности их ответа. В прошлый раз был разбор того, как оценивать точность в процессе диалога, а сегодня мы поговорим о методах, которые из научного сообщества уже про...

Методы работы со смещением и дисперсией в модельках машинного обучения В давние времена были вечные битвы с переобучением и недообучением в модельках машинного обучеиня. Вечная битва между смещением и дисперсией. Подходит ли модель к данным как идеальный ключик, или же она скорее ели пытается влезть туда... Эта дилемма определяет, насколько хор...

[Перевод] Minetester: полностью открытое окружение для обучения с подкреплением, построенное на основе Minetest В последние несколько месяцев наблюдаются значительные успехи в разработке языковых моделей, особенно — в сфере частного бизнеса. В прошлом году вышло несколько подобных проектов, основанных на Minecraft. В частности — речь идёт о ...

Что такое Risk Storming? Это метод, позволяющий легко и быстро, коллективно и визуально идентифицировать риски в системе. Метод подразумевает участие нескольких людей. Для более широкого взгляда на рассматриваемую систему, полный состав участников может включать в себя людей из разных направлений и ...

Кажется, дождь начинается: похоже, искусственный интеллект превосходит традиционные методы прогнозирования погоды Новая компьютерная ИИ-модель GraphCast для предсказания погоды, созданная Google, во много раз превзошла традиционные способы, которые десятилетиями использовались по всему миру и привлекали многомиллионные инвестиции. Европейская модель прогнозирования погоды считалась «зол...

Разработка и интерпретация иерархической кластеризации Привет Хабр!Иерархическая кластеризация является мощным методом анализа данных, позволяющим группировать схожие объекты в кластеры. В этой статье мы рассмотрим процесс разработки и интерпретации иерархической кластеризации, погружаясь в методы создания кластеров и анализа ре...

[Перевод] Вычислительные выражения: Введение Скотт Влащин — безусловный гуру в мире F#, написавший введение в язык, которое рекомендуют новичкам вместо официального руководства. Группа энтузиастов давно (и с переменным успехом) пытается перевести руководство Скотта на русский. Я завершаю перевод цикла, посвящённого одн...

Как работает физика в играх В мире видеоигр игровая физика играет важную роль, определяя реалистичность и взаимодействие игрового мира с игроком. Что же происходит под капотом? Какие алгоритмы и подходы используются в современных движках? И что же значит «застрять в текстурах»? ...

Юмор программистов из 80-х прошлого столетия У современного читателя может возникнуть резонный вопрос – почему программисты, а не IT-ишники? Ответ кроется в самом заголовке. В 70-х, 80-х годах прошлого столетия, а точнее в СССР не было понятия IT-и. Были понятия «кибернетика», «вычислительная техника», «электронно-вычи...

Библиотека на Go для работы с RuStore API Привет, Хабр!Меня зовут Энрике, и я работаю Go-разработчиком в RuStore. Сегодня хочу рассказать про библиотеку на Go для комфортной работы с API магазина приложений RuStore. Иногда авторизация через API и получение JWE-токена занимают больше времени, чем хотелось бы. С ...

Коэффициенты для экстраполяции прогнозов компонент CLTV на 5 лет Эта статья описывает, как из прогнозов ряда ML-моделей получить ценность клиента с горизонтом в 5 лет. Напомним, что показатель CLTV представляет из себя композицию прогнозов ее компонент (подробнее в статье). В нашей реализации максимальный период прогнозирования ...

О внутрикластерной маршрутизации через Istio Привет, Хабр! Я Степан, DevOps‑инженер, занимаюсь созданием CI/CD процессов с учётом проверки кода на безопасность, поддержкой и разверткой новых кластеров Kubernetes, соблюдением требований безопасности и созданием системы мониторинга и логирования — все это ...

Open Research Knowledge Graph: новый подход к научной коммуникации На сегодняшний день для представления и обмена результатами исследований мы используем методы, которые были разработаны много веков назад. С момента зарождения современной науки (публикации первого научного журнала "Transactions of the Royal Philosophical Society", 1665 г.) ...

[Перевод] Обзор статьи «StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени» StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавл...

Strv 103 - безбашенный шведский танк 1950-х с гидропневмой и автоматом заряжания Шведский танк-подарок - это роскошный и бесподобный подарок, который захватывает воображение своей элегантностью и изысканностью. Сочетая в себе стильный дизайн и высокую производительность, этот танк представляет собой превосходное сочетание современной технологии и шведско...

MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I Всем привет! Меня зовут Николай Безносов, я отвечаю за применение и развитие машинного обучения и продвинутой аналитики в билайне. В одной из прошлых статей мои коллеги рассказывали о месте Seldon в ML-инфраструктуре компании, а сегодня мы поднимемся на уровень выше и погово...

Сравнение различных схем квантования для LLM Как запустить локально LLM 70B параметров на 1 видеокарте с 24gb? Нужно квантование! Квантование - это процесс уменьшения битности вычислений в нейронной сети, используемых для представления весов, смещений и активаций. Путем снижения точности мы можем значительно сократить ...

Эффективные стратегии продвижения Telegram каналов Продвижение Telegram каналов представляет собой мощный инструмент для бизнеса. В отличие от дорогостоящих кампаний в социальных сетях, продвижение в Telegram открывает доступ к широкой аудитории за более низкую стоимость. Это позволяет создать стабильный поток заинтересованн...

[Перевод] Тонкая настройка Whisper для многоязычного ASR с помощью Hugging Face Transformers Предлагается пошаговое руководство по дообучению Whisper для любого многоязычного набора данных ASR с использованием Hugging Face

Лучшие патенты России за 2018-2022 года В своей прошлой статье я анализировал разные параметры патентной активности в РФ в 2018–2022 годах. Выяснилось, что очень много патентов на полезные модели ничего не стоят, а вузы создали конвейер по патентованию полезных моделей ради ...

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...

День информатики в России – история создания первой полупроводниковой ЭВМ 75 лет назад 4 декабря 1948 года советские инженеры Башир Рамеев и Исаак Брук подали патент и зарегистрировали проект первой в СССР цифровой вычислительной машины. Говоря современным языком — компьютера. Теперь именно эта дата считается датой рождени...

Как мы сделали визуализатор трехмерных изображений с нуля Современные томографы позволяют получать высокоточные трехмерные изображения внутренней структуры большого размера, предоставляя ценную информацию о геометрии, составе и дефектах исследуемых образцов. Размеры одной реконструкции обычно колеблются от 512 мегабайт до 1 терабай...

Дообучение saiga2_7b_lora Дообучение 7-миллиардной модели Saiga2 под свои задачи, используя сгенерированный датасет с помощью GPT. В данной статье есть все необходимые ссылки и код для предобработки и запуска обучения модели, а также квантования модели. Читать далее

[Перевод] 10 лучших практик логирования в Python По мере того как приложение собирает все больше данных, правильное ведение журналов становится решающим фактором для быстрого и эффективного понимания общей функциональности. Это позволяет устранять проблемы до того, как они повлияют на конечных пользователей.В этой статье м...

[Перевод] Тестирование баз данных Тестирование баз данных включает в себя тестирование методом «чёрного ящика», «белого ящика» и набор требований ACID — атомарность, согласованность, изоляция и устойчивость. В этом руководстве я объясню все необходимые определения, расскажу, как оно проводится, и приведу при...

Временное хранилище данных на Apache Druid: почему это эффективно сработало для загрузки табличных файлов Всем привет! Меня зовут Амир, я Data Engineer в компании «ДЮК Технологии». Расскажу, как мы спроектировали и реализовали на Apache Druid хранилище разрозненных табличных данных.В статье опишу, почему для реализации проекта мы выбрали именно Apache Dr...

Волшебная таблетка, или Централизованная настройка параметров безопасности ОС Astra Linux с помощью ALD Pro Привет, Хабр! Я инженер в «Группе Астра» из команды ALD Pro. В статье расскажу, как мы создали расширенные групповые политики и инструмент для их применения на базе существующего механизма групповых политик ALD Pro. Благодаря этому получилось упростить настройку конечны...

«Золотой кролик» от AMD теперь будет доступен не только китайцам. Глобальные продажи AMD Radeon RX 7900 GRE стартуют 27 февраля: чуть мощнее GeForce RTX 4070 при той же цене Как сообщает Videocardz, 27 февраля стартуют глобальные продажи видеокарты Radeon RX 7900 GRE (Golden Rabbit Edition) — ускорителя, который продавался до этого только в Китае. Стоимость составит 550 долларов (в США) — ровно столько же стоит GeForce RTX 4070 ...

ИИ-чатботы взломали с помощью ASCII-картинок Исследователи из Вашингтона и Чикаго представили ArtPrompt — новую технику, позволяющую обходить меры безопасности в популярных больших языковых моделях (LLM), таких как GPT-3.5, GPT-4 и других. Метод, подробно описанный в научной статье «ArtPrompt: ASCII Art-based Jailbreak...

Delta Sprut от Delta Computers: первая аппаратная платформа для сложных моделей ИИ, созданная отечественными инженерами Новинка представляет собой модули расширения, обеспечивающие подключение дополнительных периферийных устройств PCI Express к вычислительным узлам Delta Tioga Pass и Delta Bright Lake. Delta Sprut, как и все продукты компании, разработан в.

Разбираемся в BIA: популярные вопросы и неочевидные кейсы Анализ воздействия на бизнес (BIA, Business Impact Analysis) — один из фундаментов управления непрерывностью бизнеса, который, как кажется, позволяет решить основные вопросы: оценить потери от простоя критичных процессов, выделить эти критичные процессы, узнать, от чего зави...

Как выявить токсичных сотрудников в коллективе Один из ключевых факторов, влияющих на атмосферу — наличие или отсутствие токсичных сотрудников в коллективе. Но почему так важно уметь выявлять токсичных сотрудников, и как это влияет на общий успех компании?Токсичное поведение в коллективе — это не просто мелкие неудобства...

CADLib API: От API к прямой работе с базой данных модели через SQL-запросы Рассмотрим вариант расширения стандартного CADLib API в части выборки объектов с некоторыми параметрами из базы при помощи SQL-запросов на примере получения всех файлов публикации, в которых встречаются объекты коллизий. Подобную задачу мы решим сперва вручную при помощи тол...

Управление электромеханической системой на основе ДПТ. Метод желаемой ЛАЧХ и другие средства Matlab Частой задачей при обучении теории автоматического управления является расчет корректирующего устройства методом желаемой ЛАЧХ. Эта задача дается для ознакомления с большим миром управления в частотной области. Зачем вообще частотный метод, когда есть модальный? Дело ...

SALMONN — универсальная модель для всех типов аудиоданных Человек без труда воспринимает речь на фоне тихой музыки и звуков окружающей среды. Более того, прямо во время разговора он может мысленно подпевать и реагировать на звуки. До недавнего времени нейросети так не умели. Одни были заточены на распознавание речи, другие — на обр...

[Перевод] Введение в цифровую обработку сигналов Эта статья дает общее представление о том, что такое ЦОС (цифровая обработка сигналов), как она работает и какие преимущества может предложить. Цифровая обработка сигналов включает разработку алгоритмов, которые могут быть использованы для улучшения сигнала определенным обр...

[Перевод] Азы больших языковых моделей и трансформеров: декодер В этом материале мы поговорим об устройстве компонента‑декодера в системах машинного обучения, построенных по архитектуре «трансформер», уделив особое внимание отличию декодера от энкодера. Уникальной особенностью декодеров является то, что они ...

Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию Привет, Хабр! Меня зовут Андрей Околелов, я работаю ведущим инженером в Блоке обеспечения и контроля качества выпуска изменений ПО в РСХБ. В банковской сфере я работаю с 1992 года, с 2018 основная деятельность — тестирование банковских прил...

Компиляция Record для Android В Android Developers Blog выходила статья Records in Android Studio Flamingo о том как компиляторы R8/D8 преобразуют классы java.lang.Record. В ней рассказывается как добиться минификации компонентов toString() у Kotlin data-классов. Меня заинтересовала эта тема и я решил чу...

А был ли баг? Может бага и не было? Зачем, как и чем тестировать PHP код В статье рассмотрим основные подходы к тестированию бэкенда на PHP, обсудим преимущества и проблемы, связанные с этим процессом. Также узнаем о методах обнаружения и устранения багов, инструментах и книгах для более глубокого изучения тестирования. Материал будет полезен как...

Представлен жёсткий диск Seagate Exos емкостью 30 ТБ с технологией Mozaic 3+. На подходе модели 50 ТБ+ Seagate представители новый жесткий диск Exos емкостью 30 ТБ, использующий собственную технологию Mozaic 3+. Exos 30 TB — это устройство корпоративного уровня, Ключ к такой высокой плотности лежит в нескольких технологических достижениях. Mozaic 3+ заменяет традиц...

Итерируемся по enum'ам в C++ В этой статье я хочу поделиться простым и очевидным трюком в C++, о котором, не смотря на его простоту и очевидность, как оказалось, не все знают.Предположим, у вас есть enum class, и вы хотите пройтись по его элементам, то есть вызвать какую-то функцию для каждого из значен...

Делаем обучающие датасеты для больших языковых моделей Дообучение больших языковых моделей на кастомных датасетах делает модели гораздо сообразительнее. Есть история успеха датасета alpaca. Он творит чудеса с моделями, которые сначала если и умели что-то делать, то делали это очень плохо. Мы решили понять, как это делается, а гл...

[Перевод] Учим ИИ играть в настолку Magic the Gathering За последние полгода я несколько раз писал о тонкой настройке (fine tuning). Fine tuning — очень соблазнительная технология, обещающая закрыть проблемы в функциях GPT-4, будучи при этом быстрее и дешевле. Однако как бы часто не обсуждали fine tuning, я нашёл на удивление мал...

Как 3D принтеры используют для производства дронов? (Часть 1) Проектирование и создание дронов возможно с помощью 3D печати и 3D моделирования. Где используются беспилотники, из каких элементов состоят дроны и какой пластик выбрать для изготовления разных деталей? В этой статье вы узнаете все о процессе создания беспилотников, выборе п...

Переезжаем с DUO Mobile на Мультифактор. Опыт (и грабли) QIWI Когда каждый день слышишь о новых утечках учетных данных пользователей, а социальная инженерия и разного рода мошенники активно прокачивают свои скиллы в выманивании паролей у пользователей, многофакторная аутентификация становится must have.А если мы говорим о работе в боль...

Надежный обход блокировок в 2024: протоколы, клиенты и настройка сервера для чайников Поскольку блокировки интернета в РФ в последние недели и месяцы многократно активизировались, а госмаразм все крепчает и крепчает, стоит еще раз поднять тему обхода этих самых блокировок (и делаем ставки, через сколько дней на эту статью доброжелатели напишут донос в РКН что...

Концепция имплицитов в Scala Концепция implicit в Scala представляет собой одну из наиболее уникальных и мощных особенностей этого языка программирования. Этот ключевой механизм позволяет разработчикам создавать более гибкий и чистый код, улучшая читаемость и расширяемость программ.В этой статье мы погр...

Анализ Приказа ФСТЭК России №118 «Об утверждении требований по безопасности информации к средствам контейнеризации» Рассмотрим требования к безопасности информации в средствах контейнеризации, указанные в Выписке из Приказа ФСТЭК России № 118 «Требования по безопасности информации к средствам контейнеризации», приведем разъяснения к каждому требован...

Supermicro представила новые системы искусственного интеллекта (ИИ) для периферийных зон Использование серверов Supermicro с графическими процессорами NVIDIA позволяет легко настроить предварительно обученные модели и развернуть решения ИИ на периферии

[Перевод] Объясняем простым языком, что такое трансформеры Облако предлагает много возможностей для развития ИИ. С помощью облачных вычислений проще масштабировать ML-модели, повышать точность обучения и предоставлять данные удаленно пользователям. Однако масштабное развертывание ML-моделей требует понимания архитектуры нейронных се...

Выбор информационной системы для автоматизации вашей бизнес-задачи – разбираемся вместе с GlowByte Вопрос автоматизации бизнес-процессов всегда был актуален для большого количества современных компаний, и в последние несколько лет тренд на автоматизацию набирает всё большие обороты.  Информационные системы (ИС) позволяют повысить качество бизнес-процессов компан...

Сбалансированные данные – успех в ML: Oversampling и Undersampling Данные, используемые для обучения моделей машинного обучения, должны быть идеально сбалансированы по всем категориям и классам. Однако суровая жизнь часто преподносит нам данные, в которых присутствует значительный дисбаланс. Такой дисбаланс может привести к нежелательным см...

Линеаризация: зачем и как укрощать ratio-метрики в A/B-тестах Привет, Хабр! В прошлой статье я указал, что в A/B-тестах используются три основных типа метрик, а именно пользовательские конверсии, средние метрики пользователей и ratio-метрики. К последним обычно относят средний чек, CTR баннера, среднюю длину сессии и др. Такие ме...

Плагин на LibreOffice с Gigachat API В этой статье пойдет речь о решении, позволяющем упростить написание текстов при работе с офисным пакетом LibreOffice. Мы разработали плагин, который позволяет работать с текстом с помощью большой языковой модели GigaChat от Сбер. Читать далее

Применение контейнеров и алгоритмов STL в C++ Привет, Хабр!STL — это коллекция компонентов, предназначенных для работы с данными. Включает в себя: контейнеры, алгоритмы, итераторы и функциональные объекты, STL в общем своего рода швейцарский ножик в этом деле. Контейнеры помогают управлять коллекциями данных различных т...

Как устроен PassMark. Воспроизводим тесты из машинного кода На сегодняшний день существуют сотни программ для оценки производительности вычислительных устройств, но абсолютным лидером среди них несомненно является PassMark - "Industry standard benchmarking since 1998", - как его позиционирует сам разработчик, и вдобавок предоставляющ...

[Перевод] Сложные проекты для программистов, чтобы учиться новому В основном я учился программированию самостоятельно. Когда у меня появлялась захватывающая идея, я разбирался, что необходимо для решения этой задачи. Например, когда я заинтересовался работой поисковых движков, то начал читать о вычислительной эффективности множеств. Так я ...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

[Перевод] Эмоциональное взаимодействие с языковыми моделями LLM может повысить производительность на 115% (исследование) Искусственный интеллект - это быстро развивающаяся область, которая оказывает влияние на всё, начиная от смартфонов и потенциально до будущего человечества. Но задумывались ли вы когда-нибудь об эмоциональных возможностях этих алгоритмов? В частности, о больших языковых моде...

Программа поиска эллипсов и определения их параметров МНК Привет! Я новичок на Харбре. Меня зацепила статья от 2011 года: «Детектирование эллиптических частиц на микрофотографии. Новый алгоритм поиска эллипсов на изображении». https://habr.com/ru/articles/135332/. Вот комментарий к этой статье (Mrrl 27 дек 2011 в 07:49): «А почему ...

Выявление схожести между произведением искусства из коллекции музея и работами автора методами ML Идею работы: «Похоже ли произведение искусства из коллекции музея на работы автора?» я придумала под датасет Музея MoMa. Конечно, хотелось бы установить: оригинал или подделка? Но для ответа на такой категоричный вопрос данных оказалось недостаточно.У проекта было несколько ...

CV Tools — система зрения для конечных пользователей Задача создания классификатора изображений на основе пользовательского набора данных является частой задачей для AI программиста, однако автоматический инструмент, решающий задачу без участия программиста мне на глаза не попадался. CV tools — с...

Построение планов параллельного выполнения программ для процессоров со сверхдлинным машинным словом (проект) Процессоры архитектуры  сверхдлинного машинного слова (VLIW - Very Long Instruction Word) относятся к специфическим классам архитектур, прямо нацеленным на использование внутреннего параллелизма в алгоритмах (программах), причём параллелизм этот анализируется и планируе...

В России запущен суперкомпьютер «Сергей Годунов»: пока 54,4 Тфлопс, но уже в этом году будет 120,4 Тфлопс В России начал работу новый вычислительный комплекс, получивший название «Сергей Годунов» в честь выдающегося математика. Суперкомпьютер разместили в Институте математики имени С. Л. Соболева Сибирского отделения Российской академии наук (ИМ СО РАН). Задачи ...

[Перевод] Как большие языковые модели в Street Fighter играли Что будет, если устроить совершенно новый тип тестирования для больших языковых моделей (LLM)? Например, выпустить несколько моделей на арену и заставить их соревноваться друг с другом?Именно это я и решил сделать: столкнуть LLM друг с другом в классической аркаде Street Fig...

Какой плащ был у Понтия Пилата? Отвечает GigaChat Всем привет! На связи лид разработки SDK GigaChat’a — Константин Крестников. В этой статье я расскажу о том, что такое GigaChain и как в целом SDK позволяет упростить жизнь разработчика LLM, например, научить LLM давать ответы на вопросы по вашим документам или работать в ре...

Quantization Deep Dive, или Введение в современную квантизацию Привет! Меня зовут Василий Землянов, я занимаюсь разработкой ML-инфраструктуры. Несколько лет я проработал в команде, которая делает споттер — специальную маленькую нейросетевую модельку, которая живёт в умных колонках Яндекса и ждёт от пользователя слова «Алиса». Одной из м...

Intel тоже хочет свою технологию создания «лишних» кадров в играх. Компания уже работает над ExtraSS Компания Intel достаточно успешно вышла на рынок дискретных настольных видеокарт. Её модели Arc пока не обрели какой-то заметной популярности, но постоянная доработка драйверов и снижение цен сделали их весьма привлекательными. Сейчас Intel работает над своей технологие...

Раскрывая потенциал GenICam и Harvester в системах компьютерного зрения Опыт работы с крупнейшими производственными площадками позволяет сказать, что на сегодняшний день целый ряд производств считает современные цифровые технологии и, в частности технологии искусственного интеллекта, неотъемлемой частью производства. В ряде компаний создана экос...

Числа и байты: как работает память в Linux? ❯ Часть первая: физическая память При создании операционных систем всегда уделяется внимание работе с памятью. Память — это компонент компьютера, где хранятся программы и данные, и без нее современные компьютеры не могли бы функционировать. Важной единицей хранения данных ...

Яндекс представил новое поколение нейросетей YandexGPT Команда Яндекса анонсировал линейку нейросетей YandexGPT 3. Первая языковая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Она лучше работает со сложными запросами и точнее следует заданному формату ответов, благодаря чему будет особе...

Полиномиальные корневые методы синтеза САУ ч.1 Ленонид Маркович Скворцов. Широко известный в узких кругах математик, профессионально занимающийся математическами проблемами автоматического управления. Например, его авторские методы использованы в SimInTech. Данный текст первая часть работы, которая еще готовится к публи...

О методах позиционного кодирования в Transformer Обзор методов кодирования позиций токенов в нейросетевых моделях Transformer с упором на обработку длинных текстов. Для тех, кто учит и использует LLM, и для всех интересующихся. Читать далее

Фронтенд-апгрейд для Jira. Как и зачем мы модернизировали сервисный портал КРОК Привет, Хабр! Сегодня хочу поделиться с вами опытом, как мы повышаем качество сервиса вычислительного оборудования наших клиентов и оптимизируем работу команд Центра компетенций по сервису в КРОК. Ранее я уже писала про автоматизацию работы со складом ЗИП. А сегодня будет не...

Microk8s, еще один легковесный K8s В современном мире разработки и развертывания приложений, контейнеризация стала ключевым элементом для обеспечения масштабируемости, гибкости и надежности. В этом контексте технология Kubernetes, как ведущая платформа оркестрации контейнеров, становится неотъемлемым инструме...

Django + React. Авторизация с помощью сессий между разными источниками Всем здравия! Сегодня будет рассмотрена авторизация с помощью сессий между Django и React, которые находятся на разных доменах, т.е случай "cross-origin". Я в двух словах донесу принцип работы, причины появления концепций и технологий описанных здесь, оставлю ссылки на более...

От хаоса к порядку. Как мы внедряем стандарты в CDEK Привет, Хабр! Меня зовут Олег Бондарь, я архитектор решений в CDEK. В этой статье расскажу о стандартах — сводах правил и требований, которые позволяют всем участникам процесса быть в общем контексте, действовать единообразно и совершать меньше ...

«Строка бога»/идеальный промт, часть 2, продолжение истории Здравствуйте, уважаемые читатели!В этой статье я хотел бы продолжить тему появления субъязыка текстовых запросов к нейросетям (которая может быть полезна не только для инженеров, но и всех энтузиастов, которые, как, к примеру, и я проводят значительное время за работой с ИИ-...

[Перевод] Краткий обзор методик обучения визуально-языковых (мультимодальных) моделей Продолжаю разбор материалов на тему NLP в контексте работы переводчиков, на этот раз мы с практикантами решили поразбираться в том, как работают мультимодальные модели, т. е. как машины учатся находить соответствие не только между словами из разных языков, но и между картинк...

Как растить it-продукты с помощью метода VelocityBoost В этом материале вы узнаете о методе построения эффективного и непрерывного конвейера экспериментов. Метод я разрабатывал и тестировал на протяжении шести лет, работая с growth-командами и сам будучи growth-менеджером — он создавался постепенно из огромного количества проб и...

Выявление закладных устройств с помощью радиомониторинга В рамках данной статьи обратим внимание на проблему внедрения закладных устройств для несанкционированного доступа к информации. Целью данного данной статьи ставится «Изучение радиомониторинга для выявления закладных устройств». Для достижения поставленной цели необходимо ре...

Как в C# быстро извлечь подстроку Извлечение подстроки. Казалось бы, что тут может быть сложного? В любом современном языке программирования это можно сделать через функцию substring или через slicing. За время работы C# разработчиком я повидал разный код, в том числе разные способы извлечения подстроки. В э...

Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты В центрах обработки данных используется оборудование от разных вендоров, с различными встроенными системами мониторинга. Когда таких систем становится много, уследить за подобным «зоопарком» непросто.Но как сделать систему мониторинга, которая будет работать в любом автозале...

[Перевод] Что нужно знать, чтобы успешно пройти System Design Interview Для любого разработчика глубокое понимание основных принципов системного проектирования является необходимым условием для создания стабильных и масштабируемых программных систем, способных обеспечивать высокую производительность. Системное проектирование (System Design) вклю...

Как мы решали задачу оптимизации доставки грузов с использованием численных методов на примере метода имитации отжига В статье хотим поделиться своим опытом реализации алгоритма решения задачи маршрутизации на основе метода имитации отжига в Norbit CDS – умной системе управления доставкой. Проанализировав материалы, можно обнаружить различные предлагаемые способы решения VRP-задач (Veh...

[Перевод] Трансформеры, группы преобразований и self-attention В подвижном мире развивающихся нейросетевых архитектур главную роль играет эффективность работы моделей. Тонкая настройка сетей под конкретные задачи предусматривает интеграцию в них априорных знаний. Делается это посредством стратегических корректировок архит...

Оптимален ли блокчейн для хранения идентификационных данных? Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изучен...

Звук того, как пользователь водит пальцем по экрану смартфона, позволяет воссоздать отпечаток пальца с весьма высокой точностью Отпечатки пальцев можно воссоздать по звуку, который палец издаёт при проведении по экрану смартфона. Именно этому посвящена статья группы исследователей из Китая и США.  создано DALL-E Метод PrintListener технически, конечно, очень непростой, но важно то, что он ...

Введение в библиотеку Diffusers и диффузионные модели Diffusers — это библиотека от Hugging Face, которая позволяет работать с сотнями предобученных моделей класса Stable Diffusion для создания изображений и аудио.Всегда хотели стать художником, но у вас лапки? :) Тогда Diffusers этот то, что вам нужно!В этой статье рассмотрим ...

[Перевод] Топ-5 распространенных практик написания хорошего Swift-кода Эффективность при написании кода заключается не только в достижении желаемой функциональности, но и в создании кода, который будет производительным, удобным в сопровождении и легко читаемым. В Swift то, как вы пишете код, может оказывать сильное влияние на общую производител...

Большие языковые модели (LLM) в задачах Сейчас в мире довольно много разговор о том, что LLM оставят всех нас без работы. Чтобы понять о чем речь рассмотрим на практических примерах какие задачи из коробки могут решать современные большие языковые модели (large language models, LLM).З.Ы. Подписывайтесь на мой теле...

Теория сложности Привет, Хабр!Теория сложности представляет собой концепцию о том, что сложные системы — это не просто совокупность частей, но скорее сеть взаимодействий, которые порождают новые, часто непредсказуемые явления.Формулы, используемые в теории сложности, часто связаны с вычисли...

[Перевод] Обнаружение движущихся объектов с помощью OpenCV с использованием обнаружения контуров и вычитания фона Обнаружение движущихся объектов широко используется в самых разных приложениях, от видеонаблюдения до мониторинга дорожного движения. Это важнейшая задача в постоянно развивающейся области компьютерного зрения. Библиотека OpenCV с открытым исходным кодом, изве...

«Безумная производительность», «передовые технологии» и «больше игр за ваши деньги». Так AMD характеризует новейшую видеокарту Radeon RX 6750 GRE за 305 долларов Сегодня AMD официально представила 3D-карту Radeon RX 6750 GRE. У нее два варианта, которые не сильно отличаются по цене (305 и 325 долларов), но очень разнятся в плане характеристик. Базовая Radeon RX 6750 GRE с 10 ГБ памяти GDDR6 имеет 36 вычислительных блоков, 160-б...

Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM) На сегодняшний день градиентный бустинг (gradient boosting machine) является одним из основных production-решений при работе с табличными, неоднородными данными, поскольку обладает высокой производительностью и точностью, а если быть точнее, то его модификации, речь о которы...

Оптимизация работы с Camunda на основе External task Привет! Меня зовут Андрей, я - ведущий разработчик в "РТК ИТ". В этой статье речь пойдет об опыте перехода на паттерн external task в одной из наших систем.Camunda — это BPM-движок для автоматизации бизнес-процессов. Она представляет собой набор библиотек, которые и позволяю...

Метод опорных векторов (SVM). Подходы, принцип работы и реализация с нуля на Python Метод опорных векторов (Support Vector Machine или просто SVM) — мощный и универсальный набор алгоритмов для работы с данными любой формы, применяемый не только для задач классификации и регрессии, но и также для выявления аномалий. В данной статье будут рассмотрены основные...

GPT или GigaChat — ответит RAGAS В предыдущей статье мы разбирались с тем, как RAGAS помогает оценить работу ретриверов в RAG-системах. Продолжая наше исследование, теперь мы переключаемся на другой важный аспект - качество языковых моделей, или LLM. Эти модели играют центральную роль в создании тех ответов...

Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжиро...

Обзор современных СКС CommScope Systimax Рост объема генерируемых данных и разнообразие электронных устройств стимулируют развитие сетей передачи данных. Чтобы обрабатывать большие объемы информации с высокой скоростью, кабельная инфраструктура требует все больше ресурсов. Рассмотрим решения СКС, отвечающие совреме...

[Перевод] Небольшой туториал по полигруппам в Zbrush Полигруппы (Polygroups) в Zbrush представляют из себя способ разделения уже существующей 3D-модели на группы полигонов с целью выполнения над ними различных видов работ. При создании каждой из этих групп полигонов ей назначается свой уникальный цвет, что помогает нам визуаль...

Трансформером по A*, или как уменьшить число итераций самого известного алгоритма поиска пути Привет! Меня зовут Константин Яковлев, я научный работник и вот уже более 15 лет я занимаюсь методами планирования траектории. Часто эта задача сводится к поиску пути на графе, для чего обычно используется алгоритм эвристического поиска A*. Этот алгоритм был предложен в 60-х...

Z-test Привет, Хабр!Z-тест, известный также как z-критерий Фишера, представляет собой набор статистических методов для проверки гипотез, которые базируются на предположении о нормальном распределении данных. Эти методы используются для анализа, являются ли средние значения двух наб...

Из пушек по воробьям. Генерация и решение лабиринта не самым обычным способом На уходящей неделе мне попалась симпатичная, хоть и не новая мини‑серия статей на Дзен‑канале @zdgzdgzdg про процедурную генерацию лабиринта методом «коллапса волновой функции». Пока я читал эти статьи и знакомился с кодом, меня осенило: ведь это&nbs...

Змеиная наука: Химия в Python, часть 1 Химия, как наука, всегда требовала точности, глубокого анализа и системного подхода. С развитием вычислительных технологий открылись новые перспективы для химиков: возможность использовать программирование для моделирования, анализа данных и ускорения процессов исследований....

Количество ядер в процессоре смартфона — насколько это важно? Ядра процессора хоть и влияют на производительность смартфона, но большее значение имеет не их число, а их характеристики. Расскажем, насколько важно количество ядер в процессоре смартфона, и на что важно обратить внимание при выборе телефона. Что такое ядра процессора телеф...

Как мы внедряли Sentry. Часть 1 — установка и настройка Привет! Я Виталий, DevOps в LEADS.SU, в этой статье хочу рассказать как мы внедряли Sentry self-hosted и приводили к продакшен состоянию, которое должно отвечать требованиям высокодоступности - нельзя терять события ошибок. При этом не хотелось заморачиваться с кластеризацие...

Моделирование нелинейных функций и ограничений в задачах линейного программирования Линейное программирование покрывает достаточно узкий класс задач, но механизмы решения таких задач представляют собой мощный инструмент для его применения в промышленных целях. Некоторые ухищрения моделирования позволяют расширить набор решаемых задач методами линейного прог...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

Шаблонный сервис C# Всем привет, я разработчик из компании Bimeister и я хочу рассказать о шаблонном C# сервисе, который мы создали, чтобы унифицировать наши приложения и сократить время работы разработчиков над базовой настройкой приложения.Мы начинали небольшой компанией с одним основным серв...

C3D Collision Detection: представление детектора столкновений в составе C3D Toolkit Сергей Белёв, старший математик‑программист, C3D Labs, знакомит с новым компонентом C3D Toolkit — модулем C3D Collision Detection, рассказывает о том, что детектор столкновений представляет собой изнутри, и о том, какие возможности он предоставляет п...

Образовательный разрыв или купон на одну помощь Краткое содержание: современная образовательная система, основанная в первую очередь на видеоуроках, не способствует навыкам самостоятельного поиска информации. Это еще больше увеличивает разрыв между джунами и мидлами, но при этом позволяет имитировать очередь за забором и ...

Что общего между раком крови, лазерами и нейронными сетями? Доброго времени суток, дорогой Habr, надеюсь вы успели заскучать после 3-х месяцев паузы (ссылка на прошлую статью). На связи снова Николай Иванов и сегодня вы узнаете, что общего между раком крови, лазерами и машинным обучением.  В этой статье мы поговорим с вами о мет...

Сравнение алгоритмов балансировки нагрузки: Round Robin vs. Least Connections vs. IP Hash Привет, уважаемые читатели Хабра!Сегодня сетевые приложения чрезмерно сложны. В такой среде балансировка нагрузки становится неотъемлемой частью инфраструктуры, позволяя равномерно распределять запросы между серверами и обеспечивать отказоустойчивость. Без балансировки нагру...

Microsoft представила новые ускорители для доминирования в области ИИ Microsoft обнародовала свое «секретное оружие»: ИИ-ускоритель Azure Maia 100 и процессор Azure Cobalt 100. Ускоритель Maia, созданный для совершенствования искусственного интеллекта, оснащен 105 миллиардами транзисторов и предназначен для больших языковых моделей, таких как ...

Как устроено пространство, в котором думают языковые модели? С момента выхода первой статьи «Attention is All You Need» я с жадностью и любопытством, присущими любому исследователю, пытаюсь углубиться во все особенности и свойства моделей на базе архитектуры трансформер. Но, если честно, я до сих пор не понимаю, как они работают и поч...

Оцениваем RAG-пайплайны RAG (Retrieval Augmented Generation) - это популярный подход, объединяющий извлечение данных из баз и генерацию текста, позволяя моделям AI давать ответы на вопросы, основанные на информации, которую они не видели в процессе обучения. Важным этапом в развитии RAG является ег...

Основы управления ресурсами в C Привет, Хабр! Управлении ресурсами включает в себя распределение, использование и освобождение различных типов ресурсов. В языке программирования C автоматическое управление памятью отсутствует, эта задача ложится на плечи разработчиков.В этой статьи рассмотрим основные возм...

Бьемся с индексацией парных неравенств в планах PostgreSQL Я уже не раз писал, что условия с несколькими неравенствами (<, <=, >=, >) обычно плохо подходят для индексирования "классическим" btree, вызывают "тормоза", и необходимо придумывать различные нетривиальные подходы в PostgreSQL, чтобы добиться хорошей производите...

Кошмар безопасности в ИИ: источники и отсутствие контроля В то время как искусственный интеллект, в частности большие языковые модели (LLM), совершают революцию в различных областях, традиционные концепции кибербезопасности приобретают новый, вызывающий опасения вид.

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 2 В первом материале из этой серии была объяснена работа механизма Copy‑on‑Write (CoW, копирование при записи). Там были упомянуты некоторые ситуации, в которых при выполнении кода осуществляется копирование данных. В этой статье речь по...

Игра в безопасность Android-приложений Давайте в общих чертах рассмотрим вопросы взлома и защиты Android-приложений. В рамках статьи нас интересуют сами процессы взлома и защиты, а не конкретные методики работы с конкретными инструментами. Поэтому разберёмся с этими процессами и постараемся сделать выводы. Ч...

Концепция донглов в Embedded устройствах В этой статье мы рассмотрим не совсем типичный процесс взаимодействия с устройствами. Сразу замечу, что предлагаемая концепция применима преимущественно к мобильным устройствам, не привязанным к стационарному питанию. В качестве примера реализации мы будем использовать самую...

Эффективное использование журнала регистрации и технологического журнала 1С в решении вопросов производительности Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).Напомню, что ЖР логирует действия пользователей — кто,...

[Перевод] Вычислительные выражения: Реализуем Delay и Run Скотт Влащин продолжает рассказ о вычислительных выражениях в F#. Вычислительные выражения очень похожи на монады из Haskell, но у них есть свои особенности.Одной из необычных особенностей Haskell являются ленивые (отложенные) вычисления. В F# вычисления энергичные, как и в ...

Microsoft представила новую языковую модель Phi-3 Mini Этая модель обладает беспрецедентными возможностями, преодолевая разрыв между большими языковыми моделями (LLM) и более компактными и эффективными аналогами.

[Перевод] Концепция Twelve-Factor App и Kubernetes С момента публикации концепции Twelve-Factor App значительно изменилось то, как мы создаём, упаковываем и развёртываем приложения. Контейнеры, Kubernetes и облачные технологии стали основными технологиями, которые позволяют нам создавать переносимые, масштабируемые и надёжны...

Книги, которые нас выбирают Для меня было полной неожиданностью то, что моя первая и пока единственная статья сразу набрала столько положительных откликов. Спасибо всем, кто столь высокого оценил мой первый опыт.Я не планировал продолжать эту тему, но сейчас вижу, что кое ...

Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...

Это база: нюансы работы с Redis. Часть 2, репликация Всем привет, на связи Пётр, инженер компании Nixys. В прошлой статье мы разобрали основные концепции Redis. Теперь рассмотрим базовую репликацию Redis и настроим эту БД на высокий уровень отказоустойчивости. Читать далее

Обязательная сертификация электросамокатов в России Представлен проект Постановления Правительства, в рамках которого электросамокаты, электроскейтборды, гироскутеры, сигвеи, моноколеса и аналогичные устройства будут подлежать обязательной сертификации согласно Постановлению Правительства России № 2425.  ГОСТ ...

ARR: что это такое и чем он полезен бизнесу Работая в условиях жесткой конкуренции и турбулентной экономики, бизнесу постоянно необходимо искать новые методы и подходы для увеличения дохода. Для тех, кто работает с клиентами по подписочной модели, одним из таких инструментов является ARR (Annual Recurring Revenue), ко...

Зеттелькастен рисование на бесконечном канвасе или как помнить всё на свете Каждый автор, обдумывая статью, сталкивается с проблемой. С одной стороны хочется передать читателю крутую идею и тем самым принести большую пользу, а с другой страшно давать что-то “тяжелое”, потому что тема может оказаться неподъемной и следовательно бесполезной.В первых м...

Как работает управление памятью в Rust без сборщика мусора Rust сочетает в себе высокую производительность с безопасностью памяти. Одной из его особенностей является отсутствие сборщика мусора традиционного инструмента для автоматического управления памятью во многих ЯПах. Вместо этого, Rust использует уникальную систему владения и ...

ASIC и FPGA: сорок лет эволюции Внутри каждого современного телефона несколько микросхем ASIC. Ими наполнены автомобили, стойки в центрах обработки данных, датчики «умного дома», и вообще все электронные устройства. Без чипов ASIC был бы невозможен быстрый интернет, трехмерные игры и ускорители машинного о...

NET hosting. Обзор вариантов и пример деплоя приложения Приложения Dotnet и Mono можно развернуть на сервере разными способами. В статье мы рассмотрим специализированные решения для хостинга dotnet приложений и предоставим инструкцию по развертыванию, написанную на конкретном примере. Читать далее

Как создать ассистента для поиска по видео Всем привет! Меня зовут Георгий, я старший разработчик-исследователь в MTS AI. Одной из задач, которыми я занимаюсь в компании, является умная видеоаналитика. Это мощный инструмент, особенно с учетом современных технологий искусственного интеллекта, который может использоват...

AEWIN представила SCB-1942, флагманскую серию с двумя процессорами Intel 5-го поколения Xeon CB-1942A представляет собой 2U сетевую вычислительную платформу с 16 слотами памяти DDR5 и 8 слотами расширения PCIe 5.0

Использование ML и новых методов кластеризации для борьбы с COVID-19: Революция в выявлении вирусных мутаций С момента появления COVID-19 мы застали множество “волн” и новых вспышек вируса. Помимо очевидной тяжести заболевания и невероятной скорости передачи, SARS-CoV-2 также отличается большим количеством различных мутаций, уклоняющихся от иммунных реакций.Несмотря на то, что сейч...

YandexGPT API быстро и без труда с Python SDK. Делимся опытом интеграции YandexGPT API — сервис для доступа к генеративным языковым моделям, хоть и является мощным инструментом во многих задачах, однако может озадачить разработчика, решившего внедрить его в свои проекты отсутствием официального SDK, разнообразием способов...

[Перевод] Сравнение технологий WebSockets, Server-Sent-Events, Long-Polling, WebRTC и WebTransport При работе с современными веб-приложениями реального времени незаменима возможность отправлять события с сервера на клиент. Именно этой необходимостью продиктовано то, что за годы работы было изобретено несколько методов для этой цели, каждый с собственным набором достоинств...

[Перевод] Разработка SQL Expert Bot: подробный гайд по использованию Vercel AI SDK и API OpenAI OpenAI заложила фундамент для революции в сфере искусственного интеллекта с появлением ChatGPT, открывая новую эру в области AI, которую активно используют как отдельные люди, так и бизнес‑сообщества. OpenAI даже предоставила API для разработки ...

[Перевод] Как языковая модель предсказывает следующий токен (часть 1) Я обучил небольшой (порядка 10 миллионов параметров) трансформер по превосходному туториалу Let’s build GPT: from scratch, in code, spelled out Андрея Карпати. После того, как он заработал, я захотел максимально глубоко понять, как он устроен внутри и как создаёт свои резуль...

Пакетная обработка файлов в nanoCAD Для работы с проблемными файлами создано множество инструментов, позволяющих устранять те или иные проблемы. Но что делать в случае, когда файлов, подлежащих очистке или восстановлению – огромное количество? Неужели каждый из них придется открывать вручную и обрабатывать отд...

Истории из жизни вредоносов: прячемся в автозагрузку ОС Windows Основной задачей, которую необходимо решить вредоносному файлу сразу после запуска является закрепление в системе, то есть обеспечение возможно постоянной работы данного процесса в системе. То есть, злоумышленнику необходимо, чтобы процесс, с помощью которого он может получи...

Линейная регрессия. Основная идея, модификации и реализация с нуля на Python В машинном и глубоком обучении линейная регрессия занимает особое место, являясь не просто статистическим инструментом, но а также фундаментальным компонентом для многих более сложных концепций. В данной статье рассмотрен не только принцип работы линейной регрессии с реализа...

[Перевод] Стратегии избегания и снижения риска: в чём разница? Риски представляют собой любые трудности, факторы, события или проблемы, которые могут оказать положительное или отрицательное влияние на проект или конкретный бизнес-процесс. Эффективное управление рисками необходимо для того, чтобы риски, которые всё же возникают, не вли...

За Nvidia пристально следят, а будут ли за Intel? Компания тоже создала специальные ускорители для ИИ, ориентированные на китайский рынок Компания Intel на днях представила свои ускорители для ИИ линейки Gaudi 3. Оказалось, что там есть две модели для китайского рынка.  Версии Gaudi 3 HL-328 и HL-388 разработаны специально для китайского рынка. Точнее, сконфигурированы в соответствии с санкциями. Не...

Разработка трёхмассовой тепловой модели асинхронного тягового двигателя Разработка и постройка технологически сложных деталей огромных промышленных тяговых электродвигателей будет очень затратными и нерациональными мероприятием, если отсутствует необходимая базовая расчетная модель. В данной статье продемонстрирована разработка трёхмассовой тепл...

Как мы создавали self-service функционал проверки качества данных для ML-моделей Привет! Продолжу рассказ о том, как мы превращаем банк в "биг дата" - организацию. Очевидно, что чем больше данных использует компания, тем больше зависит от их качества. Но, зачастую, вопросам качества данных при разработке витрин уделяется недостаточно внимания. Это связ...

Кодогенерация и парсинг TypeScript с помощью typescript Одной из интересных возможностей пакета typescript является то, что он содержит API для генерации TypeScript-кода, а также парсер для работы с написанным на TypeScript кодом. Кодогенерация часто используется для автоматического создания типов для работы с http api (типизация...

Honor готовит ноутбук на необычной оперативной памяти Похоже, что небинарная память LPDDR5X уже официально эксплуатируется на рынке, поскольку компания Honor представила свой ноутбук на процессорах Intel Core Ultra с 24 ГБ оперативной памяти. Дело в том, что обычно пользователи получают бинарную память на 8, 16 или 32 ГБ. Но не...

[recovery mode] Linux: 12 советов из практики Linux продолжает быть одной из самых популярных операционных систем для серверов, облачных вычислений и IoT‑устройств. Знание команд позволяет эффективно управлять и настраивать эти системы.Знание Linux может открыть двери к различным IT‑профессиям, таким...

Важен ли процессор для современных игр? Свежий обзор при участии трёх видеокарт, трёх разрешений и нескольких режимов даёт наглядный ответ Авторы канала Hardware Unboxed решили в очередной раз исследовать влияние процессоров на производительность в современных играх. В отличие от многих других таких тестов, они взяли CPU, разделённые двумя поколениями, причём ещё и из разных линеек, а также три видеокарты ...

Разгоняем Ignite в облачной инфраструктуре. Часть 1 Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере. Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о произво...

Цифровые технологии, ускоряющие интеллектуальное развитие электроэнергетики Для повышения цифровой продуктивности требуется системное развитие базовых возможностей. Модернизация вычислительных мощностей, и пропускной способности в частности, критически важна для создания новой энергетической системы. Строительство новой энергетической системы, ориен...

Актуальные методы проверки работоспособности больших и высоконагруженных сетей. Протоколы мониторинга Привет, Хабр!В данной статье мы рассмотрим актуальные методы проверки работоспособности сетевого оборудования. Конкретно в этой статье мы поговорим про протоколы мониторинга. Статья является переваренным опытом компании Netopia, которая занимается разработкой программного о...

Вот это апгрейд. Новейшие процессоры AMD Ryzen 7 8700G и Ryzen 5 8600G оказались на 50-67% быстрее предшественников В Сети появились результаты тестов процессоров AMD Hawk Point в Geekbench, и они демонстрируют значительный прирост производительности. Для начала напомним характеристики новых CPU. AMD Ryzen 7 8700G – это топовая модель линейки. У него 8 ядер, 16 МБ кэш-памяти т...

Как я использовал тематическое разделение доступа для создания веб-приложения В этой статье я хочу поделиться своим опытом использования тематического разделения доступа (ТРД) для создания веб-приложения, которое позволяет пользователям обмениваться сообщениями по разным темам. ТРД — это метод управления доступом, при котором права доступа субъектов с...

[Перевод] Ретрокодинг на Macintosh System 7.5, Think C и ResEdit Большинство современных программистов привыкли использовать инструменты автодополнения кода и новомодные ИИ-штучки а-ля Copilot. Они стали нормой.Эти инструменты настолько удобны, что мы начали забывать о боли и борьбе, которые сопровождали процесс разработки в далеком прошл...

Библиотеки для реализации алгоритмов сжатия данных в Rust Привет, Хабр!Сегодня мы рассмотрим хорошие библиотеки для реализации алгоритмов сжатия данных на ЯП Rust. Сжатие данных позволяет уменьшать объемы данных без потери качества или с минимальными потерями. Различают две основные категории методов сжатия: с потерями и без потерь...

Новая архитектура процессора — уже пора Архитектура фон Неймана. Существующая архитектура и основанные на ней подходы к развитию аппаратного и программного обеспечения, очевидно, устарели. Это приводит к очень низкому КПД используемых ресурсов и неоправданно большим затратам на единицу полезного действия. Большую ...

Гиганты объединились, чтобы дать бой Nvidia CUDA. Google, Intel, Samsung, Qualcomm и другие будут продвигать Intel oneAPI в качестве альтернативы Архитектура Nvidia CUDA давно является неким стандартом в своём сегменте, что, с одной стороны, хорошо, а с другой, делает Nvidia ещё большим монополистом. Как сообщает Reuters, коалиция крупных IT-компания UXL Foundation, в которую входят в том числе Google, Intel, Sam...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

[Перевод] Дилемма ИИ: когда обучение больших языковых моделей заходит в тупик ИИ готовится заменить сотни тысяч должностей не только в разработке ПО, но и во множестве других областей: в журналистике, творческой работе, общении с покупателями и так далее. Это та же самая мантра, которую мы слышим по поводу каждой технологической инновации: «Компьютер ...

Китайская традиционная медицина на удивление эффективно снижает риск осложнений после инфаркта Сердечные болезни стали бичом современности во многом еще и потому, что после перенесенных приступов существенно увеличивается риск новых заболеваний и осложнений. Существующие методы лечения далеки от идеала, однако еще в 1996 году надзорные органы Китая одобрили применение...

Терапия CAR-T – многообещающий способ лечения опухолей головного мозга Терапия CAR-T оказалась эффективной не только для лечения лейкемии.Изоборажение: www.beckman.com Лечение онкологических заболеваний – бич современной медицины. Дело в том, что на ранних стадиях большинство новообразований хорошо поддаются лечению, однако на поздних прогноз н...

Как подготовиться к публичному выступлению: работа с голосом Чем больше ты становишься экспертом, тем чаще HR видят в тебе не просто коллегу… а спикера на конференциях и митапах. Ну потому что нельзя скрывать такое сокровище! Одно дело — подготовить доклад, другое — с ним выступить (тяжкий вздох). Словить атаческую панику за 5 ми...

[Перевод] Учёные собрали рабочий компьютер с использованием мозговой ткани Не существует компьютера, даже отдалённо похожего на человеческий мозг по мощности и сложности. Комочки ткани, расположенные в нашем черепе, способны обрабатывать информацию в таких объёмах и с такой скоростью, что вычислительная техника едва может к этому приблизиться.Ключо...

LIME и SHAP Модели МО часто сравнивают с "черными ящиками" из-за их неспособности ясно объяснить свои решения. Проблема "черного ящика" возникает, когда внутренняя работа модели настолько сложна или неясна, что даже ее создатели не могут точно понять, как был получен тот или иной резуль...

Ученые создали метод оценки важности правил и данных в ИИ Ученые представили метод оценки значимости правил и данных в моделях «осведомленного машинного обучения». Это позволяет искусственному интеллекту (ИИ) интегрировать законы реального мира, улучшая решение сложных задач.

Квантовые компьютеры. С точки зрения традиционного программиста-математика. Часть 6 В прошлой части мы рассмотрели, как выглядят квантовые цепи с традиционными логическими операциями над данными. Сегодня мы рассмотрим два классических квантовых алгоритма, которые дают существенный выигрыш в производительности по сравнению с классическими алгоритмами решения...

Об эффективном использовании заметок на примерах из работы и личной жизни Личная жизнь – штука сложная, работа – ещё сложнее. В условиях поистине огромной кучи «контекстов» не забывать даже самые важные вещи бывает непросто, а делать то, что надо и когда надо – порой просто невозможно. Нерешаемая задача? Отнюдь. Всё уже на самом деле давно изобрет...

Технология «Дятел»: новаторское решение проблемы галлюцинаций ИИ Исследователи искусственного интеллекта из Университета науки и технологий Китая (USTC) и лаборатории Tencent YouTu Lab разработали инновационную структуру, получившую название «Дятел» (Woodpecker). Она предназначена для коррекции «галлюцинаций» в мультимодальных языковых мо...

384-ядерный китайский процессор в 2,5 раза быстрее самого мощного серверного CPU AMD. Раскрыты параметры Sunway SW26010 Pro Китай довольно активно развивает собственные процессоры, причём для разных сегментов. Sunway SW26010 Pro, вероятно, один из самых впечатляющих.  создано DALL-E Это серверный процессор, который является старшим братом для CPU Sunway SW26010, вышедшего ещё в 2016 го...

LLaMA 2, RWKV, Santacoder и другие LLM на iOS Однажды я решил изучить язык Swift и разработать свое первое приложение для iOS. Для этого я решил создать реальный проект, который заключался в оптимизации нашумевшего LLaMA.cpp под iOS. Я поставил перед собой задачу обеспечить запуск 3B и 7B моделей на&...

Проект «Селенит». Часть 5: Контроллер, встроенное ПО и квадратурный модулятор Аппаратура SDR (Software-defined Radio), как и следует из названия, представляет собой программно-аппаратный комплекс. В предыдущих частях цикла были рассмотрены преимущественно аппаратные решения радиотракта трансивера Selenite Lite. В большей части данной публикации будет...

Энергия будущего: химики стали ближе к созданию литий-серных батарей Литий-серные батареи обладают огромным потенциалом, позволяя накапливать в пять-десять раз больше энергии, чем современные литий-ионные батареи, при меньшей стоимости. Однако раскрытию их полного потенциала мешает сложный и малоизученный процесс реакции. Теперь исследователи...

Ретроспективный взгляд на развитие микропроцессоров CISC, RISC, MIPS, ARM С момента разработки первой в мире интегральной схемы в 1959 году прошло несколько десятков лет. Все эти годы аппаратные реализации вычислительных устройств, словно древние организмы «Мезозойской эры», претерпевали многочисленные изменения.Они эволюционировали под «давлением...

[Перевод] История терминала как инструмент продуктивности Если вы достаточно часто работаете в командной оболочке/терминале — это значит, что со временем история команд станет вашим личным хранилищем знаний, вашим справочником по командам и по документации. Возможность эффективно пользоваться этим ...

Серверы из линейки vStack-R, как альтернатива оборудованию западных вендоров В современном мире, где время является ценным ресурсом, обеспечение доступности и надежности серверных решений становится ключевой задачей. В начале 2022 года, когда на рынке наблюдался дефицит полупроводников и чипов, мы поставили перед собой цель предложить качественное и ...

[Перевод] Книга «Грокаем машинное обучение» Привет, Хаброжители! Машинное обучение — это набор методов анализа данных, основанных на алгоритмах, которые дают все более точные результаты по мере поступления новых данных. Машинное обучение лежит в основе систем рекомендаций, программ распознавания лиц, «умных» колонок ...

[Перевод] Генеративный ИИ. Акт второй Венчурный фонд «Sequoia Capital», 85 млрд $ активов. Год назад мы предположили, что генеративный искусственный интеллект вскоре затронет все технологические сферы. Но никто из нас не ожидал, что это будет так скоро. Ученые, историки и экономисты...

Как настроить ETL с json’ами в Apache NiFi Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.Что делает наша команд...

Анти-легаси архитектура для UI приложений В предыдущих статьях мы пришли к выводу, что для того, чтобы UI‑код не превращался в легаси, нам нужно отделить представление от бизнес‑логики и немного иначе, чем это делают Redux и Elm, так как оба подхода не позволяют сделать э...

Сравнительный анализ методов аппроксимации на основе SQL-запросов При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), г...

Путь к совершенному ПО: Искусственный интеллект в автоматической формальной верификации При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать оди...

Attaque a-la russe: атака с помощью промт-инъекций русскоязычных моделей семейства Saiga2 Насколько хорошо защищены открытые большие языковые модели от генерации вредоносного контента? Рассмотрим механизмы атаки с промт-инъекцией на большие языковые модели, а так же рекомендации по защите от них. Читать далее

Преодоление ожирения скальпелем: оценка наиболее эффективных бариатрических операций По последним данным Росстата, более 42% населения России имеют избыточный вес. Крайняя степень ожирения затрагивает 2,1% россиян. Ожирение занимает четвертое место среди причин смертности, так как оно является фактором риска для сердечно-сосудистых заболеваний, инсульта, диа...

Многорукие бандиты в задаче ритейла В настоящее время набирают популярность модели Reinforcement Learning для решения прикладных задач бизнеса. В этой статье мы рассмотрим подмножество этих моделей, а именно многоруких бандитов (multi-armed bandits). Также мы:- обсудим, какие задачи теоретически могут быт...

Лексикографический симлекс-метод Лексикографический симлекс-метод.Решение задачи линейного программирование симлекс-методом и лексикографическим симлекс-методом на Python! Читать далее

Microsoft работает над добавлением GPT-4 Turbo в Copilot Microsoft работает над обновлением сервиса Copilot (ранее Bing Chat) до недавно анонсированной языковой модели GPT-4 Turbo от OpenAI. Её главным преимуществом является поддержка контекстного окна размером 128 КБ, что эквивалентно примерно 300 страницам текста. Глава подразд...

ADATA представляет новую технологию охлаждения памяти DDR5 XPG начинает применять новую технологию термического покрытия печатных плат (PCB) для разогнанной памяти, эффективно снижая её температуру более чем на 10%. Эта технология термического покрытия печатных плат будет внедрена во втором квартале в высокопроизводительной разогн...

Обзор современных подходов персонализации диффузионных нейронных сетей Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженн...

Как мы сделали переводчик точнее и дешевле Google и Yandex Всем привет! Меня зовут Никита, я Data Scientist из Raft. Сегодня я расскажу вам о том, как мы решили задачу перевода каталога товаров большого интернет-магазина с русского на арабский язык с применением искусственного интеллекта. Мы рассмотрим различные подходы и идеи, возн...

Мало было серьёзных уязвимостей в процессорах, теперь такую обнаружили в GPU. LeftoverLocals опасна в случае обучения больших языковых моделей Несколько лет назад одной из самых активных тем в IT были многочисленные уязвимости в процессорах. Теперь такую же обнаружили в современных GPU.   Называется уязвимость LeftoverLocals (её каталожный номер — CVE-2023-4969). Она позволяет восстанавливать данны...

NLUX: Библиотека интерфейса Conversational AI В современном мире взаимодействие с компьютерами и приложениями становится все более естественным и удобным благодаря использованию разговорных интерфейсов и искусственного интеллекта. Однако, интеграция таких функциональностей в веб-приложения может стать вызовом для разраб...

Apple придумала как запустить аналог GhatGPT прямо на iPhone Не секрет, что компания Apple активно интересуется вопросами ИИ. По мнению аналитиков, сейчас купертиновцы несколько отстают от основных конкурентов. Однако в следующем году ситуация должна измениться. Сейчас Apple работает над генеративным ИИ под кодовым названием Ajax. Вме...

Основы полнотекстового поиска в ElasticSearch. Часть третья Это третья и заключительная статья из цикла, в которой рассмотрим стандартную модель ранжирования документов в Elasticsearch.После того как определено множество документов, которые удовлетворяют параметрам полнотекстового запроса, Elasticsearch рассчитывает метрику релевантн...

GPT-like модель «впервые сделала научное открытие»: что, как и куда дальше? 14го декабря в одном из самых авторитетных общенаучных журналов Nature была опубликована статья с, кажется, сенсационным заголовком: «ИИ-модели Google DeepMind превосходят математиков в решении нерешённых проблем». А в блогпосте дочки гугла и вовсе не постеснялся указать, чт...

Эволюция развивается не хаотично, в ней обнаружены закономерности Ученые обнаружили, что эволюция имеет закономерности Эволюция представляет собой необратимое историческое развитие живой природы. Суть ее заключается в изменении генетического состава популяций, что обеспечивает адаптацию к постоянно изменяющимся условиям окружающей среды. П...

Делаем crackme. Часть первая: whitebox AES Эта статья первая из цикла, в котором мы будем создавать crackme для linux amd64. В crackme будут реализованы шифрование каждой функции отдельным ключём и наномиты для противодействия отладке. В данной статье мы рассмотрим алгоритм встраивания к...

GPT-4 может эксплуатировать уязвимости, изучив связанные бюллетени безопасности Ученые из Иллинойского университета в Урбане-Шампейне (UIUC) пришли к выводу, что большая языковая модель (LLM) GPT-4 компании OpenAI может успешно эксплуатировать реальные уязвимости, если предварительно «прочтет» бюллетень безопасности об этой CVE, в котором описана пробле...

Астрономы предложили новый метод точного измерения параметра Хаббла с помощью быстрых радиовсплесков Быстрые радиовсплески (FRB) — мощные радиовспышки, длительностью от нескольких миллисекунд до нескольких секунд. Основная теория их происхождения  состоит в том, что они вызваны магнетарами — сильномагнитными нейтронными звёздами. Новое исследование пре...

WebSocket в Go и причем тут горилла Привет, Хабр!WebSocket позволяет открыть интерактивный коммуникационный сеанс между пользовательским браузером и сервером. Здесь большое отличие от традиционного HTTP, который ограничен моделью запрос-ответ и не подходит для сценариев, требующих постоянного обмена даннымиGo ...

Временные ряды с Julia с библиотекой TimeSeries.jl Julia позволяет достигать скорости, сравнимой с C, что делает её хрошим выбором для временных рядов.Пакет TimeSeriesпредоставляет удобные методы для работы с данными временных рядов в Julia. Читать далее

Оптимизируем параметры запуска приложения Spark. Часть первая Привет! Меня зовут Андрей Чучалов, я работаю в билайне, и в этом посте я расскажу про оптимизацию параметров запуска приложений в Spark, поиск проблем и повышение производительности. Разберем запуск приложений Spark в базовой и расширенной версиях, покажу методы расчёта осно...

Большая языковая модель «Ростелекома» очеловечит общение операторов контакт-центра с клиентами Искусственный интеллект принципиально изменит подходы к коммуникации с клиентами и методы обработки их обращений.

Exception Handling: сквозь мультивселенные интероперабельности В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и н...

Государство и агротех: регуляция сельхозинноваций на национальном уровне разных стран мира Заметно, что в последние годы во всем мире уделяется все больше внимания регулированию и государственной поддержке сельхозинноваций. Недаром один из трендов агротехнологического развития до 2030 года — это рост роли государства в деле актив...

Опрос по оценке эффективности работы сотрудников Оценка эффективности сотрудников играет ключевую роль в управлении персоналом и развитии организации. Правильный подход к этому процессу не только помогает выявить лидеров и потенциал для роста внутри компании, но и способствует улучшению взаимопонимания между сотрудниками и...

Mimesis: идеальное решение для генерации данных Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, прав...

Кратко про лидеров рынка Runbook Automation: Ansible, Puppet, и Chef Runbook Automation — это процесс использования специальных программных решений для автоматизации выполнения повторяющихся задач и процедур, которые в традиционных условиях выполняются вручную операторами IT-систем. RBA находит применение в автоматизации широкого спектра опер...

Обзор флагманского планшета Samsung Galaxy Tab S9: лучший из лучших или просто дорогая игрушка? Линейка планшетов Samsung Galaxy Tab S9 вышла в августе и состоит из моделей Galaxy Tab S9, Galaxy Tab S9 Plus и Galaxy Tab S9 Ultra. В основном они отличаются между собой диагональю экрана. Если в обычной версии это классические 11″, то в версии Plus уже 12,4″, а в Ultra&nb...

Тюнинг Wireshark Анализатор пакетов Wireshark является мощным инструментом как для сбора, так и для анализа трафика. Ранее мы уже рассматривали использование Wireshark для работы с пакетами DNS. В этой статье мы рассмотрим различные приемы гибкой настройки данного инструмента для того, чтобы...

Уязвимые гиганты: что общего между зулусским языком и LLM Сейчас, когда каждый чих в интернете может привести к новому стартапу или технологическому прорыву, большие языковые модели (LLM) занимают своё законное место на передовой научно-технического прогресса. Они умнее, быстрее и эффективнее человека в ряде задач: написание кода, ...

5 способов продлить срок службы ноутбука и заряда батареи: простые и эффективные методы В этой статье вы узнаете, как продлить срок службы вашего ноутбука и заряда батареи. Мы рассмотрим 5 простых и эффективных методов, которые помогут вам сэкономить заряд батареи и продлить срок службы вашего ноутбука.

Делегаты и с чем их едят Делегат, по сути, это ссылка на метод. Техническим языком, это типобезопасный указатель на функцию. То есть делегат хранит адрес метода, позволяя нам вызвать этот метод без необходимости вызывать его напрямую.Определение: Делегат - это переменная ссылочного типа, которая мож...

Управление цветами в Seaborn: как эффективно визуализировать данные Привет, Хабр. В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.Я покажу не только картинки было-стало, но и приведу примеры кода, а также объясню логику принятия решений: как исп...

Кто такой — джуниор в FAANG? Все мы понимаем, что означает слово Junior в контексте разработки софта. Человек без опыта, недавно попавший в профессию, часто делающий ошибки, требующий помощи и наставлений. Но как так получается, что в FAANG на Junior позиции ...

Правило 16 байт: развенчиваем миф о производительности структур в C# По умолчанию, при передаче в метод или при возврате из метода, экземпляры значимых типов копируются, когда как экземпляры ссылочных типов передаются по ссылке. В 2008 году была выпущена книга «Framework Design Guidelines: Conventions, Idioms, and Patterns for Reusable .NET L...

Событийное логирование для аналитики и мониторинга работы телеграм-бота Привет, Хабр! Меня зовут Артем.По мере роста различной работы с телеграм ботом нашего корпоративного телеграм-бота, оптимизация и поддержание его стало более сложной задачей. В какой-то момент я осознал, что нужен надежный способ отслеживания происходящих событий в приложени...

Cample.js — один из самых быстрых фреймворков без виртуального DOM в Интернете! Отчёт № 2 В данной статье я бы хотел провести последний отчёт по быстродействию Cample.js. За два года работы над фреймворком, сложились небольшие результаты, которые я бы хотел рассмотреть.Отчёт включает в себя сравнения по производительности с популярными библиотеками и фреймворком,...

Вебинар «Лидогенерация для B2B-услуг в 2023-2024» Онлайн вебинар «Лидогенерация для B2B-услуг в 2023–2024» — мероприятие, на котором мы расскажем о способах привлечения клиентов в B2B: что работает, как «хакнуть» маркетинг в B2B и наглядные кейсы. Спикер — Александр Глушко...

Умный мясокомбинат: что можно сделать с инженерными системами? Современные производства за годы эксплуатации «обросли» большим количеством инженерных систем разных производителей.Заставить их работать вместе сложно, еще сложнее — обслуживать «зоопарк» техники.В статье мы рассмотрим несколько решений, которые улучшили работу инженерных с...

ИИ выходит на новый уровень: LLM обретают пространственно-временную картину мира Исследователи из MIT под руководством Макса Тегмарка сделали важное открытие в области искусственного интеллекта. Им удалось доказать, что современные языковые модели (LLM), обученные на огромных массивах текстов, формируют внутри себя целостные модели мира, включающие предс...

ASRock и Asus рассекретили четыре новых APU AMD для настольных ПК. Линейку Ryzen 8000G (Hawk Point) возглавит 8-ядерный Ryzen 7 8700G Asus и ASRock обновили описание своих материнских плат для процессоров AMD: в перечне поддерживаемых APU прописались четыре новые модели линейки Ryzen 8000G. Они ещё пока не представлены официально – премьера ожидается в начале 2024 года на выставке...

Как определить рак за несколько минут — ученые нашли ответ Ученые разработали искусственный интеллект. который определяет рак за 5 минут до появления первых симптомов болезни Одна из причин, по которой онкологические заболевания приводят к летальному исходу, заключается в том, что чаще всего они диагностируются на поздних стадиях. П...

Сбер представил новую версию GigaChat - на основе самой сильной модели для русского языка На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию сервиса GigaChat, в основе которого лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.  Иллюстрация: Сбер В чи...

Samsung говорила, что новейшее стекло Gorilla Glass Armor в Galaxy S24 Ultra обладает превосходной стойкостью к царапинам. А что на деле? PBKReviews продолжает испытывать Samsung Galaxy S24 Ultra на прочность: краш-тест мы уже видели, а сейчас опубликован ролик, демонстрирующий испытание стекла на стойкость к царапинам. Для этого использовали специальные инструменты с разной твердостью по шкале Мооса. Пр...

ИИ-синоптик от Google прогнозирует погоду быстрее и точнее суперкомпьютеров Компания Google запустила, возможно, одну из самых полезных версий искусственного интеллекта, которая занимается прогнозированием погоды. ИИ под названием GraphCast прошел обучение на метеорологических данных за последние 40 лет. Он использует эталонный метод числового прогн...

От астролябии до MIMO: как необходимость определять местоположение привела к развитию систем спутниковой и сотовой связи С древних времен людям было важно определять свое местоположение в пространстве, чтобы проложить маршрут до цели или просто вернуться домой. В современном мире мы уже не ориентируемся по солнцу и звездам, чтобы понять, где находимся мы или целевой объект. Просто достаем смар...

Как мы решили вопрос с размещением Телеграм-бота Важность присутствия в интернете и доступность для широкой аудитории 24/7, сложно переоценить. Однако, эта статья предназначена для начинающих разработчиков, делающих свои первые шаги в мире создания и развертывания чат-ботов. Для опытных разработчиков, уже имеющих собственн...

Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения Каждую неделю мир машинного обучения наполняется новыми открытиями, проектами и статьями, которые не только вдохновляют дата саентистов, но и расширяют горизонты знаний. В этой статье мы собрали для вас подборку самых интересных и актуальных материалов недели, которые помогу...

Huawei вновь превзошла Samsung, Apple, Honor и всех остальных. Huawei Pura70 Ultra — лучший в мире камерофон по версии DxOMark Специалисты DxOMark протестировали основную камеру Huawei Pura70 Ultra и, по итогам большого исследования, поставили ее на первое место соответствующего рейтинга. Причем лидирует Pura70 Ultra с очень большим запасом: расположенный на втором месте Honor Magic6 Pro уступа...

Google придумала свою нейросеть, которая лучше Chat GPT Еще в мае 2023 года компания Google объявила о том, что планирует использовать две свои исследовательские группы — Brain Team и DeepMind — для одного большого проекта. Компания хотела объединить их в единое подразделение под названием Google DeepMind. Эта новая команда по з...

Четырёхъядерный китайский CPU может конкурировать с Ryzen 9 7950X и Core i9-14900K? Loongson 3A6000 показывает высокую эффективность архитектуры Пока с собственными видеокартами у Китая всё не очень хорошо, процессоры развиваются гораздо активнее. Вплоть до того, что по определённым параметрам уже догнали современные CPU Intel и AMD. В частности, новые тесты процессора Loongson 3A6000 показывают, что его архитек...

Hisense расширяет линейку телевизоров Mini-LED на российском рынке Hisense UXKQ представлена в двух диагоналях: 65 и 85 дюймов. Изображение на этом телевизоре всегда высокого качества независимо от контента и внешнего освещения. Такая картинка рождается благодаря нескольким технологиям. Одна из них – подсветка Mini-LED X, у которой светоди...

AMD Ryzen AI показывают лучшие результаты в AI LLM и GenAI по сравнению с Intel Core Ultra Процессоры AMD Ryzen AI демонстрируют превосходную производительность в области искусственного интеллекта и имеют преимущество в низком энергопотреблении.

Обзор на новую CSS-in-JS либу от Facebook* – StyleX Недавно компания Facebook* (aka Meta**) выпустила в опенсорс собственную CSS-in-JS библиотеку под названием StyleX. По заявлениям разработчиков, она отлично подходит для больших проектов и ключевым ее преимуществом является перфоманс.В этой статье мы рассмотрим пример исполь...

Два экструдера, тысячи идей: обзор 3D-принтера FlashForge Creator 4-S За последние годы технология 3D-печати добилась значительных успехов в доступности, функциональности и удобстве использования. 3D-принтер Flashforge Creator 4-S является прямым доказательством этих достижений. В статье мы подробно рассмотрим этот современный принтер, изучим ...

Роадмап по современному фронтенду от KTS Эта статья — цельный план развития во фронтенде. Расскажем, что из себя представляет современный фронтенд и какие знания нужны для востребованности на рынке труда.Статья подойдет как для начинающих специалистов, так и для более опытных, которые хотели бы получить какой-то ор...

ANNA – сервис для автоматической разработки нейронных сетей Нейросетевые модели уже несколько лет успешно применяются в Альфа-Банке для решения ключевых задач, таких как кредитный скоринг, прогнозирование склонности клиентов к продуктам и определение оттока. Модели глубокого обучения демонстрируют высокое качество и стабильно улучшаю...

Японская косметика японская косметика известна своим высоким качеством, инновационными формулами и уникальными ингредиентами. Японские косметические бренды предлагают широкий спектр продуктов для ухода за кожей, волосами и ногтями, а также декоративную косметику. Вот некоторые особенности и п...

Многогранность систем WMS: внедрение, оценка преимуществ и недостатков Системы управления складом (AS WMS) стали неотъемлемой частью эффективной логистики, обеспечивая точный учёт товарных запасов и управление грузовыми потоками. Их разнообразие позволяет компаниям выбирать наилучшее решение, соответствующее их потребностям. Рассмотрим основные...

Управление обратным маятником в MATLAB Simulink без формул. Настройка PID регуляторов Простой и популярной реализацией закона управления обратным маятником является PID регулятор. Современные средства настройки коэффициентов PID регулятора позволяют решать подобные задачи нажатием пары кнопок даже без знания математики, физики и вообще без каких-либо техничес...

Использование теории игр для повышения прозрачности моделей машинного обучения Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильност...

Темный лес или Лесной пожар? Несколько лет назад я прочитал «Задачу трех тел» Лю Цысиня, очень достойная научная фантастика. В ней изложена концепция «тёмного леса», с которой я не смог согласится.Предлагаю вам альтернативную концепцию «Лесной пожар», описывающую как могли бы вз...

[Перевод] Продвинутые техники извлечения данных для достижения максимальной производительности Cегодня мы поговорим на тему оптимизации производительности для масштабируемых систем.В современной постоянно развивающейся цифровой среде необходимо держать фокус внимания не только на функциональности программных систем — нужно создавать системы, способные беспроблемно и э...

Построение высокопродуктивной команды: опыт СберМаркета Привет, меня зовут Борис Вольфсон, и я отвечаю за продукт и данные в СберМаркете. Сегодня я расскажу про наш подход к формированию и развитию команд, способных демонстрировать выдающуюся продуктивность. Подробно остановлюсь на традиционных методах и нестандартных инструмента...

Дескрипторы в Python Привет, Хабр!Дескриптор — это объектовый атрибут с поведением, определяемым методами в его классе. Если просто — это способ, с помощью которого объект может контролировать доступ к его атрибутам, используя специально определенные методы __get__, __set__, и __delete__. Если г...

Практика измерения коэффициента шума при помощи анализатора спектра. Заметки и наблюдения Одним из показателей качества аналогового тракта приемника является коэффициент шума (КШ). Чем он меньше, тем меньше дополнительных шумов вносит аналоговый тракт в сигнал, поступающий на его вход. Выбор устройств с низким КШ может позволить увеличить дальность или скорость п...

Методы балансировки в А/Б тестировании Привет, Хабр! Как часто вы думаете о балансе? Балансе вселенной, личной жизни и работы, балансе БЖУ в своем рационе или балансе в банке. Мы в команде ad-hoc X5 Tech не только думаем о балансе, но и сталкиваемся с ним в работе. Сегодня поговорим о балансировке при анализе при...

Топ Необходимых Bash-Команд для Разработчика [Шпаргалка] Bash - самый распространенный командный интерпретатор в UNIX-подобных системах, предоставляет возможность выполнения практически любого действия через терминал. Не все операции можно выполнить через графический интерфейс, в то время как Bash дает возможность полного контроля...

GPT-4, Claude 3, Gemini Pro или опенсорс — как выбрать LLM под свою задачу? Несмотря на то, что сейчас из каждого утюга рекламируется доступ к ChatGPT и GPT-4, вообще говоря, в мире существует несколько больше разных поставщиков LLM (больших языковых моделей), и некоторые из которых могут гораааздо более эффективнее решать какие-то конкретные зада...

Как мы делаем общие библиотеки Сегодня я хотел поговорить о том, как мы выстраиваем процесс работы с общими библиотеками разработки. Я расскажу о нашем подходе, который позволяет соединить процессы, команды и инструменты в единое целое. Статья будет интересна тем, кто сопровождает, создает или интересуетс...

Как мы описываем требования к REST API для бэкенда в Confluence У нас в команде два системных аналитика с разным бэкграундом и изначально разными подходами к оформлению требований, в том числе к API. Вначале каждый из нас писал требования по-своему, с разным уровнем проработки и детализации. Но быстро стало понятно, что так дальше не пой...

Как не заскучать в 1С-разработке Многие считают 1С особым замкнутым миром. А методы работы в нем — неприменимыми в «нормальном» программировании. Это давно не так. Конечно, у каждого решения есть свои плюсы и минусы. Но я уверен: если вы не любите 1С, то вы просто не умеете его готовить. Меня зовут Вла...

[Перевод] Интеграция нативных SDK во Flutter-приложение Мир мобильной разработки постоянно меняется. В поиске эффективных решений разработчики пошли по пути новых технологий и интеграций. Одним из самых ярких маяков на этом пути стал Flutter — набор инструментов пользовательского интерфейса от Google, который позволяет пользовате...

Как расширить дисковое пространство на VPS за счет дисков на сервере в домашней сети В настоящее время очень широкое распространение получили решения, основанные на self-hosting'e. При этом, под этим термином понимается идеология и практика, предусматривающая размещение веб-сервисов на собственных серверах, например домашних, вместо испол...

Intel расщедрилась. Функция APO, которая значительно повышает производительность в играх, станет доступна и на процессорах Intel снова выпускает почти то же, что и год назад. Представлена оставшаяся часть линейки процессоров Raptor Lake Refresh Компания Intel всё-таки решила расширить поддержку функции Application Optimization (APO) на более старые процессоры.  Изначально компания зая...

Привычки для повышения производительности и качества жизни Каждый день мы сталкиваемся с множеством задач. Не секрет, что на пути к цели существуют препятствия, блокирующие наши ресурсы. Положительные привычки могут стать для нас мощным инструментом для повышения продуктивности и качества жизни. Он...

Основы Rust: синтаксис и структуры данных Привет, Хабр! Rust - это язык, который становится плюс-минус более популярным в последние годы благодаря своей высокой производительности и безопасности. Он был разработан Mozilla и сообществом разработчиков с целью предоставить инструмент для системного программирования, ко...

Как рассчитывается стоимость газа в транзакциях Ethereum Привет всем! Я — Рома Ярлыков, разработчик смарт‑контрактов на Solidity в команде MetaLamp. ​​В этой статье я исследую механизмы расчета и составляющие цены газа в блокчейне Ethereum, описываю историческое развитие этих методов и их значимость, а так...

[Перевод] Сжать и не пожалеть: как работает сжатие без потерь Более 9 миллиардов гигабайт информации ежедневно путешествуют по интернету, заставляя постоянно искать все новые и новые методы упаковки данных. Самые эффективные решения используют подходы, которые позволяют достичь большей плотности за счет "потерь" информации в процессе с...

Способ автоматизации процесса получения BIM-моделей с Revit Server и последующей сборкой в Navisworks. Подробный гайд Одной из операционных задач BIM-отдела является подготовка и формирование проприетарных файлов моделей для последующего использования в тех или иных целях. На примере работы с программными продуктами Autodesk — Revit и Navisworks, подразумевается определённая логика разбивки...

Безотказные очереди в RabbitMQ: Гарантированная доставка сообщений RabbitMQ - это открытая реализация протокола AMQP (Advanced Message Queuing Protocol), является мощным и гибким брокером сообщений. Он обеспечивает надежное и эффективное взаимодействие между компонентами системы, предоставляя разработчикам инструменты для создания гибких и ...

МТС может начать платить за вычислительные мощности наших смартфонов Представьте себе картину, что вы спите, а ваш смартфон интенсивно работает и приносит деньги, либо за свои услуги снижает стоимость мобильной связи. Читать полную статью

[Перевод] На пути к 1-разрядным моделям машинного обучения В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit. Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с кванто...

Основы работы с хранилищами в Kubernetes Привет, Хабр! В Kubernetes принято разделение хранилищ на два основных типа: постоянные и временные. Постоянные хранилища (PV) представляют собой сегменты дискового пространства, которые могут быть подключены к подам и сохранять данные даже после перезапуска или удаления кон...

Меры сложности: колмогоровская, вычислительная и эффективная сложность, логическая и термодинамическая глубина Это продолжение статьи «Информация об информации», где я показал, что информация – физическая величина, не имеющая ничего общего с духом, сознанием, «информационным полем» и другими эзотерическими понятиями. Но среди философов и мистиков бытует мнение, что физическая и метаф...

Где бесплатно изучать Rust в 2024 В 2024 году Rust остается одним из наиболее востребованных и перспективных языков программирования. Вот несколько причин, почему учить Rust может быть полезно:1. Безопасность: Rust разработан с упором на безопасность, предотвращая многие типичные ошибки программирования, так...

Кто ты, SwiftData Привет! Я Андрей Зонов, стафф-инженер в Тинькофф и большой фанат CoreData. Моя любовь в CoreData началась на старте карьеры, когда я попал в первый Enterprise-проект. Это были времена iOS 4.3., CoreData не имела parent-контекстов и методов perform. Как-то так сложилось, что ...

Microsoft теперь имеет собственные процессоры. Компания представила чипы Azure Maia 100 AI Accelerator и Azure Cobalt 100 Компания Microsoft в последнее время активно интересуется разработкой собственных чипов или полузаказаных решений, разработанных совместно с другими компаниями. И сегодня Microsoft представила первые собственные чипы: Azure Maia 100 AI Accelerator и Azure Cobalt 100.&nb...

Эксперты рассказали о прорыве в индустрии ЭСДН На рынке электронных систем доставки никотина (ЭСДН) происходят серьезные перемены. По сути, речь идет о настоящем прорыве в мире никотиновых изделий. Сегодня стремительно теряют популярность привычные испарители на вате. Они уступают место новому стандарту — керамическим на...

[Перевод] Сборка мусора: как это делается в системном программировании Давайте поговорим об одной из наиболее критичных по производительности программ, которой вы пользуетесь ежедневно: о вашей операционной системе. Поскольку при каждом разгоне железа вы получаете дополнительную вычислительную мощность, операционная система никогда за этим не ...

Переход с Vue-CLI на Vite: ускоряем разработку Vue 3 Одним из новых инструментов в арсенале Vue 3 является Vite - быстрый и легковесный бандлер, который значительно упрощает процесс разработки и ускоряет сборку проекта. В этой статье мы рассмотрим, как перейти от стандартного подхода с использованием Vue-CLI и Webpack к более ...

Nvidia представила программную платформу NIM для для оперативного развертывания AI-моделей На конференции GTC Nvidia анонсировала новую программную платформу Nvidia NIM, предназначенную для оптимизации развёртывания пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах. Источник: Nvidia Как правило, на р...

Современный digital signage — эффективное управление контентом на экранах Digital signage — это всё, что связано с цифровыми устройствами (чаще это экраны), которые отображают контент и c управлением этими устройствами и контентом. Дисплеи в банках и современных поездах метро, табло с расписанием рейсов в аэропорту, светодиодные рекламные экраны н...

Redmi Note 13 5G получили обновление до HyperOS 1.0 Сегодня компания Xiaomi официально объявила о запуске операционной системы HyperOS 1.0 для серии смартфонов Redmi Note 13 5G — речь идёт о моделях Redmi Note 13 5G, Redmi Note 13 Pro 5G и Redmi Note 13 Pro+ 5G. Эти устройства были выпущены в прошлом году с операционной систе...

Пульс опросы по удовлетворенности сотрудников Удовлетворенность сотрудников становится не просто показателем корпоративной культуры, но и ключевым фактором успешности бизнеса. Регулярное измерение этого аспекта позволяет компаниям не только отслеживать настроения в коллективе, но и своевременно реагировать на возникающи...

Совершенствование производительности приложений через кэширование и CDN Быстрая загрузка, реакция на действия пользователя без замедлений и низкая задержка — все это играет критическую роль в обеспечении высокого уровня пользовательского опыта. Чем быстрее приложение, тем довольнее пользователь, и тем больше вероятность, что он вернется к нему с...

AMD Ryzen Threadripper 7995WX приближается к RTX 3060 по вычислительной производительности Процессор быстрее современных игровых консолей.

Kandinsky 3.1 — новая быстрая модель генерации изображений по тексту 2023 год можно смело называть годом бурного развития генеративного искусственного интеллекта. Это касается не только привычной нам модальности изображений (Kandinsky 2.1, 2.2, 3.0, Stable Diffusion XL, IF, Шедеврум и др.), но и текстовой (ChatGPT, GPT-4, LLaMA, Falcon, GigaC...

Разборка MacBook Air M3 показала, что Apple решила самую большую проблему модели M2 Это решение представляет собой возврат к использованию двух микросхем флэш-памяти NAND для хранения данных в конфигурации начального уровня, как в M1 MacBook Air.

Методы оценки руководителей Руководители не только определяют стратегическое направление компании, но и вдохновляют свои команды на достижение общих целей. Именно поэтому оценка руководителей является важнейшим инструментом в руках современного HR-специалиста и топ-менеджмента. Она позволяет не только ...

Как США, ЕС, Китай и Россия собираются зарегулировать ИИ Вряд ли кто-то сомневается, что современные нейросети — одна из самых больших технореволюций за последние, наверное, лет 50. А может и в истории, кто знает? Но как говорил дядя Питера Паркера из «Человека-паука»: «С большой силой приходит и большая ответственность». Нед...

Продавцы на Яндекс Маркете получили бесплатный доступ к статистике поисковых запросов покупателей Яндекс Маркет открыл продавцам бесплатный доступ к аналитическому отчёту со статистикой поисковых запросов покупателей. Он устроен как Вордстат — инструмент, показывающий статистику запросов в поиске Яндекса.  Отчёт Маркета позволя...

Анализируем виды тестов для Frontend С развитием веба сайты превратились в сложные приложения, которыми ежедневно пользуются десятки и сотни миллионов людей: почта, облачные хранилища, соцсети, маркетплейсы, стриминговые платформы и т. д. И каждое из них должно работать корректно. Как это сделать...

Разработка RESTful API: как использовать ExpressJS и другие фреймворки для создания RESTful API RESTful API — это одна из самых популярных архитектурных моделей для создания веб-сервисов и приложений. Понимание основных концепций REST и принципов RESTful API играет решающую роль при разработке современных веб-приложений. Читать далее

Это мы юзаем: библиотека Optuna в Python для оптимизации гиперпараметров Привет, Хабр!Гиперпараметры — это параметры, которые не учатся в процессе обучения модели. Они задаются заранее. От выбора гиперпараметров напрямую зависит качество и эффективность модели, а их оптимизация может улучшить результаты предсказаний.Традиционный подход к оптимиза...

ТРИЗ &#8212; Теория решения изобретательских задач В современном мире конкуренция ведет к постоянному поиску новых решений, новых продуктов и новых технологий. В связи с этим компании все чаще обращаются к ТРИЗ &#8212; теории решения изобретательских задач. ТРИЗ представляет собой систему методов и приемов, которые помог...

[Перевод] Управляемое данными тестирование с использованием Cucumber Тестирование на основе данных позволяет сократить объем ручных действий, необходимых для проведения тестирования, а также упростить управление и сопровождение тест-кейсов. В целом использование тестирования на основе данных позволяет повысить качество программного обеспечени...

«Машинное чтение» цифровых и не только индикаторов без ИИ и нейронок на Python В этой статье рассмотрим простой алгоритм обработки и распознавания значений из массива фотографий с показаниями цифровых индикаторов. Не будет машинного обучения, нейросетей, только стандартные библиотеки Python для работы с изображениями. Чита...

[Перевод] Фильтры действий в ASP.NET Core ASP.NET Core — это мощный и универсальный фреймворк для создания веб-приложений. Он предоставляет широкий набор возможностей для создания надежных и масштабируемых приложений, и одной из ключевых фич, расширяющих его функциональность, являются фильтры действий (Action Filter...

Интеграция Keycloak в приложение Spring Boot 3 с использованием протокола OAuth2.0 В современном мире веб-разработки обеспечение безопасности пользовательских идентификаторов и управление доступом к ресурсам становятся все более важными задачами. Один из мощных инструментов, предоставляющих полноценное решение для этих задач, это Keycloak, современная сист...

Качественные рекомендации в e-commerce — компоненты основных алгоритмов В первой статье цикла мы рассказали про свойства алгоритмов качественных рекомендаций, которые необходимы для практического использования алгоритма. Во второй статье мы рассмотрели компоненты алгоритма «Сопутствующие товары». Но система рекомендаций для интернет-магазина сос...

Представлена оболочка Honor MagicOS 8.0 с собственной языковой моделью. Её получат многие смартфоны компании Компания Honor представила оболочку MagicOS 8.0 и раскрыла список устройств, которые получат соответствующие обновления.  Начать стоит с того, что теперь в оболочку интегрирована языковая модель MagicLM, так что в оболочке появятся различные новые функции, связанн...

NVIDIA выпускает HPC-модуль HGX H200 В ходе конференции SC23 компания NVIDIA представила новый вычислительный модуль HGX H200, ведущую вычислительную платформу ИИ. Этот модуль обещает заметный прирост в производительности генеративных ИИ благодаря новой архитектуре NVIDIA Hopper.

[Перевод] Я уже 14 лет в отрасли, но программировать по-прежнему сложно Много лет назад, учась computer science на старших курсах, я долго изучал различные вакансии онлайн, надеясь найти подходящую должность стажёра-программиста.Кроме вакансий для стажёров я иногда случайно нажимал на объявления о вакансиях «сеньор-разработчика». Помню, больше в...

3D-сканирование как инструмент обратного инжиниринга агрегатов 3D-Сканирование как инструмент обратного проектирования. Как известно, метод обратного проектирования в области машиностроения – это процесс изучения существующих физических объектов для определения их свойств, в зависимости от поставленной задачи. Это может быть как из...

Стартап Thea Energy разработал подход к термоядерной энергии, объединяющий точность и экономичность — программное управление магнитами для стабилизации плазмы в термоядерных реакторах Стартап Thea Energy нацелился на создание инновационной термоядерной электростанции, применяя подход, который объединяет аспекты двух основных методов удержания плазмы: инерционного и магнитного. Основной задачей инженеров является достижение надежной и стабильной работ...

Нельзя писать безопасный код на C++ без санитайзеров С++ видится мне огромным франкенштейном: очень уж много разнообразных способов описать свои намерения. В добавок к этому язык пропагандирует политику zero-cost abstractions, из которой следует (помимо прочего), что программист в ответе за все св...

Samsung представила оперативную память LPCAMM Сегодня Samsung официально сообщила, что она разработала серию модулей памяти с низким энергопотреблением, которую назвали Low Power Compression Attached Memory Module (LPCAMM). Эта передовая память использует память LPDDR5X и представляет собой более компактное, быстрое и э...

Клеточная архитектура Клеточная архитектура — это подход к проектированию систем, основанный на принципе изоляции и независимости компонентов. Такая модель позволяет разделить большие и сложные системы на меньшие, самостоятельно функционирующие модули или клетки. Каждая клетка представляет собой ...

[Перевод] Вероятно, вы неправильно используете метод __init__ в Python Автор статьи обращает внимание на проблему, которая заключается в использовании метода __init__ для сложной логики создания объектов, что приводит к разрастанию и усложнению кода. Статья предлагает использовать вспомогательные методы, чтобы разделить логику создания объектов...

Первый массовый советский домофон Приветствую всех! Я уже не раз рассказывал о домофонах разных фирм и годов. Но те посты были преимущественно про ключи и их технологии, а не про сами устройства. Сегодня же рассмотрим несколько другую тему — как обстояли дела с такими устройствами в советское время, а заодно...

[Перевод] Настройка производительности диска и памяти в Linux В отличие от таких операционных систем как HPUX (dbc_min_pct, dbc_max_pct) или AIX (minperm%, maxperm%), в Linux нет возможности настраивать размер кэша страниц, читаемых с диска (страничный кэш, page cache). Под страничный кэш Linux использует всю доступную память. Размер с...

Устанавливаем и настраиваем Marzban Marzban — это инструмент управления прокси-серверами, который предоставляет простой и удобный пользовательский интерфейс для управления сотнями учетных записей прокси на базе Xray-core и созданный с использованием Python и ReactJS. В данной статье рассмотрим устан...

Перспективы развития современных ГТУ установок и альтернативный путь их развития Мы написали данную статью в попытке разобраться, на каком техническом уровне сейчас находятся газотурбинные установки, а также понять, каковы перспективы их развития. Одновременно в нашей рукописи мы попытались рассмотреть альтернативную схему преобразова...

Книга «Разработка приложений на базе GPT-4 и ChatGPT» Привет, Хаброжители! Эта небольшая книга представляет собой подробное руководство для разработчиков на Python, желающих научиться создавать приложения с использованием больших языковых моделей. Авторы расскажут об основных возможностях и преимуществах GPT-4 и ChatGPT, а та...

Telegram показывает удаленные сообщения Несколько дней назад я обнаружил, что Telegram приложение на Windows показывает давно удаленные чаты. При том, что их не было видно ни на телефоне, ни в Linux клиенте. Я поделился этим с друзьями, которые увидели то же самое. Для оптимизации работы серверов, чаты разделены н...

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Есть ли жизнь после Nvidia? Статья посвящена обзору альтернативных вычислительных устройств, с помощью которых мы надеемся решать задачи по распознаванию транспорта и пешеходов. Предпосылки к исследованиюНаша команда разработала собственное цифровое решение для мониторинга транспортного потока, которо...

Наноматериалы и нанотехнологии. Часть III В предлагаемой статье речь пойдет об электронной микроскопии. Рассматриваются различные типы электронных микроскопов (ЭМ), включая просвечивающие и зондирующие микроскопы с высоким разрешением, рентгеновская микроскопия и анализ, новейшие методы получения изоб...

Азотные установки: Ключ к Надежной и Эффективной Работе Промышленных Процессов В современной промышленности, где высокотехнологичное оборудование становится неотъемлемой частью производства, азотные установки приобретают ключевое значение. Они обеспечивают поставку и хранение азота, одного из важнейших газов, используемых в различных отраслях. Для бол...

Зачем нужен архитектор 1С. Часть 2 В предыдущей статье habr.com/ru/companies/otus/articles/772490 я постарался на конкретном примере показать различие между разработчиком 1С и архитектором 1С. Насколько по разному они подходят к решению одной и той же задачи. В этот раз я приведу пример, в котором различие ...

Несмотря на ограниченность памяти iPhone, Apple GPT будет «доминировать» над всеми остальными Apple готовится к внедрению своего чат-бота с ИИ, если верить инсайдам, в смартфоны iPhone. В недавно найденном научном исследовании говорится о том, что Apple сосредоточилась на оптимизации больших языковых моделей (LLM) для эффективного вывода выводов в условиях ограниченн...

Как выжать максимум из iGPU, доведя производительность почти до уровня GTX 1650 Laptop. Radeon 780M разогнали до 3,3 ГГц Разгон интегрированного графического ядра Radeon 780M до частоты 3,15 ГГц, о котором мы сегодня уже рассказывали, оказался не максимальным. Оверклокер SkatterBencher пошёл дальше и добился работы iGPU на частоте 3,3 ГГц, а заодно провёл тесты.  Начнём с того, что ...

Методы оптимизации в машинном и глубоком обучении. От простого к сложному В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концеп...

Обработка изображений и видео на смартфонах: handcrafted-алгоритмы против глубокого обучения Зеркалка — хорошая штука, но смартфон однозначно компактнее и удобнее. Да, мобильная оптика все еще далека до уровня зеркалок, однако получить красивые фотографии человек хочет здесь и сейчас. Как быть? Взамен харда, подключается софт, алгоритмы!Именно софт смартфона помогае...

Ускоряем Go: известные и не очень методы оптимизации и связанные с ними штуки Привет, Хабр)В этой статье хотел бы поделиться приёмами, которые позволяют повысить производительность Golang-кода. Некоторые из этих вещей довольно известные и их могут делать за вас линтеры, например go-critic, noctx (эти 2 касаются defer и отправки запросов без контекста)...

Нескучная стеганография, или как мы зашифровали секретные ключи пользователей в джипегах Рассказываем, как использовать методы стеганографии и шифрования в децентрализованных сервисах на IPFS. Исключаем риски, связанные с централизованным хранением логинов и паролей. Используем метод LSB, «наименьший значащий бит». Внутри статьи — примеры кода на C# и алгоритме ...

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 1 Библиотека pandas 2.0 вышла в начале апреля, в ней появилось много улучшений нового режима Copy‑on‑Write (CoW, копирование при записи). Ожидается, что в pandas 3.0 режим CoW будет использоваться по умолчанию. Сейчас полный переход на к...

Как провести анкетирование клиентов Когда каждый клиентский отзыв может стать решающим фактором для развития продукта или услуги, анкетирование выступает не просто как инструмент сбора информации, но как стратегическое преимущество для любого бизнеса. Оно позволяет не только узнать мнение клиентов о текущем пр...

Microsoft представила Phi-2: модель малого ИИ, превосходящая Google Новая языковая модель Phi-2 от Microsoft, предназначенная для ноутбуков и мобильных устройств, с ее 2,7 миллиарда параметров набирает обороты, превосходя более крупные модели других компаний. Примечательно, что Phi-2 даже превосходит Gemini Nano 2 от Google, демонстрируя бол...

Клетка ХV. Картирование типов клеток Изучение человека в настоящее время проводится множеством разных наук известными и новыми методами и весьма интенсивно. В мире осуществляются многомиллиардные исследовательские проекты. Изучаются геном, протеом, транскриптом человека, мозг человека и другие составляющие орга...

Платформа для корпоративных опросов Корпоративные опросы играют в этом процессе важнейшую роль, позволяя менеджерам и HR-специалистам получать ценные отзывы, анализировать уровень удовлетворенности и вовлеченности, а также идентифицировать области для улучшения. В этой статье мы поговорим о том, как современны...

Книга «Kali Linux в действии. Аудит безопасности информационных систем. 2-е издание» Привет, Хаброжители! В этой книге рассматриваются методы обхода систем безопасности сетевых сервисов и проникновения в открытые информационные системы. Информационная безопасность, как и многое в нашем мире, представляет собой медаль с двумя сторонами. С одной стороны, мы ...

Google DeepMind создал новый ИИ, способный неплохо играть в компьютерные игры. На что он способен? На Хабре не раз и не два писали об искусственном интеллекте, который превосходит человека в разных настольных и компьютерных играх. Но это специально обученные агенты, которые специализируются на какой-то конкретной игре. А можно ли разработать систему, способную взаимодейст...

Как я решал Advent of Typescript, и что я понял Возможно вы слышали про Advent of Code — ежегодное соревнование по решению задач на рождественскую тему. Начиная с 1 декабря, вплоть католического рождества, каждый день выкладывается новая задача. С каждым днем сложность задач возрастает.В дека...

JavaScript однопоточный или многопоточный? Ставим точку Поводом для ревизии данного вопроса стало то, что я по сей день слышу от специалистов (в том числе позиционирующих себя как senior), что современный JavaScript является однопоточным. При этом они охотно задают этот вопрос на техническо...

Компания SpiNNcloud Systems представляет первый "нейроморфный суперкомпьютер" Компания SpiNNcloud Systems анонсировала запуск гибридной высокопроизводительной вычислительной ИИ-системы, основанной на принципах работы человеческого мозга. Это первое коммерчески доступное решение данного типа.

Коротко про алгоритмы и структуры данных Привет, Хабр! Меня зовут Ричард, я работаю в команде kPHP в VK, занимаюсь разработкой kPHP, плагинов для IDE, а также другого инструментария, делая жизнь разработчиков проще. В своей работе мне приходится иметь дело с PSI деревьями, AST, самопис...

Готовимся к собеседованию по Rust: 4 самых частых вопросов. Часть 1 Привет, Хабр!Rust — язык программирования с акцентом на безопасность, скорость и параллелизм. Rust решает многие проблемы, с которыми сталкиваются на других ЯП, например, управление памятью без сборщика мусора. Очевидно из-за многих преимуществ Rust выбирают все большей комп...

Создание системы управления электродвигателями в наноспутнике Введение:Целью работы является создание системы управления электродвигателями в наноспутнике. Установка положения спутника в пространстве осуществляется с помощью электродвигателей, снабженных маховиками. В докладе рассмотрен один из возможных алгоритмов управления электродв...

Способы обхода GIL для повышения производительности Привет, Хабр!Global Interpreter Lock в Питоне предотвращающает одновременное выполнение нескольких потоков в одном процессе интерпретатора Python. Т.е даже на многоядерном процессоре многопоточные Python‑приложения будут выполняться только в одном потоке ...

[Перевод] С новым годом: GPT в 500 строках на SQL В минувшем году все только и говорили об ИИ и о том, как он может всё за вас сделать.Мне нравится, когда кто-то или что-то работает за меня. Поэтому решил: попрошу-ка ChatGPT написать за меня новогодний пост:"Эй, ChatGPT. А ты можешь реализовать большую языковую модель на SQ...

Термоядерная энергетика, токамак и ITER Это расшифровка одиннадцатого выпуска моего подкаста «Планы на завтра». Если не хочется читать лонгрид, прошу прослушать на вашей любимой платформе, может быть, так будет удобнее. Также у подкаста есть телеграмм‑канал, он так и называется «Планы на&n...

Signal Integrity of DDR4 Доброго времени суток! Наверное, вы все знакомы с компьютерной оперативной памятью DDRx (где x - поколение). Я бы хотел вам рассказать о ней с точки зрения SI (Signal Integrity - целостность сигналов) и принципов трассировки этого интерфейса. Читая документацию на различны...

Nvidia представила новую платформу для ускорения запуска ИИ На конференции GTC компания Nvidia представила новую программную платформу Nvidia NIM, предназначенную для упрощения запуска пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах. NIM объединяет оптимизированные модели и движ...

Купить кожух с двумя вентиляторами для видеокарты, чтобы заменить родной кожух с тремя вентиляторами. Cooler Master показала необычный продукт Компания Cooler Master показала на CES 2024 довольно странный продукт. Это часть системы охлаждения для видеокарты для собственноручной замены пользователем.  Фактически это кожух с двумя вентиляторами. По задумке Cooler Master, пользователь купит такой кожух, дем...

Представлен ИИ-чип следующего поколения Artemis. Он уже используется Meta* Meta* обнародовала подробности о своем ИИ-чипе следующего поколения под кодовым названием Artemis. Этот чип предназначен для удовлетворения постоянно растущей потребности в вычислительной мощности, необходимой для запуска функций искусственного интеллекта в Facebook**, ...

Взгляд в хранилище данных. Анализ диска с помощью Kali Linux В данной статье мы рассмотрим основные инструменты и методы, предоставляемые Kali Linux, для анализа содержимого дисков, включая методы извлечения данных, анализ файловой системы, поиск удаленных следов и многое другое. Погрузимся в мир цифровой форензики и обнаружения инфор...

Создан фреймворк для улучшения производительность компьютеров С развитием технологий, связанных с машинным обучением и сетями 5G, потребность в высокопроизводительных вычислениях становится все более актуальной. Для обеспечения плавной работы таких приложений требуются более энергоэффективные и экономичные системы. В этой связи был раз...

Snapdragon 8 Gen 3 оставляет Apple A17 Pro далеко позади. Новая платформа набирает в AnTuTu около 2 млн баллов Инсайдер Digital Chat Station поделился данными о производительности SoC Snapdragon 8 Gen 3.  создано DALL-E в Bing Согласно его данным, в AnTuTu (видимо, версии 10) новая платформа набирает около 2 млн баллов. Для сравнения, Snapdragon 8 Gen 2 набирает около 1,6 ...

Большое исследование показало, что электромобили ломаются намного чаще, чем машины с ДВС Специалисты Consumer Reports решили оценить современные автомобили с точки зрения надёжности, поделив их на разные категории и отдельно оценив электромобили. Получился большой и информативный отчёт.  создано DALL-E Итак, если говорить о надёжности в целом, то в об...

Тест производительности Web-фреймворков для Rust В этой статье мы сравним производительность 3 наиболее популярных бекэнд-фреймворков для Rust: Axum, Actix и Rocket.Сравним основные особенности, качество документации и самое главное - проведём тест производительности. Для этого напишем с помощью каждого...

Зимние новинки от Honor: стильные и надёжные смартфоны для работы и не только В начале 2024 года компания HONOR представила три новые модели смартфонов: HONOR X7b, HONOR X8b и HONOR X9b. Несмотря на то, что по некоторым характеристикам они похожи, новинки предназначены для разных пользователей. Так, HONOR X7b — надёжный инструмент для работы, HONOR X8...

Практическое применение моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях Привет, Хабр!Сегодня с вами участники профессионального сообщества NTA Попов Иван и Чимбеев Анатолий.В современном мире, где фотографии играют огромную роль в сфере социальных медиа, онлайн‑безопасности и контроля содержимого, важно иметь эффективные инструмен...

Обновление за обновлением: анонс ИИ Gemini Ultra 1.0 после релиза Gemini Pro 1.5 Всего через неделю после выпуска своей «лучшей» языковой модели ИИ Gemini Ultra 1.0 Google анонсирует Gemini Pro 1.5. Эта новая модель может похвастаться сопоставимым качеством при меньшей вычислительной мощности, что поднимает вопросы о стратегии Google в области ИИ и ...

NASA дала жизнь потенциально революционной конструкции антенны: компактная, эффективная и надувная Около 30 лет назад молодой инженер Кристофер Уокер, находился дома и готовил шоколадный пудинг, когда ему позвонили. Посреди разговора он выключил плиту и накрыл форму плёнкой, чтобы сохранить пудинг свежим. Когда он вернулся, то заметил, что плёнка под воздействием воз...

Основные функции Apache Tomcat Привет, дорогие читатели! Apache Tomcat — это открытое программное обеспечение, реализующее спецификации Java Servlet, JSP и Java WebSocket, предоставляя таким образом платформу для запуска веб-приложений, написанных на языке Java. Разработанный и поддерживаемый Apache Softw...

Предсказательное моделирование (Predictive Modeling) Привет, Хабр!Что такое предсказательное моделирование? Проще говоря, это искусство и наука прогнозирования будущего, основанная на изучении и анализе прошлых и настоящих данных. Это не просто гадание на кофейной гуще или предсказания астролога; это строгий научный процесс, в...

Обзор Llemma: новая математическая open-source модель Привет! Меня зовут Дарина, и я занимаюсь фундаментальными исследованиями в MTS AI. Основной фокус нашей работы сейчас — обучение больших языковых моделей, их тестирование и оптимизация.Сегодня хочу сделать обзор на недавно вышедшую статью LLEMMA: an open language model for m...

Python-волшебство: как магические методы облегчают жизнь программиста Привет, друзья! Сегодня я расскажу вам об удивительном мире магических методов в Python.

QA под капотом. Тестируем и настраиваем 1С-Битрикс Привет, Хабр! Меня зовут Анастасия, я QA-специалист SimbirSoft и работаю на проектах с 1С-Битрикс. Не единожды я могла наблюдать, насколько эффективно бывает допустить QA-команду внутрь CMS, чтобы достичь бизнес-целей клиента. И на примере нескольких кейсов из разных проекто...

«Сбербанк» ввел важно новшество по банковским картам, о котором должен знать каждый Кредитная организация «Сбербанк» всегда представляла из себя и представляет по сей день крупнейший банк в России, а пользуются теми услугами и возможностями, доступ к которым компания предоставляет, более чем 105 млн человек. Все они за Читать полную версию публикации «Сбер...

Переключение одного параметра увеличивает время автономной работы iPhone Этот метод позволяет обеспечить мобильному телефону "неограниченную мощность" и продлить время автономной работы

Глубокий JS. Области тьмы или где живут переменные В статье Глубокий JS. В память и типах и данных мы говорили о том, как выглядит структура переменной каждого конкретного типа в памяти движка V8. В этой статье предлагаю теперь рассмотреть, где именно эти переменные хранятся и каким образом попадают в память.Речь п...

Простая контактная сварка для мелких точных работ Основное назначение прибора – простое и быстрое жаростойкое соединение «насквозь» нетолстых листов и проволок из разных металлов для внутренней арматуры самодельных электровакуумных приборов (ЭВП). Кроме того, аппарат может пригодиться в ювелирном деле, при альтернативном эл...

Машинное обучение помогло выявить взаимосвязь между ростом черных дыр и эволюцией их родительских галактик Вселенная наполнена сверхмассивными чёрными дырами, и наша галактика не исключение. Однако до сих пор существует много вопросов, связанных с тем, как они становятся такими огромными и какие процессы лежат в основе их эволюции. Одной из трудностей, с которой сталкиваются...

OpenAI запускает GPT Store — как создать свой custom GPT с внешними API вызовами Вчера вечером, 10 января 2024 г., OpenAI официально запустили GPT Store. Давайте разберемся, что это такое, и что оно дает. А затем создадим свой собственный GPT и добавим его в GPT Store.Концепция "custom GPT" в терминах OpenAI - это кастомный набор инструкций (custom promp...

Проектирование эффективной системы кэширования для высоконагруженной системы Способность обрабатывать большой объем запросов и данных в реальном времени является ключевым аспектом надежности и производительности современных информационных систем. Одним из способов повышения надежности, снижения нагрузки и, как следствие, расходов на сервера, является...

Мощь Технологии в Ваших Руках: Услуги по Разработке Программного Обеспечения В современном мире, где технологии становятся движущей силой для различных сфер бизнеса и жизни, разработка программного обеспечения становится необходимостью, открывая новые горизонты для предприятий и индивидуальных пользователей. Услуги по разработке программного обеспече...

[Перевод] Размышления о высококачественных данных, собранных людьми Высококачественные данные — это «топливо» для современных моделей глубокого обучения. Большая часть данных, размеченных под конкретные задачи, создается живыми людьми — аннотаторами, которые занимаются классификацией или проводят RLHF-разметку для LLM alignment. Многие из ...

Реклама в Телеграм: эффективный способ достигнуть целевую аудиторию Телеграм - это популярное мессенджер-приложение, которое активно используется миллионами людей по всему миру. Благодаря своей широкой функциональности и возможностям, Телеграм стал платформой для размещения рекламы. В этой статье мы рассмотрим преимущества рекламы в Телеграм...

Бесперебойное Питание: Надежность и Эффективность с Engars В современном мире, где зависимость от электроэнергии становится все более важной, устройства бесперебойного питания (ИБП) играют ключевую роль в обеспечении надежности и стабильности работы электронного оборудования. Давайте рассмотрим, как Engars на сайте engars.ru предост...

Исследование звука: удаление шумов Обработка звука - это процесс исследования динамической/статической звуковой дорожки при помощи применения определенного набора линейных и нелинейных алгоритмов с целью получения необходимой информации. Алгоритмы динамической обработки звука работают с потоковым аудио, ...

Как ответить на вопрос «Когда будет готово?» на основе статистики Всем привет! Я Анастасия Жадринская, деливери-менеджер в Тинькофф. Да, эта статья опять про оценки и сроки выполнения задач. Сроки без вуду, астрологии, гаданий и привлечения экспертов. В статье рассмотрю метод Монте-Карло — элегантный и простой в применении математический п...

Как сделать NeoVim самым удобным текстовым редактором: туториал по настройке В этой статье затронем редакторы семейства Vi и разберем базовые сценарии работы с NeoVim. Начинающие специалисты смогут использовать материал в качестве туториала, а опытные разработчики, возможно, отметят для себя что-то новое.Почему именно NeoVim? Всё просто: этот те...

Собираем статистику по телеграм-каналу и строим кастомные графики Привет, Хабр! Меня зовут Вадим, я разработчик и у меня есть свой канал в Телеграме. Как и многие уважающие себя телеграм‑админы, я хочу следить за статистикой: оценивать эффективность, когда что‑то делаю для привлечения подписчиков, мониторить прирос...

Ученые МТУСИ разработали нейросеть для распознавания мошеннических транзакций Пользователь экономит время при переводе денежных средств, тем самым подвергая себя риску стать жертвой деятельности мошенников. По словам ученых, распознавания мошеннических операций требует большое количество временных и вычислительных затрат, поэтому возрастает актуальнос...

[Перевод] Работа с 3D-графикой и визуальными эффектами в Qt Design Studio Чтобы водители получали приятные впечатления от вождения автомобиля, дизайнерам нужны современные инструменты, позволяющие создавать великолепные графические интерфейсы с минимальными затратами времени и сил. Qt Design Studio содержит все необходимые ресурсы для создания пот...

ABC-XYZ анализ на Python. Управление ассортиментом и схемами поставок Управление ассортиментной матрицей и складскими запасами является нетривиальной задачей для бизнеса, требует аналитики и научного подхода к решению задачи. Одним из методов управления ассортиментом и закупками является ABC-XYZ классификация. Рассмотрим ее реализацию на Pytho...

[Перевод] 13 инструментов для тестирования методом «чёрного ящика» Инструменты для тестирования методом «чёрного ящика» сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное...

[sobjectizer] Релиз версии 5.8.1: реализация пожеланий пользователей и исправление недочетов Пару дней назад мы зафиксировали версию 5.8.1 открытого проекта SObjectizer. В данной статье поговорим о новых возможностях, которые появились в SObjectizer благодаря пожеланиям пользователей, и упомянем исправление не выявленного ранее недочета. Кому интересно, милости прош...

Размываем границы времени и учимся создавать видео — Kandinsky шагает дальше В последние несколько лет активно развиваются генеративные модели, причём синтезировать с хорошим качеством уже сейчас получается и тексты, и аудио, и изображения, и видео, и 3D, и другие модальности. Если говорить про генерацию изображений, то стремительность прогресса в эт...

Еще раз про асинхронную машину состояний и где именно там аллокации Несмотря на то, что про async/await уже было сказано много слов и записано множество докладов, тем не менее, в своей практике преподавания и наставничества, я часто сталкиваюсь с недопониманием устройства async/await даже у разработчиков уровня Middle+. В данной статье мы п...

Еще раз про асинхронную машину состояний и где именно там аллокации Несмотря на то, что про async/await уже было сказано много слов и записано множество докладов, тем не менее, в своей практике преподавания и наставничества, я часто сталкиваюсь с недопониманием устройства async/await даже у разработчиков уровня Middle+. В данной статье мы п...

PostgreSQL и временные таблицы Мы много лет уже используем в качестве основной базы данных PostgreSQL. За это время он зарекомендовал себя быстрой и надежной СУБД. Однако, есть в PostgreSQL одна проблема, с которой приходится сталкиваться достаточно часто. К сожалению, реализация логики временных таблиц в...

От упрощённых методов разработки до операций по удалению: как меняются ботнеты и методы борьбы с ними Ранее мы уже рассказывали о том, как эволюционирует поведение злоумышленников, и что им пытаются противопоставить специалисты по информационной безопасности. За прошедшие полгода ситуация с DDoS-угрозами и ботнетами продолжает развитие: угроз стало больше, разработка вредоно...

Как шутят математики. Решение второго шифра Олама В предыдущей статье я писал о дешифровке первого шифра Олама и некоторых особенностях юмора в продуктовой команде Манхэттенского проекта. В этом материале речь пойдёт о вскрытии второго шифра Олама. Напомню, что первый шифр представлял собой простой одноалфавитный шифр замен...

Зачем главному транспортному институту Москвы собственная IT-команда Привет, Habr! Меня зовут Юрий Бутенко, я директор по технологическому развитию НИИ «МосТрансПроект». IT-команда нашего института играет одну из ключевых ролей в развитии транспортного комплекса Москвы, проводя исследования и предоставляя удобные цифровые серви...

Как Яндекс создал свою шину данных, чтобы передавать сотни гигабайт в секунду 10 лет назад сотни серверов Яндекса работали на Apache Kafka®, но в этом продукте нам нравилось далеко не всё. Наши задачи требовали единой шины для передачи всех видов данных: от биллинговых до журналов приложений. Сегодня объёмы дост...

Большой тест GPT4, GPT3.5, YandexGPT, GigaChat, Saiga в RAG-задаче. Часть 2/2 В первой части статьи я рассказывал о создании цифрового юриста, способного отвечать на вопросы на основе 200-страничного регламента. Цель — работа такого юриста в закрытом контуре организации, без использования облачных технологий.Особенностью эксперимента является в том, ч...

[Перевод] Знакомство с TPM (доверенным вычислительным модулем) TPM (Trusted Platform Module) — это международный стандарт, обеспечивающий доверенную работу с вычислительными платформами в целом и предоставляющий ряд возможностей обеспечения безопасности в компьютерных системах, в частности: хеширование, шифрование, подписывание, генерац...

N-граммная языковая модель в эпоху LLM — как устроена и зачем нужна Тренды трендами, а всегда найдутся те, кто плывет против течения. Пока трендом становится уменьшение размеров модели, авторы из университета штата Вашингтон решили вообще не обращать внимание на размер и проверить, имеет ли смысл в эпоху LLM вернуться к N-граммным языковым м...

Никому неизвестный стартап Groq представил, видимо, лучший процессор для вывода нейросетевых моделей На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов.  Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. ...

Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке Создание ML-модели — сложный и ресурсоёмкий во всех смыслах процесс. Но часто выкатка сервиса на основе модели в прод оказывается ещё сложнее: требует подготовки платформы, выделения ресурсов, настройки программных интерфейсов для передачи данных из модели конечному пользо...

DevSecOps: Сканирование образов при отправке в Amazon ECR Все больше компаний стремятся интегрировать безопасность в каждый этап разработки программного обеспечения. В контексте быстро развивающегося мира контейнеризации и облачных технологий, DevSecOps становится неотъемлемой частью создания безопасных и надежных приложений.Одним ...

[recovery mode] Разработка расширения для PHP на C++. Хуки встроенных функций и методов PHP - это мощный и широко используемый язык программирования для веб-разработки. Однако, иногда требуется расширение функциональности или модификация стандартного поведения PHP с использованием более низкоуровневых языков, таких как C++. В этой статье мы рассмотрим, как с...

5 хороших недорогих процессоров, которые подойдут даже для игрового ПК Процессоры, хоть они и являются сердцем любого компьютера, не всегда должны быть самым дорогим и производительным компонентом. Многие игры не требуют большой вычислительной мощности от ЦПУ. Поэтому нет большой пользы от использования в сборке самого мощного “камня”. Зачастую...

Микросотовые IP-DECT-системы Yealink: сбор требований и проведение радиопланирования Вторая статья посвящена особенностям работы с микросотовой системой Yealink на этапе ее внедрения.Внедрение — важнейший этап построения стабильно работающей высоконагруженной микросотовой DECT-системы. В этой статье рассмотрим следующие вопросы:• что такое радиопланиров...

Яндекс анонсирует новую линейку нейросетей YandexGPT 3 Яндекс представил новую линейку нейросетей YandexGPT 3, включающую YandexGPT 3 Pro и возможность дообучения пользователей. Новые модели обеспечивают улучшенную обработку сложных запросов и точное следование формату ответов, что делает их полезными для решения реальных задач ...

Ноутбук Thunderobot Thunderbook 16 G2 Pro с Intel Core i7-12650H и Nvidia GeForce RTX 2050 Laptop: в бизнес играючи Внешне Thunderbook 16 G2 Pro представляет собой типичную бизнес-модель с относительно тонким корпусом, изготовленным из магниевого сплава. Внутри использованы Intel Core i7-12650H и нетипичная для деловых ноутбуков видеокарта Nvidia GeForce RTX 2050 Laptop. Экран 16 дюймов п...

[Перевод] Удачный переход Netflix на GraphQL В 2022 году с приложениями Netflix для iOS и Android произошли серьезные изменения. Мы перевели мобильные приложения Netflix на GraphQL с нулевым временем простоя, что повлекло за собой полное перепроектирование от клиента до уровня API.До недавнего времени наши мобильные пр...

Гибрид двух слайсеров для печати. Необычное решение Добрый день! Печатаю большое количество сложных моделей с толщиной стенки 2-3 мм и высотой 400+ мм. Для печати использую ABS пластик в связи с последующей чистовой обработкой под затягивание автомобильной пленкой. Столкнулся с тем, что модель раскачивается в верхних точках. ...

На российском рынке появился ещё один аналог Trello В таск-трекере Teamcheck появился режим канбан-досок — он создан на основе исследований опыта зуммеров и миллениалов в работе с таск-трекерами. Среди инвесторов компании — пиар-агентство «Пиархаб» и Леонид Довбенко, соосновател...

На новом MacBook Pro в цвете Space Black не остаются отпечатки пальцев Apple на своем октябрьском мероприятии Scary Fast анонсировала новый цвет Space Black для 14- и 16-дюймовых моделей MacBook Pro — но только на базе чипов M3 Pro и M3 Max. Apple называет новый MacBook Pro цвета Space Black «великолепной отделкой из темного ал...

Pandas в pandas'е: упаковываем документацию в датафрейм Документация к сложным библиотекам на питоне (напр. pandas) хранится в doc-строках и разбросана по сотням страниц сайта. В этой статье мы с помощью небольшого кода упакуем её (информацию из документации для каждого класса и метода) в... датайфрейм. Но зачем? Во-первых, это п...

Одномерный лес и все прочее Объяснение «на пальцах» и реализация решающего дерева, случайного леса и бустинга.Дерево принятия решений (также называют деревом классификации или регрессионным деревом) — средство поддержки принятия решений, использующееся в машинном обучении, анализе данных...

Арифмометр Чебышёва: первая отечественная счетная машина с непрерывным движением Углубившись в историю вычислительных машин мы узнали, как работают арифмометры Лейбница и Однера. Сегодня предлагаем обратить взор на арифмометр, не получивший коммерческую успешность, поскольку сам его создатель не ставил такую цель. Речь пойдет про...

Как делать скриншоты на Samsung Galaxy S24: Полное руководство Samsung Galaxy S24 — новейший смартфон в линейке Galaxy S, который предлагает передовые технологии и множество функций. Одной из основных возможностей, которой пользователи активно пользуются, является создание скриншотов. В этой статье мы рассмотрим различные способы ...

Как мы в 2 раза ускорили решение MILP-проблем за счет ML Многие задачи, с которыми мы имеем дело при цифровизации производства (неважно какого), – это задачи оптимизации: оптимизация производственного расписания, оптимизация цепочек поставок и размещения объектов, оптимизационное планирование и прочее. Многие из них сводятся к про...

MANIFESTO: Формализуем принципы работы команды Одной из сложнейших задач, но при этом важнейших, для тимлида является построение эффективного взаимодействия внутри своей команды. Почему это так сложно? Потому что команда — это, в первую очередь, люди, которые имеют различные ценностные качества, принципы, компетенции, ст...

YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее В больших распределённых системах многое зависит от эффективности запросов: если на гигабайте данных неоптимальный запрос может выполняться за миллисекунды, то при увеличении массива в тысячи раз, сервер начнёт кряхтеть, пыхтеть и жаловаться. Чтобы избежать этого, помогут зн...

Метод быстрого марша (Fast Marching Method) Пример реализации метода быстрого марша(Fast Marching Method) для создания полей расстояний(Distance FIeld) и поиска кратчайшего пути. Читать далее

Дефекты рельсов. Найти, используя IT Цель данной работы – оценить возможность создания эффективной системы распознавания дефектов рельсов по дефектограммам ультразвукового контроля методами ML Читать далее

11 лучших программ для нейросетей Для работы в области науки о данных, особенно при прогнозировании сложных закономерностей или погружении в проекты компьютерного зрения, часто требуются мощные инструменты, как, например, Neural Designer. При использовании потенциала сверто...

Хакеры могут взломать чат-боты: Microsoft нашла "джейлбрейк" для LLM Microsoft обнаружила новый метод манипулирования большими языковыми моделями (LLM), такими как ChatGPT, Gemini и другие. Метод, получивший название «Crescendo», заключается в отправке LLM серии безобидных на первый взгляд запросов. В течение нескольких взаимодействий злоумыш...

Решение головоломки из университетского квеста с помощью Python «Треки» — это интересная головоломка из университетского квеста. Она представляет собой 2 поля одинакового размера, разделенные на клетки. Для ее решения сначала необходимо найти путь с ограничениями для верхнего поля. После этого требуется...

Что такое СУБД Greenplum? Зачем она нужна в больших проектах DWH? Чем отличается от ClickHouse? Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД. Порядок хранения данных выбирается в соответст...

Как ChatGPT, только от Илона Маска, с юмором и ответами на острые вопросы. Представлен чат-бот xAI Grok Компания Илона Маска xAI, как и было обещано, вчера запустила своего чат-бота Grok, который можно назвать прямым конкурентом для ChatGPT.  Фото:  Marketwatch/Everett Collection Пока что доступ к ИИ есть у небольшой группы пользователей социальной сети X....

[Перевод] Алгоритм пересечения полигонов В этом посте мы разработаем алгоритм, позволяющий вычислять пересечение выпуклых полигонов. Так же на ряду с проверкой точки на принадлежность полигону мы рассмотрим метод пересечения выровненных по осям прямоугольников и функцию пересечения отрезков. Читать далее

[Перевод] Отсечение и поиск / Prune and search Решал задачу на LeetCode (Word Search) и наткнулся на незнакомый мне термин "search pruning", либо "Prune and search". Немного погуглив, узнал, что это метод решения задач оптимизации, на Википедии есть соответствующая статья (ссылка). На русском языке я не нашел такого терм...

Пишем чат-бот для работы с PDF Популярность языковых моделей, в частности ChatGPT, растет в геометрической прогрессии, но многие из нас все еще сталкивается с определенными ограничениями, такими как устаревшая информация, которые OpenAI пока что не смогла преодолеть.Но задумывались вы над тем, чтобы задав...

Qucs-S: руководство по использованию SPICE-моделей и созданию библиотек Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан с использованием набора библиотек Qt. О принципах работы с Qucs-S рассказывают мои предыдущие статьи. Далее будет рас...

Процессоры по-прежнему являются основными вычислителями для рабочих нагрузок ИИ Во время обучения моделей требуются огромные вычислительные мощности и объем памяти.