[Перевод] Объясняем простым языком, что такое трансформеры

[Перевод] Как работают трансформеры: разбираем математику В этом посте я представлю подробный пример математики, используемой внутри модели трансформера, чтобы вы получили хорошее представление о работе модели. Чтобы пост был понятным, я многое упрощу. Мы будем выполнять довольно много вычислений вручную, поэтому снизим размерность...

[Перевод] Азы больших языковых моделей и трансформеров: декодер В этом материале мы поговорим об устройстве компонента‑декодера в системах машинного обучения, построенных по архитектуре «трансформер», уделив особое внимание отличию декодера от энкодера. Уникальной особенностью декодеров является то, что они ...

[Перевод] Книга «Грокаем машинное обучение» Привет, Хаброжители! Машинное обучение — это набор методов анализа данных, основанных на алгоритмах, которые дают все более точные результаты по мере поступления новых данных. Машинное обучение лежит в основе систем рекомендаций, программ распознавания лиц, «умных» колонок ...

Нейронные сети для планирования движения беспилотных автомобилей Планировщик движения беспилотного автомобиля — это алгоритм-помощник, который общается с другими участниками движения посредством манёвров. То есть он действует так, чтобы другим было понятно, куда поедет беспилотник, и сам по действиям других пытается определить, кто куда б...

Скрытые симптомы: как модели машинного обучения предсказывают развитие болезни Альцгеймера за 7 лет до ее начала К сожалению, в настоящее время нет лекарств, способных полностью вылечить болезнь Альцгеймера (деменцию) или остановить ее прогрессирование на поздних стадиях. В мире с таким диагнозом ежегодного сталкиваются порядка 50 миллионов человек, и...

Анализируем виды тестов для Frontend С развитием веба сайты превратились в сложные приложения, которыми ежедневно пользуются десятки и сотни миллионов людей: почта, облачные хранилища, соцсети, маркетплейсы, стриминговые платформы и т. д. И каждое из них должно работать корректно. Как это сделать...

[Перевод] Учим ИИ играть в настолку Magic the Gathering За последние полгода я несколько раз писал о тонкой настройке (fine tuning). Fine tuning — очень соблазнительная технология, обещающая закрыть проблемы в функциях GPT-4, будучи при этом быстрее и дешевле. Однако как бы часто не обсуждали fine tuning, я нашёл на удивление мал...

[Перевод] Все, что нужно знать для разработки с использованием LLM Цель данной статьи — простым языком объяснить ключевые технологии, необходимые для начала разработки приложений на основе LLM. Oна подойдёт как и разработчикам, так и специалистам по машинному обучению, у которых есть базовое понимание концепций...

И целого интернета мало. Для создания больших языковых моделей нового поколения, включая GPT-5, попросту не хватает данных Похоже, процесс создания всё более масштабных и сложных языковых моделей на основе ИИ уже упёрся в одну весьма серьёзную преграду. Для таких моделей весь интернет фактически слишком мал.  создано DALL-E Для обучения больших языковых моделей нужно очень и очень мно...

Варим кашу из нечеткой логики и вариационных автоэнкодеров Пока весь мир затаив дыхание следит за большими языковыми моделями и одни грезят о том, как подсадят всех на свои сервисы LLM, а другие прикидывают как заменить бездушными симулякрами если не зажравшихся айтишников, то хотя бы штукатур...

SALMONN — универсальная модель для всех типов аудиоданных Человек без труда воспринимает речь на фоне тихой музыки и звуков окружающей среды. Более того, прямо во время разговора он может мысленно подпевать и реагировать на звуки. До недавнего времени нейросети так не умели. Одни были заточены на распознавание речи, другие — на обр...

Язык твой — друг твой. Развиваем малые языки в эпоху ИИ Всем привет. Хочу поделиться с сообществом небольшим опытом и наработками для исследования и развития языков, в особенности малых. Для большинства таких языков нет ни систем машинного перевода, ни виртуальных ассистентов, ни других языковых моделей. Основная проблема тут в н...

Способы отображения: существует ли связь между DDD и ООП В ходе обсуждений докладов на Analyst Days возник вопрос о связи Domain-driven design (DDD) с объектно-ориентированным подходом (ООП): оказывается, для большинства она вовсе не так очевидна, как мне представлялось. Подробнее погружаясь в&nb...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Размываем границы времени и учимся создавать видео — Kandinsky шагает дальше В последние несколько лет активно развиваются генеративные модели, причём синтезировать с хорошим качеством уже сейчас получается и тексты, и аудио, и изображения, и видео, и 3D, и другие модальности. Если говорить про генерацию изображений, то стремительность прогресса в эт...

[Перевод] Что такое API-шлюзы и Gateway API и почему за ними будущее нативных облачных приложений В этой статье мы рассмотрим, почему API-шлюзы стали ключевым элементом экосистемы современных облачных вычислений и как появление Kubernetes API Gateway упростило и стандартизировало работу с ними. Статья составлена на основе сразу двух англоязычных материалов. В первом...

Книга «Основы компиляции: инкрементный подход» Привет, Хаброжители! Компиляторы традиционно считаются одной из самых трудных для понимания и изучения тем. Обычно в книгах каждая глава посвящена отдельному проходу компилятора. Но такая структура не позволяет раскрыть, как языковые средства влияют на решения, принимаемые...

Kandinsky 3.0 — новая модель генерации изображений по тексту Без чувства современности художник останется непризнанным. Михаил ПришвинВ прошлом году на АI Journey мы представили модель Kandinsky 2.0 — первую диффузионную мультиязычную модель генерации изображений по тексту, которая может генерировать изображения на основе русскоя...

16-, 8- и 4-битные форматы чисел с плавающей запятой Уже лет 50, со времён выхода первого издания «Языка программирования Си» Кернигана и Ритчи, известно, что «числа с плавающей запятой» одинарной точности имеют размер 32 бита, а числа двойной точности — 64 бита. Существуют ещё и 80-битные числа расшир...

[Перевод] Добавление собственных данных в LLM с помощью RAG Этот материал посвящён тому, как добавлять собственные данные в предварительно обученные LLM (Large Language Model, большая языковая модель) с применением подхода, основанного на промптах, который называется RAG (Retrieval‑Augmented Generation, генерация ...

Большие языковые модели будут использовать для кибербезопасности Ученые из Университета Карнеги-Меллон и OpenAI опубликовали доклад, в котором говорится, что большие языковые модели (LLM) могут стать важным активом для специалистов в области кибербезопасности, однако их следует оценивать с использованием реальных и сложных сценариев для л...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

Вышла Stable Diffusion 3 от Stability AI: Лучшая модель для генерации изображений. Но есть нюанс… Компания Stability AI анонсировала долгожданный релиз Stable Diffusion 3, включая более быструю версию Stable Diffusion 3 Turbo. Согласно их исследовательской статье, новая модель, основанная на архитектуре Multimodal Diffusion Transformer (MMDi...

YandexGPT API быстро и без труда с Python SDK. Делимся опытом интеграции YandexGPT API — сервис для доступа к генеративным языковым моделям, хоть и является мощным инструментом во многих задачах, однако может озадачить разработчика, решившего внедрить его в свои проекты отсутствием официального SDK, разнообразием способов...

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

[recovery mode] Кто такой Data Engineer Да, в этих ваших интернетах есть много материалов о том кто такой Data Engineer (DE), в том числе и на самом хабре. Но мне самому захотелось об этом рассказать. Опыт, хоть и небольшой, в этой сфере у меня есть (Сейчас Data Engineer в Сбер Образовании). ЭТА СТАТЬЯ НЕ ЯВЛ...

[Перевод] Хакни своё следующее интервью с помощью Generative AI А Вы когда‑то задумывались о том, как классно было бы хакнуть собеседование? Создать себе цифрового помощника, который ответит на все вопросы интервьюера.Вот и я задумался. В этой статье предлагаю создать небольшое приложение на основе...

ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта Привет, дорогие читатели Хабра!Сегодня я хочу поделиться с вами своими знаниями и опытом в области анализа данных и машинного обучения, освещая увлекательную и актуальную тему – анализ отзывов на приложения с использованием модели ChatGPT. Этот подход открывает новые горизон...

Палочки Непера и «Шпаргалка» — карманные «калькуляторы» XVII века для умножения и деления сложных чисел В рамках серии материалов о различных старинных счетных устройствах мы уже познакомились со сложными механизмами, в основном предназначенными для сложения чисел. Операции умножения во всех случаях требовали выполнения ряда сложных действий, но в...

«Ревизорро» в IT: тестируем суммаризацию текста в GigaChat и YandexGPT После появления на рынке API для беседы с ChatGPT 3.5 каждый второй заказчик решения на основе машинного обучения (ML) хочет внедрить у себя ИИ, который может красиво и содержательно общаться на русском языке.Меня зовут Екатерина, я IT-архитектор команды SimbirSoft, специали...

Лучшие патенты России за 2018-2022 года В своей прошлой статье я анализировал разные параметры патентной активности в РФ в 2018–2022 годах. Выяснилось, что очень много патентов на полезные модели ничего не стоят, а вузы создали конвейер по патентованию полезных моделей ради ...

Часть 1. GPU-Based Fuzzing. Что за зверь такой? Всем привет! При изучении темы фаззинг‑тестирования всегда возникает вопрос, насколько сильно можно увеличить количество выполнений приложения в секунду. Иначе говоря — как ускорить фаззинг?В последнее время одно из популярных направлений —...

Методы оптимизации в машинном и глубоком обучении. От простого к сложному В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концеп...

REST API на котиках Привет любителям котиков! Меня зовут Юля, я backend‑разработчик компании CDEK. Я сама не так давно изучала все эти сложные понятия в программировании, поэтому решила помочь и вам разобраться с одним из них.С какой стороны IT вы бы не пытали...

Бесплатные курсы по большим языковым моделям для дата-сайентистов Большие языковые модели предоставляют широкий спектр возможностей для различных задач и приложений. Они могут быть использованы для создания чат-ботов, голосовых помощников, автоматического редактирования текста, генерации субтитров и многое другое. Обучение этих моделей в 2...

Фреймворки Gymnasium + Stable-Baselines 3, VizDoom и платформа SMAC в геймдеве RL (Reinforcement Learning) или же обучение с подкреплением — это удивительный подход к обучению искусственного интеллекта, который позволяет игровым персонажам или ботам учиться, исходя из собственного опыта. В основе обучения с подкр...

Hadoop в Облаке: история миграции сотен петабайт Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами ...

Некоторые рассуждения по концептуальной сложности импортозамещения виртуализации, в части сети Столкнулся с проблемой в понимании ряда концепций у вновь приходящих коллег, особенно в части импортозамещения — решил написать статью. Я не уверен, что она нужна на Хабре, но я ее потом переработаю по результатам. Это попытк...

Какие важные аспекты Agile не учитывают компании?  В мире жесткой конкуренции и борьбы за опыт клиентов, многие компании сталкиваются с тем, что их операционная модель и процессы не успевают за скоростью изменений. Поэтому многие компании стали рассматривать трансформацию своей модели управления на Agile, создавая...

Прививка от созависимости. Зачем нужен DI и как он работает в iOS-приложениях hh.ru Всем привет! На связи Яша Штеффен — iOS разработчик из hh.ru. Думаю, любой, кто долгое время писал код для платформы, был свидетелем эволюции работы с зависимостями. На ранних этапах и в простых проектах все создавалось и настраивалось внутри ис...

Есть ли альтернатива Terraform? В начале 2010-х годов системные администраторы часто сталкивались с проблемой управления распределенной инфраструктурой. Возникла потребность в унифицированном инструменте для управления инфраструктурой как кодом. В 2014 году компания HashiCorp ...

Теоретическая и реальная производительность Intel AMX AMX (Advanced Matrix Extension) - это модуль аппаратного ускорения умножения матриц, который появился в серверных процессорах Intel Xeon Scalable, начиная с 4 поколения (архитектура Sapphire Rapids). В начале этого года ко мне в руки наконец попал сервер, с данным типом...

Будка охраны или космический корабль Приветствую всех, кто интересуется развитием технологий, простых самоделкиных и тех кто случайно попал на эту статью. Далее идет много «букав», кому не интересны мои душевные терзания, видео в самом низуЯ давно увлекаюсь электроникой и темой автоматизации, и т...

ANNA – сервис для автоматической разработки нейронных сетей Нейросетевые модели уже несколько лет успешно применяются в Альфа-Банке для решения ключевых задач, таких как кредитный скоринг, прогнозирование склонности клиентов к продуктам и определение оттока. Модели глубокого обучения демонстрируют высокое качество и стабильно улучшаю...

Обучение системного инженера. Путеводитель по ключевым навыкам и знаниям Всем привет! Меня зовут Максим, я работаю системным инженером в Yandex Cloud и в Яндекс Практикуме на курсе «Системный администратор». В этой статье я опишу свой субъективный взгляд на путь развития системного инженера (DevOps‑инженера, SRE, системно...

Serverless telegram бот в Excel Это история про камингаут телеграм‑бота, у которого нет VDS и он бомжует: одной ногой — в гугло‑облаке, другой — в Excel. Да, жизнь бывает сложнее учебника по ботоводству. Например, для целей ботоводства гугло‑облако все еще может...

[Перевод] На пути к 1-разрядным моделям машинного обучения В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit. Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с кванто...

Обзор современных подходов персонализации диффузионных нейронных сетей Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженн...

Магическое ускорение работы моделей с помощью самогонного аппарата Вы когда-нибудь задумывались о том, что у человеческого мозга есть ограниченная емкость и вы можете выучить этот чертов английский просто потому что в детстве запомнили слишком много покемонов? Или почему обучение с учителем гораздо эффективнее, чем самостоятельное?Эти вопро...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

[Перевод] Мозг и системы машинного обучения: сравнение масштабов Эпистемологический статус: весьма неопределённый. В литературе приводятся обширные, но ненадёжные данные, и в этой статье я делаю некоторые весьма грубые допущения. Тем не менее, я удивлюсь, если мои заключения отличаются от истины более чем на 1-2 порядка.В настоящее время ...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

Кто такие LLM-агенты и что они умеют? В последнее время большие языковые модели (Large Language Models, LLM) стали невероятно популярными — кажется, их обсуждают везде, от школьных коридоров до Сената США. Сфера LLM растёт бурными темпами, привлекая внимание не только специалистов в области машинного обучен...

Краткий обзор токенизаторов: что это такое и зачем это надо? Представьте себе, что вы читаете книгу и хотите найти все места, где упоминается слово «кот». Не знаю, зачем вам это, но пока остановимся на том, что вы это хотите. Вот очень надо.Так как это сделать?Вы можете просто пролистать книгу и прочитать...

Kerberos простыми словами Несмотря на то, что уже существует множество различных статей про Kerberos, я всё‑таки решил написать ещё одну. Прежде всего эта статья написана для меня лично: я захотел обобщить знания, полученные в ходе изучения других статей, документации, а...

7 инструментов на основе ИИ для синтеза речи в 2023 году Развитие технологий искусственного интеллекта привело к появлению широкого спектра инструментов генерации речи. Text to speech, или TTS, — замечательная технология, которая обрабатывает текст и воспроизводит его вслух так, как будто бы его произносит человек. Ну и конечно, б...

[Перевод] Minetester: полностью открытое окружение для обучения с подкреплением, построенное на основе Minetest В последние несколько месяцев наблюдаются значительные успехи в разработке языковых моделей, особенно — в сфере частного бизнеса. В прошлом году вышло несколько подобных проектов, основанных на Minecraft. В частности — речь идёт о ...

Kandinsky 3.1 — новая быстрая модель генерации изображений по тексту 2023 год можно смело называть годом бурного развития генеративного искусственного интеллекта. Это касается не только привычной нам модальности изображений (Kandinsky 2.1, 2.2, 3.0, Stable Diffusion XL, IF, Шедеврум и др.), но и текстовой (ChatGPT, GPT-4, LLaMA, Falcon, GigaC...

Пользователи Apple Silicon смогут бесплатно обучить свою ИИ-модель с новым инструментом Apple укрепила позиции на рынке машинного обучения, выпустив MLX - бесплатный фреймворк с открытым исходным кодом, предназначенный для Apple Silicon. Этот инструмент призван упростить обучение и развертывание моделей машинного обучения для исследователей, погружающихся в эко...

На российском рынке появился ещё один аналог Trello В таск-трекере Teamcheck появился режим канбан-досок — он создан на основе исследований опыта зуммеров и миллениалов в работе с таск-трекерами. Среди инвесторов компании — пиар-агентство «Пиархаб» и Леонид Довбенко, соосновател...

Работа с хранилищами в Kubernetes: руководство для инженеров Как DevOps-инженер я часто сталкиваюсь с необходимостью глубокого понимания тонких аспектов Kubernetes. Одним из таких ключевых элементов является управление хранилищем данных. Хотя этот элемент иногда остаётся в тени других задач, его важность для успешного развёртывания ...

Google Gemini Ultra появится на смартфонах OnePlus и Oppo На конференции Google Cloud Next 2024 компании OnePlus и Oppo официально сообщили, что большая языковая модель Gemini от Google в версии Ultra 1.0 появится на смартфонах данных производителей уже в этом году. Стоит напомнить, что модель Gemini имеет несколько уровней, самым ...

[Перевод] Что нужно знать, чтобы успешно пройти System Design Interview Для любого разработчика глубокое понимание основных принципов системного проектирования является необходимым условием для создания стабильных и масштабируемых программных систем, способных обеспечивать высокую производительность. Системное проектирование (System Design) вклю...

Сравнение локальных моделей машинного перевода для английского, китайского и русского языков "Машинный перевод – одна из наиболее актуальных и востребованных задач в сфере искусственного интеллекта, позволяющая снизить барьер в доступности информации на различных языках. Большинство данных в интернете представлены на английском и русском языках. Количество данных на...

Учим большие языковые модели описывать продукты данных Привет, Хабр! В этой статье мы рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике. Это может улучшить автоматизацию процесса, предоставляя инструмент для создания описаний продуктов. Читат...

Как составить договор с помощью нейросетей В наше время технологии искусственного интеллекта все шире внедряются в различные сферы человеческой деятельности, включая юридическую практику. Одним из наиболее заметных примеров этого является использование нейронных сетей для создания договоров для тех или иных потребнос...

Мониторинг и трассировка в Go: от Prometheus до Jaeger Привет, Хабр!Когда приложения становятся все более сложными и распределенными, и эффективное управление ими требует глубокого понимания происходящего внутри. Мониторинг позволяет нам наблюдать за состоянием приложения, собирать ценные метрики о его работе и предоставлять нам...

[Перевод] Организация ML-монорепозитория с помощью Pants Приходилось вам копипастить фрагменты вспомогательного кода между проектами, попадая в ситуацию, когда несколько версий одного и того же набора команд оказывались в разных репозиториях? Или, может, вам надо было делать pull‑запросы к десяткам проекто...

Ученые создали модель управления автомобилем с помощью голоса Исследователи из Университета Макао создали новую модель управления автономным автомобилем с помощью голосовых команд. Разработка объединяет компьютерное зрение, понимание естественного языка и мощные языковые модели.

«Машинное чтение» цифровых и не только индикаторов без ИИ и нейронок на Python В этой статье рассмотрим простой алгоритм обработки и распознавания значений из массива фотографий с показаниями цифровых индикаторов. Не будет машинного обучения, нейросетей, только стандартные библиотеки Python для работы с изображениями. Чита...

Мультимодальный трансформер для content-based рекомендаций На первый взгляд может показаться, что ничего интересного в области RecSys не происходит и там всё давно решено: собираем взаимодействия пользователей и товаров, закидываем в какую-нибудь библиотеку, которая реализует коллаборативную фильтрацию, и рекомендации готовы. В то ж...

Упорядочиваем архитектуру Банка Современная архитектура предприятия сильно связана с организационной структурой. Бизнес развивается динамично, выделяет новые бизнес-направления, закрывает старые, потому что требования рынка меняются с космической скоростью. ИТ-ландшафт предприятия должен обеспечивать посто...

Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...

Автоматическое создание карточек слов для изучения иностранного языка или интеграция google translate в google sheets Добрый день.Недавно сделал инструмент для автоматизированного создания карточек для изучения слов — подумал что может быть кому то пригодится и как инструмент, и как техническое решение.Немного вводной информации: один из способов запо...

Новый тип нейронной сети приходит на помощь большой физике Инструмент машинного обучения помогает физикам решать сложную задачу анализа больших, но почти пустых наборов данных, например, от детекторов нейтрино или коллайдеров частиц. Читать далее

Автоматизация создания тестовых данных и загрузки исторических данных в SAP на основе SAP GUI Scripting Привет, Хабр! Меня зовут Василь Хамидуллин, я работаю в ЦК тестирования АСУ ФХД в компании РСХБ‑Интех. Продолжу тему использования SAP для автоматизации подготовки данных. В прошлом материале говорили про LSMW и как данный инструмент можно испол...

[Перевод] Common Table Expressions Common Table Expressions (CTE) или обобщенное табличное выражение, впервые появилось в версии SQL Server 2005, и это простой способ разбить сложный запрос T-SQL на несколько запросов, что придаёт больше гибкости и управляемости. CTE во многом очень похожи на представлен...

Как я запилил видеочат-рулетку за 2 месяца с нуля https://shomla.com/ВдохновениеВсё началось с простой идеи, которая посетила меня спонтанно во время общения в чат‑рулетке с разными людьми. Идея пришла не сразу, а спустя час пребывания в рулетке, наверное, потому что там уже стало дик...

[Перевод] Какой будет GPT-2030? Это перевод статьи Якоба Стейнхардта, где он описывает и обосновывает свои оценки того, как будут выглядеть языковые модели в 2030 году. Статья подводит базу для ещё двух, в которых он описывает возможные при наличии подобных систем катастрофические сценарии. Их переводы тож...

Kubernetes Networking: сервисы, Ingress и Network Policies Когда я впервые столкнулся с задачей масштабирования сложного приложения в Kubernetes, то был полон оптимизма. Однако вскоре стало ясно, что управление сетевым трафиком и безопасностью в такой динамичной среде — это непросто. Наше приложение начало страдать от потерь пакет...

[Перевод] Минималистическая модель живой клетки в браузере Вы когда-нибудь задумывались, как действуют клетки — элементарные единицы живой материи? Я – программист, но одновременно увлекаюсь клеточной биологией. Поэтому я решил смоделировать работу простейшей клетки на TypeScript. Вообще, клетки невероятно сложны; по оценкам учёных,...

Как выбрать GPU для машинного обучения Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты...

Нейронные сети для новичков и профи: топ бесплатных курсов по ИИ Нейронные сети - одна из самых популярных и быстроразвивающихся областей в IT-обучении. Количество курсов и материалов по этой теме растет с каждым днем. К сожалению, не все из них качественные и действительно полезные.В этой статье мы собрали только лучшие бесплатные онлайн...

Attention is Not All You Need: как менялась архитектура трансформера С момента выхода оригинальной статьи про трансформер прошло уже больше 7 лет, и эта архитектура перевернула весь DL: начав с NLP архитектура теперь применяется везде, включая генерацию картинок. Но та ли это архитектура или уже нет? В этой статье я хотел сделать краткий обзо...

[Перевод] Компиляция моделей МО в С Статья посвящена знакомству с инструментом micrograd и компиляции генерируемых им нейронных сетей в язык С. При этом она не является руководством по машинному обучению, но вполне может позволить вам лучше понять МО через призму компиляторов. В ходе этого процесса мы также р...

[Перевод] Дилемма ИИ: когда обучение больших языковых моделей заходит в тупик ИИ готовится заменить сотни тысяч должностей не только в разработке ПО, но и во множестве других областей: в журналистике, творческой работе, общении с покупателями и так далее. Это та же самая мантра, которую мы слышим по поводу каждой технологической инновации: «Компьютер ...

Как устроено пространство, в котором думают языковые модели? С момента выхода первой статьи «Attention is All You Need» я с жадностью и любопытством, присущими любому исследователю, пытаюсь углубиться во все особенности и свойства моделей на базе архитектуры трансформер. Но, если честно, я до сих пор не понимаю, как они работают и поч...

[Перевод] Как языковая модель предсказывает следующий токен (часть 1) Я обучил небольшой (порядка 10 миллионов параметров) трансформер по превосходному туториалу Let’s build GPT: from scratch, in code, spelled out Андрея Карпати. После того, как он заработал, я захотел максимально глубоко понять, как он устроен внутри и как создаёт свои резуль...

Бесплатные курсы для изучения C++ в 2024 году В 2024 году в сети доступно множество бесплатных ресурсов для изучения C++, которые предлагают высокое качество обучения. Поэтому нет необходимости платить за курсы, если вы можете получить все необходимые знания бесплатно.Учить C++ в 2024 году по бесплатным курсам имее...

[Перевод] Как калькуляторы вычисляют синус? Синус, одна из фундаментальных тригонометрических функций, играет важнейшую роль в различных областях, включая математику, физику, проектирование и computer science. Процесс его вычисления нетривиален, особенно при реализации в электронных калькуляторах, где крайне важна эфф...

«Можно будет общаться как с живым собеседником», — в этом году YandexGPT заговорит по-казахски В 2024 году Яндекс обучит нейросеть YandexGPT казахскому языку. Языковая модель научится писать и перерабатывать тексты на казахском языке, запоминать ход беседы и отвечать на уточняющие вопросы пользователя. По заявлению компании, YandexGPT станет первой публичной гене...

Инструкция по настройке RAG-системы для тех поддержки клиентов Retrieval Augmented generation - генерация ответа с использованием результатов поиска. RAG-архитектура - это подход к созданию приложений, в которых большая языковая модель без дополнительного обучения отвечает на вопросы с использованием информации из внутренней базы знаний...

MyBatis «на минималках» Привет, Хабр! Меня зовут Пётр Гусаров, я Java‑программист в CDEK. В этой статье расскажу про не очень распространённый фреймворк MyBatis. Почему MyBatis? Потому что мы в CDEK используем его в большинстве проектов, и в деле он весьма не...

Беспредел в госзакупках: как ФОМС препятствовал исполнению госконтракта «Договорной» тендер, ошибка или личная неприязнь организатора? Мы пока не выяснили. Привет! На связи Cloud4Y, корпоративный облачный провайдер. Хотим поделиться историей о том, как мы выиграли тендер ФОМС на 26 млн рублей, но оказались «неп...

Привычки для повышения производительности и качества жизни Каждый день мы сталкиваемся с множеством задач. Не секрет, что на пути к цели существуют препятствия, блокирующие наши ресурсы. Положительные привычки могут стать для нас мощным инструментом для повышения продуктивности и качества жизни. Он...

Как работает Kubernetes пока ты спишь Эта статья - базовое описание того, из каких компонентов состоит Kubernetes, как он работает «под капотом». Это важно так как платформа сложная и: •  понимание ее работы влияет на факторы разработки; •  становится понятно, что можно и чего нельзя; • &n...

Что делать в первую очередь? Простая приоритезация задач при помощи риса Реализация проекта или создание продукта связаны с выполнением задач, тестированием идей и гипотез. Зачастую их накапливается огромное количество, и встает извечный вопрос (нет, не кто виноват и что делать): что делать в первую очередь? Если в&n...

Мало было серьёзных уязвимостей в процессорах, теперь такую обнаружили в GPU. LeftoverLocals опасна в случае обучения больших языковых моделей Несколько лет назад одной из самых активных тем в IT были многочисленные уязвимости в процессорах. Теперь такую же обнаружили в современных GPU.   Называется уязвимость LeftoverLocals (её каталожный номер — CVE-2023-4969). Она позволяет восстанавливать данны...

Изучение языков без труда: Puzzle-English и промокоды Изучение нового языка может быть увлекательным приключением, но оно также требует времени, усилий и постоянной практики. Однако с появлением современных образовательных платформ, таких как Puzzle-English, изучение иностранных языков стало гораздо проще и увлекательнее. В это...

Alibaba Cloud представила улучшенную версию своей большой языковой модели Qwen-2.5 Qwen2.5 демонстрирует преимущество перед GPT-4 в логических рассуждениях и понимании контекста, открывая новые возможности для ИИ-приложений.

[Перевод] Глубокие нейронные сети: 33 года назад и 33 года спустя Давайте обобщим то, что мы узнали, будучи путешественниками во времени 2022 года, изучающими современную технологию глубокого обучения 1989 года:Прежде всего, за 33 года мало что изменилось на макроуровне. Мы все еще создаем дифференцируемые архитектуры нейронных сетей, сост...

Бенчмарк Whetstone — исторический тест оценки производительности Продолжаю работу по обзору старых кроссплатформенных тестов оценки производительности, первая статья про целочисленный бенчмарк Dhrystone Тест разработан Гарольдом Керноу (CCTA) в 1972 году на языке Algol-60, в 1973 появляется реализация на языке Fortran, а в 1996 году появл...

Чему научился ИИ в смартфонах, что может Google Gemini Nano и что предлагает Яндекс Крупные технологические компании стремятся создать лучшие инструменты генеративного ИИ для пользователей, разработчиков и других компаний. Например, Google предлагает Gemini, который является как брендом для их чатбота ИИ, так и базовой большой языковой моделью (LLM), на ко...

Культовые модели ноутбуков. История появления современных устройств Путь к современным удобным ноутбукам был долгим и непростым. По дороге к совершенству (ну или его подобию) было много проб и ошибок. Появлялись и успешные разработки, которые стали действительно культовыми. Предлагаем вам вспомнить предков современных лэптопов, которые играю...

Недельный геймдев: #150 — 03 декабря, 2023 Из новостей: Godot 4.2, Atomic Heart и «Космические рейнджеры» попали в Зал Славы видеоигровой индустрии России, Unity сократит 265 сотрудников и разорвёт соглашение со студией Wētā FX, американские дети больше хотят получить на Рождество подписки и внутриигро...

[Перевод] Генеративный ИИ. Акт второй Венчурный фонд «Sequoia Capital», 85 млрд $ активов. Год назад мы предположили, что генеративный искусственный интеллект вскоре затронет все технологические сферы. Но никто из нас не ожидал, что это будет так скоро. Ученые, историки и экономисты...

Никому неизвестный стартап Groq представил, видимо, лучший процессор для вывода нейросетевых моделей На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов.  Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. ...

Сказки про ИБ в машинном обучении Всем привет! На связи Ozon, и мы спешим вас поздравить с наступающим Новым Годом! С вами Дед Мороз Никита Губорев — специалист по информационной безопасности Ozon Tech.В настоящее время модели машинного обучения становятся все более популярными и широко применяются в различн...

Разгоняем Ignite в облачной инфраструктуре. Часть 1 Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере. Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о произво...

Выявление схожести между произведением искусства из коллекции музея и работами автора методами ML Идею работы: «Похоже ли произведение искусства из коллекции музея на работы автора?» я придумала под датасет Музея MoMa. Конечно, хотелось бы установить: оригинал или подделка? Но для ответа на такой категоричный вопрос данных оказалось недостаточно.У проекта было несколько ...

Сравнение работы MTS AI Chat с другими русскоязычными LLM Всем привет!Мы в MTS AI занимаемся созданием технологий и продуктов на базе искусственного интеллекта. Непосредственно наша группа фундаментальных исследований разрабатывает LLM и модели для генерации кода. В этой статье мы представим нашу первую фундамен...

Что в промптах работает, а что нет Удивительно, но при всём хайпе, творящемся сейчас вокруг языковых моделей (LLM), мало кто понимает, как они работают. И ещё меньше понимают, как работать с ними. Появилась даже профессия промпт-инженера, человека, способного составить ТЗ для модели. Например, очень важно...

Разработка RESTful API: как использовать ExpressJS и другие фреймворки для создания RESTful API RESTful API — это одна из самых популярных архитектурных моделей для создания веб-сервисов и приложений. Понимание основных концепций REST и принципов RESTful API играет решающую роль при разработке современных веб-приложений. Читать далее

Google Gemma — ИИ, который призван помочь разработчикам создавать другой ИИ более ответственно. Компания Google представила — семейство легких современных открытых языковых моделей.  Новая языковая модель, которая доступна в двух вариантах — Gemma 2B и Gemma 7B — предназначена для разработчиков. Google говорит, что Gemma создана для ответст...

[Перевод] За кулисами публикации «24 часа невидимой эпидемии» Сегодня я расскажу о том, как был подготовлен материал об одиночестве, «24 hours in an invisible epidemic», опубликованный на платформе Pudding.Всё началось с моей одержимости материалами Американского обследования использования времени (America...

Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...

Денежные переводы Россия-Казахстан в 2024 году Наступил 2024 год и пора сделать обзор на возможность переводов из России в Казахстан и обратно.По официальным данным Национального банка Казахстана за прошлый 2023 год основную долю международных денежных переводов между физ.лицами России ...

Тест производительности Web-фреймворков для Rust В этой статье мы сравним производительность 3 наиболее популярных бекэнд-фреймворков для Rust: Axum, Actix и Rocket.Сравним основные особенности, качество документации и самое главное - проведём тест производительности. Для этого напишем с помощью каждого...

Как построить хороший Vision продукта, используя Lean Canvas? Многие продакт-менеджеры тонут в сотне документах, которые приходится постоянно обновлять. Картинка, создающая целостное понимание по продукту, теряется или тратится много времени на то, чтобы её собрать. Целевая аудитория, исследования — в одном месте, метрики — в друг...

Лучшие бесплатные ресурсы для изучения этичного хакинга и кибербезопасности Информационная безопасность (ИБ) или кибербезопасность – это одна из самых важных и актуальныхобластей современной науки и технологий. В условиях постоянного развития интернета, киберпреступности и глобальной информатизации, специалисты по инфор...

SwiftUI уроки (часть 1) В чём особенность этих уроков?Основаны на книге "Mastering SwiftUI" от Appcoda: Мы берем за основу материал этой книги, но не слепо следуем ей.Интерпретация и перевод: Мы адаптируем материал книги для русскоговорящей аудитории, делая его более понятным и ...

[Перевод] Ад Рендера 2.0. Книга вторая. Пайплайн Статья взята отсюда и переведена на русский язык. В статье автор подробно разбирает принцип работы графического пайплайна в GPU , используя простые и понятные иллюстрации.Пайплайн в ДетатяхБольшинство конструктивных отзывов, которые я ...

[Перевод] Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, п...

Рекуррентные сети против трансформеров Или история о том, как научная статья "Вам нужно только внимание..." немного перевернула игру и индустрию ИИ. Трансформеры становятся сотами или попросту попадают в самые последние решения сферы NLP. Кстати, заслужили свою популярность они вообще недавно — только в 2017...

Диффузионные модели в CV. Что за зверь? Всех приветствую! Статья посвещена диффузионным моделям в компьютерном зрение. Цель статьи сформировать понимания (надеюсь) работы данного типа моделей. Попытаемся разобраться что это такое и как это устроено. Если объяснять в двух словах, то идея заключается в следующем: бе...

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

Картографирование Марса: машинное обучение поможет определить место посадки в кратере Езеро Марс является объектом интереса для исследователей уже длительное время,  посадка ровера на его поверхность — задача, требующая тщательной проработки. Один из важных этапов подготовки — картирование и планирование места посадки в кратере Езеро. Для этог...

Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию Привет, Хабр! Меня зовут Андрей Околелов, я работаю ведущим инженером в Блоке обеспечения и контроля качества выпуска изменений ПО в РСХБ. В банковской сфере я работаю с 1992 года, с 2018 основная деятельность — тестирование банковских прил...

Мощности напрокат. Как принципы шеринг-экономики раскрываются в облаках Тема экономики совместного потребления обсуждается уже не так активно. Из нее больше не делают альтернативу привычным бизнес-моделям, да и интерес СМИ к теме угас. При этом шеринг никуда не делся, а его принципы приживаются повсюду. Даже там, где его идеологи и не надеялись ...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.В этой ...

Пять лучших NLP инструментов для работы с русским языком на Python В этой статье рассмотрим пять лучших библиотек Python, предназначенных специально для работы с русским языком в контексте NLP. От базовых задач, таких как токенизация и морфологический анализ, до сложных задач обработки и понимания естественного языка. Читать далее

Что предлагает «параллельная» Корея в качестве альтернативы Lada Vesta? «Автовзгляд» назвал четыре модели Kia, которые можно купить дешевле 2 млн рублей Несмотря на высокий спрос на рынке новых авто, дилеры не стремятся повышать цены, и это на руку потребителям: появляется все больше доступных альтернатив отечественной Lada. Так, «Автовзгляд» нашел сразу четыре модели Kia, которые сейчас можно купить де...

Создан фреймворк для улучшения производительность компьютеров С развитием технологий, связанных с машинным обучением и сетями 5G, потребность в высокопроизводительных вычислениях становится все более актуальной. Для обеспечения плавной работы таких приложений требуются более энергоэффективные и экономичные системы. В этой связи был раз...

Обновленная платформа от компании «Наносемантика» ускорила процесс разметки в 240 раз Компания «Наносемантика» представила обновленный сервис для разметки данных «Маркер», который используется как инструмент подготовки датасетов для машинного обучения и создания на их основе нейросетей. В новом релизе продукта ...

11 лучших программ для нейросетей Для работы в области науки о данных, особенно при прогнозировании сложных закономерностей или погружении в проекты компьютерного зрения, часто требуются мощные инструменты, как, например, Neural Designer. При использовании потенциала сверто...

Как ускорить LLM-генерацию текста в 20 раз на больших наборах данных Всем привет, я Алан, разработчик-исследователь в MTS AI. В команде фундаментальных исследований мы занимаемся исследованием LLM, реализацией DPO и валидацией наших собственных языковых моделей. В рамках этих задач у нас возникла потребность в генерации большого количества да...

Как Wazuh помог наладить круглосуточный мониторинг и реагирование на ИБ-события Представим ситуацию. Вы хотите выстроить процесс реагирования на ИБ‑инциденты в компании. Для этого нужно вовремя фиксировать атаки на вашу инфраструктуру. Вы решаете собирать логи и мониторить все, до чего можете дотянуться: хосты, межсетевые экраны...

Списки с душой и стилем: Ваш путь к Jetpack Compose С каждым днём всё больше и больше разработчиков присоединяются к использованию Jetpack Compose. Этот рост связан с тем, что фреймворк предлагает ускоренную и упрощённую разработку пользовательского интерфейса (UI). Если ранее вы разрабатывали приложения с...

[Перевод] Python лёгкий. Go простой. Простой != лёгкий Python и Go отличаются по свойствам, и поэтому могут дополнять друг друга.Существует распространённое заблуждение, будто простой и лёгкий — это одно и то же. В конце концов, если некий инструмент легко использовать, то и его внутреннее устройство должно б...

Frontend. Чистые и грязные компоненты Здравствуйте!Коротко о чем тут, чтобы вы могли понять, нужно ли оно вам или нет.Тут я описываю то к чему я пришел в разработке именно компонентов и какой подход использую. Материал может быть полезна скорее для новичков и не обязательно в React, потому что этот подход подойд...

[Перевод] Эмоциональное взаимодействие с языковыми моделями LLM может повысить производительность на 115% (исследование) Искусственный интеллект - это быстро развивающаяся область, которая оказывает влияние на всё, начиная от смартфонов и потенциально до будущего человечества. Но задумывались ли вы когда-нибудь об эмоциональных возможностях этих алгоритмов? В частности, о больших языковых моде...

Где искать работу Дата Саентисту в 2024 году В настоящее время профессия дата-саентиста является одной из самых востребованных и перспективных. С развитием технологий и увеличением объема данных, специалисты в области анализа данных становятся незаменимыми для компаний всех отраслей. Однако, в 2024 году сфера науки о д...

Parameter-Efficient Fine-Tuning (PEFT): методы LoRA, Prefix tuning, Prompt tuning и Adapters На сегодняшний день созданы разные большие языковые модели (LLM), которые показывают превосходные результаты, но для раскрытия их полного потенциала необходимо дообучение для точного решения конкретных задач. Традиционный метод файнтюнинга, при котором настраиваются все пара...

Пароли в открытом доступе: ищем с помощью машинного обучения Я больше 10 лет работаю в IT и знаю, что сложнее всего предотвратить риски, связанные с человеческим фактором. Мы разрабатываем самые надежные способы защиты. Но всего один оставленный в открытом доступе пароль сведет все усилия к нулю. А чего только не отыщешь в тикета...

О чем нам намекают естественные системы физических единиц Мы привыкли к различным единицам измерения, всяким метрам в секунду и киловатт-часам. В формулы пролезают многочисленные константы - c (скорость света), h (постоянная Планка), G (гравитационная постоянная), k (постоянная Больцмана). Однако оказывается, что для фундаментально...

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata Привет, Хабр!Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и большим данным. О решении одно...

Как я создал проходную Будучи являясь студентом, нам предложили поучаствовать в одной программе. В данной программе нам преподавали курсы из различных областей, как бизнеса, так и программирования. Вот некоторые из них: «Основы.NET и знакомство с платформой разработки...

Простое внедрение аннотаций статистической значимости Привет, Хабр!Сегодня с вами участница профессионального сообщества NTA Яруллина Ляйсян.В современном мире визуализация данных используется повсеместно. Она позволяет в сжатые сроки предоставить изображение или видео, описывающее колоссальное количество ин...

Как искусственный интеллект преобразует облачные вычисления Искусственный интеллект и облачные вычисления — это естественное сочетание. Опрошенные порталом InformationWeek эксперты рассказывают, как эта мощная пара может помочь вашей организации достичь новых высот. Ни для кого не секрет ...

LIME и SHAP Модели МО часто сравнивают с "черными ящиками" из-за их неспособности ясно объяснить свои решения. Проблема "черного ящика" возникает, когда внутренняя работа модели настолько сложна или неясна, что даже ее создатели не могут точно понять, как был получен тот или иной резуль...

SpaceX выиграла контракт на $70 миллионов на развёртывание военных спутников Starshield О ходе работы Starshield известно мало, однако SpaceX раскрыла несколько ключевых аспектов этого проекта. Например, данный проект будет использовать ту же технологию широкополосного доступа, что и группировка спутников Starlink. Однако он будет предназначен дл...

[Перевод] Трансформеры, группы преобразований и self-attention В подвижном мире развивающихся нейросетевых архитектур главную роль играет эффективность работы моделей. Тонкая настройка сетей под конкретные задачи предусматривает интеграцию в них априорных знаний. Делается это посредством стратегических корректировок архит...

GPT-like модель «впервые сделала научное открытие»: что, как и куда дальше? 14го декабря в одном из самых авторитетных общенаучных журналов Nature была опубликована статья с, кажется, сенсационным заголовком: «ИИ-модели Google DeepMind превосходят математиков в решении нерешённых проблем». А в блогпосте дочки гугла и вовсе не постеснялся указать, чт...

Борьба с энтропией в e-com. Как поддерживать актуальными данные о товарах в вечно меняющемся мире Всё течёт, всё изменяется. Особенно информация — она очень быстро устаревает. В e-com неактуальные данные о товарах могут сильно подпортить клиентский опыт. Если удовлетворенность пользователей — важный фокус вашей работы, мне есть чем поделиться :)Всем привет! Я Г...

The Hive. Разбор open source решения В свете быстрого развития информационных систем и увеличения угроз кибербезопасности поиск надежных решений, позволяющих минимизировать вред от нарушения информационной безопасности (ИБ), становится важной задачей для различных организаций. Когда инфрастр...

«Тулбокс для начинающих»: бесплатные материалы об облачных технологиях — ИТ-архитектура, миграция и вот это всё Несмотря на то, что значительную часть процесса миграции в облако берет на себя провайдер, ИТ-специалистам компании-заказчика все же необходимо понимать специфику этих работ. Имея четкое представление о работе облаков, можно верно задавать вектор движения в компании, вы...

SPANCheck – проверка безопасности сетевого трафика на уровне ядра (или почему NGFW недостаточно?) Когда речь заходит о безопасности сетевого трафика, большинство сразу вспоминает про решения класса NGFW (Check Point, UserGate, Fortinet, Континент и т. д.). Это логично: защита периметра сети — это одна из ключевых задач «безопасника». Однако ...

Смеяться или Плакать? Как LLM-модели прошли тест на человечность Существуют опасения, что ИИ и нейросети заменят многие творческие, гуманитарные и технические профессии. Но насколько обоснованы эти страхи? Способны ли современные искусственные интеллекты пройти такую простую проверку, как тест на креативность, точность и смекалку? Это воп...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

Виртуальная инфраструктура и облачные сети: как создать единую систему в разных зонах доступности Поскольку все больше корпоративных рабочих нагрузок переносится в облако, компании ищут способ связать облака и распределенные офисы.Задача состоит в том, чтобы безопасно и с минимальной задержкой перемещать данные между частной сетью и облачной инфраструктурой. Сегодня...

Зачем ИТ-специалистам развивать собственную медийность Всем привет! Я Анжелика, работаю ведущим инженером в РСХБ‑Интех. В последнее время все чаще задумываюсь про медийность и важность ее развития для ИТ‑специалистов. На мой взгляд, это один из инструментов, при грамотном использовании которого...

Roblox предоставит всем пользователям перевод на родной язык с помощью ИИ Созданная на основе новой языковой модели искусственного интеллекта, служба перевода будет работать в чате в реальном времени и мгновенно конвертировать сообщение на родной язык пользователя.

Костыли из 90-х и принцип HTML First Кадр из презентации Frontmania 2022: Kilian Valkhof — Stop using JavaScript for that Недавно на Хабре публиковался перевод статьи «Вам не нужен для этого JavaScript» с примерами, где код JS легко заменить на HTML. На самом деле возврат к основам HTML, простым сайтам и чи...

Нейронные сети и dataset IRIS Исследовательская работа по dataset IRIS и библиотеке для машинного обучения и построения нейронных сетей tensorflow. Читать далее

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 3 Появление в библиотеке pandas режима Copy‑on‑Write (CoW, копирование при записи) — это изменение, нарушающее обратную совместимость, которое окажет некоторое воздействие на существующий код, использующий pandas. Мы разберёмся с тем, как адаптиро...

Алгоритм Monte Carlo Tree Search простыми словами Можно ли научить ИИ играть в настольную игру и выигрывать в ней, если мы сами не знаем как это сделать? Да! И один из способов — использовать алгоритм Monte Carlo Tree Search (MCTS). Он актуален даже сейчас, в эпоху развития нейронных сетей. У многих людей, в том числе и у...

Математика и физика для простой и результативной учёбы(Серия: Cельскому учителю в помощь). Часть III.Диалекты математики Встретив объёмные книги на непривычных формульных диалектах, новичок теряется. Предыдущая часть лекций знакомила с предметом математики, эта посвящена её символьному языку, то есть диалектам: принципам их смешения и деления. Понять высшую математику может каждый. Читать дале...

Команда учёных создала нейросеть для объяснения принципа других нейросетей Ученые-компьютерщики из Нью-Йоркского университета (NYU) разработали нейронную сеть, способную объяснять свои предсказания, проливая свет на обычно скрытые процессы искусственного интеллекта (ИИ) и машинного обучения.

Использование теории игр для повышения прозрачности моделей машинного обучения Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильност...

[Перевод] Написание минимальной подсистемы хранения данных в памяти для MySQL/MariaDB Я потратил неделю, копаясь во внутренностях MySQL/MariaDB вместе с ещё примерно 80 разработчиками. Хотя MySQL и MariaDB — это, по большей части, одно и то же (я ещё к этому вернусь), я сосредоточился именно на MariaDB.Раньше я никогда ...

Интервью с руководителем отдела анализа защищённости Angara Security Михаилом Суховым о пентесте Я много бывал за последнее время на разных ИБ‑мероприятиях, где проходили различные киберучения. Много писал об уязвимостях, об ИБ‑решениях, борющихся с ними, специалистах, выявляющих бреши в инфраструктурах. И как раз на последне...

Облако для образования и науки: суперсамолет, цифровой доппельгангер, эволюция вселенной Современные исследования требуют серьезных вычислительных мощностей. Суперкомпьютеры помогают анализировать снимки из космоса, а также моделировать кровеносную систему человека, и это только вершина айсберга. Однако доступ к такому оборудованию не всегда легко получить, а ст...

Как работает физика в играх В мире видеоигр игровая физика играет важную роль, определяя реалистичность и взаимодействие игрового мира с игроком. Что же происходит под капотом? Какие алгоритмы и подходы используются в современных движках? И что же значит «застрять в текстурах»? ...

Про любительское радио в 21 веке или управляй передатчиком удаленно Привет, Хабр! Есть такое увлечение — радиосвязь. Занимается этим делом очень много людей во всем мире. Но наступило время, когда заниматься любительской радиосвязью в городах стало невозможным из‑за непомерно возросшего уровня помех от разной бы...

6 лет из жизни инди-разработчика А привет, Хабр. У меня для тебя есть история длиной в шесть лет. История о том, как я учился делать свои собственные игры без навыков программирования и что из этого вышло. Почему так долго и почему так делать не стоит. Насто...

Котам здесь не место: день компьютерной мыши Дуглас Энгельбарт, изобретатель компьютерной мыши, в 2002 году заявил: «Считаю, что мышь по‑прежнему является самым эффективным устройством управления... Когда появились первые сенсорные экраны, все смеялись. Мы знали, что в общих случаях они обладают тем...

Отчёт о конференции «Автоматизация и цифровизация процессов ТОиР в современных условиях» Информационная служба Хабра посетила всероссийский форум «Автоматизация и цифровизация процессов ТОиР в современных условиях». Этот форум — максимально отраслевое мероприятие. Проходило оно в «Сколково» в Москве. Было две площадки с выступлениями и о...

Как работать с динамическими блоками в nanoCAD и переносить объекты из AutoCAD Все привыкли к тому, что первый инструмент проектировщика — это AutoCAD, который доминирует в мире черчения и проектирования с момента создания с 1980-х годов. Известность AutoCAD в сообществе САПР сравнима с известностью Photoshop в с...

Запуск идеи стоит 5 млн, и это дорого. Как сэкономить на проекте? Спойлер: откажитесь от React К нам часто приходят от других разработчиков. Когда начинаем разбираться, понимаем: заказчику предлагали совершенно ненужные фичи. Эти самые фичи не только растягивают проект по времени, но и повышают его стоимость, а ощутимой пользы не при...

[Перевод] Как избирательное забывание помогает в обучении ИИ Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать к...

Зеттелькастен рисование на бесконечном канвасе или как помнить всё на свете Каждый автор, обдумывая статью, сталкивается с проблемой. С одной стороны хочется передать читателю крутую идею и тем самым принести большую пользу, а с другой страшно давать что-то “тяжелое”, потому что тема может оказаться неподъемной и следовательно бесполезной.В первых м...

Topics API — как персонализированная реклама может работать без cookie Отказ от third‑party кук уже не за горами. Однако в попытке уберечь пользователя от «слежки» браузеры рискуют по дороге отправить в могилу индустрию персонализированной рекламы (и не только, но сегодня про нее). Могу только предст...

На практике пробуем KAN – принципиально новую архитектуру нейросетей На днях ученые из MIT показали альтернативу многослойному перцептрону (MLP). MLP с самого момента изобретения глубокого обучения лежит в основе всех нейросетей, какими мы их знаем сегодня. На его идее в том числе построены большие языковые модели и системы компьютерного зрен...

Мошенники крадут деньги с помощью ПО для удаленного администрирования мобильных устройств Компания «Доктор Веб» сообщила об участившихся случаях мошенничества с применением программ для удаленного доступа к рабочему столу. Наибольшей популярностью у злоумышленников пользуется программа RustDesk. В связи ...

Перспективы развития современных ГТУ установок и альтернативный путь их развития Мы написали данную статью в попытке разобраться, на каком техническом уровне сейчас находятся газотурбинные установки, а также понять, каковы перспективы их развития. Одновременно в нашей рукописи мы попытались рассмотреть альтернативную схему преобразова...

LLaMA 2, RWKV, Santacoder и другие LLM на iOS Однажды я решил изучить язык Swift и разработать свое первое приложение для iOS. Для этого я решил создать реальный проект, который заключался в оптимизации нашумевшего LLaMA.cpp под iOS. Я поставил перед собой задачу обеспечить запуск 3B и 7B моделей на&...

[recovery mode] Linux: 12 советов из практики Linux продолжает быть одной из самых популярных операционных систем для серверов, облачных вычислений и IoT‑устройств. Знание команд позволяет эффективно управлять и настраивать эти системы.Знание Linux может открыть двери к различным IT‑профессиям, таким...

Базовые архитектурные решения для обеспечения масштабируемости и производительности в социальных сетях Привет, Хабр! За последние полгода я очень увлекся созданием социальных сетей и делаю пет-проект в виде социальной сети.Если вам интересна эта тема, то возможно, вы уже видели мою предыдущую статью о базовых принципах проектирования архитектуры социальных сетей на Хабре (есл...

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой...

Nvidia создала GPU с TDP 1,2 кВт и ускоритель для ИИ с TDP 2,7 кВт. Компания раскрыла новые подробности о Blackwell Компания Nvidia уже представила архитектуру Blackwell и ускорители на её основе. При этом во время анонса нам раскрыли далеко не все особенности и характеристики. Теперь же некоторые пробелы заполнили старший вице-президент Nvidia и архитектор графических процессоров Дж...

«Квантовая» диаграма Виенна: как нас дурит научпоп Хорошо, когда нам простыми словами объясняют сложные вещи, правда? Особенно когда речь про такие неочевидные эффекты как квантовая запутанность, суперпозиция и прочее квантовое. А как здорово, когда квантовый эффект можно увидеть своими глазами! Нам всего-то нужны три просты...

Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...

Уязвимые гиганты: что общего между зулусским языком и LLM Сейчас, когда каждый чих в интернете может привести к новому стартапу или технологическому прорыву, большие языковые модели (LLM) занимают своё законное место на передовой научно-технического прогресса. Они умнее, быстрее и эффективнее человека в ряде задач: написание кода, ...

Решение систем линейных уравнений с помощью Python Как-то я наткнулась на статью, где говорилось о SymPy, а именно о возможности решения систем уравнений с ее помощью. Если кратко, то это бесплатная библиотека для символьных вычислений на языке Python. В символьных вычислениях компьютер работает с уравнениями ...

Что произойдет, если взорвать астероид ядерной бомбой — теперь есть ответ Ядерный взрыв может защитить Землю от астероида, если использовать его правильно В фильмах-катастрофах уничтожение угрожающего Земле небесного тела ядерным взрывом уже стало классикой жанра. Но что будет, если использовать эту идею в реальной жизни? Эксперты сообщают, что ис...

Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт. При эксп...

Разговор с Максимом Горшениным о мониторах «Лайтком», импортозамещении и производстве в РФ компьютерной техники Идея взять интервью у блогера Максима Горшенина у меня была давно. Однако всё никак не мог найти повод: видео Максима давали большинство ответов на мои вопросы. И вот появилась причина, связанная с монитором «Лайтком» и чипом от «Миландра». Я ре...

Fooocus v2 — бесплатный Midjourney у вас на компьютере. Подробная инструкция по установке и использованию нейросети Друзья, всем привет! Сегодня я хочу рассказать вам про самую простую и доступную для понимания нейросеть, которая создает изображения по вашему текстовому описанию. Она называется Fooocus и основана на знаменитой Stable Diffusion XL. Это идеальное решение в качестве вашей пе...

МойОфис обновил цифровое рабочее пространство Squadus. В релизе 1.4 улучшены возможности для коммуникации команд В 2023 году мы выпустили цифровое рабочее пространство Squadus. Продукт быстро приобрел популярность и стал востребованным: это полноценная замена решениям иностранных вендоров, ушедших с российского рынка. В частности, функциональность Squadus покрывает потребности пользова...

[Перевод] Простая проблема приводит к слишком большим числам для нашей Вселенной Исследователи показывают, что навигация по определенным системам векторов является одной из самых сложных вычислительных задач.  Нечасто пятилетние дети могут разобраться в вопросах, связанных с информатикой, но и это может произойти. Предположим, например, что у девочк...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

[Перевод] Краткий обзор методик обучения визуально-языковых (мультимодальных) моделей Продолжаю разбор материалов на тему NLP в контексте работы переводчиков, на этот раз мы с практикантами решили поразбираться в том, как работают мультимодальные модели, т. е. как машины учатся находить соответствие не только между словами из разных языков, но и между картинк...

Российский ноутбук Ricor Compi 100: привет из 90-х Сегодня предлагаю совместить ностальгию и экскурс в историю с компьютерной некромантией. На днях мой коллега Михаил Синельников @m_sinelnikov поделился интересным образцом истории отечественного ИТ — Ricor Compi 100. Явно старый компьютер, больше похожий...

Наш опыт Android- и iOS-разработки в проекте Посмотрим на текущую ситуацию с разработчиками Android и iOS‑приложений. Обсудим варианты разработки мобильных приложений. Разберемся, как мы в стартапе NFCKEY работаем в этом направлении. Затронем особенности, которые возникают в связи с у...

Chery Tiggo 4 вернулся в Россию Chery Tiggo 4, который уступил в прошлом году место новой модели Chery Tiggo 4 Pro, снова стал доступен в России по цене от 1 839 900 до 2 139 900 рублей. Этот вариант Chery Tiggo 4 предлагает различные опции моторов, включая 1,5-литровый бензиновый двигатель мощно...

[Перевод] Сравнение MicroK8s c Managed Kubernetes Clusters, K3s и Minikube Microk8s - это легкий, простой в установке дистрибутив Kubernetes, обеспечивающий полнофункциональный кластер на одной виртуальной машине. В последние годы он завоевал популярность благодаря своей простоте и удобству использования, особенно в ср...

В поисках аномалии: одноклассовая классификация текстов с помощью расхождения Кульбака—Лейблера Привет, Хабр! На связи участница профессионального сообщества NTA Корсакова Елена.Поиск аномалий в корпусе текстов является нетривиальной задачей, особенно если размечен набор данных только с аномальными текстами. При этом различия могут не бросаются в г...

Вакуумные струйные насосы: устройства простые на вид, но таинственные по физике работы     Струйные насосы-эжекторы В статье про тепловые узлы домов уже рассматривался элеваторный узел как вариант использования водоструйного насоса с приводом от напора тепловых сетей.Элеватор вовсе не уникальное устройство, а лишь одна из версий применения ...

Это база машинного обучения Рассказать всё о машинном обучении на двух страницах текста — невыполнимая задача. Именно сложность и многообразие темы могут отталкивать тех, кто только начинает знакомство с ней. Однако мы хотим помочь на этом пути и дать упрощённое введение в машинное обучение, чтобы кажд...

Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения Каждую неделю мир машинного обучения наполняется новыми открытиями, проектами и статьями, которые не только вдохновляют дата саентистов, но и расширяют горизонты знаний. В этой статье мы собрали для вас подборку самых интересных и актуальных материалов недели, которые помогу...

Удалёнка для айтишников: разбираем 5 мифов про работу из дома В доковидные времена, если кто еще помнит таковые, я работал из офиса, менеджерил какие‑то проекты, общался с коллегами и в 19:00 выключал комп. И вообще не представлял себе как всякие фрилансеры с ноутбуком сидят где‑то по кафешкам и ...

Как LLM учат понимать синтаксис Скорее всего, вы поняли заголовок правильно, хотя в нём есть стилистическая ошибка — двусмысленность (кто-то учит LLM, или они учат кого-то?). Человеческое понимание языка остается ориентиром и пока недостижимой целью для языковых моделей. При всей небезошибочности перв...

Основы проектирования архитектуры простой социальной сети Социальные сети стали неотъемлемой частью нашей повседневной жизни. Они объединяют людей, позволяют обмениваться информацией, поддерживать связь с друзьями и даже находить новых знакомых. Однако, за всеми этими возможностями стоит сложная инженерная работа по созданию и подд...

Как выбрать сервис синтеза и распознавания речи Технологии синтеза и распознавания речи уже стали ключевым аспектом множества современных решений на основе нейросетей — от голосовых помощников до инструментов ИИ-аналитики коммуникаций. Выбор между этими технологиями ...

Синтетическое генерирование данных (SMOTE) Привет, Хабр! В далеком 2002 году, когда многие из нас еще тусовались на IRC и мечтали о широкополосном интернете, Нитеш Чавла и его команда представили миру SMOTE. Этот алгоритн решал реальную и больную проблему — несбалансированность классов в обучающих данных. Почему несб...

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 1 Библиотека pandas 2.0 вышла в начале апреля, в ней появилось много улучшений нового режима Copy‑on‑Write (CoW, копирование при записи). Ожидается, что в pandas 3.0 режим CoW будет использоваться по умолчанию. Сейчас полный переход на к...

Применение архитектурных шаблонов в машинном обучении: разбор Gradient Boosting Привет, Хабр! Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптир...

[Перевод] Обнаружение движущихся объектов с помощью OpenCV с использованием обнаружения контуров и вычитания фона Обнаружение движущихся объектов широко используется в самых разных приложениях, от видеонаблюдения до мониторинга дорожного движения. Это важнейшая задача в постоянно развивающейся области компьютерного зрения. Библиотека OpenCV с открытым исходным кодом, изве...

Государство и агротех: регуляция сельхозинноваций на национальном уровне разных стран мира Заметно, что в последние годы во всем мире уделяется все больше внимания регулированию и государственной поддержке сельхозинноваций. Недаром один из трендов агротехнологического развития до 2030 года — это рост роли государства в деле актив...

Яндекс Переводчик лучше всех переводит с английского на русский Согласно исследованию международного независимого бенчмарка DiBiMT, Яндекс Переводчик лучше других языковых моделей и онлайн-переводчиков перевёл текст с английского на русский язык. Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок в машинном пер...

Существует ли пятая фундаментальная сила природы? Поиск скрытой частицы Последние несколько лет всё чаще можно услышать идею о том, что наша фундаментальная модель Вселенной неверна. Слишком много всего в ней не сходится. Например, постоянная Хаббла H0, показывающая скорость удаления объектов от нас. По одним измерениям (ярким далеким звездам) о...

Как с использовать метрики для повышения производительности команд В современной бизнес-среде понимание и улучшение производительности команды является ключевым аспектом успеха любой организации. Менеджеры и руководители всегда искали способы эффективного управления командами, опираясь в основном ...

[Перевод] Три вопроса, которые сделают из вас отличного утёнка Как человек, который работает консультантом по бесперебойной работе и техническому обеспечению надёжности в Postgres, я провел много часов, выполняя функции резинового утёнка. Теперь могу заткнуть за пояс даже самую проницательную игрушку для купания. Метод утёнка в отладк...

Воскресная барахолка: поддерживаем отечественного производителя Привет, Хабр! В эти выходные я заглянул на барахолку, и хочу поделиться некоторыми интересными увиденными там вещами. Стоит заметить, что на Хабре привыкли в основном к испанским барахолкам, но в связи с санкциями и отсутствием пр...

Reddit вводит новые правила использования своих данных на фоне многомиллионных сделок с разработчиками ИИ Reddit обнародовала новую политику, регулирующую использование данных, включая запрет на отправку рекламы пользователям без их согласия. Компания стремится увеличить доходы за счёт лицензионных соглашений с разработчиками искусственного интеллекта и другими компани...

«Чем больше вы ездите, тем лучше». Huawei выпустила систему умного вождения, которой не нужны спутниковые карты, для Avatr 11 Avatr официально объявила сегодня, что она внедрит в Avatr 11 при помощи обновлению функции интеллектуального вождения и помощи в навигации, которые не полагаются на спутниковые карты. 4 февраля была полностью запущена новая система умного вождения NCA для городских тер...

Подготовка инструментов под фаззинг UEFI на базе edk2 в Windows Так повелось в мире, что время от времени необходимо проводить исследования безопасности драйверов и прошивок. Одним из способов исследования является — фаззинг (Fuzzing). Не будем останавливаться на описание на самого процесса фаззинг...

Лонгрид о JavaScript JavaScript — ужасный язык программирования. По сравнению с другими распространёнными языками он выглядит генетическим уродом. Дело даже не в отсутствии многопоточности, или статической типизации, или того, что node_modules для про...

Mimesis: идеальное решение для генерации данных Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, прав...

Собираем статистику по телеграм-каналу и строим кастомные графики Привет, Хабр! Меня зовут Вадим, я разработчик и у меня есть свой канал в Телеграме. Как и многие уважающие себя телеграм‑админы, я хочу следить за статистикой: оценивать эффективность, когда что‑то делаю для привлечения подписчиков, мониторить прирос...

Как Visual Studio могла бы выглядеть с новым меню: делюсь GUI-шаблоном Доброго времени года, уважаемые хабровчане! Я занимаюсь разработкой десктоп‑приложений с 2008 года. Наша компания делает специализированные продукты из области ЦОС (DSP), и GUI выглядит как нечто среднее между AutoCAD, Total Commander и Visual Studio. Не ...

Ищем Арнольда Шварценеггера среди мужчин, женщин и детей с помощью нейросети на С++ Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-с...

[recovery mode] Создаем чат-бота на Python: Полное руководство В этом полном руководстве от DataTech Community мы шаг за шагом рассмотрим процесс создания чат-бота на Python. Откройте для себя мощь NLTK и TensorFlow в обработке естественного языка и машинном обучении, чтобы создать интеллектуального помощника, способного общаться и отве...

Redux vs Mobx кого же выбрать для React-приложения в 2024 году? Привет, Хабр!Сегодня я хочу поделиться с вами своими размышлениями о том, какой стейт менеджер лучше использовать для разработки приложений на React в 2024 году. Как вы знаете, React — это одна из самых популярных и мощных библиотек дл...

[Перевод] Почему B-деревья быстрые? B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, ...

Яндекс открыл доступ к API YandexGPT для всех – можно создавать чат-ботов и многое другое Команда Яндекса объявила об открытии API YandexGPT для всех пользователей в режиме превью. Как отмечает пресс-служба, это новый сервис Yandex Cloud для бизнеса.  Сгенерировано нейросетью Midjourney Теперь сервис тарифицируется, у него есть новые технологические во...

Как перестать переусложнять и начать жить Мое наблюдение состоит в том, что мы — разработчики и продукты, сильно переусложняем, осознанно или нет, но всякие «„Архитектурные комитеты“, „Планирования“, „Апрувы у 50 отделов“ и деплои в 2-часовые окна, простыни текста сопровождающие простей...

[Перевод] С новым годом: GPT в 500 строках на SQL В минувшем году все только и говорили об ИИ и о том, как он может всё за вас сделать.Мне нравится, когда кто-то или что-то работает за меня. Поэтому решил: попрошу-ка ChatGPT написать за меня новогодний пост:"Эй, ChatGPT. А ты можешь реализовать большую языковую модель на SQ...

Framework для автоматизации тестирования на Java Привет, Хабр! В нашем сегодняшнем материале тестировщики Максим Жигарев и Артем Сенько из Блока ИТ‑развития инвестиционного бизнеса РСХБ‑Интех расскажут, как они автоматизировали тестирование в ИвестБлоке с использованием Java. Материал основан на&nb...

Framework для автоматизации тестирования на Java Привет, Хабр! В нашем сегодняшнем материале тестировщики Максим Жигарев и Артем Сенько из Блока ИТ‑развития инвестиционного бизнеса РСХБ‑Интех расскажут, как они автоматизировали тестирование в ИвестБлоке с использованием Java. Материал основан на&nb...

В AppMetrica появился инструмент прогнозирования LTV и оттока В AppMetrica, сервисе Яндекса для аналитики мобильных приложений, появился новый инструмент — Предикты LTV (lifetime value) и оттока. С помощью Предиктов владельцы и маркетологи мобильных приложений смогут оптимизировать рекламные кампании ...

Простые шаги к эффективному code review Всем привет! Меня зовут Владислав Шиханов, я ведущий программист в CDEK. В нашей компании работает около 500+ IT-специалистов, именно мы создаём продукты и сервисы, из которых и состоит СДЭК. Моя команда разрабатывает сервисы для автоматизации процессов п...

Недельный геймдев: #162 — 25 февраля, 2024 Из новостей: Balatro продалась тиражом в 250к копий за первые три дня, Valve в опенсорс выложила Audio SDK, Suicide Squad не оправдала ожиданий Warner Bros, вышел Bevy 0.13.Из интересностей: отличнейшая статья про генерацию карты игры, как в&nbs...

MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I Всем привет! Меня зовут Николай Безносов, я отвечаю за применение и развитие машинного обучения и продвинутой аналитики в билайне. В одной из прошлых статей мои коллеги рассказывали о месте Seldon в ML-инфраструктуре компании, а сегодня мы поднимемся на уровень выше и погово...

SQL и python для анализа цен на новостройки в СПб или ценнейший навык для маркетолога в 2024 «Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблица...

Отладка в PL/SQL Developer Привет! Меня зовут Алексей Маряхин, я работаю разработчиком на Oracle и пишу много, очень много кода. И когда программа ведёт себя не так, как ожидалось, на помощь приходит отладка. Не так давно выяснил, что не все разработчики владеют функционалом отладки или знаю...

Как настроить ETL с json’ами в Apache NiFi Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.Что делает наша команд...

Security Week 2412: атака на ChatGPT по сторонним каналам Исследователи из Университета имени Бен-Гуриона опубликовали работу, в которой показали новый метод атаки, приводящий к частичному раскрытию обмена данными между пользователем и ИИ-чатботом. Анализ зашифрованного трафика от сервисов ChatGPT-4 и Microsoft Copilot в некоторых ...

Эксплуатируем переполнение буфера в простом TCP-сервере Привет всем бинарщикам и людям, которые хотят попрактиковаться с эксплуатацией уязвимости переполнения буфера. Мы для своего киберполигона придумываем различные сценарии атак и насыщаем его различными мисконфигурациями и многочисленным уязвимым ПО для тре...

Почтовый сервер с нуля. Часть первая Очень часто на этапе стажировки новых сотрудников мы в нашей компании сталкиваемся с типичными простыми ошибками, непониманием работы DNS и почты. При этом обучение новых сотрудников по этой теме — достаточно длительный и сложный процесс, так как сами вопросы требуют построе...

ESA разрабатывает цифрового помощника по наблюдению Земли, основанного на глубоком обучении Спутники ежедневно производят огромное количество ценных данных, но их использование может быть сложным и не всегда приносит максимальную пользу пользователям. Поэтому Европейское Космическое Агентство (ESA) совместно с технологическими партнёрами разрабатывает приложен...

Построение планов параллельного выполнения программ для процессоров со сверхдлинным машинным словом (проект) Процессоры архитектуры  сверхдлинного машинного слова (VLIW - Very Long Instruction Word) относятся к специфическим классам архитектур, прямо нацеленным на использование внутреннего параллелизма в алгоритмах (программах), причём параллелизм этот анализируется и планируе...

ИИ выходит на новый уровень: LLM обретают пространственно-временную картину мира Исследователи из MIT под руководством Макса Тегмарка сделали важное открытие в области искусственного интеллекта. Им удалось доказать, что современные языковые модели (LLM), обученные на огромных массивах текстов, формируют внутри себя целостные модели мира, включающие предс...

Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов? Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.Эта статья — развл...

[Перевод] Использование фреймворков модульного тестирования для выявления уязвимостей Формулировка проблемы Поиск уязвимостей — сложный процесс, а еще сложнее пользоваться уязвимостями на нескольких целях в разных конфигурациях. Именно по этой причине существует множество фреймворков, таких как Metasploit, и различных сканеров уязвимостей, таких как nuclei....

Backup and Restore — виртуальные машины в облаках/хостингах Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.2. Иметь возможность в любой момент сконвертировать нужную версию и...

О точности вычислений: как не потерять данные в цифровом шуме Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай изучил процесс потери точности вычислений и написал библиотеку, доступную на GitHub, которая помогает разработчикам контролировать точность расчётов на каждом этапе вычислений. Данная библиотека ос...

Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжиро...

[recovery mode] Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование Проведение анализа дефектов, обнаруженных на продакшене, кажется сложной и трудоемкой задачей. Однако в команде Polymatica мы успешно интегрировали этот процесс в цикл тестирования, сделав его неотъемлемой частью обеспечения качества ПО. Локализация дефектов с...

Искусственный интеллект научился читать генетический код Искусственный интеллект научился анализировать генетический код. Ученые из Принстонского университета во главе с экспертом по машинному обучению Мэнди Ванг используют языковые модели для оптимизации частичных последовательностей генома. В своей последней статье, опублик...

Внедрение практик и принципов DAMA-DMBOK2 как предпосылки к использованию ИИ в бизнес-процессах организаций 28 сентября компания РСХБ‑Интех провела RSHB Data Integration Meetup — митап для специалистов по работе с данными, в рамках которого выступил Антон Агеев, корпоративный архитектор и техлид команды Подписки в проекте «Свой бизнес» РСХБ‑Интех. В своем докла...

Рендеринг трёхмерных развязок, мостов и тоннелей Привет! Меня зовут Арсений Кононов. На прошлой неделе мы зарелизили трёхмерные развязки и тоннели, которые можно увидеть в режиме навигатора. Я расскажу о простой и гибкой технике, реализованной в графической подсистеме нашего графического движка для отоб...

Решил я тут текстовую MMORPG на C++ написать Cразу уточню, это не гайд по созданию MMORPG на C++. Это нечто вроде моего дневника, куда я буду скидывать процесс разработки (Да, проект ещё не завершён, даже не близко, скорее только начат...). Почему я вообще тогда создал эту статью? Ну, коли ты к...

Tenis: как загнать все мячи на один корт, или Как мы решились на создание своего алерт менеджера Мы в Ivinco помогаем нашим клиентам строить, развивать и поддерживать инфраструктуру. C некоторыми из них мы работаем уже более 10 лет, с другими только начинаем. Все это естественным образом предполагает, во-первых, гетерогенную среду для работы и, во-вторых, соседство лега...

[Перевод] Ranking Functions: ROW_NUMBER Четыре функции ранжирования: ROW_NUMBER, RANK, DENSE_RANK и NTILE появились в SQL Server 2005 и отличаются от обычных скалярных функций тем, что результат, который они выдают для строки, зависит от других строк выборки. От агрегатных функци...

SD-Access без DNAC и ISE В 2019 мы закупили комплект оборудования и лицензий для развертывания Cisco SD‑Access на несколько тысяч портов для замены нашей старой инфраструктуры и одновременного внедрения многих технологических преимуществ, которые предоставляет SD‑Access. Но&...

Cloud.ru: IT-рынок России в 2022 году вырос на 200 миллиардов рублей Провайдер облачных и AI-технологий Cloud.ru подготовил исследование «Панорама российского IT-рынка». В материале представлен детальный обзор IT-рынка в B2B отрасли, динамика его развития с 2019 года, а также аналитика ...

Разговор с директором по развитию бизнеса Solar NGFW Андреем Щербаковым об NGFW и использовании open source в нём Тема NGFW в связи с уходом западных компаний всё чаще начала всплывать в сфере российской ИБ. То тут, то там слышны новости, что у разных фирм появились свои NGFW‑решения. Одно из таких демонстрировалось на форуме «Кибербезопасность в ...

Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке Создание ML-модели — сложный и ресурсоёмкий во всех смыслах процесс. Но часто выкатка сервиса на основе модели в прод оказывается ещё сложнее: требует подготовки платформы, выделения ресурсов, настройки программных интерфейсов для передачи данных из модели конечному пользо...

Курс «PostgreSQL для начинающих»: #2 — Простые SELECT Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".Сегодня поговорим о самых простых, но важных, возможностях команды SELECT, наиболее часто используемо...

Введение в нейросети: что, зачем и как? Это модное слово всё чаще используется в разговорной речи: обывателей плотнее окутывают угрозами бунта искусственного интеллекта и войны с роботами — с одной стороны, и рекламой нейросетевых продуктов — с другой. Отдельный котёл в аду ...

Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library Компания Intel открыла исходный код своей библиотеки ускорения NPU Acceleration Library, позволяющей компактным моделям искусственного интеллекта работать непосредственно на блоках NPU в процессорах Meteor Lake.  Библиотека создана на языке Python и призвана помоч...

Бороздим облака будущего: впечатления айтишника о конференции GoCloud Добрый день, уважаемые подписчики Хабр. На связи Владимир Миронов (@VladimirMironovML). 21 марта состоялась масштабная IT-конференция GoCloud «Облачные грани будущего». Мероприятие было приурочено к 5-тилетию работы команды Cloud.ru на российском рынке облачных IT-услуг и но...

Даже в 2025 году AMD продолжит выпускать процессоры с ядрами Zen 2, хотя уже в следующем выйдут Zen 5. В Сеть попала свежая дорожная карта В Сети появилась свежая дорожная карта AMD, описывающая характеристики и сроки появления многих будущих процессоров компании.  Из этой утечки мы можем понять, что как минимум в мобильном сегменте мы процессоров с архитектурой Zen 5 в начале 2024 года не увидим.&nbs...

OpenStreetMap в Flutter-проекте: что такое flutter_map, как его внедрить и чем дополнить Всем привет! Меня зовут Анна Ахлёстова, я Flutter-разработчик в Friflex. Ранее мы обсудили, как использовать инструменты yandex_mapkit в Flutter-проекте. В этой статье рассмотрим еще один плагин для работы с картографическими сервисами – flutter_map, изучим его возможности, ...

[Перевод] Как большие языковые модели в Street Fighter играли Что будет, если устроить совершенно новый тип тестирования для больших языковых моделей (LLM)? Например, выпустить несколько моделей на арену и заставить их соревноваться друг с другом?Именно это я и решил сделать: столкнуть LLM друг с другом в классической аркаде Street Fig...

Cross-Encoder для улучшения RAG на русском Одно из самых прикладных применений языковых моделей (LLM) - это ответы на вопросы по документу/тексту/договорам. Языковая модель имеет сильную общую логику, а релевантные знания получаются из word, pdf, txt и других источников.Обычно релевантные тексты раскиданы в разных ме...

Закупки ИИ растут в объёмах и конкуренции Электронная площадка Росэлторг провела анализ государственных и корпоративных закупок в сфере искусственного интеллекта (ИИ) за последние два года. Для исследования учитывались процедуры с упоминанием искусственного интеллекта; машинного и глубоког...

Это как если бы Core i9-14900K потреблял 4 Вт. Представлена архитектура Efficient Computer Fabrik, позволяющая создавать в 100 раз более энергоэффективные процессоры Стартап Efficient Computer представил процессор Monza, который, как утверждает сама компания, почти в 100 раз более энергоэффективен, чем процессоры общего назначения, представленные сегодня на рынке.  создано DALL-E Секрет такого потенциально революционного дости...

Эффективное использование журнала регистрации и технологического журнала 1С в решении вопросов производительности Эта статья носит своей целью продемонстрировать другой подход в анализе проблем производительности в системах 1С:Предприятие с применением журнала регистрации (ЖР) и технологического журнала (ТЖ).Напомню, что ЖР логирует действия пользователей — кто,...

Лучшие игровые движки 2024 для 2D разработки Defold - это бесплатный движок для создания 2D игр и других интерактивных приложений. Он разработан компанией King (известной по игре Candy Crush) и предлагает простой и эффективный способ создания кроссплатформенных проектов. 1. Язык программирования: Defold использует язык...

Как бороться с всадниками выгорания: личный опыт и пара советов Привет, Хабр! Меня зовут Данил Старосек, я работаю аналитиком на проекте «Единое фронтальное решение» (ЕФР) в РСХБ‑Интех. В прошлом материале я описал основные, на мой взгляд, причины появления и развития выгорания на работе. Сегодня хочу поделиться&...

Что получится, если к роботам Boston Dynamics подключить ChatGPT: говорящая собака ведёт экскурсии, язвит и ищет снежного человека Компания Boston Dynamics, известная своей линейкой роботов, продемонстрировала на примере робота-собаки Spot, чего можно добиться, подключив мощности чат-бота ChatGPT. В небольшом демонстрационном ролике показано, как робопёс выступает в качестве экскурсовода.  Ин...

MeLE Quieter 4C: бесшумный мини-ПК с процессором Intel N100. Что это за девайс? Существует много сотен, если не тысяч, моделей мини-ПК. Какие-то из них мощные, какие-то не очень, но большинство без проблем решает те задачи, для которых предназначено. Не так давно появилась ещё одна модель — это MeLE Quieter 4C. Девайс достаточно скромный по производител...

Fastlane для Android разработчиков Рост команды требует большего вовлечения в процессы и договорённости, которые, в свою очередь, требуют автоматизации и инспекции. Можно взять bash‑скрипты и закрыть ими эту потребность, но насколько это будет удобно? Тут нужен инструмент, который упростит разр...

Компромисс смещения и дисперсии в машинном обучении Привет Хабр! В этой статье мы рассмотрим такое понятие в машинном обучении, как компромисс смещения и дисперсии (bias-variance Tradeoff). Так как понимание того, что можно изменить в процессе обучения нашего алгоритма обучения, приведет нас к созданию более точных моделей. Ч...

Создан искусственный интеллект, обучающий роботов. Nvidia Eureka учит роботов выполнять сложные физические действия, как человек Ну вот и настал момент, когда искусственный интеллект начал обучать роботов. Компания Nvidia разработала ИИ-агент Eureka, который умеет обучать роботов сложным двигательным навыкам.  К примеру, Eureka обучил роботизированную руку пенспиннингу — быстрому жонг...

Машинное обучение повысило точность оценки солнечной радиации В новом исследовании, опубликованном в журнале Remote Sensing, ученые использовали методы аугментации данных в сочетании с моделью машинного обучения LightGBM для оценки как диффузной, так и прямой солнечной радиации. Этот подход изобретательно использует данные о солне...

Безопасность на уровне кода: как эту задачу помогает решать облако Ошибки на уровне кода — бомба замедленного действия с точки зрения безопасности. Даже небольшие факапы, дыры и «костыли» могут обернуться большой проблемой и привести к реализации различных киберугроз.  В этой статье расскажем о распространённых угрозах для приложений, пр...

Apple хочет наделить каждый iPhone собственной большой языковой моделью. Компания работает над оптимизации таких систем Компания Apple не спешит присоединяться в общей гонке чат-ботов и искусственного интеллекта нового поколения, но работает в этом направлении. В частности, Apple исследует возможности размещения больших языковых моделей непосредственно на мобильных устройствах пользовате...

Хочешь хорошую зарплату — не ленись развиваться и получать фундаментальные знания Привет всем! Я Анжелика Максимова, ведущий инженер из РСХБ‑Интех. 10–11 февраля, я выступала на ИТ‑конференции «Pro IT Fest» в Санкт‑Петербурге. На мероприятии мы с коллегами из разных компаний обсуждали боли на тему фундаментальных знаний ...

Tele2/Altel: развитие сетей связи с помощью больших данных Станислав Стрельцов, CDO Tele2/Altel, – о проекте оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений. Проект призван снизить капитальные затраты и улучшить качество услуг, при этом помогая достижению целей ус...

Как спектральный анализ улучшает оценку задач и снижает стресс в команде разработки Привет! Меня зовут Илья, я руководитель команды индивидуальных интеграций CDEK. В рамках этой статьи хочу поговорить о спектральном анализе — инструменте для аналитики и прогнозирования задач команд разработки. По итогу мы с вами разберемся, ког...

Обучение ИИ на синтетических данных: исследователи из MIT меняют правила игры Как известно, данные - это новая почва в мире AI. И товарищи-исследователи из MIT CSAIL нашли оригинальный способ вырастить на этой плодородной земле нечто большее, чем просто пиксели. В своем новом исследовании, они использовали синтетические изображения для обучения моделе...

Коротко про алгоритмы и структуры данных Привет, Хабр! Меня зовут Ричард, я работаю в команде kPHP в VK, занимаюсь разработкой kPHP, плагинов для IDE, а также другого инструментария, делая жизнь разработчиков проще. В своей работе мне приходится иметь дело с PSI деревьями, AST, самопис...

Спутниковая связь в России и мире: что работает сейчас и что планируется сделать в ближайшем будущем Связь, реализуемая при помощи спутников, находящихся на орбите Земли — далеко не новая технология. Но до недавнего времени этот вид связи был относительно медленным и дорогим. Сейчас все меняется — свои собственные спутниковые сети раз...

Обход блокировок на OpenWRT с помощью v2rayA (xray-core) и баз GeoIP, Geosite Antifilter В данном гайде будем устанавливать пакет v2rayA на OpenWRT на примере стабильной 23.05.0. Рекомендуется роутер минимум с 128 МБ RAM (256 предпочтительно) и памятью более 16 Мб (установка занимает около 30МБ памяти)v2rayA — это простой в использовании...

FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...

Albumentations: XYMasking Короткая версияПосле длинного вступления, будет туториал по применению аугментации XYMasking к спектрограммам от ЭЭГ. Кто экономит время - код с примерами можно найти по ссылке в документации библиотеки. Длинная версияAlbumentations - это Open Source библиотека для аугментац...

Как рассчитать CLTV с помощью машинного обучения и как нам в этом помогает Feature Store Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розни...

США решили ужесточить регулирование облаков в связи с доступом Китая к ИИ Правительство США рассматривает возможность введения новых правил, которые заставят облачные компании раскрывать информацию о том, когда неамериканские организации используют их вычислительные мощности для обучения моделей искусственного интеллекта.

Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми при...

Как мы улучшили СУБД промышленного уровня Platform V Pangolin в версии 6.1 Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе. Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответств...

Пет-проект: путь от «простого получения опыта» до «продукта, способного приносить пользу IT сообществу» В мире современных технологий и инноваций роль аналитика становится все более важной и востребованной. Однако, каким образом можно развивать свои аналитические навыки и экспертизу, чтобы выделиться среди конкурентов и создать что-то уникальное? Один из способов – ведение пет...

Представлен бренд смартфонов Huawei Pura, который отправит на пенсию 12-летнюю линейку Hyuaei P Huawei представляет бренд Pura, который заменит на рынке флагманскую линейку Huawei P, берущую начало в 2012 году с модели Ascend P1.  Знаменитая серия P от Huawei прощается с нами после 12-летнего пути, кульминацией которого стал выпуск P60. Начинается н...

[Перевод] Как создать API в облаке менее чем в 200 строках кода Современные облачные инструменты и пакеты Python стали настолько мощными, что с их помощью можно создать (масштабируемый) облачный API менее чем в 200 строках кода. В этом посте будет рассмотрено, как при помощи lines Google Cloud, Terraform и FastAPI развернуть в облаке пол...

Когда достаточно простого класса Python — взять и начать управлять ML-экспериментами Мы в ПГК занимаемся грузоперевозками, причем решаем различные транспортные задачи не только методами математической оптимизации, но и с помощью моделей машинного обучения. Наши дата-сайентисты проводят десятки экспериментов — в том числе и без необходимости прибегать к инстр...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

Сбер обновил искусственный интеллект GigaChat: он стал умнее и мощнее Сбер обновил свои модели искусственного интеллекта GigaChat, по заявлению компании, GigaChat Pro и GigaChat Lite стали умнее и мощнее по всем основным метрикам для решения задач всех пользователей. Также теперь бизнесу доступна новая модель GigaChat Lite+ с заметно увел...

[recovery mode] Где бесплатно учить Java в 2024 году В 2024 году изучение Java остается одним из актуальных направлений для тех, кто стремится стать профессиональным разработчиком.В настоящее время существует множество бесплатных ресурсов, которые предлагают уроки по Java, от курсов до университетских программ, что делает дост...

[Перевод] Примитивы синхронизации в Python Asyncio: Исчерпывающее руководство При написании многопоточного приложения нужно помнить о возможности состояния гонки при использовании неатомарных операций. Даже простая задача по увеличению целого числа на единицу в конкурентной программе может вызвать ошибки, с трудом поддающ...

Unity 3D: о чем давно было пора рассказать нашим подросткам Прочитал как‑то на Хабре заметку «Что делать с детьми летом, если ты айтишник?» Ответил на нее двумя своими заметками (раз и два). А теперь предлагаю взглянуть на поднятую тему немного с другой стороны: с точки зрения «борьбы с цифровы...

Обзор языка Crystal Привет, Хабр!История Crystal начинается в 2011 году, когда команда энтузистов решили создать язык, который бы исправил некоторые из тех ограничений и проблем, с которыми они сталкивались, работая с Ruby. Они мечтали о языке, который бы позволял писать код, легкий для пониман...

[recovery mode] Как мы делаем веб-сервис для автоматизации рабочих задач на базе агентов LLM Друзья, всем привет! Сегодня хотим рассказать про то, как мы — Виталий, Даниил, Роберт и Никита — при поддержке AI Talent Hub, совместной магистратуры Napoleon IT и ИТМО, создаем Цифработа — сервис цифровых работников, который помогает оптимизировать временные затраты у сотр...

SAGE v1.1.0: как мы учили генеративный корректор орфографии ошибаться реже, думать быстрее и исправлять пунктуацию В октябре прошлого года мы выпустили SAGE — библиотеку для генеративной коррекции орфографии, которая включает в себя семейство предобученных трансформерных моделей, хаб с параллельными вручную размеченными датасетами и два алгоритма текстовой аугментации на основе намеренно...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.В этой статье рассмотрим ма...

Зонтичный мониторинг в X5 Group, или как построить цифровую карту здоровья бизнеса с миллионом объектов Привет, Хабр! Хотим рассказать о том, как и зачем Х5 Group внедряет зонтичный мониторинг Monq, почему сущность и состояние «магазина» для бизнеса важнее виртуальных объектов, ну и как вообще стало возможным не только собрать под один зонтик >1.1 млн объектов и данные...

[recovery mode] Простой production-ready генератор студийных фото продуктов В данной статье мы рассмотрим простой пример готового к запуску в продакшн приложения с генеративным пайплайном. Расчет идет на возможность простого масштабирования и распределения вычислений на GPU. Читать далее

Игра тоже смотрит в тебя. Игровые контроллеры: действия и данные Привет, Хабр! Меня зовут Сергей Милосердов, я системный аналитик в Nau Engine и большой фанат геймификации во всём. Солидный бэкграунд в этой сфере подтолкнул меня к написанию серии статей об игровых контроллерах и особенностях их использования. Прошлую статью я посвяти...

Очередной показатель того, что для современных CPU Intel очень важен планировщик потоков. Компания выпустила патч для Linux, повышающий производительность Гетерогенные процессоры Intel сильно зависят от эффективности планировщиков потоков. Отличный тому пример — повышение производительности CPU Intel в Linux на 14% после выхода нового патча.  Фото: Intel Intel выпустила патч, который улучшает работу планировщи...

Передача контекста и знаний в IT команде Всем привет и добро пожаловать! Данная статья не является научной и не относится к разряду технических, она больше про коммуникации и командные процессы в IT. Это попытка систематизировать реальные практики по передаче контекста и знаний в ...

Как нейросети помогают изучать снежных барсов: о проекте Сайлюгемского парка и Yandex Cloud Снежный барс (ирбис) — один из самых редких видов больших кошачьих, который обитает в горных районах. С 2000 года снежный барс занесён в Красный список МСОП как «находящийся под угрозой исчезновения», а с 2017 года ирбисам присвоен статус у...

Как мы искали понятный термин для учеток и доступов, но так и не нашли В удивительном мире информационных технологий, где айтишники и клиенты встречаются регулярно, царствует терминологический Хаос! Казалось бы, все говорят на одном языке, но когда речь заходит про «данные для авторизации», клиенты впадают в ступор...

Калькулятор судьбы – как новый алгоритм ИИ предсказывает дату смерти? Результаты нового исследования показали, что современные системы ИИ могут точно предсказывать время чьей-либо смерти. В 2023 году искусственный интеллект наконец приблизился к научной фантастике. Сегодня эти умные системы активно внедряются в экономику, образование, бизнес и...

Как Яндекс создал свою шину данных, чтобы передавать сотни гигабайт в секунду 10 лет назад сотни серверов Яндекса работали на Apache Kafka®, но в этом продукте нам нравилось далеко не всё. Наши задачи требовали единой шины для передачи всех видов данных: от биллинговых до журналов приложений. Сегодня объёмы дост...

Нельзя писать безопасный код на C++ без санитайзеров С++ видится мне огромным франкенштейном: очень уж много разнообразных способов описать свои намерения. В добавок к этому язык пропагандирует политику zero-cost abstractions, из которой следует (помимо прочего), что программист в ответе за все св...

[Перевод] Объяснение режимов работы Run, Stop и Program центрального процессора ПЛК Программируемые логические контроллеры (ПЛК) можно перевести в режим «Пуск» (Run) или «Стоп» (Stop), а иногда и в режим «Программирование» (Program) обычно с помощью физических или виртуальных методов. Но что означают эти режимы и когда их ...

Симуляция эволюции Вселенной объясняет почему спиральные галактики так редки  течение продолжительного времени астрономы сталкивались с загадкой причины редкости спиральных галактик, включая наш Млечный Путь, - большую часть составляют эллиптические галактики.  Недавнее исследование, проведённое с использованием компьютерных моделей, п...

Использование Redis почти как SQL БД: Реализация чата с кешированием сообщений Допустим, мы хотим создать чат и хранить сообщения для него. Вполне возможно, мы можем добавить для этого простую базу данных (БД), такую как MySQL или даже NoSQL БД.Обычно многие используют Redis как key‑value (dictionary) хранилище. Тем не мен...

Внутренние данные: топливо успеха в банковской индустрии, или Тайны загрузки данных, формирующих будущее инноваций Внутренний источник данных в банке – это любой источник информации, который находится внутри банковской организации и генерирует данные самостоятельно. Эти данные хранятся исключительно внутри банка. Они выделяются уникальностью, бесплатностью (сформированы внутри ...

Практическое применение моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях Привет, Хабр!Сегодня с вами участники профессионального сообщества NTA Попов Иван и Чимбеев Анатолий.В современном мире, где фотографии играют огромную роль в сфере социальных медиа, онлайн‑безопасности и контроля содержимого, важно иметь эффективные инструмен...

AMD FSR наконец-то станет похожа на Nvidia DLSS? Компания заявила, что будет использовать искусственный интеллект в этой сфере Похоже, технология AMD FSR в будущем станет больше похожа на DLSS, что должно сделать её более конкурентной.  AMD сообщила, что активно внедряет искусственный интеллект во все свои продукты, отметив, что ИИ позволит масштабировать производительность игровых решени...

Как пройти собеседование на позицию системного аналитика в 2024 году Привет, Хабр! Меня зовут Андрей Царев — я системный аналитик, технический интервьюер и ментор.Системный анализ — одно из популярных направлений в ИТ. Но далеко не все представляют, как правильно готовиться к интервью и проходить их. В&...

Инженер на минималках: установка и настройка ClickHouse Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить Cli...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Прогнозирование временных рядов с помощью библиотеки Skforecast В открытом доступе существует огромное число библиотек для построения моделей машинного обучения в Python. Самые популярные — scikit-learn, XGBoost, LightGBM, Catboost, PyTorch. Каждая из них позволяет построить регрессионную модель для прогнозирования на временных рядах, ...

Google выпустила новое приложение с ИИ для создания видеороликов На этой неделе компания Google без лишнего шума анонсировала приложение для создания видеороликов на основе искусственного интеллекта. Новое приложение под названием Google Vids предназначено для пользователей Google Workspace и использует возможности Google Gemini — искусс...

[recovery mode] Где учить Frontend бесплатно в 2024 году В 2024 году изучать frontend по-прежнему актуально. Вот несколько причин, почему это может быть полезным:1. Развитие технологий: Веб-технологии постоянно развиваются, и в 2024 году можно ожидать еще большего прогресса. Изучения frontend поможет быть в курсе последних те...

Разговор с руководителем платформы BI.ZONE Bug Bounty Андреем Лёвкиным о результатах работы его платформы за год Продолжаем выкладывать материалы с OFFZONE 2023. На этот раз я решил чуть подробнее расспросить про BI.ZONE Bug Bounty её руководителя Андрея Лёвкина. У нас был материал по этой платформе, но в формате новости. Однако подробного расска...

В Китае хотят «воспроизвести» нейросеть OpenAI Sora с открытым исходным кодом Пару недель назад OpenAI в очередной раз показала, насколько впечатляющими могут быть темпы развития ИИ, представив нейросеть Sora, которая умеет генерировать видео по текстовому описанию. Как сообщается, в Китае уже запустили проект, чтобы «воспроизвести» э...

Использование LLM в автоматизации рутинных задач Всем привет!На связи Георгий Бредис, Deep Learning Engineer из команды Intelligent Document Processing в SberDevices. Наша команда занимается задачами автоматизации бизнес-процессов путем извлечения информации из неструктурированного контента и созданием сервисом суммаризаци...

Оптимизация Скорости и Доступности с помощью Сети Доставки Контента (CDN) в Microsoft Azure Привет Хабр!В мире быстро развивающихся технологий быстродействие и доступность играют ключевую роль в обеспечении удовлетворения потребностей пользователей. В этой эпохе, где каждая миллисекунда имеет значение, использование современных инструментов для оптимизации скорости...

Сбер представил модели ИИ, способные распознавать русский жестовый язык Команда Сбербанка на международной конференции по искусственному интеллекту AI Journey представила нейросетевые модели, позволяющие распознавать русский жестовый язык. Фото: Nic Rosenau / Unsplash Команда Vision RnD в SberDevices, разрабатывающая одно из таких решений,...

Искусственный интеллект будет в смартфонах на уровне железа. Спасибо Google и Qualcomm Искусственный интеллект пока не изменил нашу жизнь настолько, чтобы она больше не была такой, как прежде. Но некоторые изменения уже есть, и если правильно пользоваться ими, то все становится намного проще. Было лишь вопросом времени, когда искусственный интеллект появится ...

Должен ли QA уметь писать код Привет! На связи Антон Тарасов, руководитель группы тестирования мобильного приложения Тинькофф. В течение последних десяти лет я был инженером и руководителем в направлениях QA, Scrum-Master, Delivery Manager и Project Manager. Постараюсь ответить на вопрос: должен ли ...

3D-сканирование как инструмент обратного инжиниринга агрегатов 3D-Сканирование как инструмент обратного проектирования. Как известно, метод обратного проектирования в области машиностроения – это процесс изучения существующих физических объектов для определения их свойств, в зависимости от поставленной задачи. Это может быть как из...

Как провести фаззинг REST API с помощью RESTler. Часть 2 Всем привет! На связи Владимир Исабеков, руководитель группы статического тестирования безопасности приложений в Swordfish Security. В предыдущей статье мы рассказывали о Stateful REST API-фаззинге с применением инструмента RESTler. Сегодня мы поговорим о продвинутых возможн...

Принципы SOLID, только понятно Когда я только знакомился с принципами SOLID, я искал понятные статьи на Хабр. При этом пришлось прочитать не одну статью, и полное понимание пришло сильно позже. Хотелось бы, чтобы новички на более простых примерах смогли почувствовать, о чем эти принципы. Изучить принципы

[Перевод] Эффективные трассировки в Go Пакет runtime/trace содержит мощный инструмент для понимания программ Go и устранения неполадок. Функциональность внутри позволяет создавать трассировку исполнения каждой горутины за определенный период времени. С помощью go tool trace command (...

Самые крутые инструменты ИИ из Google Pixel будут доступны всем Искусственный интеллект играет важную роль в работе Google Фото, обеспечивая интеллектуальные функции для организации, обнаружения и редактирования фотографий. Google применяет самые передовые технологии машинного обучения и компьютерного зрения, чтобы помочь пользователям ...

Протоколы семейства TCP/IP. Теория и практика В сети можно найти огромное количество материала о том, как функционируют сети на базе стека протоколов TCP/IP, а также как писать компьютерные программы с сетевыми возможностями. При рассмотрении компьютерных сетей часто углубляются в описание физических основ и структур ...

Как мы создавали self-service функционал проверки качества данных для ML-моделей Привет! Продолжу рассказ о том, как мы превращаем банк в "биг дата" - организацию. Очевидно, что чем больше данных использует компания, тем больше зависит от их качества. Но, зачастую, вопросам качества данных при разработке витрин уделяется недостаточно внимания. Это связ...

Развитие баз данных В 60-х годах прошлого века возникла потребность в надежной модели хранения и обработки данных, особенно важной для банков и финансовых организаций. В то время отсутствовали единые стандарты работы с данными и моделями, и вся работа сводилась к ручной упорядоченной организаци...

«Трудности перевода»: как ChatGPT справился с задачей адаптации сложных текстов Привет, Хабр! Меня зовут Сергей Кулабухов, я занимаюсь внедрением ИИ в бизнес-процессы компании Fix Price. С появлением моделей обработки естественного языка (natural language processing) изменился и подход к реализации подобных задач. Теперь мы не программируем и не обучаем...

Подборка нейросетей для работы с изображениями и звуком — они облегчат вашу жизнь При помощи нейросетей можно заметно облегчить свою жизнь — мы собрали для вас несколько весьма интересных инструментов В 2020-е годы произошел огромный скачок в области технологий — даже обычным людям стали доступны нейросети, которые сильно облегчают выполнения сложных зада...

Хитрый виджет: разбор тестового Flutter-задания. Детективная нуар-история Падающий снег мягко приглушал вой полицейских сирен, пронзительным гулом звенящих в моей голове. Прогретое часовой ездой по пробкам лобовое стекло жадно пожирало души снежинок, оставляя от них лишь слёзы сожаления на поверхности.«Введённое сегодня ут...

ИИ в отечественной медицине: цели внедрения, перспективы и проблемы 13 октября в Сочи стартовал региональный (по ЮФО) хакатон проекта «Цифровой прорыв. Сезон: Искусственный интеллект», входящего в президентскую платформу «Россия — страна возможностей». В день открытия на панельной дискуссии одним из спикеро...

Видеоигры с государством. Что нам стоит видеоигровую индустрию снова построить? Мы уже разобрали ряд тем, связанных с поддержкой видеоигровой индустрии в России. На этот раз в одном материале я собрал информацию о том, что получают студии, которые остались в России, на какие меры поддержки претендуют разработчики, какие гранты можно получить. А так...

Коэффициенты для экстраполяции прогнозов компонент CLTV на 5 лет Эта статья описывает, как из прогнозов ряда ML-моделей получить ценность клиента с горизонтом в 5 лет. Напомним, что показатель CLTV представляет из себя композицию прогнозов ее компонент (подробнее в статье). В нашей реализации максимальный период прогнозирования ...

VDI откуда не ждали. Как мы тестировали протокол подключения к удаленным рабочим столам Loudplay С уходом иностранных вендоров большинство ИТ-компаний стали изучать возможности по замене зарубежного ПО отечественными аналогами. Конечно, системы VDI далеко не на первом месте в списке на импортозамещение, и более или менее серьезные проекты начинаются только сейчас. Мы те...

Исследование. Удалёнка и массовые увольнения сотрудников Согласно новому исследованию Envoy, 80% руководителей сожалеют о своих первоначальных решениях о возвращении в офис и говорят, что подошли бы к своим планам по-другому, если бы лучше понимали последствия своих решений. По ...

Как я за один заход хакнул половину американских сетей фастфуда Консоль бодро оповестила меня о завершении работы скрипта. Его задача заключалась в поиске учётных данных для доступа к Firebase, которые лежали в открытом доступе и принадлежали одному из сотен недавно появившихся ИИ‑стартапов.Скрипт шёл по&nbs...

Гигантская дуга и Большое кольцо — структуры в ранней Вселенной, противоречащие Стандартной модели Согласно Стандартной модели космологии, ранняя Вселенная должна быть достаточно однородным местом. Однако в 2021 году астрономы обнаружили большую группировку галактик, образующих гигантскую дугу длиной 3,3 миллиарда световых лет. Теперь появилось ещё одно крупномасштаб...

Исследование Unisender: каждое четвёртое электронное письмо отправляется на иностранную почту Российский сервис email-рассылок Unisender (в связи с законом о запрете регистрации на российских сайтах с помощью иностранной электронной почты) проанализировал данные 1,5 млрд писем из 40 млрд, отправленных через сервисы Unisender...

Гонка за скоростью: сравнение производительности ведущих фреймворков JavaScript в веб-разработке. Fastify, Express, Koa Недавно я задался вопросом «Какой JS фреймворк самый быстрый». Я обратился с этим запросом в гугл и нашел очевидный ответ «это fastify!». Но почему именно он?. Я практически сразу наткнулся на статью, результаты которой меня немного расстроили, так к...

Как я решал Advent of Typescript, и что я понял Возможно вы слышали про Advent of Code — ежегодное соревнование по решению задач на рождественскую тему. Начиная с 1 декабря, вплоть католического рождества, каждый день выкладывается новая задача. С каждым днем сложность задач возрастает.В дека...

Новейшие процессоры Intel и AMD, 14-дюймовый сенсорный экран, 32 ГБ ОЗУ LPDDR5-6400 и 2 ТБ SSD, недорого. Представлены ноутбуки HP Envy x360 2024 Представлены обновленные 14-дюймовые ноутбуки HP Envy x360 2024, которые оснащаются новейшими процессорами Intel и AMD. Ноутбуки Envy x360 представлены двумя моделями на базе процессоров AMD, а также двумя моделями на базе процессоров Intel. В лагере AMD есть ...

Просто ли открывается ларчик, Или как протестировать сразу более 10 сервисов Привет, Хабр! Всем известно, что у тестировщиков в жизни много трудностей. И мы, команда QA Департамента общих прикладных сервисов (ДОПС) Сбера, знаем об этом не понаслышке, так как тестируем релизы сервисов Platform V — цифровой облачной п...

Одно нажатие, весь контроль: WireGuard VPN через Телеграм

Telegram показывает удаленные сообщения Несколько дней назад я обнаружил, что Telegram приложение на Windows показывает давно удаленные чаты. При том, что их не было видно ни на телефоне, ни в Linux клиенте. Я поделился этим с друзьями, которые увидели то же самое. Для оптимизации работы серверов, чаты разделены н...

Собеседования аналитиков: кого, куда, как и почему (и чтобы что!). Часть 2 Вторая часть масштабной статьи про собеседования. Первая — тут. В прошлый раз мы поговорили об идеальном кандидате в вакууме, а также о презентационной части собеседования. Здесь же будем говорить про техническую часть и про ...

Полиномиальные корневые методы синтеза САУ ч.3 (заключение) Леонид Маркович Скворцов. Широко известный в узких кругах математик, профессионально занимающийся математическими проблемами автоматического управления. Например, его авторские методы использованы в SimInTech. Данный текст, еще готовится к публикации. Но с разрешения ав...

LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql) Привет, Хабр! На связи участница профессионального сообщества NTA Марина Коробова.Данные занимают центральное место в информационном обществе. Именно информация является основой для принятия решений, развития бизнеса и научных исследований. Многие организации инвестируют огр...

[Перевод] Storybook — генератор сказок с ИИ на Raspberry Pi 5 и 7-цветном дисплее E-Ink Последнее время только ленивый не пишет о великом прорыве человечества в области разработки искусственного интеллекта под общим названием "большая языковая модель" (LLM, large language model). И хотя у них остается еще много возможностей для совершенствования, но з...

Как обучают GPT Привет, Хабр! Меня зовут Родион Уколов, я занимаюсь искусственным интеллектом в компании Friflex. Мы помогаем компаниям внедрять модели машинного обучения и развиваем свои цифровые продукты.Может быть, вы помните статью моего коллеги о том, как решать реальные задачи с ChatG...

Ученые создали самую подробную в истории компьютерную модель Вселенной Астрономы провели крупнейшее на сегодняшний день космологическое компьютерное моделирование Несмотря на внушительное количество накопленных данных, наши знания о Вселенной крайне малы. Мы не знаем как она появилась, почему расширяется с ускорением и почему устроена таким стр...

Угрозы информационной безопасности конвейера разработки ПО и их моделирование Злоумышленники всё чаще атакуют цепочки поставок ПО, чтобы получить доступ к исходным кодам, процессам сборки или механизмам обновления ПО. Но сложно напрямую атаковать инфраструктуры компаний, которые серьёзно относятся к своей кибербезопасности. В ...

Слух: Microsoft формирует команду GenAI для разработки малых языковых моделей ИИ Microsoft сформировала новую команду GenAI в составе облачного подразделения Microsoft Azure, которая займётся созданием эффективных малых языковых моделей, способных конкурировать или даже превосходить по функциональности модели, созданные другими лидерами рынка, такими ка...

Векторные базы данных: простым языком про устройство и принцип работы Только изучили один инструмент, как сразу же появились новые? Придется разбираться! В статье мы рассмотрим новый тип баз данных, который отлично подходит для ML задач. Пройдем путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутрен...

Кратчайший путь с одним источником во взвешенных графах, Алгоритм Дейкстры и Python Привет Хабр! В мире современных вычислений и информационных технологий, алгоритмы играют решающую роль. Они служат фундаментальным инструментом для решения разнообразных задач, начиная от оптимизации бизнес-процессов до анализа сложных структур данных. В контексте графовой т...

Сравнительный анализ методов аппроксимации на основе SQL-запросов При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), г...

Простая архитектура с использованием MVVM и делегатов в Android. Оптимальное решение для малых проектов В этой статье мы рассмотрим, как создать простую архитектуру Android, используя паттерн MVVM (Model-View-ViewModel) и делегаты для эффективного управления состоянием. Читать далее

Может ли ChatGPT заменить визит к врачу? Проверяем эффективность ChatGPT в определении диагноза и выборе лечения Сейчас люди многие важные проблемы решают с использованием сил искусственного интеллекта, однако вопросы здоровья всегда стоят остро и требуют большей квалификации.Возможно ли заменить визит к врачу обращением к ChatGPT? Наверняка у многих есть плачевный опыт использования G...

[recovery mode] Подкрепляем полезные привычки Этот текст (не осмелюсь назвать «статьей») стал побочным продуктом моего «грандиозного» замысла — попытки пересказать понятным языком содержание одного из эпизодов The Huberman Lab podcast, который «Как ставить цели и достигать их». И, как все прочие эпиз...

Бенчмарк HTML парсеров в Python: сравнение скорости Привет, Хабр!Меня зовут Вадим Москаленко и я разработчик инновационных технологий Страхового Дома ВСК. В этой статье хочу поделиться с вами информацией по проведенному сравнению производительности нескольких популярных библиотек для простого HTML-парсинга.При необходимости с...

Основы Actor-Critic алгоритма Привет, Хабр!Actor-Critic — это класс алгоритмов в RL, суть которого довольно проста на словах, он сочетает в себе такие полтики как policy-based и оценки value-based. У нас есть два главных действующих лица: Actor и Critic. Actor отвечает за выбор действий, т.е формирование...

LOD-ка, или один из способов «потопить» проект Представьте себе, что вы пытаетесь перевести строительные материалы для вашего дома мечты на обычной лодке, пусть даже с мотором из точки А в точку Б.  Хочется закончить работу как можно быстрее, и вы нагружаете лодку под завязку. Отплываете, и вдруг , из-за набежавшей ...

LLMClone: как клонировать себя в Telegram У меня, как и у многих, довольно много чатов в телеграмме. Иногда просто нет времени (а иногда и не хочется) отвечать на некоторые сообщения. Именно так возникла идея создания виртуального клона. В статье рассматривается простая идея, состоящая в том, чтобы зафайнтюнить язык...

Обзор Simulator — платформы для обучения инженеров безопасности Kubernetes с помощью CTF-сценариев Ранее мы делали обзор инструментов для оценки безопасности кластера Kubernetes. Но что, если нам нужно обучить инженеров основам безопасности Kubernetes на реальных примерах и автоматизировать этот процесс? Недавно компания ControlPlane, специализирующаяся на Cloud Native-ре...

Начало мая 2024 года ознаменовалось 60-летием языка программирования BASIC. В честь этого события несколько проектов FOSS BASIC выпустили новые версии Язык программирования BASIC, созданный более 60 лет назад для обучения начинающих программистов, до сих пор жив и развивается. В мае 2024 года легендарный язык отметил свой 60-летний юбилей, и сообщество разработчиков решило отпраздновать это событие по-особенному. Неск...

Уникальная GeForce RTX 4060 Ti Colorful позирует вживую. Она занимает лишь один слот Типичная GeForce RTX 4060 Ti любого производителя имеет два вентилятора и в корпусе ПК занимает пространство двух слотов, но Colorful подготовила спецверсию ускорителя – особо тонкую. Название модели пока не сообщается, зато есть фото: хорошо видно, что инженеры C...

Курс «PostgreSQL для начинающих»: #1 — Основы SQL Этим постом я запускаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".В программе: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительно...

Алгоритмы не важны Прошу простить заранее за несколько кликбейтный заголовок )Не так давно писал в соцсетях хейт‑пост по поводу «алгоритмических секций» при приёме на работу в Яндекс.Да и многие другие софтверные компании это практикуют и считают навыки ...

Техники usability — как проектировать сложные системы, чтобы они стали простыми для использования Существует заблуждение, что дизайн — это вопрос вкуса, и у него нет объективных критериев оценки. Но не стоит забывать об условиях использования приложения. Например, таких факторах, как шум, низкое качество, старое тормозное оборудование или программное обеспечение, огранич...

Нужен телефон с хорошей камерой? Выбирайте один из этих Сегодня голосовая связь практически отходит на второй план при выборе подходящего флагманского устройства. На смену ей пришло качество камеры, ставшее одним из главных факторов при покупке телефона. Производители делают все возможное, чтобы поместить передовые сенсоры в, ка...

Давайте наконец-то поймем кватернионы (объясняю суть, +видеоурок) В данной работе я предлагаю попробовать понять как действуют кватернионы. Шаг за шагом, начиная с простой очевидной геометрии, без гэпов в духе: "вот вам готовый математический объект, пользуйтесь".Кватернионы - прекрасный инструмент описания поворотов в трехмерном пространс...

[Перевод] Исследование режима Copy-on-Write в pandas. Часть 2 В первом материале из этой серии была объяснена работа механизма Copy‑on‑Write (CoW, копирование при записи). Там были упомянуты некоторые ситуации, в которых при выполнении кода осуществляется копирование данных. В этой статье речь по...

Запускаем локальный ML-процесс в облаке с помощью DataSphere Jobs В сообществе ML-инженеров и дата-сайентистов популярны инструменты с быстрой обратной связью наподобие JupyterLab — они помогают легко и без лишних обвязок проверять гипотезы или создавать прототипы. Но довольно часто бывает, что при разработке ML-пайплайна, будь то инференс...

[Перевод] О Prepare statements, серверном кэше скомпилированных запросов или как эффективно кэшировать запросы в YDB Существуют различные способы снижения стоимости выполнения SQL-запросов в современных СУБД. Наиболее распространенными подходами являются использование подготовленных запросы и кэширование. Оба метода доступны в YDB.Кэширование запросов позволяет ско...

Способы обхода GIL для повышения производительности Привет, Хабр!Global Interpreter Lock в Питоне предотвращающает одновременное выполнение нескольких потоков в одном процессе интерпретатора Python. Т.е даже на многоядерном процессоре многопоточные Python‑приложения будут выполняться только в одном потоке ...

Async/Await из C#. Головоломка для разработчиков компилятора и для нас Я рискну все таки продолжить изложение своего понимания Поста: How Async/Await Really Works in C#, которое в предыдущей статье получило название “ортогональный взгляд”. Также, недавно мы познакомились (возможно несколько преждевременно) с изначальным определением концепции S...

[Перевод] Исследователи с DESI составили самую большую трёхмерную карту нашей Вселенной С помощью 5 000 крошечных роботов в телескопе, расположенном на вершине горы, исследователи могут заглянуть на 11 миллиардов лет в прошлое. Свет от далёких космических объектов только сейчас достигает спектроскопического прибора Dark Energy Spectroscopic Instrument (DESI), п...

Как учить большие языковые модели (теоретический туториал) Обзорное видео с доклада об особенностях обучения LLM для тех, кто в теме ML/DL, но хочет расширить кругозор в области работы с большими языковыми моделями. На основе личного опыта и обзора множества научных статей и инструментов. Ссылка на презентацию прилагается. Смотреть

Агротех на телефоне: Гана, или фермеры, у которых нет Интернета, но есть ИИ Мы продолжаем серию публикаций об агротехнологиях и их развитии в других странах. В предыдущих статьях (посвященных сельхозинновациям в Бразилии, Саудовской Аравии, ОАЭ, Сингапуре) почти всегда упоминалась колоссальная поддержка государства или компании в...

Deta хочет создать первый персональный компьютер в облаке Deta, расположенная в Берлине, стремится переосмыслить персональные компьютеры с помощью своего продукта под названием Space OS. Соучредитель и генеральный директор Мустафа Абдельхаи (Mustafa Abdelhai) планирует перейти от нынешней модели облачных вычислений к более персонал...

GigaChat и русский жестовый язык Всем привет! Меня зовут Капитанов Александр, я отвечаю за направление компьютерного зрения в SberDevices. В этой статье я расскажу о том, как моя команда Vision RnD разработала серию моделей SignFlow, обеспечивающих перевод с жестового языка на русский и американский английс...

3 немного странных, но рабочих способа проверить, продаёт ли ваш текст Продолжаем рассказывать, как разработчику, менеджеру или дизайнеру привлечь внимание с помощью текста. Обойдёмся без очевидных советов и заумных слов — только простые советы и море примеров. Читать далее

Арифмометр Чебышёва: первая отечественная счетная машина с непрерывным движением Углубившись в историю вычислительных машин мы узнали, как работают арифмометры Лейбница и Однера. Сегодня предлагаем обратить взор на арифмометр, не получивший коммерческую успешность, поскольку сам его создатель не ставил такую цель. Речь пойдет про...

Зачем делать новый язык программирования? Когда в публичном пространстве появляется информация о новом языке программирования, поднимается волна неприятия. Негатива столько, что хоть святых выноси!Причин у этого явления много и, скорее всего, сделать с ним ничего нельзя, такова уж челов...

Это Redmi K70, и он будет мощнее Xiaomi 14 Pro. Старший вице-президент Xiaomi показал новый флагман Redmi Сегодня MediaTek официально представила флагманскую однокристальную систему Dimensity 9300. На мероприятии участвовали многие топ-менеджеры от производителей смартфонов, Xiaomi представлял старший вице-президент Цзэн Сюэчжун (Zeng Xuezhong). И он совершенно неожиданно д...

Как «подправить» неправильные судоку. Алгоритм решения судоку, использующий систему ограничений Разобран алгоритм, ориентированный главным образом на решение неправильных судоку (9х9), и на примерах показано, как можно их «подправить».Правильное судоку имеет единственное решение, которое печатается, например, в газетах в виде одной заполненной цифра...

[Перевод] Новое в SQL Server 2022: Get more out of Reporting Services with an improved user experience В новой версии SSRS мы проделали значительную работу по обеспечению лучшего уровня доступности, и добавили новые возможности, которые включают в себя:• Расширенную поддержку Windows Narrator1 для новых клиентских операционных систем Windows и Windows Server.• ...

Топовые RPG для Android, в которые можно играть бесплатно Нет ничего лучше, чем свободным зимним вечером погрузиться в хорошую ролевую игру. А еще лучше, если она может затянуть вас на несколько недель. Чтобы вам было проще что-то выбрать, мы еженедельно выбираем для вас самые интересные тайтлы. Вам надо будет только выбрать что-т...

Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...

Интервью с кристаллографом, химиком, материаловедом Артёмом Огановым о деталях премии «Вызов» Информационная служба Хабра в конце ноября 2023 года побывала на пресс‑конференции, посвящённой премии в области будущих технологий «Вызов». Напомню, премия была учреждена в июле 2023 года на Форуме будущих технологий, проходившем в&nb...

[Перевод] О странной фаллоцентричности модели GPT-J TL;DR Статья посвящена находкам, описанным в моих постах Mapping the Semantic Void, часть I и II. Создав специальный эмбеддинг в центроиде токенов (векторе средних значений всех 50257 эмбеддингов токенов GPT-J ), при помощи промта приказав модели определить ег...

Совместная работа в реальном времени: алгоритмы, редакторы и облако Сегодня никого не удивляет онлайн редактирование общего документа, файла или базы данных. Но под капотом сервисов параллельной работы с данными находится большая история. И эта история еще далека от завершения. До облачной синхронизации и онлайн-редакторов сотрудники др...

Космический телескоп JWST обнаружил необычно яркое сияние у 90% ранних галактик Обнаружение ярко светящегося газа вокруг 90% ранних галактик Вселенной, основанное на данных космического телескопа «Джеймс Уэбб», представляет собой интересную находку для астрономов: такие галактики оказались ярче, чем ожидалось. Используя космический теле...

Яндекс запустил Нейро. Рассказываем, как он работает Сегодня мы запустили новый сервис Нейро — новый способ поиска ответов на вопросы. Пользователь может задать Нейро любой вопрос, а тот сам подберёт подходящие материалы в Поиске, проанализирует их и соберёт найденную информацию в одном ответе, подкрепив его ссылками на источн...

Что такое продуктовый подход и особенности использования его элементов в государственном банке Привет, Хабр! Меня зовут Олег Брандин, я главный архитектор в РСХБ‑Интех. Сегодня расскажу вам свое понимание пути от ИТ‑стратегии и ЦиЗ СЦТ (Цели и задачи Стратегии цифровой трансформации) до формирования продуктовой команды и защиты бюджета в реалиях го...

Задача готова! Или нет? Definition of Done и зачем он нужен Менеджер: Эта задача готова?Разработчик: Да.Менеджер: Давайте катить на пользователей?Разработчик: Давайте.Менеджер: Что‑то не вижу функциональности на продакшене?Разработчик: Ну, нам нужно еще пару дней — пройти код‑ревью, подождать, чтобы QA протестиров...

Space VDI: обзор возможностей, тонкости настройки, особенности Все больше российских компаний внедряют у себя виртуальные рабочие столы, и тому есть несколько причин. Во-первых, это обеспечивает высокую степень непрерывности и гибкости бизнеса. Во-вторых, с помощью виртуальных рабочих столов гораздо проще управлять инфраструктурой и под...

Учись сейчас, плати потом 2 года Чуть больше месяца назад в нашего бота для обратной связи написал человек, который собирался сменить профессию на айтишную. Он поделился с нами интересным договором на обучение на ручного тестировщика, который ему предложили подписать в «Ката Академи...

Microsoft представила облегчённую языковую модель Phi-3 Mini, сопоставимую с GPT-3.5 в ряде задач Microsoft представила облегченную языковую модель искусственного интеллекта под названием Phi-3 Mini, которая, несмотря на свои скромные размеры, способна обеспечить результаты на уровне GPT-3.5 в ряде задач. Согласно описанию в исследовательском документе, модель Phi-3 Min...

Робот с ИИ совершил прорыв в химическом синтезе Группа химиков из Амстердамского университета разработала автономного робота для химического синтеза под названием RoboChem, который способен превзойти химиков-людей по скорости, точности и изобретательности. Робот оснащен блоком машинного обучения на основе искусственного и...

Можно ли научить чат-бота всегда говорить правду. Часть 2 Эта статья является продолжением анализа существующих способов устранения галлюцинаций чат-ботов и повышения точности их ответа. В прошлый раз был разбор того, как оценивать точность в процессе диалога, а сегодня мы поговорим о методах, которые из научного сообщества уже про...

Многоклассовая и многозадачная классификация Многоклассовая и многозадачная классификация обладают огромным потенциалом для решения разнообразных задач. Для того чтобы правильно понять их значимость, давайте разберемся, в чем заключается необходимость в этих двух подходах.Многоклассовая классификация - это способность ...

[Перевод] Пишем графический ASCII-калькулятор с помощью стандартной библиотеки Си Программа calculator.c родилась как школьный проект в рамках Student Innovation Scholarship. Сперва я решил написать простой инструмент для построения графиков функций с помощью символов ASCII, но после завершения первого прототипа понял, что задача намного сложнее, чем пре...

битрикс24 продажи и внедрение Битрикс- это платформа для управления бизнесом, которая предлагает широкий спектр инструментов и функций для продаж и внедрения. Она помогает организациям эффективно управлять процессами продаж, взаимодействовать с клиентами и автоматизировать бизнес-процессы. Вот некоторые...

Как вырастить ИТшника или принстонский Computer Science для школьников Сегодня школьникам разных возрастов предлагается большое количество вариантов реализовать свои навыки программирования: от участия в олимпиадах по информатике и разработки приложений и игр до освоения модных технологий, таких как машинное обучение, и...

Первый анонс-предвестник Galaxy S24: Samsung представила свой генеративный ИИ под названием Gauss Компания Samsung Electronics проводит сейчас форум Samsung AI Forum 2023, где сделала интересный анонс. На форуме была представлена Samsung Gauss — генеративная модель искусственного интеллекта, разработанная исследовательским центром Samsung Research. Неофициаль...

[Перевод] Rust — лучший язык для инфраструктуры данных Мир технологий бесконечно цикличен, и за последние несколько лет произошел еще один поворот колеса. Такие проекты, как ScyllaDB и Redpanda, добились успеха, переписав системы с Java (Cassandra и Kafka соответственно) на C++ для повышения производител...

Backblaze: надёжность жёстких дисков падает год от года. Это актуально для HDD большинства производителей Компания Backblaze, провайдер облачных сервисов, регулярно публикует отчёты о выходе из строя жёстких дисков, находящихся у неё в эксплуатации. HDD — сотни тысяч, поэтому статистика получается интересной. Правда, обычно такие отчёты выглядят более-менее одинаково: какие-то м...

Первая в России нейросеть для генерации полноценного видео: Сбер представил Kandinsky Video Команда Сбербанка представила свою новую разработку в области нейросетей. Как отмечает пресс-служба, Kandinsky Video стала первой в России генеративной моделью для создания полноценных видеороликов по текстовому описанию.  Пример видеоролика от Kandinsky Video. Ил...

Лучшие модели ИИ провалили тесты по основам грамматики Учёные из Университета Ровиры и Вирхилия и Барселонского университета в Испании провели исследование с участием людей и «продвинутых» моделей ИИ, основанных на больших языковых моделях, которые считаются лучшими, включая GPT.

Opera получает возможность загружать и запускать большие языковые модели Интеллектуальный алгоритм работает локально, не требуя отправки данных на внешние серверы

В Китае в продаже появились «игровые» GeForce RTX 3080 20GB и Radeon RX 580 16 ГБ Китайские магазины наводнили игровые видеокарты, которые никогда не выпускались для игр. Речь о GeForce RTX 3080 20GB и Radeon RX 580 16 ГБ. Эти ускорители раньше использовались для майнинга, но бум развития систем ИИ, требующий большого количества видеокарт, привел к ...

CTO Huawei Cloud Бруно Чжан: создание основ интеллектуального облака для операторов   На мероприятии Huawei Product & Solution Launch 2024 в ходе форума MWC Barcelona 2024 Бруно Чжан (Bruno Zhang), технический директор Huawei Cloud, заявил: «Huawei Cloud стремится создать основу интеллектуального облака для телекоммуникационной отрасли и ускорить развитие...

Мои советы после 20 лет в программировании Сегодня ровно 20 лет, как я начал программировать профессионально. За эти годы я:- Получил одобрение на петицию по грин‑карте за выдающиеся способности в науке.- Стал Google Developer Expert.- Стал IEEE Senior Member.- Был операционным директоро...

[Перевод] Введение в Чистую архитектуру через 6 кругов рефакторинга Разделяй и влавствуй, или как провести клининг легаси-кода GoLang.Этот пост является частью большого цикла статей, в которых мы демонстрируем, как создавать приложения на Go, которые легко разрабатывать, поддерживать и с которыми приятно работать в д...

MERA — инструктивный бенчмарк для оценки фундаментальных моделей Оценка ИИ — комплексная, сложная, но невероятно важная задача. Для тестирования моделей обычно используют бенчмарки — набор сложных заданий, решив которые, можно оценить способности языковых моделей. Благодаря бенчмаркам пользователи могут получить метрики по разным задачам ...

Быстрее в 10 раз: новая версия нейросети Kandinsky Сбера доступна всем пользователям Команда СберБанка поделилась свежими новостями о развитии проекта фирменной нейросети — бесплатной генеративной модели Kandinsky, которая создаёт изображения по текстовому описанию на русском и английском языках. Обновлённая версия Kandinsky 3.1 теперь стала досту...

Продолжаем глубже изучать передачу данных по сетям GSM через GRPS с помощью SIM868 и Repka Pi — про AT-команды  В предыдущей статье мы рассказали, как с помощью модуля GSM/GPRS/GNSS Bluetooth HAT, созданного на базе SIM868, библиотек SIM800L, RoverConnect и Telemetry можно обмениваться данными между микрокомпьютером Repka Pi с JSON-сервисом, доступным в интернете.Мы привели исхо...

Простейшая нейронная сеть, мой опыт и выводы Мой маленький шажок на пути подготовки к написанию шахматного движка. Написание простейшей нейронной сети, выяснение, что это за зверь такой. Читать далее

Настраиваем серверные платформы с помощью PowerShell-модуля: от проверки конфигурации до монтирования образа Привет! Меня зовут Константин, я ведущий инженер по разработке ПО в компании YADRO. Разрабатываю инструменты сопровождения оборудования, которое мы производим, в том числе серверов линейки VEGMAN. Один из таких инструментов — специальный модуль для PowerShell, кото...

Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий Привет, Хабр! Миграция баз данных из одной СУБД в другую представляет собой особо сложную задачу, требующую тщательного планирования, подготовки и исполнения. В 2023 году в Сбербанке завершился масштабный проект по миграции крупного аналитического хранилища данных с платформ...

JIRA + AI = LOVE или Как Product manager-у найти друзей и перестать страдать Развитие AI-инструментов на базе современных LLM запустило в последние годы тренд на автоматизацию всего, что прибито меньше, чем на 2 гвоздя, и первыми адоптерами здесь традиционно выступает IT сообщество. Как Луи Пастер некогда ставил себе и друзьям намешанные на голой кол...

Яндекс подготовит на треть больше высококлассных специалистов по ИИ ШАД готовит специалистов в области машинного обучения и анализа данных, спрос на которых постоянно растёт в связи с развитием технологий ИИ.

Addiator или арифметика на шести рейках Довольно случайно соприкоснувшись с механическими калькуляторами, я заинтересовался темой и понял, что она заслуживает некоторого внимания даже в наши дни. Я это говорю не как настоящий энтузиаст, досконально разбирающийся в этих устройствах, а всего лишь как начинающий колл...

Пишем чат-бот для работы с PDF Популярность языковых моделей, в частности ChatGPT, растет в геометрической прогрессии, но многие из нас все еще сталкивается с определенными ограничениями, такими как устаревшая информация, которые OpenAI пока что не смогла преодолеть.Но задумывались вы над тем, чтобы задав...

Почему главная функция iOS 18 не появится на старых Айфонах и что это будет Уже ни для кого не секрет, что в iOS 18 будет интегрирован искусственный интеллект. Большая часть функций, которые появятся в новой версии операционной системы Apple, будет завязана именно на его возможностях. Однако всё может испортить скорость работы. Если iPhone будет ис...

OnePlus 12 установил рекорд производительности в AnTuTu Инсайдер Digital Chat Station опубликовал фото пока еще не представленного официально OnePlus 12 с результатом теста AnTuTu. И результат этот впечатляет: 2,333 млн баллов – на текущий момент это рекорд для моделей на SoC Snapdragon 8 Gen 3. При этом нужно отметит...

Юнит-тесты: чек-лист методик проектирования Привет, Хабр! Меня зовут Василий Косарев, я Java‑разработчик в CDEK. Много раз мы слышали о необходимости писать модульные тесты, о том, что весь код должен быть ими покрыт. При этом мне не встречалось списка: какие именно методики лучше ис...

Нейросетевая революция в метеорологии. Как машинное обучение может навсегда изменить прогноз погоды 14 ноября 2023 года команда Google Deepmind официально представила мировой общественности свою модель прогнозирования погоды – GraphCast. Её особенность заключается в том, что она способна рассчитывать погоду на 10 дней вперёд без понимания «физики» атмосферных процессов. Уч...

[Перевод] Внутренние стремления и внешние злоупотребления — переплетённые риски ИИ С учётом того, насколько они будут способными, будущие ИИ‑системы смогут представлять серьёзные риски для общества. Некоторые из рисков исходят от того, что люди будут использовать ИИ в плохих целях (злоупотребление). А некоторые — от&...

Как офисное освещение влияет на продуктивность Самочувствие человека неразрывно связано с освещением с тех пор, как наши предки проводили целые дни на открытой местности, занимаясь охотой и собирательством. В течение дня человеческий организм находится в непрерывном контакте со световым окру...

Как System/360 спасла IBM и переписала историю вычислений 7 апреля 1964 года, шестьдесят лет назад, компания IBM анонсировала семейство компьютеров с архитектурой IBM System/360. Автор книги «От хорошего к великому» Джим Коллинз включил System/360 в тройку лучших бизнес-достижений всех времен, наряду с моделью T Форда и первым...

Правильный подход к модульной архитектуре Эта статья строится на двух простых идеях:• Каждое решение при проектировании программного продукта определяет пространство возможных вариантов на более поздних этапах. Это критически важно для понимания того, как и в какой последовательности стоит подходить к принятию ...

Технология единого входа: как работает SSO Привет, Хабр!Казалось бы, что может быть проще, чем один вход для всех сервисов? Но за этой кажущейся простотой скрываются сложные технические детали.Концепция SSO не появилась вчера, она развивалась на протяжении многих лет. Эта идея начала набирать обороты в эпоху, когда и...

Самый простой гайд по созданию бота для анализа сообщений в Telegram Есть Telegram-каналы, которые отслеживают определенные события в мире. А мы следим за их сообщениями, чтобы не упустить ничего важного. Если собирать и анализировать данные вручную, процесс будет отнимать много времени и требовать высокой концентрации от человека. Чтобы реш...

Новый ИИ-инструмент Google Genie поможет создать простую видеоигру Новая модель искусственного интеллекта Google Genie может произвести революцию в игровой индустрии. Модель предназначена для создания простых 2D-игр.

Многорукие бандиты в задаче ритейла В настоящее время набирают популярность модели Reinforcement Learning для решения прикладных задач бизнеса. В этой статье мы рассмотрим подмножество этих моделей, а именно многоруких бандитов (multi-armed bandits). Также мы:- обсудим, какие задачи теоретически могут быт...

Астрономы собрали самую подробную карту ранней Вселенной С помощью спектроскопического инструмента тёмной энергии DESI учёные смогли заглянуть в прошлое Вселенной на 11 миллиардов лет. DESI, установленный на вершине горы, собирает свет от удалённых объектов, который только сейчас достигает нас. Данные позволили составить наиб...

Внесение ПО в реестр российских программ изменится По крайней мере так утверждают источники «Коммерсанта» в министерстве. Рассмотрим в статье насколько выполнимы требования, которые планируется ввести.Минцифры России в настоящее время совместно с отечественными разработчиками программного обеспечения...

Может ли супер ИИ появиться уже в 2027 году? Некоторые исследователи полагают, что общий ИИ может появиться уже в 2027 году Искусственный интеллект развивается семимильными шагами, что вызывает беспокойство не только у рядовых пользователей сети, но и у некоторых ученых. Так, недавно мы рассказывали о новом чат-боте Mi...

SAGE: коррекция орфографии с помощью языковых моделей Коррекция правописания является одной из основополагающих задач в области Natural Language Processing (NLP). Достаточно прозаичная формулировка и кажущаяся жёсткой структура орфографической системы скрывают под собой нетривиальные внутриязыковые взаимодействия, являющиеся тр...

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Торговать на зарубежных брокерских счетах снова можно, но только если вы расскажете о них налоговой С марта 2023 года российское инвестиционное сообщество оказалось расколото: одни юристы настаивали на том, что сделки с бумагами на зарубежных счетах оказались под запретом, другие считали, что это не так. Новый указ от 08.11.2023 ставит в этом вопросе точку – в данной стать...

Как начать писать на Java в VSCode Давайте признаемся: подавляющее большинство пишет Java код, используя JetBrains IntelliJ IDEA Ultimate. Да, это отличная IDE. Для нее есть большое количество расширений, среда очень тесно интегрируется с Spring Framework и знает его особенности.Тогда зачем пробоват...

GET запросы на практике: правила, принципы и примеры Я думаю, что вы не раз уже гуглили, заглядывали в статьи, манифесты IT-гигантов о лучших практиках проектирования API. Я тоже.Но в большинстве из них всё ограничивается описанием URL ресурса, мотивацией использовать пагинацию, сложными словами про кэширование и SSL. Это, без...

Разработка тензорного компилятора под RISC-V CPU с помощью OpenVINO и MLIR Привет, Хабр! Меня зовут Владислав Виноградов, я инженер группы исследований и разработки ПО глубокого обучения в YADRO. Моя команда создает и оптимизирует связанное с искусственным интеллектом программное обеспечение. Сегодня я расскажу, как можно разработать тензорный комп...

[Перевод] Самая сложная часть создания программного обеспечения — это не написание кода, а сбор требований Несмотря на все статьи о том, насколько удивительными были все разработки в области искусственного интеллекта, многие страдают от возможности того, что мы, как разработчики программного обеспечения, вскоре можем остаться без работы, и их заменит искусственный интеллект. Они ...

Бесплатные курсы для изучения SQL в 2024 году Изучение SQL в 2024 году остается важным для по нескольким причинам:1. Широкое применение: SQL является стандартным языком для работы с реляционными базами данных, которые широко используются в различных отраслях. Большинство предприятий и организаций все еще хранят свои дан...

MATLAB Simulink и SimInTech на MacBook Pro M2 Max Абсолютно дилетантское сравнение MacBooк на процессоре Apple M2 Max с другими хорошими компьютерами.Процессор MacBooк на процессоре M2, доступен уже достаточно давно. Обзоров производительности уже достаточно много. Но вот тестирование на п...

Илон Маск заявил, что для обучения языковой модели Grok 3 понадобится около 100 000 ускорителей Nvidia H100 Илон Маск рассказал, что для обучения нового поколения генеративного искусственного интеллекта Grok компании xAI нужно очень много ускорителей Nvidia.  фото: Nvidia Обучение модели Grok 2, которая уже вскоре станет доступно, потребовало 20 000 ускорителей Nvidia H...

Септик и автономная канализация. Часть 1. Основы Канализация является крайне важной системой современного дома, однако при этом она незаслуженно обходится вниманием. Если нет централизованной канализации, то возникает необходимость строительства автономной канализации, что является сложной технической задачей. Многие знают...

Немного об испарении Хокинга Несмотря на большой интерес к этой теме очень многие источники и практически все научно популярные неверно объясняют это явление. Причина в том, что первоначально некорректную эвристическую интерпретацию своего открытия привел сам С. Хокинг, а именно...

Брендинг в IT-Agency — это не только брендбук или айдентика, а все шаги от исследования рынка до продвижения бренда В IT-Agency появилось новое направление — брендинг. В нашем понимании это комплекс услуг по созданию и продвижению бренда в одном окне.

У iPhone 15 Pro стали вздуваться аккумуляторы С момента начала продаж iPhone 15 в сети активно обсуждают заметный нагрев новых яблочных смартфонов. По словам пользователей, аппараты могут нагреваться до 46-50 градусов. На данный момент существует несколько версий, которые объясняют перегрев устройств. Ни одна из них офи...

Почему инфраструктура big tech обычно состоит из самописных решений Привет! Предлагаю поговорить о том, почему крупные IT‑компании так любят создавать в своей инфраструктуре собственные решения. Казалось бы, напрашивается ответ: NIH‑синдром и ничего более. Но такой ответ вряд ли может считаться сколько-нибудь полным,...

[Перевод] Почему Facebook* не использует Git Я работаю над созданием Graphite, источником вдохновения для которого стал внутренний инструментарий Facebook. Когда я решил создать стартап с друзьями, то никогда раньше не слышал о Mercurial, хотя всегда страстно любил инструменты разработчика. Мой предыдущий опыт разработ...

Гармония танцующих  линий Китайское письмо - один из  древнейших видов письменности на земле. Открытие и дальнейшее развитие иероглифов, лежащих в основе этого древнейшего государства,  оказало огромнейшее  влияние на всю мировую цивилизацию,  в прошлом, настоящем и, несомненно, б...

Солнце горит во мне: обновление Яндекс Музыки, о котором стоит знать Сегодня, 1 декабря 2023 года, вышло масштабное обновление для сервиса Яндекс Музыка. Коротко и по существу:• Еще более точная «Моя волна» с новой моделью рекомендаций• Персонализация интерфейса• Новый брендинг, отражающий новое понимание миссии Яндекс МузыкиОткуда точность? ...

Личный прокси для чайников: универсальный обход цензуры с помощью VPS, 3X-UI, Reality/CDN и Warp На фоне прошлогоднего обострения цензуры в РФ, статьи автора MiraclePTR стали глотком свободы для многих русскоязычных айтишников. Я же хочу приоткрыть дверь к свободной информации чуть шире и пригласить "не-технарей" («чайников»), желающих подн...

Гидрогель и табак: синтез живых материалов Для создания чего-либо нужны соответствующие материалы, обладающие необходимыми химическими и физическими свойствами. Если же есть необходимость наделить материал свойствами, которыми он не мог обладать в своем первичном виде, необходимо заставить его структуру меняться в ...

Обзор часов HUAWEI WATCH GT 4 В октябре 2023 года ко мне на обзор попали умные часы от Huawei — HUAWEI WATCH GT 4 46 mm. Я немного затянул с обзором, но зато девайсом я пользовался много. Сравнивал я с Apple Watch 2021 и браслетом Mi Band 7 от X...

Как мы с помощью ML вылечили проблему, не дававшую перейти на автомаршрутизацию курьеров Привет, Хабр! Меня зовут Наталья Макарова, я ведущий разработчик команды геоданных в CDEK. В этой статье расскажу, как мы с помощью ML решили проблему, не дававшую нашей компании перейти на автоматическую маршрутизацию курьеров. Мы умеем отслежи...

Не только BMW ломает iPhone 15 и iPhone 15 Pro: беспроводная зарядка в машинах Toyota тоже может отключить NFC в смартфонах Apple Apple признала проблему, о которой стало известно в начале месяца: беспроводные зарядки в автомобилях BMW выводили из строя чип NFC, интегрированный в смартфон. Сейчас появилось гораздо больше подробностей на этот счет. В уведомлении для авторизованных сервисных центро...

Рост рекламного рынка радио стал «чёрным лебедем» медиаиндустрии 2023 года На XIII Международной конференции «Радио в глобальной медиаконкуренции» вице-президент РАР и заместитель генерального директора «Газпром-Медиа Холдинга» Юлия Голубева выступила модератором сессии «„Чёрный лебедь — 2023“ на рекламном рынке ра...

Ученые приоткрывают завесу тайны над «палиндромной природой» гамма-всплесков Гамма-всплески – одни из самых ярких и энергичных явлений, наблюдаемых астрономами. Всего за несколько секунд такой всплеск способен высвободить количество энергии, превышающее излучение нашего Солнца за миллиарды лет существования. Учёные предполагают, что столь ...

Почему безопасник должен расти из программиста По каждому из направлений в ИТ есть свои так называемые «приколы» и особенности в части поиска и обучения сотрудников, взаимодействия с софтом, заказчиками и так далее. В моей области, то есть в области информационной безопасности, все еще ...

Извлечение максимальной ценности из облачных сервисов в эпоху ИИ В связи с неуклонным появлением новых облачных сервисов крайне важно постоянно оценивать, в каких областях поставщики облачных услуг могут привнести новую ценность, пишет на портале InformationWeek Раду Вунвулеа, руководитель ...

[Перевод] История терминала как инструмент продуктивности Если вы достаточно часто работаете в командной оболочке/терминале — это значит, что со временем история команд станет вашим личным хранилищем знаний, вашим справочником по командам и по документации. Возможность эффективно пользоваться этим ...

Как провести исследование рынка и продукта с помощью ChatGPT в 2024 году? Список ключевых промтов для продакт-менеджеров 2023 год стал годом взрыва искусственного интеллекта. Я спрашиваю почти каждого менеджера по работе, с которым встречаюсь, используют ли они ChatGPT в своей повседневной работе: половина отвечает, что да. Однако для многих до сих пор ChatGPT является темным лесом, хотя иссл...

Представлен Nothing Phone (2a) – прозрачный смартфон за $289 Nothing официально анонсировала свой новый смартфон Nothing Phone (2a). Новинка отличается хорошей производительностью и отличными возможностями камеры. В настоящее время это наиболее доступная модель бренда. Смартфон оказался лучше Phone (1), но проще Phone (2). …

Основы Event Loop в JavaScript В JS Event Loop позволяет непрерывно проверять, есть ли в очереди задачи, и, когда стек вызовов пуст, передавать эти задачи на выполнение. Таким образом, долгие операции не мешают продолжению выполнения кода. Именно благодаря Event Loop приложение мо...

[recovery mode] Дороги Анны Фирлинг, и куда они ведут Посвящается прекрасной истории про AES256 / SFR и RDA/RDS, и таки скромном заработке людей на небольшой разнице MAES-512/xor49 и AES256. Но о нем ничего не говорится в этой саге.Вместо предисловияДобрый день. Развернул у себя openstack...

C3D Collision Detection: представление детектора столкновений в составе C3D Toolkit Сергей Белёв, старший математик‑программист, C3D Labs, знакомит с новым компонентом C3D Toolkit — модулем C3D Collision Detection, рассказывает о том, что детектор столкновений представляет собой изнутри, и о том, какие возможности он предоставляет п...

[Перевод] Разработка SQL Expert Bot: подробный гайд по использованию Vercel AI SDK и API OpenAI OpenAI заложила фундамент для революции в сфере искусственного интеллекта с появлением ChatGPT, открывая новую эру в области AI, которую активно используют как отдельные люди, так и бизнес‑сообщества. OpenAI даже предоставила API для разработки ...

Компиляция Record для Android В Android Developers Blog выходила статья Records in Android Studio Flamingo о том как компиляторы R8/D8 преобразуют классы java.lang.Record. В ней рассказывается как добиться минификации компонентов toString() у Kotlin data-классов. Меня заинтересовала эта тема и я решил чу...