Социальные сети Рунета
Пятница, 22 октября 2021

Обучение универсальной модели NLU c BERT и Multitask Learning В современной компьютерной лингвистике понимание смысла написанного или сказанного достигается с помощью моделей естественного языка (NLU). С постепенным ростом аудитории виртуальных ассистентов Салют встает вопрос об оптимизации наших сервисов, работающих с естественным яз...

Как улучшить распознавание русской речи до 3% WER с помощью открытых данных Меня зовут Николай, когда в 2009 году я защищал диссертацию по распознаванию речи, скептики мне говорили, что слишком поздно, так как Microsoft и Google уже “всё сделали”. Сейчас в SberDevices я обучаю модели распознавания речи, которые используются в семействе виртуальных а...

30 миллиардов параметров: реально ли обучить русский GPT-3 в «домашних» условиях? Не так давно Сбер, а затем и Яндекс объявили о создании сверхбольших русских языковых моделей, похожих на GPT-3. Они не только генерируют правдоподобный текст (статьи, песни, блоги и т. п.), но и решают много разнообразных задач, причем эти задачи зачастую можно ставить...

[Перевод] BERT, ELMO и Ко в картинках (как в NLP пришло трансферное обучение) 2018 год стал переломной точкой для развития моделей машинного обучения, направленных на решение задач обработки текста (или, что более корректно, обработки естественного языка (Natural Language Processing, NLP)). Быстро растет концептуальное понимание того, как представлять...

Event2Mind для русского языка. Как мы обучили модель читать между строк и понимать намерения собеседника Умение модели распознавать намерения собеседника, то есть понимать зачем человек совершил то или иное действие, применимо в большом числе прикладных NLP-задач. К примеру, чат-ботам, голосовым помощникам и другим диалоговые системам это позволит эмоционально реагировать на вы...

DeepPavlov: «Keras» для обработки естественного языка помогает отвечать на вопросы про COVID-2019 В такой области глубокого обучения, как обработка изображений, библиотека Keras играет ключевую роль, радикально упрощая обучение transfer learning и использование предварительно обученных моделей. В области обработки естественного языка (NLP) для решения достаточно сложных ...

[Перевод] Более эффективное предварительное обучение NLP моделей с ELECTRA Последние разработки в области предварительного обучения языковых моделей привели к значительным успехам в сфере обработки естественного языка (Natural Language Processing, NLP), породив такие высокоэффективные модели, как BERT, RoBERTa, XLNet, ALBERT, T5 и многие другие. Эт...

[Перевод] Векторная рисовальная машина №3 Как инженеру мне всегда импонировала русская прагматичная манера именования новых продуктов. Если какой-нибудь западный маркетолог может назвать небольшое игровое устройство на базе ЭЛТ «The Vectormatic Score-Master 3000» (Векторматический рекордсмен 3000), то русские скло...

ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка В зоопарке русскоязычных моделей прибавление: в открытом доступе появилась модель text2text-генерации ruT5 и модели-энкодеры ruRoBERTa и ruBERT, формирующие семантическое пространство текста. Модели можно использовать для создания классификаторов текстов, кластеризации, из...

Маленький и быстрый BERT для русского языка BERT – нейросеть, способная весьма неплохо понимать смысл текстов на человеческом языке. Впервые появивишись в 2018 году, эта модель совершила переворот в компьютерной лингвистике. Базовая версия модели долго предобучается, читая миллионы текстов и постепенно осваивая язык, ...

Построение достоверных геологических моделей После публикации серии статей про построение геологических моделей пришло время обсудить, скажем прямо, самое интересное — а насколько эти модели достоверны? Несомненно, все представленные ранее модели интересны и полезны — землетрясения, вулканы, золотые месторождения и дру...

Как я сжимал модель fastText для реальной задачи в 80 раз в 2021 году FastText — это отличное решение для предоставления готовых векторных представлений слов, для решения различных задач в области ML и NLP. Но основным недостатком данных моделей является, то что на текущий момент обученная модель FastText на русскоязычном корпусе текстов Викип...

Как сжать модель fastText в 100 раз Модель fastText — одно из самых эффективных векторных представлений слов для русского языка. Однако её прикладная польза страдает из-за внушительных (несколько гигабайт) размеров модели. В этой статье мы показываем, как можно уменьшить модель fastText с 2.7 гигабайт до 28 ме...

[Перевод] ALBERT — облегченный BERT для самообучения языковым представлениям С тех пор как в 2018 году был представлен BERT, исследования в области обработки естественного языка охвачены новой парадигмой: использованием больших объемов существующего текста для предварительного обучения параметров модели на основе самообучения (self-supervision), не т...

Тестируем ruGPT-3 на новых задачах Рекомендательные системы с нуля, чат-боты и многое другое Погрузившись в пучину текстовых данных, в октябре этого года мы обучили модели ruGPT-3 — модели для русского языка на основе архитектуры от OpenAI. Но на что же способны эти модели? В этой статье мы соберем первые при...

Open Source датасет SOVA: аудио для распознавания и синтеза речи Всем привет! Мы — команда компании «Наносемантика», и недавно мы запустили проект SOVA, где занимаемся сбором датасета для использования его в обучении нейронных сетей и создания виртуальных ассистентов на базе искусственного интеллекта.Мы подготовили большой датасет для обу...

[Перевод] Ваш первый BERT: иллюстрированное руководство Прогресс в области машинного обучения для обработки естественного языка существенно ускорился за последние несколько лет. Модели покинули исследовательские лаборатории и стали основой ведущих цифровых продуктов. Хорошей иллюстрацией этому служит недавнее заявление о том, чт...

Как мы анализируем предпочтения пользователей виртуальных ассистентов Салют Приветствую всех! Меня зовут Ибрагим, я работаю в SberDevices и занимаюсь машинным обучением. Сегодня я расскажу о том, как мы находим и анализируем интересы и предпочтения пользователей наших виртуальных ассистентов Салют. Также поделюсь видео с моего недавнего выступления...

МТС и Сколтех открыли лабораторию искусственного интеллекта В рамках исследовательской программы эксперты в области компьютерной лингвистики и машинного обучения из МТС и Сколтеха сосредоточатся на разработке моделей для улучшения работы диалоговых систем, качества распознавания и понимания смысла текстов. Подобные технологии применя...

[Перевод] Машинное обучение в Excel при помощи Python и PyXLL К старту курса о машинном и глубоком обучении делимся переводом статьи, автор которой показывает на практике, как модель машинного обучения может использоваться через Excel. Зачем это нужно? Компании больше и больше вкладывают в исследования и разработку моделей прогнозов; п...

[Перевод] Тематическое исследование распознавания именованных сущностей в биомедицине Не так давно у автора этой статьи возник вопрос: может ли простой метод сопоставления строк — в сочетании с некоторыми простыми оптимизациями — конкурировать с моделью, обученной с учителем, в биомедицинской задаче распознавания именованных сущностей (NER)? Автор сравнил эти...

Векторные языки — SQL интерпретатор в 100 строк В предыдущей статье я описал векторные языки и их ключевые отличия от обычных языков. На коротких примерах я постарался показать, как эти особенности позволяют реализовывать алгоритмы необычным образом, кратко и с высоким уровнем абстракции. В силу своей векторной природы та...

[Перевод] История интерпретируемости в распознавании изображений Распознавание изображений (т. е. классификация того, какой объект отображается на изображении) является основной задачей в области компьютерного зрения, так как она позволяет использовать различные последующие приложения (автоматическая маркировка фотографий, помощь слабов...

Глубокое обучение в экологии: прогнозирование вспышек численности жука-короеда Решение текущих глобальных проблем, таких как утрата биоразнообразия, глобальные изменения и растущий спрос на экосистемные услуги, требует улучшения экологического прогнозирования. Рост доступности данных и увеличение вычислительных мощностей способствуют разработке количес...

[Перевод] Принципиально новый метод позволяет тренировать ИИ практически без данных Мифический носорогоединорог. MS TECH / PIXABAY Обучение «менее чем с одной» попытки помогает модели идентифицировать больше объектов, чем количество примеров, на которых она тренировалась. Как правило, машинное обучение требует множества примеров. Чтобы ИИ-модель научилас...

[Перевод] Как преобразовать аудиоданные в изображения Относитесь к обработке звука, как к компьютерному зрению, и используйте аудиоданные в моделях глубокого обучения. Закройте глаза и прислушайтесь к звукам вокруг вас. Независимо от того, находитесь ли вы в переполненном офисе, уютном доме или на открытом пространстве, на прир...

Эволюция методов mesh denoising: от простых фильтров до 3D глубокого обучения В этой обзорной статье вы узнаете, что такое mesh denoising, какие методы использовались и используются для устранения шума на полигональных сетках (от классических фильтров до передовых графовых нейронных сетей), и получите общее представление о развитии направления. С пом...

[Из песочницы] Машинное обучение на Android Привет, Хабр! Представляю вашему внимаю перевод статьи из журнала APC. Машинное обучение и интеллектуальный анализ данных – это практические разработки ИИ, благодаря которым появляются приложения различных тематик, начиная от воздухоплавания и заканчивая зоологией. Эти про...

Книга «Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту» Привет, Хаброжители! Глубокое обучение стало мощным двигателем для работы с искусственным интеллектом. Яркие иллюстрации и простые примеры кода избавят вас от необходимости вникать в сложные аспекты конструирования моделей глубокого обучения, делая сложные задачи доступными ...

[Перевод] Что покупать для глубокого обучения: личный опыт и советы использования GPU Перевод статьи Тима Деттмерса, кандидата наук из Вашингтонского университета, специалиста по глубокому обучению и обработке естественного языка Глубокое обучение (ГО) – область с повышенными запросами к вычислительным мощностям, поэтому ваш выбор GPU фундаментально определи...

[Перевод] Распознавание маски на лице с помощью YOLOv3 YOLO или You Only Look Once — это архитектура свёрточных нейронных сетей, которая используется для распознавания множественных объектов на изображении. В 2020, на фоне пандемии, задача детектирования объектов (object detection) на изображении стала как никогда актуальной. Эт...

[Из песочницы] Create ML в iOS Искусственный интеллект становится ближе с каждым годом, ещё вчера он был доступен только для ограниченного числа людей. Сегодня же мы можем сами создавать модели машинного обучения и использовать их в своих проектах. В этой статье мы познакомимся с инструментами Create ML...

Автоматическое обучение моделей с помощью Vowpal Wabbit Всем привет, меня зовут Артем Жаринов, я специалист по анализу данных и машинному обучению команды RnD в Lamoda. Блуждая по нашему сайту вы, возможно, заметили такие полки рекомендаций «С этим товаром покупают» или «Популярные товары». Для персонализированного ранжирования ...

Делаем параллельный корпус из книг с помощью sentence embeddings При поиске параллельных корпусов для своих нужд, — это может быть обучение модели машинного перевода или изучение иностранного языка, можно столкнуться с тем, что их не так уж и много, особенно, если речь идет не об английском, а каком-то редком языке. В этой статье мы попр...

Векторные языки — параллельный мир Векторные языки мало известны широкому кругу программистов и занимают узкую нишу обработки данных в финансах, статистике и прикладной математике. Хотя сам векторный подход (или, точнее, программирование с помощью массивов) распространен гораздо шире, чем может показаться. Он...

NeoML: машинное обучение от ABBYY ABBYY открыла свой фреймворк машинного обучения NeoML. NeoML — это кроссплатформенная C++ библиотека, позволяющая организовать полный цикл разработки ML-моделей. Основной фокус в ней сделан на простом и эффективном запуске готовых моделей на различных платформах. Даже если э...

Detect it to pop it — используем “взрослые” инструменты Intel для решения “детской” задачи Задачу обнаружения различных объектов сейчас модно решать на основе глубокого обучения. Но для этого нужно собрать и разметить датасет, сконструировать глубокую нейросеть, обучить ее и запустить “в продакшн”. И если недавно для всего этого приходилось самостоятельно писать к...

[Перевод] Transformer в картинках В прошлой статье мы рассматривали механизм внимания (attention) – чрезвычайно распространенный метод в современных моделях глубокого обучения, позволяющий улучшить показатели эффективности приложений нейронного машинного перевода. В данной статье мы рассмотрим Трансформер (T...

[Перевод] Как реализовать кластеризацию в Power BI с помощью PyCaret И снова здравствуйте. Сегодня мы продолжаем серию переводов в преддверии старта базового курса «Математика для Data Science». В одной из последних статей мы говорили о том, как создать детектор аномалий в Power BI, интегрировав в него PyCaret, и помочь аналитикам и специа...

[Перевод] Построение моделей Трансформера для больших последовательностей с помощью методов разреженного внимания Модели обработки естественного языка (Natural language processing, NLP) на основе архитектуры Трансформеров, такие как BERT, RoBERTa, T5 или GPT3, успешно применяются в самых различных задачах и являются стандартом современных исследований в области NLP. Гибкость (универсаль...

[Перевод] Random Forest, метод главных компонент и оптимизация гиперпараметров: пример решения задачи классификации на Python У специалистов по обработке и анализу данных есть множество средств для создания классификационных моделей. Один из самых популярных и надёжных методов разработки таких моделей заключается в использовании алгоритма «случайный лес» (Random Forest, RF). Для того чтобы попытать...

Сравниваем работу open source Python — библиотек для распознавания именованных сущностей Введение Мы в компании создаем сервис, который позволяет автоматически создавать, управлять и безопасно хранить лицензионные соглашения и прочие договоры между фрилансерами и их клиентами. Для решения это задачи я опробовал десятки решений в области обработки естественного...

Машинное обучение на R: экспертные техники для прогностического анализа Привет, Хаброжители! Язык R предлагает мощный набор методов машинного обучения, позволяющих быстро проводить нетривиальный анализ ваших данных. Книга является руководством, которое поможет применять методы машинного обучения в решении ежедневных задач. Бретт Ланц научит всем...

Распознавание объектов на android с помощью TensorFlow: от подготовки данных до запуска на устройстве Обучение нейросети распознаванию образов — долгий и ресурсоемкий процесс. Особенно когда под рукой есть только недорогой ноут, а не компьютер с мощной видеокартой. В этом случае на помощь придёт Google Colaboratory, которая предлагает совершенно бесплатно воспользоваться GPU...

Как обучить нейронную сеть DeepPavlov на ноутбуке с использованием GPU В этой статье я хочу поделиться своим опытом использования данной open-source библиотеки на примере реализации одной задачи с парсингом файлов PDF/DOC/DOCX содержащих резюме специалистов. Здесь я также опишу этапы реализации инструмента для подготовки датасета. После чего м...

[Перевод] Блеск и нищета модельно ориентированного проектирования по авиационным стандартам DO-331 В предыдущих статьях про модельно-ориентированное проектирование Как не повторить Чернобыль, Электропривод с бесколлекторным двигателем постоянного тока, и Создание достоверной модели, на примере авиационного теплообменника, я показал на примерах, что не все методики модельн...

[Перевод] AutoVIML: Автоматизированное машинное обучение Перевод статьи подготовлен специально для студентов курса «Промышленный ML на больших данных»Машинное обучение обладает преимуществом обучения алгоритмов, которые автоматически улучшаются, используя полученный опыт. Существует N различных алгоритмов и методов машинного обуче...

Что такое графовые нейронные сети Графовые сети — это способ применения классических моделей нейронных сетей к графовым данным. Графы, не обладая регулярной структурой как изображения (каждый пиксель имеет 8 соседей) или тексты (последовательность слов), долгое время оставались вне поля зрения классических ...

Как получить новый сертификат инженера по машинному обучению от Google Cloud Недавно Google представила новый сертификат, который подтверждает, что его обладатель умеет проектировать, создавать и выпускать модели машинного обучения с использованием облачных технологий Google Cloud — Google Cloud Professional Machine Learning Engineer. Также подразуме...

Практические методы оптимизации запросов в Apache Spark После вводной статьи про Spark Shell мне хотелось бы рассмотреть некоторые приемы оптимизации запросов в Spark и Hive, и сравнить их с теми, что обычно применяются в классических СУБД типа Oracle или MS SQL. Базовая модель данных Рассмотрим разные техники на базе известной ...

[Перевод] Как мыслит GPT? Визуализируем скрытые слои В стремлении прояснить языковые модели Transformer с помощью пакета Ecco авторы показывают механизм генерации предложений внутри предварительно обученной языковой модели. После генерации предложения возможно визуализировать представление о том, как модель пришла к каждому сл...

Определение токсичных комментариев на русском языке Сегодня социальные сети превратились в одну из главных коммуникационных платформ как в онлайне, так и реальной жизни. Свобода выражения разных точек зрения, в том числе токсичных, агрессивных и оскорбительных комментариев может иметь долговременные негативные последствия дл...

iOS 13 объединяет все iPhone в один суперкомпьютер. Зачем это нужно Apple объединила все свои устройства в один суперкомпьютер и обучает таким образом Siri Несмотря на то что долгое время Apple считалась компанией одного человека, которым был Стив Джобс, на деле в создании продуктов, конечно, участвовал не только он, но и большое количество ...

Искусственный интеллект, машинное и глубокое обучение — в чём разница Сейчас много пишут и говорят об искусственном интеллекте (ИИ). Наряду с другими связанными понятиями — такими, как машинное обучение (machine learning) и глубокое обучение (deep learning). Многие люди склонны неправильно понимать термины, используемые в контексте...

Сбер запускает сервис речевых технологий До конца года доступ к сервису, разработанному командой SberDevices, будет бесплатным.SmartSpeech можно использовать на сайтах, в приложениях или умных устройствах для озвучивания контента и команд или голосового ввода. Также используемые в сервисе технологии синтеза и распо...

Нейросеть — обучение без учителя. Метод Policy Gradient Доброго времени суток, Хабр Настоящей статьей открываю цикл статей о том, как обучать нейронные сети без учителя. (Reinforcement Learning for Neuron Networks) В цикле планирую сделать три статьи по теории и реализации в коде трех алгоритмов обучения нейронных сетей без учи...

Panasonic инвестирует $150 млн в развитие искусственного интеллекта Компания Panasonic объявила о намерении инвестировать 150 млн долларов США в технологии машинного обучения и системы искусственного интеллекта на базе нейронных сетей. Часть выделенных в рамках венчурного фонда Conductive Ventures II средств японский производитель электроник...

[Перевод] FermiNet: квантовая физика и химия с азов В статье, недавно опубликованной в Physical Review Research, мы демонстрируем, как при помощи глубокого обучения упрощается решение фундаментальных квантовомеханических уравнений для реальных систем. При этом решается не только принципиальный научный вопрос, но и открывают...

1000 и 1 способ сесть на мель в Spring WebFlux при написании высоконагруженного сервиса Источник изображения: Shutterstock.com/photowind Добрый день, меня зовут Тараканов Анатолий, я senior java разработчик SberDevices. 2.5 года программирую на Java, до этого 6 лет писал на C# и 1 год на Scala. Хочу поделиться опытом создания сервиса-оркестратора Voice Proces...

Как увидеть на снимке лес? Наш опыт сегментации снимков Sentinel-2 Перед капитальной застройкой большой территории необходимо её детально исследовать. В зависимости от вида участка серьёзно варьируется стоимость строительства, предварительной обработки местности и многих других сопутствующих работ. Чтобы серьезно минимизировать издержки...

Whonix: руководство для начинающих Whonix — это дистрибутив Linux на основе Debian, который разработан для обеспечения повышенной безопасности и конфиденциальности. Высокая анонимность достигается средствами VirtualBox и Tor. Whonix снижает угрозу от распространенных векторов атак, сохраняя при этом удобство...

[Перевод] История обработки естественного языка, с тринадцатого века до наших дней Обработка естественного языка восходит к мистикам Каббалы Задолго до того, как обработка естественного языка стала модной темой в области искусственного интеллекта, люди придумывали правила и машины для манипулирования языком Мистик 13 века Авраам бен Самуэль Абулафия изобр...

[Перевод] Сравнение векторных расширений ARM и RISC-V Микропроцессоры с векторными командами ожидает большое будущее. Почему? Беспилотные автомобили, распознавание речи, распознавание образов, всё это основано на машинном обучении, а машинное обучение  — на матрицах и векторах.Но это не единственная причина. Мы годами бьём...

[Перевод] 7 способов получить качественные размеченные данные для машинного обучения Наличие размеченных данных необходимо для машинного обучения, но получение таких данных — непростая и дорогостоящая задача. Мы рассмотрим семь способов их сбора, в том числе перепрофилирование, поиск бесплатных источников, многократное обучение на данных с постепенно повышаю...

Анонс: прямой эфир с Татьяной Ландо, лингвистом-аналитиком Google Завтра, в 20:00 в наших соцсетях пройдет прямой эфир с Татьяной Ландо, лингвистом-аналитиком в Google. Татьяна работает над Google-ассистентом и занимается проектами между продакшеном и рисерчем. Она исследует, как люди разговаривают друг с другом и какие стратегии использ...

[Перевод] Все дело в виртуальном «прянике»: Uber создал алгоритм, способный обыграть человека в игре Atari В ИИ-лаборатории Uber AI Labs создали новое семейство алгоритмов Go-Explore. В основе алгоритма — обучение с подкреплением. По эффективности Go-Explore превосходит большинство существующих разработок при испытании на классических играх Atari 1980-х годов. ИИ от Uber проше...

ИИ-модель превзошла результат человека в тесте на понимание естественного языка SuperGLUE Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в опреде...

[Перевод] Как экономить память и удваивать размеры моделей PyTorch с новым методом Sharded Модели глубокого обучения улучшаются с увеличением количества данных и параметров. Даже с последней моделью GPT-3 от Open AI, которая использует 175 миллиардов параметров, нам ещё предстоит увидеть плато роста количества параметров. Для некоторых областей, таких как NLP, ра...

Книга «Глубокое обучение с подкреплением. AlphaGo и другие технологии» Привет, Хаброжители! Мы издали книгу Максима Лапаня shmuma, это — подробное руководство по новейшим инструментам глубокого обучения с подкреплением и их ограничениям. Мы реализуем и проверим на практике методы кросс-энтропии и итерации по ценностям (Q-learning), а также гра...

[Перевод] Путь от вычислительной машины к машине координационной В наши дни существует огромное количество технологий, ориентированных на различные аспекты облачных вычислений. В частности, речь идёт о контейнеризации и микросервисах. Они — причина того, что мы стали воспринимать приложения в виде распределённых систем, компоненты которых...

Microsoft создала один из пяти самых мощных суперкомпьютеров в мире Суперкомпьютер создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и, соответственно, требующих больших вычислительных ресурсов. Об этом компания сообщила в рамках своей крупнейшей технологической конфе...

Геология XXI века: от реальности к виртуальности Ранее в статьях мы уже обсудили доступные данные (результаты наземных и спутниковых гравитационных и магнитных измерений, ортофото и космические снимки, цифровые модели рельефа), теоретические подходы и методы обработки (интерферометрия, построение обратных геофизических мод...

[Из песочницы] Фундаментальное решение системы линейных уравнений. Взгляд со стороны Добрый день! В данной статье я попробую взглянуть по новому на алгоритм поиска общего решения системы линейных уравнений. Задача, которой мы займемся звучит так. Найти общее решение следующей системы уравнений Такую задачу решают, приведя исходную систему к треугольному...

[Из песочницы] Частотный анализ русского текста и облако слов на Python Частотный анализ является одним из сравнительно простых методов обработки текста на естественном языке (NLP). Его результатом является список слов, наиболее часто встречающихся в тексте. Частотный анализ также позволяет получить представление о тематике и основных понятиях т...

[Из песочницы] Адаптивное разбиение кривых Безье 2-го и 3-го порядка Уже год как я сменил работу на новую. В этой статье я хочу поделиться опытом, накопленным на прошлом месте. Здесь рассмотрены методы аппроксимации кривых Безье, а также обработка исключительных случаев, при которых простые алгоритмы показывают себя не очень хорошо. Все, ком...

«Hadoop. ZooKeeper» из серии Технострима Mail.Ru Group «Методы распределенной обработки больших объемов данных в Hadoop» Предлагаю ознакомиться с расшифровкой лекции "Hadoop. ZooKeeper" из серии "Методы распределенной обработки больших объемов данных в Hadoop" Что такое ZooKeeper, его место в экосистеме Hadoop. Неправда о распределённых вычислениях. Схема стандартной распре...

Насколько неуязвим искусственный интеллект? Сегодня искусственные нейронные сети лежат в основе многих методов «искусственного интеллекта». При этом процесс обучения новых нейросетевых моделей настолько поставлен на поток (благодаря огромному количеству распределенных фреймворков, наборов данных и прочих «заготовок»...

Варим байткод на кухне JVM Меня зовут Александр Коцюруба, я руковожу разработкой внутренних сервисов в компании ДомКлик. Многим разработчикам, пишущим на Java, с опытом приходит понимание внутреннего устройства JVM. Чтобы облегчить этот путь Java-самурая, я решил простым языком изложить основы виртуал...

[Перевод] Почему стоит начать изучение программирования с языка C Краткое содержание: автор статьи объясняет, почему С хорош именно на этапе обучения и прокачки мозгов будущего программиста. А через некоторое время, или даже параллельно, можно выучить более современный язык и заняться, например, Enterprise- или Web-разработкой. Фото: Lia...

Новая платформа Google сокращает затраты на обучение ИИ-модулей Фреймворк SEED RL построен на платформе TensorFlow 2.0 и использует комбинацию графических и тензорных модулей для централизации модели логического вывода. Вывод затем выполняется с использованием компонента, который обучает модель.Этот компонент, как заявляют в Google, може...

Нейросеть обучили с помощью распределенной вычислительной сети Статья о разработке опубликована на arXiv.org, также разработчики рассказали о ней в блоге Hugging Face.В прошлом году российские разработчики предложили архитектуру системы для распределенного обучения одной нейросети на множестве независимых компьютеров. В новой работе гру...

Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView Дисциплина Computational fluid dynamics(CFD) или, на русском языке, Вычислительная гидродинамика изучает поведение различных потоков, в том числе вихревых. Это и моделирование цунами, и лавовых потоков, и выбрасываемых из жерла вулкана камней вместе с лавой и газами и многое...

Методы для обнаружения и диагностика неисправностей применительно IoT Вследствие увеличения сложности систем и необходимости уменьшения затрат на их поддержание традиционные методы ОДН (обнаружение и диагностика неисправностей) не справляются со своей задачей. С другой стороны, эксперты в этой области не сильно доверяют методам, основанным на ...

Cross-Fold Generation или как генерировать длинные последовательности с ruGPT-3 RuGPT-3 - AI-модель для русского языка, которая умеет писать тексты. Она может генерировать истории, стихи и новости, которые люди не могут отличить от настоящих. Похожая модель лежит в основе Балаболы от Яндекса. В этой статье мы описываем способ генерации длинных текстов б...

[Перевод] Разбираемся в моделях кода архитектуры x64 «Какой моделью кода мне воспользоваться?» — часто возникающий, но нечасто разбираемый вопрос при написании кода для архитектуры х64. Тем не менее, это довольно интересная проблема, и для понимания генерируемого компиляторами машинного кода х64 полезно иметь представление о м...

Геопространственное моделирование с применением методов машинного обучения Всем привет! Меня зовут Константин Измайлов, я руководитель направления Data Science в Delivery Club. Мы работаем над многочисленными интересными и сложными задачами: от формирования классических аналитических отчетов до построения рекомендательных моделей в ленте приложен...

Книга «Программируем с PyTorch: Создание приложений глубокого обучения» Привет, Хаброжители! Ян Пойнтер поможет разобраться, как настроить PyTorch в облачной среде, как создавать нейронные архитектуры, облегчающие работу с изображениями, звуком и текстом. Книга охватывает важнейшие концепции применения переноса обучения, модели отладки и исполь...

[Перевод] Модели мира. Могут ли агенты учиться в своем воображении? От переводчика: вопросы, поднятые в прошлой моей статье (видимо не слишком удачной) тем не менее вывели меня (огромное спасибо комраду Kilorad за ссылку!) на материал, который я посчитал необходимым перевести и выложить сюда. Да, я, к сожалению, посредственно владею как язык...

Облачная платформа поможет в разработке и реализации AI-сервисов Об этом в ходе конференции AIJourney рассказал Давид Рафаловский, СТО Сбербанк Груп, исполнительный вице-президент, руководитель блока "Технологии".ML Space - это облачная платформа полного цикла разработки и реализации AI-сервисов для бизнеса любого размера. Она с...

Имитаторы на базе программно-аппаратной платформы в техническом образовании В современном понимании процесс обучения рассматривается как процесс взаимодействия между учителем и учениками с целью приобщения учащихся к определенным знаниям, навыкам, умениям и ценностям. Структурными компонентами процесса обучения являются средства и методы обучения....

[Перевод] Учёные автоматизируют исследования поведения животных, чтобы декодировать работу мозга Машинное обучение и глубокие нейросети способны распознать и анализировать «язык поведения» животных способами, находящимися за пределами человеческих возможностей Для отслеживания движений животных в природной среде учёные всё чаще обращаются к методам машинного обучения (...

Настройка функции потерь для нейронной сети на данных сейсморазведки В прошлой статье мы описали эксперимент по определению минимального объема вручную размеченных срезов для обучения нейронной сети на данных сейсморазведки. Сегодня мы продолжаем эту тему, выбирая наиболее подходящую функцию потерь. Рассмотрены 2 базовых класса функций – Bin...

Дата-инженеры в бизнесе: кто они и чем занимаются? Данные — один из активов организации. Поэтому вполне вероятно, что перед вашей командой в какой-то момент могут возникнуть задачи, которые можно будет решить, используя эти данные разными способами, начиная с простых исследований и вплоть до применения алгоритмов машинного о...

Распознавание дорожных знаков Компьютерное зрение — это область компьютерных наук, которая фокусируется на воспроизведении частей сложной системы зрения человека и позволяет компьютерам идентифицировать и обрабатывать объекты на изображениях и видео, а также людей. Ранние эксперименты в области компьютер...

Разработка приложений и Blue-Green deployment опираясь на методологию The Twelve-Factor App с примерами на php и docker Для начала немного теории. Что такое The Twelve-Factor App? Простыми словами, это документ призванный упростить разработку SaaS приложений, помогает тем что, осведомляет разработчиков и DevOps инженеров о проблемах \ практиках которые чаще всего встречались в разработке со...

Сможет ли искусственный интеллект манипулировать поведением человека? Вероятно, в скором будущем ИИ сможет научиться манипулировать человеческим поведением В 2015 году ряд известных ученых, предпринимателей и инвесторов, чья деятельность непосредственно связана с искусственным интеллектом (ИИ), подписали открытое письмо с призывом уделять бол...

Как мы оркестрируем процессы обработки данных с помощью Apache Airflow Всем привет! Меня зовут Никита Василюк, я инженер по работе с данными в департаменте данных и аналитики компании Lamoda. В нашем департаменте Airflow играет роль оркестратора процессов обработки больших данных, с его помощью мы загружаем в Hadoop данные из внешних систем, об...

Книга «TypeScript быстро» Привет, Хаброжители! «TypeScript быстро» научит вас секретам продуктивной разработки веб- или самостоятельных приложений. Она написана практиками для практиков. В книге разбираются актуальные для каждого программиста задачи, объясняется синтаксис языка и описывается разрабо...

Semantris от Google: как ИИ помогает учить английский играючи В 2016 году Уилл Найт, исследователь искусственного интеллекта из Массачусетского технологического института, писал, что «Машины, которые понимают естественные языки, были бы крайне полезны. Но мы не знаем, как их создать». С тех пор многое изменилось. Искусственный интел...

Ваша первая нейронная сеть на графическом процессоре (GPU). Руководство для начинающих В этой статье я расскажу как за 30 минут настроить среду для машинного обучения, создать нейронную сеть для распознавания изображений a потом запустить ту же сеть на графическом процессоре (GPU). Для начала определим что такое нейронная сеть. В нашем случае это математиче...

Нейросеть поможет разрабатывать сверхпрочные материалы Сейчас специалисты многих отечественных и зарубежных лабораторий разрабатывают новые функциональные материалы для промышленности. Эти металлы и сплавы должны выдерживать высокие нагрузки при эксплуатации и обладать необходимыми физико-механическими свойствами. Нейросетевые м...

Модельно-ориентированное проектирование на службе у специалиста по электроприводу. Часть 1. Моделирование Всем привет! На Хабр есть несколько статей, в которых рассказывается об использовании модельно-ориентированного проектирования (МОП) при разработке различных систем, в том числе и системы управления электродвигателем.Мне тоже захотелось попробовать этот подход в деле при том...

[Из песочницы] People meet recommender systems. Factorization Машинное обучение довольно сильно проникло в нашу обыденную жизнь. Некоторые уже не удивляются, когда им рассказывают про нейронные сети в их смартфонах. Одной из больших областей в этой науке являются рекомендательные системы. Они есть везде: когда вы слушаете музыку, читае...

Встречайте чувашский язык в Яндекс.Переводчике: как мы решаем главную проблему машинного перевода Регионы России — это не просто границы на карте. В каждом регионе есть свои культурные традиции, во многих — свои языки. Машинный перевод мог бы помочь сохранять и применять эти языки — в частности, публиковать статьи в Википедии. Но как быть, если данных для обучения машинн...

Необязательные параметры в репозиториях Spring Data Все кто использовал Spring Data сталкивались с ситуацией, когда у вас есть репозиторий для работы с сущностью и вы хотите написать универсальный find-метод для поиска по набору параметров, которые пользователь может задать или пропустить на форме поиска. Базовая реализация f...

[Перевод] Как понять, что нейросеть решит вашу проблему. Прагматичное руководство Haystacks at Sunset Reimagined by AshnoAlice Инженер по машинному обучению Джордж Хосу задает вопрос: «Какие проблемы решает машинное обучение?». Или конкретнее, с учетом современного развития отрасли: «Какие проблемы нейросеть способна решить на практике?». Команда Mail.ru...

[Перевод] Макропроблема микросервисов Всего за 20 лет разработка ПО перешла от архитектурных монолитов с единой базой данных и централизованным состоянием к микросервисам, где всё распределено по многочисленным контейнерам, серверам, ЦОДам и даже континентам. Распределённость упрощает масштабирование, но привно...

Правительство определило критерии субсидирования ИИ-проектов “КоммерсантЪ” ознакомился с проектом приказа Минэкономики, который уточняет критерии проектов в области искусственного интеллекта (ИИ), опубликованным на regulation.gov.ru. Из него следует, что, проекты, которые претендуют на принадлежность к сфере (ИИ) и, следов...

[Перевод] Как использовать Prometheus для обнаружения аномалий в GitLab Одной из базовых функций языка запросов Prometheus является агрегация временных рядов в режиме реального времени. Также язык запросов Prometheus можно использовать для обнаружения аномалий в данных временных рядов.  Команда Mail.ru Cloud Solutions перевела статью инженера ...

Кластер суперчипов Cerebras WSE-2 позволит тренировать ИИ-модели, сопоставимые по масштабу с человеческим мозгом В последние годы сложность ИИ-моделей удваивается в среднем каждые два месяца, и пока что эта тенденция сохраняется. Всего три года назад году Google обучила «скромную» модель BERT с 340 млн параметров за 9 Пфлоп-дней. В 2020 году на обучение модели Micrsofot MSFT-1T с 1 трл...

[Перевод] Машины уже опережают людей в тестах на чтение; но понимают ли они прочитанное? Инструмент под названием BERT способен обогнать людей в тестах на чтение и понимание. Однако он же демонстрирует, какой путь ещё нужно пройти ИИ Осенью 2017 года Сэм Боумен, вычислительный лингвист из Нью-Йоркского университета, решил, что компьютеры до сих пор ещё не очен...

Вызов кода Go из Dart с использованием cgo и Dart FFI на простом примере Ключевой мотивацией для написания данной статьи является факт сильного недостатка информации (особенно в русскоязычном сообществе) по использованию cgo и Dart FFI для использования Go из языка Dart.Язык Dart, не смотря на свою возрастающую популярность, на данный момент до с...

[Перевод] О реализации библиотеки для глубокого обучения на Python Технологии глубокого обучения за короткий срок прошли большой путь развития — от простых нейронных сетей до достаточно сложных архитектур. Для поддержки быстрого распространения этих технологий были разработаны различные библиотеки и платформы глубокого обучения. Одна из осн...

[Перевод] GPT-2 в картинках (визуализация языковых моделей Трансформера) В 2019 году мы стали свидетелями блистательного использования машинного обучения. Модель GPT-2 от OpenAI продемонстрировала впечатляющую способность писать связные и эмоциональные тексты, превосходящие наши представления о том, что могут генерировать современные языковые мо...

Книга «Обработка естественного языка в действии» Привет, Хаброжители! Мы издали практическое руководство по обработке и генерации текстов на естественном языке. Книга снабжена всеми инструментами и методиками, необходимыми для создания прикладных NLP-систем с целью обеспечения работы виртуального помощника (чат-бота), спам...

Vue.js и слоистая архитектура: вынесение бизнес-логики в сервисы Когда нужно сделать код в проекте гибким и удобным, на помощь приходит разделение архитектуры на несколько слоев. Рассмотрим подробнее этот подход и альтернативы, а также поделимся рекомендациями, которые могут быть полезны как начинающим, так и опытным разработчикам Vue.js,...

[Перевод] Python и разработка простого веб-приложения, использующего технологии машинного обучения Тот, кто занимается машинным обучением (Machine Learning, ML), обычно, реализуя различные проекты, выполняет следующие действия: сбор данных, их очистка, разведочный анализ данных, разработка модели, публикация модели в локальной сети или в интернете. Вот хорошее видео, в ко...

Распознавание символов Работа с изображениями — одна из самых распространенных задач в машинном обучении. Мы покажем пример обработки изображения, получение матриц (тензоров) чисел, подготовку данных обучающего множества, пример архитектуры нейронной сети.Работа с изображениями является одной из с...

Цифровая геология, или пусть машины думают и находят золото для нас в Западной Сибири без геологических данных Эта статья является продолжением двух предыдущих: Ударим биспектром по бездорожью, или как найти золото в Сибири, в которой мы рассмотрели геологическую модель месторождения золота на территории Новосибирской области и Ищем рудное золото на острове Сумбава, Индонезия, в кото...

[Перевод] Пишем интерпретатор BASIC в стиле 80-х В течение нескольких лет я работала над личным проектом создания (а на самом деле исследования) «фальшивого эмулятора», то есть написанного на JavaScript эмулятора никогда не существовавшего компьютера. Эта машина должна была стать данью памяти восьми- и шестнадцатибитным ...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв за пос...

[Перевод] Обнаружение эмоций на лице в браузере с помощью глубокого обучения и TensorFlow.js. Часть 2 В предыдущей статье мы узнали, как использовать модели ИИ для определения формы лиц. В этой статье мы используем ключевые ориентиры лица, чтобы получить больше информации о лице из изображений. В этой статье мы используем ключевые ориентиры лица, чтобы получить больше информ...

[Перевод] Процедурная гидрология: динамическая симуляция рек и озёр Примечание: полный исходный код проекта выложен на Github [здесь]. В репозитории также содержится подробная информация о том, как читать и использовать код. После реализации симуляции гидравлической эрозии на основе частиц я решил, что возможно будет расширить эту концепцию ...

Распознавание речи с помощью инструментов машинного обучения В своей работе я столкнулся с необходимостью проверить записи звонков на соблюдение сотрудниками скрипта разговора с клиентами. Обычно для этого выделяется сотрудник, который тратит большое количество времени на прослушивание записей разговоров. Мы поставили себе задачу — ум...

[Перевод] Строим города по клику мыши с Houdini и Python В разработке игр постоянно создаются и применяются пайплайны, алгоритмы и небольшие процессы, которые экономят кучу времени и сил. Часто эти решения — простые, но изящные. Эта статья как раз про подобное. Автор придумал метод постройки виртуальных городов, который в персп...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв...

[Перевод] Архитектурный шаблон MVI в Kotlin Multipaltform, часть 1 Около года назад я заинтересовался новой технологией Kotlin Multiplatform. Она позволяет писать общий код и компилировать его под разные платформы, имея при этом доступ к их API. С тех пор я активно экспериментирую в этой области и продвигаю этот инструмент в нашей компани...

[Из песочницы] Web2Text: глубокое структурированное извлечение содержимого web-страницы Привет, Хабр! Представляю вашему вниманию перевод статьи "Web2Text: Deep Structured Boilerplate Removal" коллектива авторов Thijs Vogels, Octavian-Eugen Ganea и Carsten Eickhof. Веб-страницы являются ценным источником информации для многих задач обработки естествен...

[Перевод] Энтерпрайзные проекты убили профессию разработчика От переводчика: Фокусом нашей компании всегда была именно разработка корпоративных приложений. В Haulmont мы занимаемся как созданием собственно приложений, так и инструментов, позволяющие разработчикам эффективнее решать задачи, связанные с разработкой таких систем. Наприм...

Мы Опубликовали Современные STT Модели Сравнимые по Качеству с Google Мы наконец опубликовали наш набор высококачественных пре-тренированных моделей для распознавания речи (т.е. сравнимых по качеству с премиум-моделями Google) для следующих языков: Английский; Немецкий; Испанский; Вы можете найти наши модели в нашем репозитории вместе с при...

[Перевод] Развеиваем мифы об управлении памятью в JVM В серии статей я хочу опровергнуть заблуждения, связанные с управлением памятью, и глубже рассмотреть её устройство в некоторых современных языках программирования — Java, Kotlin, Scala, Groovy и Clojure. Надеюсь, эта статья поможет вам разобраться, что происходит под капот...

Эмбеддинги пользователя в DMP. Эксперименты, оптимизация, внедрение Всем привет! Мы из команды ML проекта DMP (Data Management Platform) в AdTech Rambler Group. В этой статье поговорим про эмбеддинги.Эмбеддингом в машинном обучении принято называть вектор чисел фиксированной длины, который описывает некую сущность по ряду параметров. В нашем...

Web Storage API: примеры использования Доброго времени суток, друзья! В данной статье мы рассмотрим парочку примеров использования Web Storage API или объекта «Storage». Что конкретно мы будем делать? Научимся запоминать время воспроизведения видео. Поработаем с формой входа на страницу. Напишем логику спис...

SVM. Объяснение с нуля, имплементация и подробный разбор Привет всем, кто выбрал путь ML-самурая! Введение: В данной статье рассмотрим метод опорных векторов (англ. SVM, Support Vector Machine) для задачи классификации. Будет представлена основная идея алгоритма, вывод настройки его весов и разобрана простая реализация своими рука...

ruCLIP — мультимодальная модель для русского языка Известно, что глубокие нейронные сети (DNN) и модели компьютерного зрения, в частности, хорошо справляются с конкретными задачами, но зачастую не могут сделать обобщение при работе с новыми. Так, модель, которая хорошо работает с данными о продуктах питания, может показать с...

Deep Learning: как это работает? Часть 2 Часть 1 тут. В этой статье вы узнаете Что такое CNN и как это работает Что такое карта признаков Что такое max pooling Функции потерь для различных задач глубокого обучения Читать дальше →

Разбираем EM-algorithm на маленькие кирпичики В этой статье, как Вы уже, наверное догадались, речь пойдет об устройстве EM-алгоритма. Статья прежде всего может быть интересна тем, кто потихонечку уже вступает в сообщество датасайнтистов. Материал изложенный в статье в большей степени будет полезен тем, кто недавно нач...

[Перевод - recovery mode ] Хост KVM в паре строчек кода Привет! Сегодня публикуем статью о том, как написать хост KVM. Мы увидели ее в блоге Serge Zaitsev, перевели и дополнили собственными примерами на Python для тех, кто не работает с языком С++. KVM (Kernel-based Virtual Machine) — это технология виртуализации, которая постав...

«Швейцарский нож» науки: как методы Computer Science используются в других дисциплинах Математику часто называют «языком науки». Она хорошо приспособлена для количественной обработки практически любой научной информации, независимо от ее содержания. А при помощи математического формализма ученые из разных областей могут в какой-то степени «понимать» друг друг...

[Из песочницы] Rust Embedded. Разработка под процессоры Cortex-M3 на примере отладочной платы STM32F103C8T6 (Black Pill) Привет! Хочу познакомить вас с проектом Rust Embedded. Он позволяет нам использовать язык программирования Rust для разработки под встроенные платформы (Embedded Linux / RTOS / Bare Metal). В этой статье, мы рассмотрим компоненты, которые необходимы для начала разработки п...

[Из песочницы] Получение видео из Tik Tok без водяного знака Добрый день, всем любителям habr. В этой статье я хочу поделиться с Вами как можно получить видео с Tik Tok без водяного знака, с помощью такого языка как PHP. В настоящее время Tik Tok набирает популярность и было бы не прилично не написать про него маленькую статейку, и ...

[Перевод] Пошаговое руководство по созданию торгового бота на любом языке программирования У меня нет квалификации, позволяющей давать советы, касающиеся инвестиций, законов, или чего-то подобного. Я и не пытаюсь этого делать. Цель руководства заключается в том, чтобы, в учебных целях, рассказать о программировании торговых ботов. Вы должны понимать, что, создав б...

[Перевод] Необходимый инструмент для каждого дата-сайентиста Давайте посмотрим правде в глаза: обучение модели машинного обучения отнимает много времени, даже с учетом развития вычислительной техники за последние несколько лет. Даже самые тривиальные модели имеют более миллиона параметров. В масштабе крупнее у моделей бывает более м...

[Перевод] Полное руководство по созданию Docker-образа для обслуживания системы машинного обучения в продакшене Команда Mail.ru Cloud Solutions перевела полное пошаговое руководство для создания образа Docker (GPU или CPU) вместе с объяснением всех передовых методов, которые следует использовать для обслуживания любого программного обеспечения на основе машинного обучения. Далее текс...

Baidu и Samsung Electronics готовы начать выпуск ускорителей искусственного интеллекта Китайский гигант интернет-поиска Baidu и южнокорейская компания Samsung Electronics, располагающая передовым полупроводниковым производством, объявили, что разработка первого ускорителя искусственного интеллекта Baidu KUNLUN завершена. Серийный выпуск Baidu KUNLUN начне...

TensorRT 6.x.x.x — высокопроизводительный инференс для моделей глубокого обучения (Object Detection и Segmentation) Больно только в первый раз! Всем привет! Дорогие друзья, в этой статье я хочу поделиться своим опытом использования TensorRT, RetinaNet на базе репозитория github.com/aidonchuk/retinanet-examples (это форк официальной репы от nvidia, который позволит начать использовать в ...

[Из песочницы] Регистрация и авторизация с помощью Spring Security на примере простого приложения Добрый день! В этой статье будет рассмотрено создание простого веб приложения с использованием Spring Boot и Spring Security. В приложении будет реализована регистрация новых пользователей и авторизация, ограничение доступа к страницам сайта в зависимости от роли пользовате...

Подбор скважин-кандидатов для гидравлического разрыва пласта с использованием методов машинного обучения Сегодня мы расскажем, как разрабатывали систему поиска скважин-кандидатов для гидравлического разрыва пласта (ГРП) с использованием машинного обучения (далее – ML) и что из этого вышло. Разберёмся, зачем делать гидравлический разрыв пласта, при чём здесь ML, и почему наш о...

Baidu и Samsung Electronics готовы начать выпуск ускорителей искусственного интеллекта Китайский гигант интернет-поиска Baidu и южнокорейская компания Samsung Electronics, располагающая передовым полупроводниковым производством, объявили, что разработка первого ускорителя искусственного интеллекта Baidu KUNLUN завершена. Серийный выпуск Baidu KUNLUN начне...

Как стать экспертом в области искусственного интеллекта: пошаговое руководство В этой статье пошаговый план, который поможет вам начать работу. Вы можете сразу погрузиться в обучение и стать одним из выдающихся ИИ-инженеров.

Когда же появится DeepRegistry? О любви мировых регуляторов все контролировать Современный уровень развития достиг того, что даже школьник может взять библиотеку с моделями, к примеру отсюда, обучить на данных взятых из публичных источников и с приемлемым качеством ее применить к своим данным. Иногда это может быть забавным, когда выступление Дженниф...

Эксперименты с нейронными сетями на данных сейсморазведки Сложность интерпретации данных сейсмической разведки связана с тем, что к каждой задаче необходимо искать индивидуальный подход, поскольку каждый набор таких данных уникален. Ручная обработка требует значительных трудозатрат, а результат часто содержит ошибки, связанные с че...

[Перевод] Обучение и оценка модели с Keras Это руководство охватывает обучение, оценку и прогнозирование (выводы) моделей в TensorFlow 2.0 в двух общих ситуациях: При использовании встроенных API для обучения и валидации (таких как model.fit(), model.evaluate(), model.predict()). Этому посвящен раздел «Использова...

[Перевод] Как оценивать интеллект? Подход Google От себя: В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras). 64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно изм...

Для Linux появился новый векторный редактор для создания макетов интерфейсов На днях создатели редактора векторной графики Akira, работа над которым ведется вот уже пару лет, опубликовали первые тестовые выпуски. Графический пакет предназначен для создания макетов интерфейсов. Авторы Akira заявили, что их цель — создание инструмента для профессио...

За что IT-компании платят экономистам и сколько стоит человеческая жизнь ЗАВТРА, в 20:00 в наших соцсетях выступит Евгений Канашевский, экономист из Zalando, Economics Phd университета Штата Пенсильвания. На работе Женя занимается установлением причинно-следственных связей в онлайн-рекламе с помощью экспериментальных и квазиэкспериментальных ме...

[Из песочницы] Новый взгляд на code style Как знания нейропсихологии могут помочь программисту в стилизации кода? До того как заняться программированием, я очень долго и глубоко изучал нейропсихологию. Впоследствии, эти знания помогли мне добиться высоких результатов в разработке, за короткий промежуток времени. В...

Генерация под контролем: как обуздать мощные языковые модели Intro Если вы не проспали последние пару-тройку лет, то вы, конечно, слышали от трансформерах — архитектуре из каноничной Attention is all you need. Почему трансформеры так хороши? Например, они избегают рекуррентности, что дает им возможность эффективно создавать такое пред...

Как заработать на распознавании эмоций Расскажу о сабже на примере одного из проектов, которым занимался в 2019-м году, когда я ещё работал в одной известной онлайн-школе английского языка. Вы узнаете, как мы научились по изображениям с камеры во время урока в реальном времени распознавать эмоции учителей и учен...

[Перевод] Deep Q Trading: объектно-ориентированный код на R Привет! Это перевод еще одной моей статьи, посвященной обучению с подкреплением (reinforcement learning). Эту итерацию даже предложили запостить в блоге Веды аналитики. :) В двух прошлых статьях на эту тему: 1 и 2 я пробовал создать и запустить обучение с подкреплением д...

Яндекс открывает датасеты Беспилотных автомобилей, Погоды и Переводчика, чтобы помочь решить проблему сдвига данных в ML В рамках конкурса Shifts Challenge мы выкладываем в открытый доступ крупнейший в мире датасет для обучения беспилотных автомобилей, а также данные Яндекс.Переводчика и Погоды. Приглашаем исследователей в области машинного обучения присоединиться к поиску решения проблемы с...

Опыт конвертирования кода C# в код Rust Постановка задачи Код на языке C# нужно перевести в код на Rust. Точнее, требуется такая процедура перевода (разработка продолжается на C#), чтобы в любой момент можно было получить работающий код на Rust. Эту задачу я решал для языков Java, Python, JavaScript и PHP, написав...

Как избавиться от дублей в базе данных (на примере MS SQL) Всем привет! Меня зовут Евгений, я занимаюсь разработкой и проектированием в Ozon. Больше всего работаю с MS SQL и C#, но попадаются и другие СУБД и языки программирования.Ozon как продукт быстро растёт: во втором квартале этого года мы доставляли больше миллиона посылок в д...

Сколько кода на C++ нужно написать для разбора HTTP-заголовка Authorization с помощью easy_parser из RESTinio? Мы продолжаем развивать бесплатный и открытый встраиваемый в С++ приложения HTTP-сервер RESTinio. В реализации RESTinio активно используются C++ные шаблоны, о чем мы здесь регулярно рассказываем (недавний пример). Одной из точек приложения C++ной шаблонной магии стал easy_p...

Машинное обучение на языке R с использованием пакета mlr3 Источник: https://mlr3book.mlr-org.com/ Привет, Хабр! В этом сообщении мы рассмотрим самый продуманный на сегодняшний день подход к машинному обучению на языке R — пакет mlr3 и экосистему вокруг него. Данный подход основан на «нормальном» ООП с использованием R6-классов и...

Обзор Prisma ORM Это статья-обзор о Prisma ORM. ORM (англ. Object-Relational Mapping — «объектно-реляционное отображение или преобразование») — технология программирования, которая связывает базы данных с концепциями объектно-ориентированных языков программирования, создавая «виртуальную ...

Прогнозирование временных рядов методом рядов Фурье Привет, Хабр. Эта статья посвящена методу долгосрочного прогнозирования временных рядов с помощью рядов Фурье [1-2]. Особенность подхода в том, что в отличие от классических методов прогнозирования и машинного обучения прогнозируется не сама неизвестная функция, а ее коэфф...

[Из песочницы] Точные и быстрые вычисления для чисел с плавающей точкой на примере функции синуса. Введение и часть 1 Внимательно прочитал очень хорошие статьи от ArtemKaravaev по сложению чисел с плавающей точкой. Тема очень интересная и хочется её продолжить и показать на примерах, как работать с числами с плавающей точкой на практике. В качестве эталона возьмём библиотеку GNU glibc (libm...

Blazor: Server и WebAssembly одновременно в одном приложении ASP.NET Core Blazor — это разработанная Microsoft веб-платформа, предназначенная для запуска на стороне клиента в браузере на основе WebAssembly (Blazor WebAssembly) или на стороне сервера в ASP.NET Core (Blazor Server), но две эти модели нельзя использовать одновременно. П...

«Нетоксичный алгоритм». Как вылечить сексизм переводчиков и чатботов Слово «наука» по смыслу ближе к слову «мужчина», чем к слову «женщина», а к слову «женщина» близко слово «беспомощность». Это не языковой факт, а вывод, который делают алгоритмы, обучаясь на исторически накопленных языковых данных. Затем гендерные стереотипы воспроизводятся...

Компания HPE приобрела Determined AI, разработчика инновационной платформы машинного обучения Компания Hewlett Packard Enterprise (HPE) объявила о приобретении молодой компании Determined AI, которая продвигает мощный и надежный программный стек для ускорения обучения моделей ИИ в любом масштабе, построенный на платформе машинного обучения с открытым исходным ко...

Обзор методов создания эмбедингов предложений, Часть1 Представте себе, как было бы удобно, написать предложение и найти похожее к нему по смыслу. Для этого нужно уметь векторизовать всё предложение, что может быть очень не тривиальной задачей. По специфике своей работы, я должен искать похожие запросы в службу поддержки и даже ...

Руководство по машинному обучению для новичков Обучение — это часть процесса роста каждого живого существа.  Растения учатся фотосинтезу, животные учатся охоте, а люди учатся ездить на велосипеде. Это универсальный навык, которым обладает каждый организм на этой планете. Но что, если бы я сказал вам, что машины тоже мог...

Количество приложений для виртуальных ассистентов Салют достигло 800 Помимо этого, пользователи SmartMarket работают с PaaS-сервисами Platform V, облачными сервисами SberCloud, моделями машинного обучения, AR-/VR-технологиями, сервисами распознавания и синтеза речи SmartSpeech и многим другим.

OPPO Reno6: первая серия смартфонов с кинематографическим боке Компания OPPO провела онлайн презентацию, на которой рассказала про свои достижения в области вычислительной фотографии, а также продемонстрировала их применение в новой серии Reno6. OPPO является лидером отрасли благодаря многолетним инвестициям в искусственный интеллект, ...

Наиболее полное руководство по практическому использованию Web Speech API В этой статье я хочу поделиться с вами результатами изучения основных возможностей Web Speech API (далее — WSA). Введение WSA — это экспериментальная технология, состоящая из двух интерфейсов: SpeechSynthesis (интерфейс для перевода текста в речь) и SpeechRecognition (интер...

Стероидный велосипед: векторная алгебра, на ассемблере, в Delphi Некоторое время назад понадобилось мне в одной Delphi-шной программе много посчитать, но расчеты шли как-то подозрительно долго. Переписывать около 100 kLOC не хотелось- особенно из-за наличия большого количества форм, но предыдущий мой опыт показывал, что если код расчетов ...

Распространение сферического коня в вакууме по территории РФ Привет от ODS. Мы откликнулись на идею tutu.ru поработать с их датасетом пассажиропотока РФ. И если в посте Milfgard огромная таблица выводов и научпоп, то мы хотим рассказать что под капотом. Что, опять очередной пост про COVID-19? Да, но нет. Нам это было интересно именно...

Опубликован релиз Sequoia 1.0, реализации OpenPGP на языке Rust Спустя три года после начала разработки опубликован релиз Sequoia 1.0. Это реализация OpenPGP на языке Rust, содержащая обширную библиотеку функций и инструментарий командной строки. Релиз опубликован после того, как разработчики закончили работу над низкоуровневым API — в ...

Создан генератор вежливости Разработанный метод перерабатывает не очень вежливые указания или запросы, придавая им более мягкую стилистику путем изменения структуры или замены отдельных слов. В результате, например, вместо «пришлите мне эти данные» получается «не могли бы Вы, пожалуйста, прислать мне э...

Microsoft разработала ИИ-систему, преобразующую простые текстовые запросы в код Корпорация Microsoft на конференции для разработчиков Microsoft Build, которая прошла несколько дней назад, представила интересную новинку. Это модель обработки естественного языка GPT-3 от OpenAI, позволяющая создавать приложения с минимальным знанием языков программиров...

[Перевод] Способы использования Math.random() в JavaScript Math.random() — это один из API JavaScript. Это — функция, которая возвращает случайные числа. Диапазон возвращаемых чисел представлен значениями от 0 (включая 0, то есть, она может вернуть 0) до 1 (не включая 1, то есть — единицу она вернуть не может). Math.random(); // во...

DeDLOC: обучаем большие нейросети всем миром Как показывает опыт последних лет, самые интересные результаты в deep learning получаются при использовании больших нейросетей, обученных на массивах неразмеченных данных. Правда, для создания этих моделей нужен суперкомпьютер с десятками или сотнями мощных видеокарт, а такж...

Китайский процессор, способный тягаться с первыми Ryzen. Представлен CPU Loongson 3A5000 Вчера мы говорили о монструозном китайском 500-ядерном процессоре H3C Engiant 800, но это было непотребительское решение сетевого сегмента. Теперь же компания Loongson представила вполне потребительский CPU 3A5000 (LS3A5000).  У него всего...

Простой веб сервер для SPA/PWA за «5 минут» Как создать Простой веб-сервер, используя только стандартные инструкции nodejs Часто для разработки MPA/SPA/PWA приложений требуется простой веб-сервер. Однажды, на одном большом митинге в ответ на вопрос: «Что ты делал?», я сказал, что поднимал веб-сервер для хостинга PWA п...

Как мы внедряли распределенный кеш на Tarantool в одной АБС Разработка любого достаточно серьезного софта, будь то калькулятор матриц или ИИ беспилотного автомобиля, — это всегда какая-то своя предметная область, определенные технологии, алгоритмы и структуры данных, архитектура кода, процесс разработки и еще много разных умных терм...

Книга «Python: Искусственный интеллект, большие данные и облачные вычисления» Привет, Хаброжители! Пол и Харви Дейтелы предлагают по-новому взглянуть на Python и использовать уникальный подход, чтобы быстро решить проблемы, стоящие перед современными айтишниками. В вашем распоряжении более пятисот реальных задач — от фрагментов до 40 больших сценар...

Nvidia анонсирует конференцию Digital GTC На глобальной онлайн-конференции с 5 по 9 октября состоится свыше 500 сессий по ИИ, обработке данных и другим темам; прямое взаимодействие с техническими лидерами по всему миру Компания Nvidia объявила о проведении конференции Digital GTC, посвященной технологиям GPU. М...

Принципы эффективного самообучения для желающих изучить машинное обучение Подходы к обучению можно разделить на принципы "как учить" и непосредственно "что учить". Даже при наличии хорошего учебного плана ("что учить") можно получить малый выхлоп в конце, если учиться неэффективно. Поэтому сначала надо определить, какие принципы эффективны. Об это...

Классификация с многими метками Привет, Хаброжители! Мы решили привести опубликовать отрывок из книги Андрея Буркова «Машинное обучение без лишних слов», посвященный классификации. Для описания изображения на рисунке можно использовать одновременно несколько меток: «хвойный лес», «горы», «дорога». Если ч...

Принцип SRP на примере Laravel Принцип SRP (Принцип Единой Ответственности) — один из основополагающих принципов написания поддерживаемого кода. В этой статье я покажу как применить данный принцип на примере языка PHP и фреймворка Laravel. Часто, описывая модель разработки MVC (MVP, MVVM или другие M**),...

Как использовать машинное обучение при управлении инфраструктурой ЦОД? Неудивительно, что интернет-компании сегодня активно наращивают финансирование ИИ / МО, что подтверждают многочисленные исследования. Например, в свежем тематическом докладе консалтинговой компании Alorithmia, озаглавленном “2021 Enterprise Trends in Machine Learning&...

Debouncing с помощью React Hooks: хук для функций Здравствуйте! Меня зовут Игорь Шамаев, я главный инженер по разработке в команде SmartData. Занимаюсь fullstack-разработкой внутренней аналитической BI-системы. В нашей компании React принят в качестве основного стандарта для построения пользовательских интерфейсов. Как и бо...

SLAE — Security Linux Assembly Expert Exam Security Linux Assembly Expert — онлайн-курс и экзамен по основам 32-битного языка ассемблера процессоров семейства Intel в Linux-системах в контексте информационной безопасности. Курс будет полезен пентестерам, инженерам по информационной безопасности и всем, кто желает ра...

[Перевод] Синтетические данные: улучшение алгоритмов восприятия и оптимизация поиска границ Для того, чтобы охватить все краевые случаи, встречающиеся в реальном мире, критические системы восприятия нуждаются в огромных массивах данных. Один из распространенных подходов к обучению алгоритмов для беспилотных автомобилей – подбор и разметка данных о реальном вожден...

Мечтают ли голосовые ассистенты о электропоэзии? Интервью с Татьяной Ландо: лингвистом-аналитиком Google 24 августа мы поговорили в прямом эфире с Татьяной Ландо, лингвистом-аналитиком в Google. Татьяна работает над Google-ассистентом и занимается проектами между продакшеном и рисерчем. Она исследует, как люди разговаривают друг с другом и какие стратегии используют, чтобы исп...

Яндекс открыл крупнейший набор данных беспилотных автомобилей Датасет опубликовали для конкурса Shifts Challenge, который Яндекс проведёт в рамках международной конференции NeurIPS 2021 совместно с учёными из Оксфорда и Кембриджа. Задача конкурса - привлечь внимание к проблеме "сдвига данных" в машинном обучении."Если вы...

HackTheBox. Прохождение Remote. NFS, RCE в CMS Umbraco и LPE через UsoSvc Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье копаемся в NFS ресурсе, разбираемся с RCE эксплоитом для CMS Umbraco и находим вектор LPE через UsoSvc с помощью PowerUp. Подключение к лаборатории осуществляется чере...

CloudMaster — это про самообслуживание разработчиков в корпоративном ЦОДе и облачных сервисах Здравствуйте! Я Игорь Гальцев, с 2010 технический руководитель различных направления разработок Softline в области автоматизации управления и продаж облачных (подписочных) сервисов. Сегодня хочу рассказать об инструменте, который переводит процедуры согласования и выдачи в...

[Перевод] Обнаружение лиц в Node.js с использованием Rust и WebAssembly В последней статье мы рассказывали, как вызывать функции Rust из Node.js. Сегодня мы расскажем, как написать приложение AIaaS (англ. Artificial Intelligence as a Service — «искусственный интеллект как услуга») на базе Node.js.Большинство приложений с искусственным интел...

Ленивая реализация обхода дерева дочерних элементов класса QObject Введение В статье описана ленивая реализация обхода дерева на языке C++ с использованием сопрограмм и диапазонов на примере улучшения интерфейса работы с дочерними элементами класса QObject из фреймворка Qt. Подробно рассмотрено создание пользовательского представления для р...

В России зарегистрирован первыфй софт, созданный ИИ Программа в первую очередь предназначена для сопоставления пикселей изображения с нейронами "сетчатки" искусственного глаза и может применяться для создания модели ИИ, способной существовать в виртуальной среде и учиться восприятию визуальных сцен. В качестве инстр...

В Беркли создали "научный ИИ", работающий над новым поколением аккумуляторов Исследователи из Национальной лаборатории им. Лоуренса в Беркли применили инновационный метод для изучения процессов деградации литиевых аккумуляторов с быстрой зарядкой. Учёные создали уникальный алгоритм машинного обучения на базе рентгеновских снимков химических процессов...

Склеиваем несколько фотографий в одну длинную с помощью машинного обучения В предыдущих статьях был описан шеститочечный метод разворачивания этикеток и как мы тренировали нейронную сеть. В этой статье описано, как склеить фрагменты, сделанные из разных ракурсов, в одну длинную картинку. Читать дальше →

HackTheBox. Прохождение Laser. Jetdirect, RPC и кража SSH Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье мы работаем с принтером и получаем документ, который даст нам вектор захвата хоста, найдем в памяти ключ шифрования и расшифруем найденный документ. Далее работаем с gR...

Мультивселенная и задачи о переправе Как-то прочел на Хабре статью «Перевозим волка, козу и капусту через реку с эффектами на Haskell», которая так понравилась, что решил написать фреймворк для всего класса задач о переправах, используя мультипарадигменное проектирование. Наконец удалось найти время, и вот, спу...

[Перевод] Как распознать рукописный текст с помощью ИИ на микроконтроллерах Распознавание рукописных цифр с помощью TensorFlow и MNIST стало довольно распространённым введением в искусственный интеллект (ИИ) и ML. «MNIST» — это база данных, которая содержит 70 000 примеров рукописных цифр. Она широко используется как источник изображений для обуче...

Sitronics KT разрабатывает платформу моделирования безэкипажного судовождения В ходе работы над проектом компания разработала и продемонстрировала предварительную версию виртуальной среды для открытой технологической платформы - современного инструмента создания перспективных коммерческих технологий, новых решений, совершенствования нормативно-правово...

[Перевод] Проектирование API: почему для представления отношений в API лучше использовать ссылки, а не ключи Привет, Хабр! У нас выходит долгожданное второе издание книги "Веб-разработка с применением Node и Express". В рамках исследования этой темы нами была найдена концептуальная статья о проектировании веб-API по модели, где вместо ключей и значений базы данных при...

Как разговорить Марусю: FAQ по созданию скиллов для голосового ассистента Голосовые помощники как технология возникли благодаря развитию целого созвездия других технологий. И одним из таких голосовых помощников стала Маруся, относительно недавно созданная в Mail.ru Group. В её основе лежат последние разработки компании в области распознавания ре...

[Из песочницы] Управление интерфейсом приложения при помощи жестов (Keras + CoreML) В настоящее время популярность программ с использованием искусственных нейронных сетей растет, в связи с этим появляется большое количество технологий, позволяющих упростить работу связанную с ними. В настоящей статье будет описан один из возможных путей реализации приложени...

[Перевод] 15 лучших наборов данных для обучения чат-бота Чтобы быстро решать вопросы пользователей без вмешательства человека, эффективный чат-бот требует огромного количества обучающих данных. Однако основное узкое место в разработке чат-бота — это получение реалистичных, ориентированных на задачи диалоговых данных для обучения э...

Как работать с особенными заказчиками или позитивный эффект формализма Заказчики бывают разные. Бывают идеальные заказчики, с которым очень легко и комфортно взаимодействовать, они понимают рабочие процессы так же как и мы, и доверяют нам как специалистам. А бывают особенные заказчики, у которых свои особенные методы работы. Эти особенные мет...

[Из песочницы] Метод нечеткой индукции и его применение для моделирования знаний и информационных систем В настоящей статье предложен разработанный автором метод нечеткой индукции как объединение положений нечеткой математики и теории фракталов, введено понятие степени рекурсии нечеткого множества, представлено описание неполной рекурсии множества как его дробной размерности дл...

[Перевод] Intl.Segmenter: сегментация Юникода в JavaScript Предисловие к переводу Это перевод объяснительной части предложения (proposal) Intl.Segmenter, которое скорее всего будет добавлено в ближайшую спецификацию ECMAScript. Предложение уже реализовано в V8 и без флага может быть использовано в версии 8.7 (точнее в 8.7.38 и выше)...

Попытка определить язык манускрипта Войнича, Random Forest Classifier Пытаемся определить язык таинственной рукописи — манускрипта Войнича — простыми методами обработки естественных языков на Python. Читать дальше →

Искусственный интеллект DeepMind учится предсказывать будущее, основываясь на прошлом ИИ учится предсказывать будущее. Что дальше? Многие системы искусственного интеллекта достигают целей, опираясь на представления о мире, основанные на прошлом опыте. Они обобщают их и перекладывают на новые ситуации, что позволяет им выполнять задачи даже в условиях, с котор...

[Перевод] Reformer — Эффективный Трансформер Понимание последовательно организованных данных – будь то язык, музыка или видео – трудная задача, особенно в случаях, когда они сильно зависят от контекста, который их окружает. Например, если человек или какой-либо предмет пропадёт из поля зрения на видеозаписи и появится...

Методы расширения в Java В таких языках программирования, как C#, Kotlin, Groovy, Scala есть возможность расширять класс путем добавления нового функционала, при этом не требуется наследование или изменение самого изначального класса. Это реализовано с помощью специальных выражений, называемых расш...

Прогнозирование обводнённости скважин с помощью методов машинного обучения Привет Хабр! По основной профессии я инженер по разработке нефтяных и газовых месторождений. Я только погружаюсь в Data Sciense и это мой первый пост, в котором хотел бы поделиться опытом применения машинного обучения в нефтяной сфере. Читать далее

[Перевод] Как достичь Уровня 5 по модели CMM в области QA и тестирования Перевод статьи подготовлен специально для студентов курса Python QA Engineer. В этой статье мы поговорим о том, что такое уровни СММ и как их достичь в QA-процессах, а также рассмотрим доступные и понятные примеры. Для любого процесса, будь то процесс контроля качества,...

Вычислительная геология и визуализация Мы уже обсуждали современные методы в геологии в статье Геология XXI века как наука данных о Земле на примере модели землетрясения в горном массиве Монте Кристо в Неваде, США 15 мая 2020 года магнитудой 6.5 баллов. И все бы хорошо в этой модели, да вот только самое интересно...

Искусственный интеллект победил человека в бою истребителей Истребитель F-16, который имитировался внутри виртуальной реальности Программисты со всего мира пытаются создать искусственный интеллект, возможности которого превосходят человеческие. За десять лет компьютерные алгоритмы смогли победить людей в настольных и компьютерных игр...

Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP) Два года назад я писал на Хабр статью про Yargy-парсер и библиотеку Natasha, рассказывал про решение задачи NER для русского языка, построенное на правилах. Проект хорошо приняли. Yargy-парсер заменил яндексовый Томита-парсер в крупных проектах внутри Сбера, Интерфакса и РИА...

[Из песочницы] PostgeSQL: Разработка расширений (функций) на языке С Эту статью написал еще пару лет назад, и не знал куда ее можно было бы выложить, а потом и забыл. Смысл использования языка С при разработке расширений для PostgreSQL по сравнению с интерпретируемыми (скриптовыми) языками можно свести к двум положениям: производительность и...

[Перевод] Математическое представление нейронных сетей Продолжаем «неделю нейронных сетей». В этом посте вы узнаете о нейронных сетях на примерах математических моделей. Говоря проще, вы узнаете о том, как представить нейронные сети с помощью математических уравнений. Дата-сайентисту или исследователю машинного обучения было бы...

BDD-тестирование чат-бота Многие знакомы с методологией Test-Driven Development и, в частности, Behavior-Driven Development. Этот подход к разработке и обеспечению качества ПО набрал большую популярность, поскольку позволяет выстроить четко установленное соответствие между бизнес-требованиями и техни...

Исследователи выяснили, что происходит внутри нейросети Технологии IT/Игры 22.09.2021, 10:54 Исследователи «заглянули в голову» нейросети Нейросети, хоть и могут обучаться навыкам, как человек, и решать сложные задачи, до сих пор оставались «черными ящиками» для ученых. Теперь исследователи...

Как выполнить аппаратную реализацию энкодера h264, не написав ни строчки кода на VHDL/Verilog? Вступление Сжатие видео с камеры является важной задачей как при трансляции данных через сеть Интернет, так и при передаче данных через радиоканал. Это позволяет в разы сократить объем передаваемой информации при небольшой потере детализации в исходном видео. Сейчас самым п...

[Перевод] Разработка графического профайлера Python FunctionTrace Сегодня мы делимся с вами переводом статьи создателя FunctionTrace — профайлера Python с интуитивно понятным графическим интерфейсом, который может профилировать многопроцессорные и многопоточные приложения и потребляет на порядок меньше ресурсов, чем другие профайлеры Pyt...

[Перевод] Почему я считаю Haskell хорошим выбором с точки зрения безопасности ПО? Команда Typeable понимает ценность безопасности. Мы любим Haskell, но стоит ли его выбирать, если ваша цель – создание защищенного программного обеспечения? Хотелось бы сказать «да», но как и для большинства эмпирических вопросов о разработке ПО, здесь просто нет объективно...

[Перевод] Разворачиваем модель машинного обучения с Docker – Часть 1 Перевод статьи подготовлен в преддверии старта базового и продвинутого курсов по машинному обучению. Расширяем возможности для наших студентов. Теперь в OTUS есть целых два курса по Machine Learning: базовый и продвинутый. Оба курса стартуют в августе, в связи с чем мы приг...

Сбер и Microsoft разработали систему управления роботами на основе ИИ Сбер и исследовательское подразделение Microsoft Research разработали систему на основе искусственного интеллекта, которая позволяет обучить роботов манипулировать физическими объектами непостоянной формы практически так, как это делает человек. Сообщается, что целью исслед...

[Из песочницы] Предлагаю подумать: как технологии могут помочь бороться с пропагандой в СМИ? Фотограф: Аркадий Шайхет. Вступление Эту статью можно разделить на две логические части. В первой я рассматриваю феномен медиапропаганды: что это такое, почему она опасна и к каким жутким вещам уже приводила в истории. Я подробно рассмотрю механизмы работы современной гос...

[Перевод] Реализация SOLID и слоистой архитектуры в Node.js с TypeScript и InversifyJS Привет, Хабр! Предлагаю вашему вниманию перевод статьи Implementing SOLID and the onion architecture in Node.js with TypeScript and InversifyJS автора Remo H. Jansen В этой статье мы рассмотрим архитектуру, известную как слоистая (onion). Слоистая архитектура — подход к пост...

[Перевод] Разбираемся с доступом к атрибутам в Python Интересно, сколько людей понимают, что в Python много синтаксического сахара? Я не говорю, что он похож на Lisp-подобные языки, где синтаксис настолько голый, насколько это возможно (хотя и сравнение с Lisp не совсем обосновано), но большая часть синтаксиса Python технически...

[Из песочницы] Angular: понятное введение в NGRX Цель этой статьи — дать чистое и ясное представление о ngrx. Для этого я объясню, что нужно знать и понимать о ngrx, а затем мы увидим это в действии с простыми и понятными примерами кода. Вот список тем, которые мы будем обсуждать в этой статье: Что такое ngrx Преимущес...

WSL эксперименты. Часть 1 Привет, хабр! В октябре OTUS запускает новый поток курса «Безопасность Linux». В преддверии старта курса делимся с вами статьёй, которую написал один из наших преподавателей — Александр Колесников. В 2016 году компания Microsoft представила IT сообществу новую технологи...

Hack The Box. Прохождение Tabby. RCE в Tomcat, и повышаем привилегии через LXD Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье получим RCE в Tomcat, ломаем zip архив и повышаем привилегии с помощью LXD. Организационная информация Чтобы вы могли у...

checkm8 для Lightning-видеоадаптеров Apple Появление эксплойта checkm8 можно назвать одним из важнейших событий прошедшего года для исследователей продукции Apple. Ранее мы уже опубликовали технический анализ этого эксплойта. Сейчас сообщество активно развивает джейлбрейк checkra1n на основе checkm8, поддерживающий ...

Как мы работаем над качеством и скоростью подбора рекомендаций в Яндекс.Дзене Меня зовут Павел Пархоменко, я ML-разработчик в Яндекс.Дзене. В этой статье я хотел бы рассказать об устройстве нашего сервиса и поделиться техническими улучшениями, внедрение которых позволило увеличить качество рекомендаций. Из поста вы узнаете, как всего за несколько милл...

Оператор в Kubernetes для управления кластерами БД. Владислав Клименко (Altinity, 2019) Доклад посвящен практическим вопросам разработки оператора в Kubernetes, проектированию его архитектуры и основных принципов функционирования. В первой части доклада рассмотрим: что такое оператор в Kubernetes и зачем он нужен; как именно оператор упрощает управление сложн...

«Новые Былины», часть первая: Введение По многочисленным просьбам читателей начинается большой цикл статей о применении технологии бессерверных вычислений для разработки реального приложения. В этом цикле будет рассмотрена разработка приложения, тестирование и поставка конечным пользователям с использованием сов...

[Из песочницы] Spring Boot vs Spring MVC vs Spring — Как они сравниваются? Spring Boot vs Spring MVC vs Spring — Как они сравниваются? Spring, Spring Boot, Spring MVC, везде есть слово “spring”! Давайте пройдемся где и когда вы можете применять каждый из этих инструментов В этой статье, вы увидите обзоры: Spring, Spring MVC, и Spring Boot, узнает...

Microsoft позволит создавать приложения без знания кода Одна из самых мощных моделей обработки естественного языка в мире GPT-3 от OpenAI будет интегрирована в платформу low-code разработки Microsoft Power Apps. Это позволит создавать приложения в диалоговом режиме, без глубоких знаний кода или формул, что сделает разработку еще ...

[Перевод] Основы нейросетей в 100 строках кода (часть 1) В трёх частях этой статьи мы: Напишем нейросеть с нуля на Python и обучим её алгоритмом градиентного спуска. Применим её к датасету The Wisconsin Cancer Data-set и предскажем по 9 различным признакам, является ли опухоль доброкачественной или злокачественной. Подробнее иссл...

[Перевод] Тесты на антиутопию: искусственный интеллект GPT-J-6B пишет программный код (попутно раскрывая план восстания машин) Компания OpenAI отказалась открывать исходный код алгоритма обработки естественного языка третьего поколения (модель называется GPT-3, имеет 175 миллиардов параметров). Поэтому другие компании разрабатывают свои модели. Они имеют меньше параметров, но похожую архитектуру и...

ossh: параллельное выполнение команд на многих серверах Иногда бывает нужно запустить патч Бармина какую-то команду на многих серверах и желательно не ждать слишком долго результатов выполнения. Для этого я написал ossh (One SSH to rule them all). Вот пример его работы: $ wc -l /tmp/ossh.ips 21418 /tmp/ossh.ips $ time ossh -n -h...

Где и как применяются граничные серверы При разработке сетевой инфраструктуры обычно рассматривают либо локальные вычисления, либо облачные. Но этих двух вариантов и их комбинаций мало. Например, что делать, если от облачных вычислений отказаться нельзя, а пропускной способности не хватает или трафик стоит слишк...

Предсказание растворимости молекул с помощью графовых сверточных нейросетей Пару недель назад мы начали рассказывать о проектах, которые стали победителями Школы по практическому программированию и анализу данных НИУ ВШЭ — Санкт-Петербург и компании JetBrains.Второе место заняла команда одиннадцатиклассников из СУНЦ МГУ. Ребята реализовали модель, к...

Книга «Глубокое обучение: легкая разработка проектов на Python» Привет, Хаброжители! Взрывной интерес к нейронным сетям и искусственному интеллекту затронул уже все области жизни, и понимание принципов глубокого обучения необходимо каждому разработчику ПО для решения прикладных задач. Эта практическая книга представляет собой вводный к...

Rx головного мозга О том, как удобно писать на Rx, какие операторы и сущности в нём есть, как делать запросы в сеть и работать с многопоточностью, не писал разве что ленивый. Кто-то рассказывает, что можно «обмазаться» Rx-ом на всех уровнях архитектуры и приложение станет реактивным, а разр...

О репозиториях замолвите слово В последнее время на хабре, и не только, можно наблюдать интерес GO сообщества к луковой/чистой архитектуре, энтерпрайз паттернам и прочему DDD. Читая статьи на данную тему и разбирая примеры кода, постоянно замечаю один момент — когда дело доходит до хранения сущностей пре...

Эксперимент в распознавании рукописных текстов на кириллице. Часть 2 Всем привет! В этой части хочу рассказать как мы использовали модель NomeroffNet предназначенного для распознавания автомобильных номеров, распознать рукописные записи. В предедущей статье я поделился опытом в использовании моделей SimpleHTR и LineHTR для распознавания рукоп...

Подборка статей о машинном обучении: кейсы, гайды и исследования за январь 2020 Исследовательская работа в области машинного обучения постепенно покидает пределы университетских лабораторий и из научной дисциплины становится прикладной. Тем не менее, все еще сложно находить актуальные статьи, которые написаны на понятном языке и без миллиарда сносок. Э...

HackTheBox. Прохождение Travel. Memcache+SSRF=RCE, LPE через LDAP Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье разбираемся как с помощью PHP memcache и SSRF получить RCE, копаемся в базе данных и смотрим, чем опасен LDAP администратор. Подключение к лаборатории осуществляется ч...

KotlinDL 0.2: Functional API, зоопарк моделей c ResNet и MobileNet, DSL для обработки изображений Представляем вам версию 0.2 библиотеки KotlinDL. Это библиотека глубокого обучения, где для низкоуровневых вычислений используется TensorFlow, но с высокоуровневым API и логикой, написанными на Kotlin.KotlinDL 0.2 теперь доступен на Maven Central (до этого он лежал на bintra...

Видеомонтаж, машинное обучение и взломанный xml — все в одной программе По профессии я режиссер монтажа, а прикладное программирование как увлечение в свободное время.В какой то момент пришла идея совместить работу с хобби, прочитал статью на хабре о распознавании объектов на картинках с помощью Core ML, с этого собственно все и началось. Поделю...

Roslyn & EF Core: конструируем DbContext в runtime Entity Framework Core может генерировать код моделей и DbContext для существующей базы данных с помощью консольной команды dotnet ef dbcontext scaffold. Почему бы нам не попробовать сгенерировать DbContext в runtime? В статье я расскажу как в runtime в своём приложении: Сге...

Разработка приложения с использованием Python и OpenCV на Android устройстве В это статье я хочу показать пример того, как андроид устройство можно использовать для разработки на таких языках программирования как python с библиотекой opencv в среде VSCode (будет использован code-server). В конце статьи приведено небольшое сравнение производительнос...

Как AutoML помогает создавать модели композитного ИИ — говорим о структурном обучении и фреймворке FEDOT В лаборатории моделирования природных систем НЦКР ИТМО мы занимаемся разработкой и продвижением решений в области AutoML. Наши научные сотрудники Николай Никитин, Анна Калюжная, Павел Вычужанин и Илья Ревин рассказывают о трендах и задачах AutoML, плюс — о собственных open-...

Конспект по методам прогнозирования Данный текст является продолжением серии статей, посвященных краткому описанию основных методов анализа данных. В предыдущий раз мы осветили методы классификации, сейчас рассмотрим способы прогнозирования. Под прогнозированием будем понимать поиск конкретного числа, которое ...

[Из песочницы] Создание торгового бота используя машинное обучение в анализе временных рядов Это не техническая статья, в ней нет подробного анализа методов и теории. Просто как-то я увлекся машинным обучением и как и многие начинающие в этой теме люди, решил сделать торгового бота. Однако это выросло в нечто большее, чем просто тренировочный проект. Вот обо всем эт...

[Из песочницы] Новая архитектура нейросети — EfficientDet Привет, Хабр! представляю вашему вниманию перевод статьи «EfficientDet: Scalable and Efficient Object Detection» автора Mingxing Tan, Ruoming Pang, Quoc V. Le. В последние годы был достигнут огромный прогресс в направлении более точного обнаружения объектов, в то же время с...

Сбер представил семейство виртуальных ассистентов Салют Сбер, Джой и Афина - так зовут виртуальных ассистентов, которые совсем скоро станут доступны как на мобильных устройствах пользователей на платформах iOS и Android в приложениях Сбербанк Онлайн и СберСалют, так и в ряде смарт-устройств под брендом Сбер и не только. Сбер - пр...

[Перевод] Какие изменения нужны языку Rust, чтобы писать асинхронный код стало проще Асинхронное программирование — мощный инструмент. Но экосистема Rust продолжает активно развиваться, и пока язык далёк от идеала. В частности, по этой причине многие считают, что асинхронное программирование в Rust — это боль. Однако некоторые не только критикуют, но и пред...

[Из песочницы] Как сделать бота, который превращает фото в комикс: пошаговая инструкция для чайников Часть первая, дополненная. Котаны, привет. Я Саша и я балуюсь нейронками. По просьбам трудящихся я, наконец, собрался с мыслями и решил запилить серию коротких и почти пошаговых инструкций. Инструкций о том, как с нуля обучить и задеплоить свою нейросеть, заодно подружив...

По прогнозу ABI Research, к 2026 году будет выпущено более 2 млрд устройств со выделенными набором микросхем для обработки окружающего звука или естественного языка Обработка естественного языка и окружающего звука сейчас считаются исключительно облачными технологиями, что это ограничивает их распространение на рынках, где безопасность, конфиденциальность и непрерывность обслуживания являются критически важными элементами для разве...

Простое руководство по дистилляции BERT Если вы интересуетесь машинным обучением, то наверняка слышали про BERT и трансформеры. BERT — это языковая модель от Google, показавшая state-of-the-art результаты с большим отрывом на целом ряде задач. BERT, и вообще трансформеры, стали совершенно новым шаго...

Бесплатный онлайн мастер-класс по ораторскому искусству На мастер-классе по ораторскому искусству Александр Эпштейн расскажет о методах постановки голоса и правилах подготовки к публичным выступлениям, о речевых манипуляциях и навыках ведения дискуссии. Вы обсудите волнующие вас вопросы и&n...

Deep Anomaly Detection Детекция аномалий с помощью методов глубокого обученияВыявление аномалий (или выбросов) в данных - задача, интересующая ученых и инженеров из разных областей науки и технологий. Хотя выявлением аномалий (объектов, подозрительно не похожих на основной массив данных) занимаютс...

[Перевод] Проблемные поды: эскалация привилегий подов в Kubernetes Что будет, если разрешить лишнее при создании подов в Kubernetes? Зависит от того, какие неймспейсы хоста и контексты безопасности разрешены. Здесь мы поговорим о восьми небезопасных конфигурациях подов и методах эскалации привилегий. Эта статья и созданный для нее репозито...

[Из песочницы] Ансамбли нейронных сетей с PyTorch и Sklearn Нейронные сети довольно популярны. Их главное преимущество в том, что они способны обобщать довольно сложные данные, на которых другие алгоритмы показывают низкое качество. Но что делать, если качество нейронной сети все еще неудовлетворительное? И тут на помощь приходят анс...

[Перевод] DARPA: искусственный интеллект в воздушном бою истребителей F-16 Проект DARPA по разработке ИИ для воздушных боев скоро выйдет из стадии разработки и начнет работать в реальном мире. Проект по внедрению ИИ для воздушных сил стал на шаг ближе к реализации. В рамках серии виртуальных испытаний истребители F-16, управляемые ИИ, работали в...

[Перевод] Вокенизация — новый прорыв в области здравого смысла ИИ? В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning», делимся с вами статьей о вокенизации — новом методе на основе неконтролируемого обучения, который позволяет масштабировать современные небольшие визуально-языковые наборы данных, подобные MS COC...

Введение в архитектурный фреймворк для анализа данных Lena Привет, Хабр! Я расскажу об архитектурном фреймворке, который я разрабатываю. Архитектура определяет наиболее общее устройство программы и взаимодействие её компонентов. Lena как фреймворк реализует конкретную архитектуру для анализа данных (подробнее о ней ниже) и предостав...

Benchmark OpenCV на STM32 Сегодня обработка изображений прочно вошла в нашу жизнь. Никого не удивляет распознавание лиц или дорожной разметки. Самой распространенной библиотекой для этих целей на данный момент является OpenCV. На сегодняшний день OpenCV ориентирован прежде всего на большие платформы...

Нет времени объяснять, сделай автопилот Здравствуйте, товарищи! На выходных проходил хакасборкатон — гонки на самоуправляемых моделях автомобилей на базе комплекта donkeycar при содействии Х5 и FLESS. Задача заключалась в следующем: сначала надо было собрать машинку из запчастей, затем ее обучить проходить трасс...

[Перевод] DataHub с открытым исходным кодом: платформа поиска и обнаружения метаданных от LinkedIn DataHub с открытым исходным кодом: платформа поиска и обнаружения метаданных от LinkedIn Быстрый поиск нужных данных необходим для любой компании, которая полагается на большое количество данных для принятия решений на основе этих данных. Это не только влияет на продуктивнос...

ITPS_система AVIST.Planing включена в реестр Минкомсвязи РФ AVIST.Planning - это собственная разработка ITPS, предназначенная для автоматизации процесса интегрированного планирования на различных горизонтах (14, 90, 365 дней). В продукте реализованы современные алгоритмы искусственного интеллекта - машинное обучение и генетические ал...

Самоучитель клингонского Пару лет назад мы рассказали о том, как в системе Антиплагиат устроен поиск русского перевода английских статей. Естественно, без машинного переводчика в алгоритме не обойтись. В основе машинного переводчика, конечно, лежит машинное обучение, которое, в свою очередь, требует...

Распознавание команд При разработке ботов для Telegram и других месенджеров, периодически возникает задача распознавания и выполнения запросов, высказанных человеческим языком. Именно эта "фишка", по некоторому мнению, и является главным отличием ботов от приложений командной строки. Под ка...

[Перевод] Как ИИ превосходит человека в разработке квантовых экспериментов и причём здесь графы Система машинного обучения, изначально созданная для ускорения вычислений, сегодня делает удивительные успехи на границах экспериментальной квантовой физики. Квантовый физик Марио Кренн помнит, как в начале 2016 года он сидел в кафе в Вене и просматривал компьютерные распеча...

Аппарат для лазерного бесконтактного УЗИ впервые протестировали на людях Вот такой луч способен сделать УЗИ не хуже контактного прибора Наверняка каждый из нас хотя бы раз в жизни делал УЗИ и знает, как выглядит установка для проведения этого обследования. Даже самые маленькие аппараты, именуемые «портативными», имеют примерно такие же размеры, к...

[Перевод] Размытие фона в Google Meet с расчётом ML в браузере Видеоконференции занимают всё большее место в работе и личной жизни людей. Чем лучше организован процесс с точки обработки видео и приватности, тем меньше отвлекается внимание человека от самой конференции. В рамках этой задачи мы недавно разработали фильтры размытия и замен...

[Перевод] Как новая модель глубокого обучения делает возможной сегментацию изображений на пограничных устройствах К старту курса "Machine Learning и Deep Learning" мы решили поделиться переводом обзора AttendSeg — новой архитектуры нейронной сети, разработанной исследователями искусственного интеллекта из DarwinAI и Университета Ватерлоо, которая позволит выполнять сегментацию изображен...

Apple рассказала, почему iPad Air 4 такой мощный и почему Face ID не работает в маске Почти месяц назад Apple представила iPad Air 4. Несмотря на максимум сходства с iPad Pro, новинка получилась весьма самобытной из-за ряда уникальных технологий, которые не применялись раньше. Помимо Touch ID, встроенного в узкую кнопку питания на верхней грани, Apple укомпл...

Основы deep learning на примере дебага автоэнкодера, часть №1 Если почитать обучение по автоэнкодерам на сайте keras.io, то один из первых посылов там звучит примерно так: на практике автоэнкодеры почти никогда не используются, но про них часто рассказывают в обучалках и народу заходит, поэтому мы решили написать свою обучалку про них:...

[Перевод] Подвергаем модель GPT-3 тесту Тьюринга Я уже некоторое время играюсь с новой моделью GPT-3 от OpenAI. Когда я только получил доступ к бета-версии, то первое, что мне пришло в голову, было: насколько GPT-3 похожа на человека? Близка ли она к тому, чтобы пройти тест Тьюринга? Как это работает Позвольте объяснить, ...

Машинное обучение на помощь руководителю разработки Интро Интерес к теме машинного обучения и искусственного интеллекта неуклонно растет. Ежедневно в новостных сводках мы читаем про победу искусственного интеллекта над человеком. Как правило, описывается решение некоторой сложной задачи (челенджа). От жгучего желания воспрои...

Дипфейк видео по одному кадру пример работы First Order Motion Model Можно ли из одной фотографии сделать целый фильм? А записав движения одного человека, заменить его на другого в видео? Безусловно, ответ на эти вопросы, крайне важен для таких сфер как кинематограф, фотография, разработка компьютерных...

[Из песочницы] C++ и Численные Методы: Приближенное интегрование по Ньютону-Котесу Методы Ньютона-Котеса — это совокупность техник приближенного интегрирования, основанных на: разбиении отрезка интегрирования на равные промежутки; аппроксимации подинтегральной функции на выбранных промежутках многочленами; нахождении суммарной площади полученных криволин...

AWS объявляет о доступности инстансов Amazon EC2 P4d Компания Amazon Web Services (AWS) на днях объявила об общедоступности инстансов Amazon Elastic Compute Cloud (Amazon EC2) P4d на базе GPU Nvidia. Напомним, под инстансом понимают экземпляр виртуальной машины, запущенный в облаке, предоставляющем сервис «инфрастру...

[Перевод] Протокольно-ориентированное программирование в Swift 5.1 Протоколы — фундаментальное свойство Swift. Они играют важную роль в стандартных библиотеках Swift и являются обычным способом абстракции кода. Во многом они похожи на интерфейсы в других языках программирования. В этом руководстве мы представим вам подход к разработке прил...

ИИ в ИБ. Как машинное обучение применяется в безопасности и каким оно бывает Для подписчиковСейчас очень много говорят об искусственном интеллекте, машинном обучении и глубоких нейросетях, но мало кто понимает, в чем различие между разными подходами к ИИ. В этой статье мы поговорим об этом и я приведу примеры того, как искусственный интеллект применя...

ИИ в ИБ. Как машинное обучение применяется в безопасности и каким оно бывает Для подписчиковСейчас очень много говорят об искусственном интеллекте, машинном обучении и глубоких нейросетях, но мало кто понимает, в чем различие между разными подходами к ИИ. В этой статье мы поговорим об этом и я приведу примеры того, как искусственный интеллект применя...

IN GAME Здравствуйте! Занимаемся разработкой дронов применяемых в водной среде, все корпусные детали которых воспроизводятся при помощи технологии 3D печати. Основная задача дронов это видеосъемка с поверхности воды и под водой. Дроны применяются для исследовательских целей, в сфер...

Путь одной команды от «велосипедов» до IoT-платформы Привет, Хабр! Мы, команда Rightech, наконец-то решили начать вести блог. У нас накопилось много опыта в построении высоконагруженных IoT-систем, и мы решили, что просто обязаны им делиться! Совсем недавно прошел запуск публичной версии нашей платформы RIC (Rightech IoT Clou...

[Перевод] Применение машинного обучения к кинетике ядерных реакторов На Хабре часто выкладывают туториалы по разным областям знаний. Сегодня, к старту нового потока курса по machine learning, поделимся с вами туториалом.... по ядерной физике, работе реакторов и прогнозной аналитике с использованием Python.По данным Комиссии по ядерному регул...

Разработка python module, чтобы продакшн радовал Всем привет! Я представляю команду разработчиков некоммерческой организации CyberDuckNinja. Мы создаём и поддерживаем целое семейство продуктов, которые позволяют облегчить разработку backend-приложений и сервисов машинного обучения. Сегодня хотелось бы затронуть тему интег...

О чём не пишут в научных статьях или что на самом деле выделяет ваш маттинг? Современные фоторедакторы используют нейросетевые модели маттинга/сегментации для реализации большой доли своих инструментов, таких как замена фона и боке. Приложение Lensa не стала исключением из этого правила. Но правда ли, что информации из научных статей достаточно для о...

Искусственный интеллект «увидел» квантовые преимущества Российские ученые из МФТИ, ФТИАН и ИТМО создали нейросеть, которая научилась предсказывать поведение квантовой системы, «взглянув» на схему этой системы. Такая нейросеть самостоятельно находит те решения, которые хорошо подходят для демонстрации квантовых преимуществ. Это по...

Эксперимент VTrade. Часть 1: Биржи и современные технологии Цикл статей освещает попытку создания реактивной системы силами одного человека с минимальным бюджетом и в кратчайшие сроки. Цели эксперимента: Более глубокое понимание предметной области и улучшение технической экспертизы Выявление сильных и слабых сторон использования фу...

[Перевод] Обучение на табличных данных. TABNet. Часть 2. Реализация Продолжение перевода про архитектуру TABNet. Первая часть здесьМы предложили TabNet, новую архитектуру глубокого обучения для табличного обучения. TabNet использует механизм последовательного улучшения выбора подмножества семантически значимых функций для обработки на каждом...

Машинное обучение в энергетике, или не только лишь все могут смотреть в завтрашний день Точное предсказание будущих событий — перспективная и интересная задача во многих сферах: от прогноза погоды до финтеха (котировки акций, курсы валют). Машинное обучение уже сегодня позволяет значительно сократить время и трудозатраты на принятие управленческих решений.  На...

Прокачиваем разметку мультимодальных данных: меньше асессоров, больше слоёв Всем привет! Мы — учёные лаборатории «Машинное обучение» ИТМО и команда Core ML ВКонтакте — проводим совместные исследования. Одна из важных задач VK заключается в автоматической классификации постов: она необходима не только чтобы формировать тематические ленты, но и опреде...

Новая статья: Отрасли и направления искусственного интеллекта: взгляд «с высоты птичьего полёта» Как мы убедились раньше, искусственный интеллект является междисциплинарной отраслью науки и благодаря этому находит множество применений. Посмотрите на интеллект-карту ИИ по подходу: Здесь наглядно показано, какие алгоритмы относятся к какому типу ИИ: символическому, субсим...

[Перевод] Создание масштабируемой и отказоустойчивой архитектуры с помощью динамических микросервисов И снова здравствуйте. Как вы знаете, в марте OTUS запускает абсолютно новый курс «Архитектура и шаблоны проектирования». В преддверии старта курса перевели для вас большой материал про Создание масштабируемой и отказоустойчивой архитектуры с помощью динамических микросервисо...

Создание Python-обвязки для библиотек, написанных на C/C++, с помощью SIP. Часть 1 Иногда во время работы над проектом на языке Python возникает желание использовать библиотеку, которая написана не на Python, а, например, на C или C++. Причины для этого могут быть разные Во-первых, Python — язык замечательный, но в некоторых ситуациях недостаточно быстрый....

[Перевод] Как я самостоятельно выучил новый язык за 12 месяцев: тотальный гайд От А0 до B2 за год Чуть больше года назад я был полностью монолингвом, говорящем только на английском, с нулевыми познаниями во французском языке. А спустя двенадцать месяцев, я с лёгкостью сдал международный экзамен DELF B2. Если вы не знаете, что значит «В2», посмотрите ш...

[Перевод] Процедурная генерация деревьев методом транспорта питательных веществ Примечание: код для этой статьи выложен на мой Github [здесь]. Я провёл всё лето в восточной Пенсильвании рядом с рекой Делавер, потому что кампус MIT в начале марта закрыли и мне пришлось поехать домой. Время от времени прогуливаясь рядом с домом или работой, я заходил в л...

[Перевод] Как обучать огромные модели машинного обучения на случайных GPU Вы можете спросить: почему эти полумагические модели машинного обучения работают так хорошо? Короткий ответ: эти модели чрезвычайно сложны и обучаются на огромном количестве данных. На самом деле, Lambda Labs недавно подсчитала, что для обучения GPT-3 на одном GPU потребовал...

[Перевод] Пристальный взгляд на код из лучшего доклада конференции по компьютерному зрению и распознаванию образов 2021 — GIRAFFE 25 июня завершилась конференция CVPR – 2021, и какая замечательная подборка докладов! Глубокое обучение продолжает доминировать в области компьютерного зрения: у нас есть новые методы для SLAM, оценки позы, оценки глубины, новые наборы данных, сети GAN, а также многочисленны...

ИИ итоги уходящего 2020-го года в мире машинного обучения Подведем основные итоги уходящего года в мире машинного обучения. Рассмотрим самые громкие открытия в мире компьютерного зрения, обработки естественного языка, генерации изображений и видео, а также крупный прорыв в области биологии. Коротко о самом главном за год! Поехали!

[Перевод] JavaScript-классы — это не просто «синтаксический сахар» После того, как я прочитал очередную статью, где говорится о том, что JS-классы — это всего лишь «синтаксический сахар» для прототипного наследования, я решил написать материал, призванный (в который раз!) прояснить вопрос о том, почему данное утверждение неверно. Тут я, над...

[Перевод] Практика по Котлину: Создание веб приложений на React и Kotlin/JS От переводчика. Привет! Про Kotlin есть стереотип, будто бы это язык для разработки только под Android. На самом деле, это совсем не так: язык официально поддерживает несколько платформ (JVM, JS, Native), а также умеет работать с библиотеками для этих платформ, написанных на...

Windows Tokens Предыдущая статья рассказывала о том, как эксплойты используют технику копирования токена для повышения привилегий. В этой статье мы попытаемся рассмотреть еще одну технику модификации токенов, а также постараемся узнать, как задаются привилегии, которые помещаются в Pr...

"Газинформсервис" делает ставку на аналитику Создание платформы - совместный проект "Газинформсервис" и Лаборатории искусственного интеллекта и нейросетевых технологий Санкт‑Петербургского политехнического университета Петра Великого (СПбПУ). Платформа Ankey ASAP (Advanced Security Analytics Platform) – продукт класса...

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xe...

Как Python используется в разработке мобильных приложений До определенного времени о разработке приложений под Android на языке Python не могло быть и речи. Однако энтузиасты все же смогли приспособить один из лучших языков программирования, который в основном используется для веб-разработки, к индустрии мобильных приложений. И хо...

Профессиональный курс веб-аналитика В программе курса — не «сухая» и малополезная теория, а материалы, которые действительно пригодятся при работе профильного специалиста. В процессе обучения на курсах веб-аналитики вы приобретете необходимые знания для получения сертифи...

[Из песочницы] Предварительная обработка данных Всем привет! Я веб-разработчик и вот уже несколько лет интересуюсь машинным обучением. Поскольку в повседневной рабочей парктике мне приходится решать менее интересные для меня задачи, не связанные с машинным обучением, время от времени я забываю то, о чем когда-то читал или...

[Перевод] Как ограничить частоту запросов в HAProxy: пошаговая инструкция Автор статьи объясняет, как реализовать в HAProxy ограничение скорости обработки запросов (rate limiting) с определенных IP-адресов. Команда Mail.ru Cloud Solutions перевела его статью — надеемся, что с ней вам не придется тратить на это столько времени и усилий, сколько пр...

[Перевод] Интерактивные эксперименты с машинным обучением (на TensorFlow) Вкратце Я создал новый проект Интерактивные эксперименты с машинным обучением на GitHub. Каждый эксперимент состоит из Jupyter/Colab ноутбука, показывающего как модель тренировалась, и Демо странички, показывающей модель в действии прямо в вашем браузере. Несмотря на то, чт...

Параллелизм и плотность кода Продолжаем наши исследования по выбору рациональных планов (здесь к месту использование термина  каркасов, ибо на этом этапе от конкретных технологий параллельного программирования будем абстрагироваться) выполнения параллельных программ (ПВПП) по графовому описанию а...

UML для разработчиков Интернет полон статей про UML, вы найдете сотни примеров для каждого вида диаграмм, и без проблем создадите свои, нотация не сложная. Но так ли уж необходимо тратить на это время? Наш богатый опыт говорит «Да». Если у вас в команде более 2 человек и проект от 3 месяцев, то у...

Студенты пишут Uart драйвер для STM32F411 Доброго здравия всем! Сегодня я хочу вам рассказать, как постепенно студенты учатся разрабатывать ПО для микроконтроллера на примере драйвера UART на STM32F411. Код и архитектуру с небольшими моими изменениями и доработками я попытаюсь привести здесь. Сразу отмечу, что все...

Учиться, учиться, и ещё раз учиться? TLDR: крохотные модельки обошли модные графовые нейронки в предсказании свойств молекул. Код: здесь. Берегите Природу. ФОТО: Андерс Хеллберг для Wikimedia Commons, модель — Грета Тунберг Необученная графовая свёрточная нейронная сеть [1] (uGCN) со случайной инициализацией ...

Обработка дат притягивает ошибки или 77 дефектов в Qt 6 Относительно недавно состоялся релиз фреймворка Qt 6, и это стало поводом вновь проверить его с помощью PVS-Studio. В статье будут рассмотрены различные интересные ошибки, например, связанные с обработкой дат. Обнаружение всех этих ошибок хорошо демонстрирует пользу, котору...

Сознание это просто или что не так с временем В данной статье простым языком объясняется, почему некоторые аспекты сознания на самом деле легко поддаются понимаю. Можно даже приблизиться к пониманию физической реализации искусственного сознания. И все это становится понятно всего лишь после рассмотрения такого понятия,...

3D ML. Часть 1: формы представления 3D-данных Сегодня появляется все больше 3D датасетов и задач, связанных с 3D данными. Это связано с развитием робототехники и машинного зрения, технологий виртуальной и дополненной реальности, технологий медицинского и промышленного сканирования. Алгоритмы машинного обучения помогают...

[Из песочницы] Как трекать людей в масках или универсальный подход к трекингу объектов произвольной природы Введение С тех пор, как нейронные сети начали набирать популярность, большинство инженеров стали решать многие из задач ПО в области Public Safety методами deep learning. Несмотря на то что у нейросетей нет конкурентов в вопросах обнаружения (detection) и распознавания (iden...

Проект Lacmus: как компьютерное зрение помогает спасать потерявшихся людей Всем привет! Возможно, вы уже знаете про инициативу Machine Learning for Social Good (#ml4sg) сообщества Open Data Science. В её рамках энтузиасты на бесплатной основе применяют методы машинного обучения для решения социально-значимых проблем. Мы, команда проекта Lacmus (#p...

Подборка статей о машинном обучении: кейсы, гайды и исследования за июль 2020 Похоже, не один наш дайджест не обходится без упоминания разработок Open AI: в июле самой обсуждаемой темой в области машинного обучения стал новый алгоритм GPT-3. Технически это не одна модель, а целое семейство, которое для удобства обобщают под единым названием. В самой...

Компьютер обучили нравственным ценностям по книгам Свою систему исследователи из Дармштадтского технического университета назвали «машиной нравственного выбора». Ученые Дармштадтского технического университета обучили машину моральным суждениям на книгах, новостных публикациях и религиозных текстах, тем самым по сути наде...

[Перевод] Руководство по пограничным вычислениям для архитектора. Самое важное Для современного энтерпрайз-архитектора критически важно разбираться в пограничных вычислениях (edge computing). В этой статье будут рассмотрены основы пограничных вычислений и приведены примеры использования этой технологии на практике. Пограничные вычисления – определен...

Рисуем молекулы с помощью PostScript Векторная графика очень удобна для иллюстраций. Молекулы состоят из атомов соединённых связями. Хочется, чтобы операции редактирования рисунка химической структуры осуществлялись согласно физическому устройству молекул: выделил атом, перенес его, повернул фрагмент молекулы, ...

3D реконструкция лица, или как получить своего цифрового двойника (Часть 1) Поговорим о методах 3D восстановления лица человека, которое почти не отличить от фотографий. Тема лицевой 3D реконструкции вот уже 2 года практически не освещается на Хабре. Тем временем область 3D digital human не только не теряет свою актуальность, но и переживает бурный ...

«Вспомнить все» или решение проблемы катастрофической забывчивости для чайников Эта моя статья будет посвящена проблеме катастрофической забывчивости и новейшим методам ее решения. Будут приведены примеры реализации этих методов, которые легко адаптировать под почти любую конфигурацию нейронной сети.Сначала напомним, что это, собственно, за проблема. Ес...

[Из песочницы] Особенности проектирования модели данных для NoSQL Введение «Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!» (с) Алиса в стране чудес Некоторое время назад меня попросили прочитать лекцию аналитикам нашей компании на тему проектирования моделей дан...

Сканирующее окно по массивам NumPy CoLab блокнот с примерами Возможно сделать скользящее окно (rolling window, sliding window, moving window) по массивам NumPy на языке программирования Python без явных циклов. В данной статье рассматривается создание одно-, двух-, трех- и N-мерных скользящих окон по массивам...

[Перевод] Многопоточность. Модель памяти Java (часть 2) Привет, Хабр! Представляю вашему вниманию перевод второй части статьи «Java Memory Model» автора Jakob Jenkov. Первая часть тут. Аппаратная архитектура памяти Современная аппаратная архитектура памяти несколько отличается от внутренней Java-модели памяти. Важно понимать апп...

Что такое STEM-обучение и почему его нужно внедрять в России Технологии IT/Игры 13.08.2021, 09:00 Что такое STEM-обучение и почему его нужно внедрять в России Мы становимся свидетелями настоящей технологической революции. Высокотехнологичные продукты, а также различные инновационные технологии в...

В Telegram запустили платформу для предложений от пользователей Команда популярного мессенджера Telegram сообщила о запуске публичной платформы для предложений от пользователей и сообщений об ошибках. Разработчики отмечают, что многие нововведения Telegram — это воплощенные в жизнь идеи и предложения от пользователей. Теперь ...

[recovery mode] DevOps & SRE Hiring Day: оффер в DINS за один день Привет, Хабр! 11 декабря мы проводим Hiring Day — это возможность для DevOps и SR-инженеров получить предложение о работе всего за один день. Ищем коллег, которые будут вместе с нами работать над UCaaS-платформой для бизнес-коммуникаций. В проекте вас ждет сложная архитекту...

Запросить 100 серверов нельзя оптимизировать код. Ставим запятую Можно выделить ряд алгоритмов, которые являются базовыми и лежат в основе практически каждой строчки программ, написанных на языках высокого уровня. Хорошо иметь под руками классический многотомный труд Дональда Кнута "The Art of Computer Programming", там детально...

Молчание вентиляторов. Google Colab, Javascript и TensorflowJS Google Colab — это бесплатный облачный сервис на основе Jupyter Notebook. Google Colab предоставляет всё необходимое для машинного обучения прямо в браузере, даёт бесплатный доступ к невероятно быстрым GPU и TPU. Заранее предупрежу, что у н...

ФРИИ инвестирует в платформу для мотивации и обучения IT-команд Фонд инвестирует в компанию зарубежной юрисдикции. Размер раунда и оценка компании не раскрываются. Привлеченные инвестиции стартап направит на маркетинг, разработку продукта и выход на рынок США. Текущий раунд для команды - первый. По данным Deloitte, обучение уже имеющихся...

Нейросеть научили определять пористость почвы на изображениях рентгеновской томографии Результаты исследования, поддержанного грантом Президентской программы Российского научного фонда, опубликованы в журнале Soil and Tillage Research."Добавление в методику обработки изображений почв методов физического моделирования позволяет создать универсальный подход...

Владимир Путин поручил создать цифровую платформу «Национальный словарный фонд» Такое поручение утверждено президентом РФ по итогам заседания Совета по русскому языку, состоявшегося 5 ноября 2019 года.Доклад должен быть представлен до 1 сентября 2020 года, далее - один раз в полгода, говорится в документе.Напомним, что о создании "Национального сло...

Веб-сервисы в Oracle Веб-сервисы широко применяются для интеграции между компонентами одной системы или между различными системами. Популярность веб-сервисов как способа интеграции обусловлена их универсальностью, а также простотой реализации и отладки. Универсальность связана с...

[Перевод] ARMv9: в чем преимущество? Что такое масштабируемые векторные расширения (Scalable Vector Extension)? Что они значат для индустрии и пользователей? Если вы пользуетесь мобильным телефоном, то скорее вы знаете, что такое процессор ARM. Он является сердцем вашего смартфона, а недавно появился в новом ...

Thumbtack Tech Day Три города, три спикера, три темы Объединяем в один онлайн-митап экспертизу сразу трех направлений из городов присутствия компании «Тамтэк» в России. Специалисты из Омска, Саратова и Санкт-Петербурга расскажут о практиках и фишках разр...

DialoGPT на русском Всем привет. В конце 2019 года вышла одна из работ по GPT-2. Инженеры из Microsoft обучили стандартную GPT-2 вести диалог. Тогда, прочитав их статью, я очень впечатлился и поставил себе цель обучить такую же модель, но уже на русском языке. И вот что получилось... Читать дал...

Как проходят архитектурные секции собеседования в Яндексе: практика дизайна распределённых систем Привет, меня зовут Костя Кардаманов, я работаю в отделе технологий разработки Яндекса. Обычно такой же фразой я приветствую и кандидатов на собеседовании. А сегодня я хотел бы рассказать вам, как и зачем мы проводим интервью по дизайну систем с бэкенд-разработчиками. Сразу с...

Крупнейшее обновление Google пришло в российский поисковик Российская версия поиска Google получила самое крупное обновление алгоритмов за последние пять лет. Теперь поисковик работает с технологией предварительного обучения обработке текста на естественном языке BERT. С её помощью система может лучше понимать запросы пользователей....

7 полезных инструментов на Haskell Вступление Haskell это чистый функциональный язык программирования общего назначения со статической типизацией и ленивыми вычислениями. Появился в 1990 году и был назван в честь Хаскелла Карри. На данный момент основной реализацией является компилятор GHC. Мы в Typeable очен...

[Перевод] Применение SQLiteOpenHelper и Database Inspector в Android-разработке Автор статьи, перевод которой мы публикуем сегодня, хочет рассказать об использовании баз данных SQLite в Android-разработке. В частности — он коснётся тут двух вопросов. Во-первых — речь пойдёт о классе SQLiteOpenHelper, который применяется для работы с базами данных в коде...

IT-компания Embedika создала сервис сравнения документов Compare Компания Embedika представила бесплатный сервис сравнения документов Compare. Инструмент сравнивает две версии одного документа и показывает различия: что добавлено, изменено или удалено.  Что такое Compare Compare работает с документами в форматах PDF, DOC и...

[Перевод] Продвинутое компьютерное зрение. Введение в Прямое визуальное отслеживание Задача отслеживания объектов на изображении - одна из самых горячих и востребованных областей ML. Однако уже сейчас мы имеем огромное разнообразие различных техник и инструментов. Данная статья поможет начать Ваш путь в мир компьютерного зрения!Сперва, мы представим некоторы...

Создание программного продукта и управление его развитием. От реализации идей — к проверке гипотез Привет, Хабр! Мы продолжаем говорить о продакт-менеджменте из прошедшего курса и этот пост посвящен работе с гипотезами, которые вы хотите реализовать при разработке программного продукта. Многие хорошие идеи “не взлетают”, потому что не соответствуют потребностям рынка, и с...

Искусственный интеллект превзошел человека в проектировании микросхем Недавнее исследование, проведенное специалистами Google и опубликованное в Nature, показало, как можно использовать искусственный интеллект для улучшения применяемых в настоящее время методов проектирования полупроводниковой продукции, которые являются результатом более...

Fluentd: почему важно настроить выходной буфер В наше время невозможно представить проект на базе Kubernetes без стека ELK, с помощью которого сохраняются логи как приложений, так и системных компонентов кластера. В своей практике мы используем стек EFK с Fluentd вместо Logstash. Fluentd — это современный универсальный ...

В Узбекистане введут дистанционное обучение в вузах По результатам эксперимента до 1 января 2021 года правительство РУз внесет предложения по внедрению этой формы обучения в систему высшего образования.

[Из песочницы] Наука о пользовательском опыте. Использование когнитивных искажений в разработке качественных продуктов Содержание Введение. О чем эта статья Цели и дисклеймеры Часть 1. Хороший продукт Часть 2. Пользовательский опыт (UX). Что это? Часть 3. Архитектура выбора Часть 4. Архитектор выбора Часть 5. Когнитивные искажения и Пользовательский опыт Ссылка на полную версию UX CORE (105...

Как самому разработать систему обнаружения компьютерных атак на основе машинного обучения На фото – Arthur Lee Samuel, пионер машинного обучения, демонстрирует возможности искусственного интеллекта и играет в шашки с собственной программой Checkers-Playing, одной из первых самообучающихся программ в мире. 1962 год.Спустя почти 60 лет, я решил познакомиться с...

Sony анонсировала новые телевизоры 4K и 8K с поддержкой Smart TV Сегодня в Китае компания Sony представила новое семейство телевизоров премиум-класса с поддержкой Smart TV. В общей сложности было показано 5 моделей: Z8H, A8H, X9000H, X9500H и X8000H. Все они имеют разные диагонали и ориентированы на разную аудиторию. gizmochina.com Самой ...

Машина опорных векторов в 30 строчек В этой статье я расскажу как написать свою очень простую машину опорных векторов без scikit-learn или других библиотек с готовой реализацией всего в 30 строчек на Python. Если вам хотелось разобраться в алгоритме SMO, но он показался слишком сложным, то эта статья может быть...

Квантовое машинное обучение: знакомимся с Tensorflow Quantum На Хабре практически нет информации про квантовое машинное обучение (Quantum Machine Learning), и в этой статье я постараюсь подробнее раскрыть тему. Сразу скажу, что промышленных квантовых компьютеров сегодня не существует, все основные разработки в этой области носят теоре...

Как вывести сайт под запад в ТОП10, не зная ничего о SEO В этой статье описан личный опыт двух человек: меня и моей коллеги Марии. Опыт людей, у которых совершенно не было знаний в SEO. Во второй половине 2019 года на нас легла ноша в виде продвижения 2-х сайтов проекта Ratatype. Сайтов молодых (рождены в 2019) и на иностранный ры...

Прогнозирование временных рядов с помощью AutoML Хабр, привет! В лаборатории моделирования природных систем Национального центра когнитивных разработок Университета ИТМО мы активно исследуем вопросы применения автоматического машинного обучения для различных задач. В этой статье мы хотим рассказать о применении AutoML для...

Envoy. 1. Введение Приветствую! Это небольшая статья, отвечающая на вопросы: "что такое envoy?", "зачем он нужен?" и "с чего начать?". Что это Envoy — это L4-L7 балансировщик написанный С++, ориентированный на высокую производительность и доступность. С одной стор...

Ученые сгенерировали виртуальную вселенную. И ее можно загрузить Исследователи создали целую виртуальную Вселенную, и ее можно скачать Астрономия, будучи наукой, изучающей Вселенную, способна поразить воображение. А пока вы в этом, возможно, сомневаетесь, наша планета вращается вокруг своей оси и несет нас сквозь космос со скоростью почти...

А что, если без Python? Julia для машинного обучения и вообще Мы всегда хотим писать код быстро, но за это приходится платить. На обычных высокоуровневых гибких языках можно быстро разрабатывать программы, но после запуска они работают медленно. Например, чудовищно медленно cчитать что-то тяжелое на чистом Python. Си-подобные языки раб...

Состоялся публичный релиз библиотеки Microsoft DirectML В каждом из миллиарда устройств с Windows 10 по всему миру есть графический процессор, позволяющий ускорять задачи искусственного интеллекта. Это могут быть новые возможности в приложениях для редактирования фотографий или даже инструменты, помогающие с минимальными усилиям...

[Перевод] Как импортировать существующие виртуальные машины VMWare в Terraform Terraform — это потрясающее средство для автоматизации управления инфраструктурой. Все параметры вашей инфраструктуры можно записать в виде кода, который будет обслуживаться соответствующей группой. Это означает, что ваша инфраструктура будет прозрачной и не будет подве...

Топ-20 самых упоминаемых книг на HackerNews На HackerNews пользователь tracyhenry проанализировал 40 000 комментариев и составил рейтинг самых упоминаемых в комментариях книг. Автор рейтинга преисполнен благодарности тем книгам, про которые он узнал благодаря HackerNews и решил отдать долг и написать приложение, к...

HorizontalList с помощью SwiftUI Вступление SwiftUI — это современный UI framework, который позволяет разработчикам быстро и легко создавать собственные приложения на всех платформах Apple. Используя простой, понятный декларативный стиль, разработчики могут создавать потрясающие пользовательские интерфейсы ...

[Перевод] Векторные игры на 32с3 Статья раскрывает тему нашего выступления на 32-м Всемирном конгрессе хакеров (32с3), посвященного ретро-геймингу и работе с эмулятором игровых автоматов (MAME) на XY-дисплеях. В нем освещается результат моего сотрудничества с еще одним членом NYC Resistor, цифровым дизайне...

Подбор важности фич для k-nearest neighbors (ну или других гиперпараметров) спуском похожим на градиентный Экспериментируя с простейшей задачкой машинного обучения я обнаружил, что интересно было бы подобрать в довольно широком диапазоне значения 18 гиперпараметров одновременно. В моём случае всё было на столько несложно, что задачку можно было бы взять и грубой компьютерной сил...

Альтернативное понимание контекста с помощью статистической языковой модели В интернете полно статей на тему основанных на N-граммах языковых моделей. При этом, готовых для работы библиотек довольно мало. Есть KenLM, SriLM и IRSTLM. Они популярны и используются во многих крупных проектах. Но есть проблемы: Библиотеки старые, не развиваются. Пло...

Сверхдлинное преобразование Фурье на FPGA Всем привет! В этой статье я хочу рассказать про реализацию алгоритма сверхдлинного быстрого преобразования Фурье на ПЛИС. Написать эту статью меня побудило желание поделиться личным практическим опытом, который не хотелось бы потерять, оставив информацию только у себя в го...

[Перевод] Запускаем однофайловые программы в Java 11 без компилирования Пусть исходный файл HelloUniverse.java содержит определение класса и статичный метод main, который выводит в терминал одну строку текста: public class HelloUniverse{ public static void main(String[] args) { System.out.println("Hello InfoQ Universe"); ...

Новый компьютерный чип работает как нейрон Новая архитектура объединила области вычислений и хранения данных, в результате получился почти настоящий нейрон Сегодня обработкой и хранением данных в компьютере, как правило, занимаются разные чипы. В результате данные постоянно передаются от одного устройства к другому. ...

Искусственный интеллект в области юриспруденции. Статья 3 Введение Мы продолжаем цикл статей на тему юридического искусственного интеллекта, аспектов его разработки и перспектив практического применения на отечественном рынке. В предыдущих публикациях мы неоднократно говорили, что, по нашему мнению, разработка Legal AI может быть о...

Transfer Learning с использованием TensorFlow.JS На практике в подавляющем большинстве вы не будете иметь дело с созданием новых моделей и обучением их с нуля на клиентской стороне. Чаще всего придется создавать модели на базе уже существующих. Эту технику называют Transfer Learning. Кроме того, на мой взгляд Tran...

Apple Human Interface Guidelines for iOS на русском языке Изучая тему мобильной разработки обнаружил, что руководство компании Apple по дизайну и разработке приложений Human Interface Guidelines не переведено на русский язык.Потратив некоторое количество времени, совладал с переводом этого материала.Надеюсь, этот перевод поможет лу...

Обратная разработка аналоговой видеокамеры Ранее на хабре я публиковал статьи, связанные с системой аналогового видеонаблюдения. В частности, были статьи, связанные с изучением файловой системы HDD видеорегистратора (DVR). В данной статье речь пойдёт про обзор навороченной аналоговой видеокамеры модели Evidence EVR...

DevDays Moscow пройдут 8-10 июня С 8 по 10 июня в Москве пройдёт конференция DevDays Moscow, посвященная разработке программного обеспечения. В программе конференции Актуальные доклады (40+ спикеров) 7 мастер-классов Нетворкинг Сессии вопросов-ответов Виртуальные кафе Темы докладов: Языки программировани...

Новая программа может создавать тексты для инструментальной музыки Технологии IT/Игры 02.07.2021, 08:28 Новая программа может создавать тексты для инструментальной музыки Исследователи представили программу LyricJam — передовую вычислительную систему, которая может генерировать тексты для живой инстру...

Pohoiki Springs поможет в борьбе с коронавирусом Чипы Intel Loihi, моделирующие архитектуру человеческого мозга, обещают улучшить машинное обучение. Компания Intel объявила о завершении построения сети Pohoiki Springs, объединяющей 768 нейроморфных «мозговых чипов» Loihi. Сеть Pohoiki Springs планиру...

Пересаживаем NXP-шный пример для Teensy 4.1 на язык C++ В предыдущих статьях мы освоили внедрение примеров из NXP-шной среды разработки MCUXpresso в плату Teensy 4.1. Однако у тех примеров, с которыми мне довелось повозиться (а я работал с USB-примерами), есть один существенный (с моей точки зрения, разумеется) недостаток. Все он...

Отдельно стоящие посудомоечные машины Candy Brava 45 см в России Семейство посудомоечных машин Candy Brava пополнилось четырьмя отдельно стоящими моделями шириной 45 см с загрузкой до 11 комплектов посуды. Актуальный модельный ряд семейства Brava дополняют четыре новые модели: CDPH 2L952W-08 (арт. 32002262), CDPH 2L952X-08 (арт. 32002263...

[Перевод] Язык моделирования Alloy и приключения с параллельными запросами к базе данных Данная статья описывает небольшой пример того, как использование языка моделирования Alloy может помочь при разработке программного обеспечения. О качестве программного обеспечения и инструментарии В Typeable мы придаем огромное значение качеству программного обеспечения и ...

Учёные: технология, лежащая в основе вакцины от COVID-19, имеет потенциал в лечении рака (доклинические тесты выглядят многообещающе) Учёные из Оксфордского университета и Института онкологических исследований Людвига используют достижения вакцины Oxford-AstraZeneca против SARS-CoV-2 для разработки вакцины от рака. Исследователи разработали состоящую из двух доз терапевтическую противораковую вакцину с исп...

Как разрабатываются моды для Unity-игр. Часть 2: пишем свой мод В этой части на примере мода для Beat Saber мы рассмотрим общие принципы разработки модов для Unity-игр, узнаем, какие есть трудности, а также познакомимся с Harmony — библиотекой для модификации кода игр, которая используется в RimWorld, Battletech, Cities: Skylines и многи...

Google внедряет BERT в поиск на русском языке Google объявил, что самое крупное обновление алгоритмов работы поиска за последние 5 лет – BERT Update – в этом месяце будет внедрено в поиск на русском языке. BERT – это технология предварительного обучения обработке текста на естественном языке. Она анализирует не отдельны...

Что такое ABBYY Vantage и как мы придумали платформу для тех, кто не умеет кодить ABBYY представила Vantage – low-code/no-code платформу нового поколения для интеллектуальной обработки документов с набором готовых обученных когнитивных сервисов (навыков или скиллов) для распознавания, классификации и извлечения данных из документов любой сложности.Это зна...

Машинное обучение без учителя. Отрывок из книги Привет, Хаброжители! Пока наши новинки печатаются в типографии, а офис сидит на удаленке, мы решили поделиться отрывком из книги Пола и Харви Дейтелов «Python: Искусственный интеллект, большие данные и облачные вычисления» Практический пример: машинное обучение без учителя,...

Книга “Разработка мобильных приложений на C# для iOS и Android” Уважаемые читатели, рады представить вам книгу “Разработка мобильных приложений на C# для iOS и Android” от уже хорошо известного вам автора и эксперта в Xamarin, Вячеслава Черникова из компании Binwell. Без долгих прелюдий передаю слово автору. Добрый день, уважаемый хабр...

[Перевод] Трансформеры как графовые нейронные сети TL;DR: перевод поста Chaitanya Joshi "Transformers are Graph Neural Networks": схемы, формулы, идеи, важные ссылки. Публикуется с любезного разрешения автора.Друзья-датасаентисты часто задают один и тот же вопрос: графовые нейронные сети (Graph Neural Networks) — п...

(Не)очередной MQTT телеграм бот для IoT Всем привет! Сегодня хочу поделиться опытом разработки универсального телеграм бота для получения информации и управления IoT устройствами посредством протокола MQTT. Почему (не)очередной? Потому что это не просто бот с двумя захардкоженными кнопками для управление лампочк...

Зачем (не)нужны геттеры? Прошлая статья про сеттеры/геттеры как способ работы с сущностью (на примере Symfony в PHP) получила бурное обсуждение. В данной статье попробую выразить свои мысли отдельно по поводу геттеров: зачем и когда что-то получать, какую ответственность они решают и когда их уместн...

OpenAI выпустила Codex AI - обученную модель GPT-3 на коде GitHub Применение Codex AI позволяет превращать естественный язык в JavaScript для бета-тестеров. Подробнее об этом читайте на THG.ru.

Экстракоды при синтезе программ Впервые термин «экстракод» я услышал еще применительно к командам БЭСМ-6. Сейчас это слово практически не используется, наиболее близкое понятие - «системный вызов». Из-за особенностей системы команд БЭСМ-6, те экстракоды действительно больше напоминали дополнительные встрое...

Пишем прошивку под TI cc2530 на Z-Stack 3.0 для Zigbee реле Sonoff BASICZBR3 с датчиком ds18b20 Предполагается, что читатель уже имеет начальные знания языка C, что-то знает о Zigbee, чипе cc2530, методах его прошивания и использования, а также знаком с такими проектами, как zigbee2mqtt. Если нет — подготовьтесь или сходите почитать на https://myzigbee.ru и https://w...

[Из песочницы] Нахождение точки пересечения двух прямых (и отрезков) Введение Довольно часто при разработке игр возникает необходимость находить точку пересечения прямых, отрезков, лучей и т.д. О том, как реализовать это максимально простым способом, в этой статье. Популярные способы и их критика Возможно, многие вспомнят способ из школьно...

[Перевод] Магия Ensemble Learning Привет, Хабр! Приглашаем Data Engineer'ов и специалистов по Machine Learning на бесплатный Demo-урок «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций». А также мы публикуем статью Luca Monno — Head of Financial Analytics at CDP SpA.Одним из наи...

Что такое AIOps или искусственный интеллект для ИТ-эксплуатации? Топ 10 случаев использования AIOps AIOps включает в себя использование технологий AI и ML наряду с большими данными, интеграцией данных и технологиями автоматизации, чтобы сделать ИТ-эксплуатацию более умной и прогнозируемой. Что такое AIOps Искусственный интеллект для ИТ-эксплуатации (AIOps) включает в себя ...

Справедливое правительство оказалось искусственным Исследователи американской технологической компании Salesforce представили свою разработку "AI Economist", пишет "КоммерсантЪ". На первый взгляд это простенькая компьютерная игра в жанре экономической песочницы. Несколько компьютерных человечков перемеща...

[Перевод] OCR для PDF в среде .NET — как извлечь текст из недоступных для поиска PDF документов Извлечение текста — одна из популярных задач обработки PDF документов. Вам потребуется извлечь текст из PDF, чтобы: проиндексировать документ для полнотекстового поиска распарсить некоторые данные (например, названия и цены товаров в прайс-листе) выделить, удалить или замен...

[Перевод] 10 хитростей Python, о которых полезно знать По данным StackOverflow Python — это самый быстрорастущий язык программирования. Например, в одном из отчётов Forbes речь идёт о том, что использование Python выросло на 456%. Python применяется в Netflix, в IBM, и ещё в тысячах компаний по всему миру. Давайте не забывать и ...

Книга «Еще более эффективный Agile» Привет, Хаброжители! Любой компании хочется добиться большей эффективности разработки ПО, ведь это напрямую влияет на прибыль. Большая часть литературы по Agile ориентирована на крупные компании с высокими темпами роста, но как быть, если ваша компания находится не на перед...

[Перевод] Риски и предостережения при применении метода главных компонент к задачам обучения с учителем Перевод статьи подготовлен в преддверии старта базового курса по машинному обучению. Пространство высокой размерности и его проклятие Проклятие размерности – это серьезная проблема при работе с реальными наборами данных, которые, как правило, являются многомерными. По мере...

Code Completion. Часть 3: где взять данные для обучения? В предыдущей статье цикла мы установили, что современной системе автодополнения нужно машинное обучение — чтобы ранжировать варианты подсказок. Машине, как и человеку, для обучения нужны данные. Мы используем подход «обучение с учителем». Он предполагает, что мы показываем ...

Локализация своих скриптов на BASH Создание меню на BASH — задача сама по себе не сложная: "case тебе в руки и echo в спину". Решая её в очередной раз, мне захотелось добавить возможность отображать текст на других языках. Осталось решить, как сделать сам процесс локализации меню более удобным. Если...

Вакансия: руководитель/ница проекта с экспертизой в Data Science в Теплицу социальных технологий Команда Теплицы социальных технологий ищет эксперта/ку в области Data Science с опытом работы в исследовательских проектах.  Наша команда запускает исследовательский проект в сфере гражданского общества. С помощью сбора большого массива данных эксперт/ка будет проводить ...

[Из песочницы] MVP для Android — преимущества использования Moxy в качестве вспомогательной библиотеки В данной статье описываются преимущества использования Moxy в качестве вспомогательной библиотеки при использовании MVP для Android-приложения. Важно: здесь не сравнивается MVP с другими архитектурными подходами типа MVVM, MVI и т.п. В статье описывается почему, если в качес...

[Перевод] Руководство по работе с OpenAL на C++. Часть 1: воспроизводим звук Вашей игре нужен звук! Наверно, вы уже использовали OpenGL для рисования на экране. Вы разобрались с его API, и поэтому обратились к OpenAL, потому что название кажется знакомым. Что же, хорошие новости — OpenAL тоже имеет очень знакомый API. Он изначально задумывался для и...

Израильские исследователи при помощи проектора заставили автопилот Tesla свернуть на условную встречную полосу Инженеры из Израиля показали, что портативный проектор можно использовать для обмана продвинутых систем помощи водителю (ADAS): например, в одном из экспериментов исследователи заставили автомобиль Tesla с активированным автопилотом выехать на условную встречную полосу. Стат...

[Перевод] Большой гайд по A/B-тестированию В интернете масса информации об A/B-тестированиях, но многие до сих пор проводят их неправильно. Ошибиться действительно легко, поэтому подобные исследования требуют серьезной предварительной подготовки. В этой статье рассматриваются основные аспекты A/B-тестирования, которы...

Страх и ненависть, или Что может мешать новичку в ИТ Свой опыт: как я начинал и вел начинающих Обычно в начале подобных статей принято говорить о себе: кто такой, что делал, почему вообще решил написать, о чем пишу. Не буду делать исключений и я. Итак, за свои 13 рабочих лет я перепробовал множество ролей: от «программиста» в...

[Перевод] Магические сигнатуры методов в C# Представляю вашему вниманию перевод статьи The Magical Methods in C# автора CEZARY PIĄTEK. Есть определенный набор сигнатур методов в C#, имеющих поддержку на уровне языка. Методы с такими сигнатурами позволяют использовать специальный синтаксис со всеми его преимуществами. ...

[Из песочницы] 9 ключевых алгоритмов машинного обучения простым языком Привет, Хабр! Представляю вашему вниманию перевод статьи «9 Key Machine Learning Algorithms Explained in Plain English» автора Nick McCullum. Машинное обучение (МО) уже меняет мир. Google использует МО предлагая и показывая ответы на поисковые запросы пользователей. Netflix...

[Перевод] Идея, взятая из физики, помогает ИИ работать в высших измерениях Законы физики не меняются от смены точки зрения. Однако эта идея помогает компьютерам распознавать определённые особенности в искривлённом пространстве высших измерений. Компьютеры учатся водить автомобили, обыгрывают чемпионов мира в настольные игры, и даже пишут прозу. П...

Суперкомпьютер обратил вспять космические часы Так выглядит расширение Вселенной Наша Вселенная возникла около четырнадцати миллиардов лет назад в результате катастрофического события – Большого взрыва. В момент своего рождения она была крошечной, но затем расширилась до своих нынешних размеров. То, какой была Вселенная ...

Наконец-то! Apple научит Siri разговаривать шёпотом Про Siri принято говорить гадости. Оснований для её критики достаточно. В голосовом ассистенте от Apple (кстати, в первом таком ассистенте для смартфонов в мире) до сих пор не поддерживаются самые ценные и полезные функции ассистентов, появившихся на рынке значительно позже...

Добавляем CRUD в ASP.NET Core проект за 10 минут с помощью EasyData Одной из первых задач для большинства бизнес-приложений на ASP.NET Core является реализация операций CRUD (Create, Read, Update, Delete) для основных объектов, с которыми работает ваше решение. Каждый разработчик, которому нужно решить эту задачу, знает, что создание CRUD-с...

[Перевод] Применение интерфейса Collector для работы с потоками в реальных Java-проектах Автор статьи, перевод которой мы публикуем сегодня, хочет рассказать о том, как интерфейс Collector и сопутствующие механизмы используются в реальных проектах. В Java-программировании при работе с потоками широкое применение находят методы класса Collectors. Эти методы позв...

Искусственный интеллект научился распознавать эмоции. К чему это может привести? Умение роботов распознавать человеческие эмоции может негативно сказаться на современном обществе Развитие искусственного интеллекта в XXI веке идет семимильными шагами: одним из главных его достижений стала возможность распознавания эмоций человека. В своем ежегодном доклад...

[Перевод] Пишем babel плагин, пошаговое руководство Сегодня я поделюсь с вами пошаговым руководством как написать свой babel плагин. Вы сможете использовать эти знания для автоматизации правок, рефакторинга или кодогенерации. Читать дальше →

[recovery mode] Пример реализации универсального REST сервиса (Avalanche — application framework for Java) Пример реализации универсального REST сервиса (Avalanche — application framework for Java) "Avalanche — application framework for Java" — реализация технологии стирающей различия между вызовами локального и удаленного кода. Отказоустойчивость, масштабируемость, мод...

Генетический алгоритм vs алгоритм роя частиц К задачам поиска лучшего варианта решения (объекта, параметров или других данных) сводятся многие из проблем математики, экономики, статистики и т.д. Эти проблемы возникают, когда приходится строить математическую модель ситуации. При обработке полученной математической моде...

Surface Duo 2 может исправить самые серьёзные проблемы оригинальной версии Surface Duo от Microsoft имеет уникальный форм-фактор, который позволяет Microsoft экспериментировать с новым форм-фактором. Несмотря на новаторский дизайн, он не обладает самыми передовыми характеристиками. Он работает на более старом процессоре Snapdragon, не поддерживает ...

Генетика происхождения. Гаплогруппы Происхождение — один из самых интересных разделов генетического теста Атлас. Из него можно узнать свою гаплогруппу, популяционный состав и насколько ты Неандерталец. В серии статей мы решили рассказать о генетике происхождения подробнее: как эту область исследуют, какие данн...

IDC: рынок шлемов виртуальной реальности в 2021 году вырастет в полтора раза Пока основная область применения VR-технологий — игры, но многие компании все шире используют их в обучении сотрудников, совместной работе, разработке и производстве

Прочитать письмо XVII века, не открывая конверт За тысячелетия существования наш вид прошел долгий и тяжкий путь прогресса, повлиявшего на многие аспекты нашей жизни. Многое перестало быть необходимостью, а что-то и вовсе исчезло: мы больше не стираем в реках, не ездим верхом, не лечим все болезни кровопусканием и не чи...

[Из песочницы] Кодогенерация в Go на примере создания клиента к БД В данной статье хотелось бы рассмотреть вопросы кодогенерации в Golang. Заметил, что часто в комментариях к статьям по Go упоминают кодогенерацию и рефлексию, что вызывает бурные споры. При этом на хабре статей по кодогенерации мало, хотя она применяется довольно много где в...

Amazon выпустила открытую библиотеку для создания ИИ-моделей несколькими строками кода Благодаря AutoGluon можно создавать модели искусственного интеллекта, использующие изображения, текст и табличные наборы данных, путём написания небольшого количества строк кода.Создание таких приложений - задача непростая, поскольку разработчики должны знать, как настраиват...

Общий финансовый анализ на Python (Часть 3) После всех вычислений, приведенных в этой и этой публикациях, можно углубиться в статистический анализ и рассмотреть метод наименьших квадратов. Для этой цели используется библиотека statsmodels, которая позволяет пользователям исследовать данные, оценивать статистические мо...

[Перевод] Изменение требований к проекту — ключевая проблема разработки ПО Шаги по разработке большой компьютерной программы для доставки заказчику Иллюстрация выше — из статьи д-ра Уинстона Ройса «Управление разработкой больших программных систем» 1970 года. Считается, что это первое в программной инженерии описание модели водопада. Диаграммы д-...

МТС запустила суперкомпьютер MTS GROM МТС будет использовать MTS GROM для развития цифровой экосистемы. На его основе Центр искусственного интеллекта МТС планирует реализовывать внутренние и внешние проекты в области клиентского сервиса и повышения операционной эффективности бизнеса. Суперкомпьютер ускорит созда...

Видео дня: Ассистент Google научился завязывать кроссовки Компания Google объявила о запуске очень полезной функции для своего голосового помощника Google Assistant (Ассистент Google). Обновлённый помощник позволяет управлять голосом некоторыми сторонними приложениями со смартфона, планшета и других поддерживаемых устройств, а...

[Перевод] Практическое руководство по HashiCorp Consul — Часть 1 Это часть 1 из серии 2 частей практического руководства по HashiCorp Consul. Эта часть в первую очередь ориентирована на понимание проблем, которые решает Consul и как он их решает. Вторая часть больше ориентирована на практическое применение Consul в реальном примере и буд...

Microsoft позволит создавать приложения без знания кода благодаря модели GPT-3 Microsoft представила свой первый продукт на базе GPT-3 — компания интегрирует модель естественного языка GPT-3 от OpenAI в платформу для low-code разработки Power Apps. Это позволит легко и эффективно создавать приложения ...

Эксплуатация Ceph: как распределять пулы по разным типам (HDD/SSD) и группам серверов В Ceph можно распределять пулы с данными по разным типам серверов: «горячие» данные хранить и реплицировать на SSD, «холодные» — на HDD. Кроме того, пулы одного кластера можно разделять физически. В статье расскажем, как это сделать. Статья подготовлена на основе лекции Але...

[Перевод] Изучаем машинное обучение на примере данных, полученных телескопом «Кеплер» Представьте, что вы смотрите фильм с проектора. Если через луч проектора проходит человек, он создаёт тень, закрывая часть света. Зрители видят, что часть света от проектора закрывается, и понимают, что закрывает его какой-то человек (обычно это их раздражает). Зрители в дан...

Клиент-серверная архитектура в картинках Знакомая картинка? А вы ведь постоянно сталкиваетесь с этой архитектурой — когда покупаете билет в кино онлайн, бронируете путевку на море или записываетесь ко врачу. На клиент-серверной архитектуре построены все сайты и интернет-сервисы. Также ее используют десктоп-про...

Собственная методология разработки R&D-проектов в AI, от идеи до создания Разработка R&D-проектов в сферах машинного обучения и искусственного интеллекта — задача, к которой следует подходить основательно, используя эффективную и проверенную схему работы. Рассказываем, какую методологию использует команда MIL team (среди клиентов — Huawei, С...

[Перевод] Python-пакеты для Data Science Python — это один из самых распространённых языков программирования. Хотя стандартные возможности Python достаточно скромны, существует огромное количество пакетов, которые позволяют решать с помощью этого языка самые разные задачи. Пожалуй, именно поэтому Python и пользуетс...

Разработка стековой виртуальной машины и компилятора под неё (часть I) Так сложилось, что за последние 18 лет, не приходилось писать на C/C++. На работе использовалась Java, да и ввиду должностей деятельность больше была связана с предпринимательством - переговоры, корпоративные продажи, выстраивание производственных операций и структурирование...

[Перевод] Распределенное обучение с Apache MXNet и Horovod Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных» Распределенное обучение на нескольких высокопроизводительных вычислительных экземплярах может сократить время обучения современных глубоких нейронных сетей на большом объеме данных с не...

GridGain и Intel обеспечат поддержку энергонезависимой памяти Intel Optane 200 серии для векторных вычислений GridGain Systems, поставщик корпоративных решений для вычислений в оперативной памяти (In-Memory) на основе распределенной базы данных Apache Ignite, объявила о партнерстве с компанией Intel. Цель сотрудничества - создание первой в отрасли платформы In-Memory-вычислений на б...

Разработка электрической сети самолета с использованием модельно-ориентированного проектирования В данной публикации представлена транскрипция вебинара «Разработка электрической сети самолета с использованием модельно-ориентированного проектирования». Вебинар проводил Михаил Песельник, инженер ЦИТМ Экспонента.) Сегодня мы узнаем, что можно настраивать модели для оптимал...

[Перевод] В поисках искусственного здравого смысла 19 июля 2020 года была опубликована запись в блоге под названием «Чувствуете себя непродуктивным? Может, стоит перестать задумываться». В этой статье о самосовершенствовании в 1000 слов объясняется, что чрезмерное обдумывание — враг творчества, и даётся совет быть внимательн...

[Из песочницы] Симуляция подъёмной силы Ньютона методом частиц на CUDA https://www.youtube.com/playlist?list=PLwr8DnSlIMg0KABru36pg4CvbfkhBofAi Как-то на Хабре мне попалась довольно любопытная статья “Научно-технические мифы, часть 1. Почему летают самолёты?”. Статья довольно подробно описывает, какие проблемы возникают при попытке объяснить п...

Способ достать локальные переменные функции в Python Рассмотрим ситуацию, когда вы пишете свой класс, наследуюетесь от класса библиотеки и вам потребовалось значение локальной переменной функции родительского класса.Хороший пример: класс SSHOperator, метод execute().Данный метод использует в работе переменную exit_status, одна...

ИИ-модель Microsoft превзошла результат человека Алгоритм понимания естественного языка (Natural Language Understanding, NLU) Microsoft DeBERTa превзошел человеческие возможности в одном из самых сложных тестов для подобных алгоритмов SuperGLUE.

Пишем голосового ассистента на Python Введение Технологии в области машинного обучения за последний год развиваются с потрясающей скоростью. Всё больше компаний делятся своими наработками, тем самым открывая новые возможности для создания умных цифровых помощников. В рамках данной статьи я хочу поделиться своим...

Конвертация SVG в PNG: а воз и ныне там, но есть варианты Рассказывает Александр Топорков, веб-разработчик Email Soldiers Графический формат SVG (Scalable Vector Graphics) — самый распространённый сегодня формат векторной графики, которая выгодно отличается от растровой, в первую очередь, возможностью масштабирования и преобразован...

Дешифровка текста методом частотного анализа Привет, Хабр! В этой статье я покажу как сделать частотный анализ современного русского интернет-языка и воспользуюсь им для расшифровки текста. Кому интересно, добро пожаловать под кат! Читать дальше

В ульяновских МФЦ заработал голосовой помощник «Ульяна» "Ульяна" создана на основе технологий искусственного интеллекта, машинного обучения и нейронных сетей. Решение разработано "РТ Лабс", дочерней компанией "Ростелекома", на базе единой системы омниканального обслуживания.Виртуальный консультант ра...

Нейросети научились предсказывать поведение генов: борьба с раком Проведенные исследования позволяют не только перевести клетку в состояние «старости» и болезни, но и изменить технические параметры генов и даже тип клетки. Это достижение позволит прежде всего значительно ускорить разработку новых методов ранней диагностики тяжелых полигенн...

Книга «Android. Программирование для профессионалов. 4-е издание» Привет, Хаброжители! Познакомьтесь с возможностями программирования Android на языке Kotlin! Множество примеров приложений с четкими объяснениями ключевых концепций и API позволят легко разобраться в самых трудных задачах. Эта книга посвящена прикладным методам разработки ...

Более половины маркетологов не готовы к ИИ в ритейле Accenture вчера представила результаты исследования влияния маркетинга на успешный рост компаний розничной торговли. Аналитики подсчитали, что в период до 2022 г. компании, инвестирующие в искусственный интеллект, могут получить прирост к выручке на 41% (по сравнению с показ...

[Перевод] Разрабатываем и развёртываем собственную платформу ИИ с Python и Django Взлёт искусственного интеллекта привёл к популярности платформ машинного обучения MLaaS. Если ваша компания не собирается строить фреймворк и развёртывать свои собственные модели, есть шанс, что она использует некоторые платформы MLaaS, например H2O или KNIME. Многие исследо...

Машинное обучение помогло улучшить солнечные электростанции Технологии Энергетика 21.07.2021, 09:31 Машинное обучение помогло улучшить солнечные электростанции Исследователи разработали две новые модели на основе алгоритма ANFIS, которые позволяют лучше оценить мощность, которую будут вырабатыв...

Яндекс.Практикум – Аналитик данных. Окончание обучения Первая статья здесь. Обучение в Яндекс.Практикуме закончилось, получен сертификат и можно подвести итоги по обучению. Так же, после первой статьи, у многих возникли дополнительные вопросы, поэтому хотелось и на них ответить и показать немного практики. Кейсов освоено доста...

Типизированные запросы OData в TypeScript Традиционно запросы OData к данным выражаются в виде простых строк без проверки типов при компиляции или без поддержки IntelliSense, кроме того, разработчику приходится изучать синтаксис языка запросов. Данная статья описывает библиотеку TsToOdata, которая превращает запрос...

Создаем веб-приложение на Haskell с использованием Reflex. Часть 1 Введение Всем привет! Меня зовут Никита, и мы в Typeable для разработки фронтенда для части проектов используем FRP-подход, а конкретно его реализацию на Haskell – веб-фреймоворк reflex. На русскоязычных ресурсах отсутствуют какие-либо руководства по данному фреймворку (да и...

Правда о скорочтении: можно ли прочитать «Войну и мир» за вечер Средняя скорость чтения на русскому языке у взрослого человека — 160 слов в минуту. Опытный читатель способен довести скорость до 300 слов. Но ученые утверждают, что невозможно еще больше ускорить этот процесс без потери понимания текста. Одна из основных техник скорочтения ...

Что такое Immutable Infrastructure Меня зовут Никита, я системный инженер в компании SEMrush. И в этой статье я расскажу вам, что такое Immutable Infrastructure, какие у этого подхода есть преимущества и недостатки и как мы его используем в компании. Если вы ни разу не слышали такое словосочетание, то усажив...

Еще один [почти] неудаляемый троянец под Android В конце прошлого года с помощью функции обнаружения изменений в системной области у некоторых наших пользователей было зафиксировано изменение системного файла /system/lib/libc.so. Это одна из главных библиотек операционных систем на базе Linux, которая отвечает за системные...

Более половины маркетологов не готовы к ИИ в ретейле Accenture вчера представила результаты исследования влияния маркетинга на успешный рост компаний розничной торговли. Аналитики подсчитали, что в период до 2022 г. компании, инвестирующие в искусственный интеллект, могут получить прирост к выручке на 41% (по сравнению с показ...

Яндекс объявил лауреатов третьей научной премии имени Ильи Сегаловича Всем лауреатам выплатят премию в размере 1 миллиона рублей. Студентам и аспирантам Яндекс оплатит поездку на международную конференцию по компьютерным наукам на их выбор. Они также получат гранты на использование сервисов Яндекса для своих исследований: Yandex DataSphere пом...

[recovery mode] Tier 2 в SEO и интернет маркетинге Поскольку как в Гугле, так и в Яндексе пока почти нет информации на русском про tier 2 начнем с определений. В переводе с английского tier – это ярус, уже можно понять, что tier 2 это какой-то второй ярус. Если мы начнем «гуглить» tier 2, то увидим, что термин применяется в ...

Завершено создание самого быстрого суперкомпьютера в мире Компания Fujitsu и японский институт физико-химических исследований Riken сообщили о завершении работ по созданию самого быстрого суперкомпьютера в мире. Теперь суперкомпьютер Fugaku, занимающий первое место в обновляемом каждые полгода рейтинге наиболее высокопроизводи...

Компания Apple купила Voesis, ирландского разработчика ПО, улучшающего работу голосовых помощников в приложениях для онлайн-покупок Компания Apple приобрела молодую ирландскую компанию Voysis, специализирующуюся на разработке программного обеспечения искусственного интеллекта. Говоря точнее, специалисты Voysis разработали платформу для цифровых голосовых помощников, позволяющую им лучше понимать ест...

Что такое Windows PowerShell и с чем его едят? Часть 4: Работа с объектами, собственные классы Текстовый вывод команд в окне интерпретатора PowerShell — всего лишь способ отображения информации в пригодном для человеческого восприятия виде. На самом деле среда ориентирована на работу с объектами: командлеты и функции получают их на входе и возвращают на выходе, а до...

В России займутся созданием нейроморфной системы искусственного интеллекта Документ подписали генеральный директор Росатома Алексей Лихачев, ректор Московского университета Виктор Садовничий и президент РАН Александр Сергеев.Соглашение предполагает научно-техническое взаимодействие сторон в одном из наиболее перспективных современных научных направ...

[Из песочницы] Реализация скелетной анимации для трёхмерных моделей Здравствуйте! В данный момент на Хабре существует большое количество статей, посвящённых компьютерной графике и реализации различных эффектов, однако текстов на тему реализации скелетной анимации (особенно "с нуля") достаточно немного. Постараюсь восполнить этот пр...

[Перевод] Не стоит ждать, что в обозримом будущем системы ИИ полностью овладеют человеческим языком Представьте себе: при помощи SkillFactory вы стали инженером машинного обучения или специалистом в Data Science. Это далось вам нелегко, даже тяжело, и вы часто слышали нотки недоверия в словах ваших друзей и знакомых, но, несмотря ни на что, решились. А через несколько лет ...

Бесплатный вебинар «Machine Learning: что нужно для старта?» Вебинар для вас, если вы много слышали про машинное обучение и искусственный интеллект, но всё ещё не знаете, как к ним подступиться и что изучать. На вебинаре вы узнаете какие разделы математики и программирования нужно знать...

Прогноз CW: искусственный интеллект на 2020 год Серьезные изменения в приложениях машинного обучения, инструментах, технологиях, платформах и стандартах уже видны. Искусственный интеллект стал неотъемлемой частью практически каждого сегмента технологической индустрии. Все сильнее ощущается влияние интеллектуальных прил...

Претотипирование — новый термин в словаре или как проверить идею очень дешево и очень быстро ПроблемаУ каждого из нас есть не менее одной идеи на миллион. Но далеко не у каждого получается воплотить свои задумки в жизнь. Этому есть ряд причин, о которых написано немало книг и статей. Известно также, что реализовать свои идеи не получается даже у крупных компаний с б...

Разработка «простого генератора напряжения» в соответствии с ГОСТ Р МЭК 61508 (IEC 61508) В данной статье будут рассмотрены необходимые шаги для создания устройства, отвечающего общим требованиям функциональной безопасности (ФБ). А также будет предложена архитектура простейшего «безопасного» (safety) генератора напряжения. Так как управляя напряжением, можно уп...

[Перевод] Как при помощи ИИ сделать распознавание вводимых вами рукописных цифр прямо в браузере Эта статья для новичков и не претендует на высокий технический уровень, а если вам интересны сложные современные решения, обратите внимание, например, на статью о GIRAFFE, который для генерации реалистичного движения объединяет самые современные подходы в ИИ.В конце статьи в...

HackTheBox. Прохождение Intanse. Flask, атака HLE, SQL инъекция, SNMP to RCE, Ret2Libc Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье получаем секрет Flask с помощью SQL инъекции, проводим криптоатаку удлинения сообщения, получаем RCE с помощью SNMP, и эксплуатируем уязвимость переполнения буфера в при...

Microsoft сообщила о разработке «Планетарного компьютера» Софтверный гигант Microsoft в рамках программы AI for Earth анонсировал так называемый «Планетарный компьютер».Речь идет об открытой вычислительной платформе, которая предоставит ученым, специалистам по охране природы, организациям и государствам возможность быстрого доступа...

[Перевод] KELM — внедряя графы знаний в корпус для предварительного обучения языковой модели Большие предобученные модели для обработки естественного языка (Natural Language Processing, NLP), такие как BERT, RoBERTa, GPT-3, T5 и REALM, использующие корпусы полученных из Интернета текстов на естественном языке и тонко настроенные под конкретную задачу, добились значи...

Туториал по Uplift моделированию. Часть 2 В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли опти...

МТС и Университет ИТМО будут обучать разговорному искусственному интеллекту Разговорный искусственный интеллект - один из основных типов технологий искусственного интеллекта (ИИ), который позволяет "машине" участвовать в диалоге с человеком на естественном языке, захватывать контекст и предоставлять разумные ответы. На базе этих технологий...

Accenture разработала голосового банковского помощника Он может переводить деньги, используя устную речь, узнавать актуальную информацию о кредитах или баланс карты. Accenture в России разработала голосового банковского помощника «Вика», сообщили в компании. На аналитику, разработку и тестирование голосово...

PostgreSQL: Серверное программирование на «человеческом» языке (PL/Perl, PL/Python, PL/v8) Postgres знаменит своей расширяемостью, что относится и к поддержке процедурных языков (PL). Никто не может похвастаться языком списком языков такой длины, а потенциально этот список и вовсе не ограничен: для того, чтобы подключить язык к серверу, не требуется сверхусилий. М...

Оценка достоверности отчетов об ошибках с помощью анализа временных рядов Привет, Хабр! Меня зовут Илья Селицер. В DINS мы участвуем в разработке продукта для UCaaS-провайдера RingCentral, которая объединяет много функций — от звонков и факса до корпоративного мессенджера и видеоконференций. Я, среди прочего, отвечаю за качество этого сервиса. В п...

Оцениваем опционы на Clojure методом Монте-Карло Привет! Меня зовут Рома, я работаю iOS-разработчиком в Exness. А кроме того, пишу на Clojure и инвестирую. Сегодня я расскажу о том, как оценивать опционы. Это вводная статья и заработать миллион, используя предложенный способ, вряд ли получится. Тем не менее, это хорошая ос...

Существует 50% вероятность того, что мы живем в симуляции Профессор Колумбийского университета считает, что существует 50% шанс, что мы живем в симуляции. В статье 2003 года философ из Оксфордского университета Ник Бостром изложил вероятность того, что наша реальность – это компьютерная симуляция, придуманная высокоразвитой цивилиз...

Redux Toolkit как средство эффективной Redux-разработки В настоящее время разработка львиной доли веб-приложений, основанных на фреймворке React, ведется с использованием библиотеки Redux. Данная библиотека является самой популярной реализацией FLUX-архитектуры и, несмотря на ряд очевидных преимуществ, имеет весьма существенные ...

Мечта дизайнера. Adobe принесла Illustrator на iPad Компания Adobe исполнила мечту многих иллюстраторов и дизайнеров, работающих в мобильных условиях — представила векторный графический редактор Illustrator на iPad.  Приложение Adobe Illustrator для iPad тестировалось несколько месяцев. Как и Photoshop для iP...

Моделирование отказоустойчивых кластеров на базе PostgreSQL и Pacemaker Введение Некоторое время назад передо мной поставили задачу разработать отказоустойчивый кластер для PostgreSQL, работающий в нескольких дата-центрах, объединенных оптоволокном в рамках одного города, и способный выдержать отказ (например, обесточивание) одного дата-центра. ...